Александр Пахалов

Интервью — один из самых популярных качественных методов исследований клиентского (CX) и пользовательского (UX) опыта. С помощью интервью можно выявить потребности и «боли» целевых аудиторий, разработать гипотезы для количественного исследования, а также собрать информацию для заполнения различных фреймворков — от CJM (customer journey map) и EJM (employee journey map) до JTBD (jobs-to-be-done) и VPC (value proposition canvas).

В наших прошлых статьях мы рассказывали о тонкостях поиска респондентов для интервью (в международных исследованиях и с помощью LinkedIn) и делились кейсами наших исследований на основе интервью (в Индии и на Ближнем Востоке).

Но вслед за вопросом «как рекрутировать респондентов для интервью?» неизбежно возникает вопрос «а сколько этих интервью нужно/достаточно провести?». Об этом мы и поговорим сегодня.

В поисках ответа на поставленный вопрос логично обратиться к академическим исследованиям, тем более в них метод интервью начал применяться на несколько столетий раньше коммерческих исследований.

В 2010 году Марк Мэйсон из Университета Оксфорд Брукс провел необычное исследование: он нашел в британских библиотеках все диссертации, написанные с использованием метода интервью (с точным указанием числа участников) с 1716 по 2009 годы. Таких диссертаций оказалось более 500, а количество респондентов в них варьировало от 1 до 95 (медианное значение составило 28 интервью).

Спустя два года, в 2012 году, другие британские исследователи задали вопрос о достаточном количестве интервью двум десяткам экспертов из ведущих университетов. В ответ лишь два эксперта назвали конкретные числа с опорой на опыт собственных исследований, а все остальные эксперты предпочли дать расплывчатые ответы, которые можно резюмировать фразой “it depends” («зависит от ситуации»).

Итак, наука говорит нам о том, что оптимальное количество интервью зависит от множества факторов и находится в интервале от 1 до 95.

Звучит не очень оптимистично и полезно. Нам определенно хочется услышать более конкретный ответ.

Если вы попробуете обсудить оптимальный размер выборки в качественном исследовании в чате CX/UX-исследователей, кто-нибудь наверняка скажет, что достаточно собрать ответы пяти респондентов. Источником этого знания (спойлер: скорее заблуждения) является точка зрения одного из отцов-основателей UX Якоба Нильсена.

Согласно мнению Нильсена, основанному на опыте его собственных исследований, пять участвующих в исследовании пользователей обнаруживают 85% юзабилити-проблем. Прирост ценных знаний от последующих респондентов оказывается сравнительно небольшим по сравнению с затратами на продолжение исследований — а значит пяти респондентов вполне достаточно для получения достоверных выводов.

Правило Нильсена подверглось критике других исследователей, которые показали, что в реальности процент выявленных юзабилити-проблем с участием пяти пользователей может оказаться иным. Но настоящей проблемой стало ошибочное распространение этого правила на другие виды UX-исследований: например, на айтректинговые исследования и глубинные интервью. С этим заблуждением боролся даже сам Нильсен, делая акцент на применимости «правила пяти пользователей» только для простых юзабилити-тестов.

Применять это правило для определения оптимального числа интервью, не связанных с юзабилити-проблемами конкретных интерфейсов, категорически нельзя.

Хорошая новость в том, что способ определения оптимального числа респондентов в интервью все же существует — он связан с концепцией точки насыщения (saturation point), которая в некотором смысле является обобщением правила Нильсена.

Точка насыщения достигается в тот момент, когда в рамках проведенных интервью собрано достаточно большое количество инсайтов, и последующие интервью не дают или практически не дают новых инсайтов. Это происходит потому что новые респонденты в разных комбинациях озвучивают суждения, ранее высказанные другими респондентами.

Покажем достижение точки насыщения на условном примере. Предположим, мы проводим серию интервью, нацеленную на выявление причин отказа пользователей от участия в программе лояльности сети супермаркетов. На графике показано количество новых инсайтов (в данном случае — причин отказа), обнаруженное по итогам разбора каждого из десяти проведенных интервью.

На графике отчетливо виден нисходящий тренд: в большинстве случаев количество инсайтов от каждого следующего респондента оказывается меньше, чем от предыдущего. После седьмого респондента каждый новый участник интервью добавляет в лучшем случае один новый инсайт, поэтому можно говорить о достижении насыщения при размере выборки, равном семи респондентам. Впрочем, не следует выкидывать из выборки восьмое, девятое и десятое интервью, которые уже проведены.

В нашем условном примере есть интригующий момент, связанный с крайне низким вкладом второго респондента в «копилку» инсайтов. Это может быть связано с неразговорчивостью респондента или ошибками интервьюера. Важно не принять такие неудачные кейсы за точку насыщения и не завершить исследование раньше времени. Для этого полезно провести хотя бы одно дополнительное интервью и, если активная генерация инсайтов возобновится, продолжать сбор данных.

Хотя в идеале точка насыщения должна определяться в каждом исследовании отдельно, на практике можно пользоваться ориентирами, полученными специально обученными экспертами.

Хотя концепция точки насыщения является достаточно универсальной, опыт реальных исследовательских проектов показывает, что оптимальное количество интервью зависит от нескольких специфических факторов:

• Тип исследуемой аудитории. Количество интервью в B2C-исследованиях практически всегда больше, чем в B2B-исследованиях, а число интервью с пользователями (потребителями) больше числа интервью с экспертами. Это различие имеет два основных объяснения. Во-первых, типичный пользователь дает меньше инсайтов, чем типичный эксперт. Во-вторых, рекрутинг пользователей значительно проще и дешевле.

• Число сегментов аудитории. Здесь все достаточно очевидно: чем больше сегментов пользователей (потребителей) у исследуемого сервиса или продукта, тем больше нужно провести интервью. К примеру, если вы делаете простое юзабилити-тестирование электронного дневника и хотите применить правило Нильсена про достаточность пяти респондентов, вам придется умножить это число на три, так как этим сервисом пользуются три разных типа пользователей: школьники, учителя и родители.

• Методология исследования. Для структурированных экспресс-интервью, как правило, требуется достаточно много респондентов, так как число инсайтов от каждого респондента оказывается небольшим. В случае неструктурированных глубинных интервью, напротив, каждый респондент может оказаться кладезью инсайтов, а итоговое количество интервью может оказаться меньшим. Кроме того, если интервью миксуются с другими методами (например, с айтркетинговыми тестами) — полезно ориентироваться на гайдлайны для этих дополнительных методов.

• Чувствительность темы исследования. Здесь все неоднозначно. С одной стороны, есть очевидные аргументы в пользу большего количества респондентов при проведении интервью на сенситивные темы (здоровье, личная жизнь, финансы), так как некоторые респонденты отказываются отвечать на отдельные вопросы или отвечают на них общими словами. С другой стороны, респондентов для участия в таких интервью привлекать намного сложнее — и это уже звучит как аргумент в пользу меньшего размера выборки.

• Профессионализм интервьюеров. Хотя все интервью в рамках одного исследования проводятся по единому гайду, в реальности извлечение инсайтов происходит с разной эффективностью у опытных и начинающих исследователей. Конечно, иногда случаются исключения, когда джуниоры оказываются интервьюерами от Бога, однако общее правило выглядит именно так: чем более профессиональные/опытные сотрудники проводят интервью, тем раньше будет достигнута точка насыщения.

Итак, идеально подходящее для конкретного случая количество интервью практически невозможно определить до проведения исследования. Для академических исследователей это не проблема: они могут позволить себе двигаться шаг за шагом в поисках точки насыщения.

К сожалению, такая роскошь не позволительна для коммерческих исследований, где размер выборки в большинстве случаев фиксируется в самом начале пути. Вот несколько советов, которые помогут определиться с тем, какое целевое количество интервью зафиксировать на старте исследования.

• Анализируйте личный опыт. Если у вас есть опыт проведения аналогичных исследований, попробуйте его систематизировать в разрезе четырех параметров: количества проведенных интервью, стоимости, затрат времени и количества выявленных инсайтов. Представим условный пример: ваш интернет-магазин в третий раз планирует качественное исследование предпочтений своих покупателей. В первый раз вы провели 10 интервью в сжатые сроки и с минимальными затратами, но инсайтов было получено крайне мало. Во второй раз интервью было 30, инсайтов было более чем достаточно, но времени и денег было потрачено слишком много. При таком раскладе в третий раз имеет смысл провести серию интервью с участием 20 респондентов: возможно, это именно та самая «золотая середина», которая позволит получить нужный результат и оптимизировать затраты.

• Опирайтесь на плечи гигантов. Если планируемое исследование не похоже на то, что вы делали раньше, попробуйте поискать аналогичные исследования других авторов. Например, вы планируете исследование лучших практик управления клиентским опытом в люксовых отелях на основе интервью с их топ-менеджерами. Поиск по ключевым словам в обычном Google приведет вас к вот этому исследованию McKinsey, основанному на 12 интервью, а в Google Академии вы сможете найти опубликованное в топовом научном журнале исследование на базе 14 интервью. Опыту консультантов и ученых в данном случае вполне можно доверять и планировать 12-14 интервью.

• Учитывайте специфику исследования. Выше мы разобрали пять факторов, от которых зависит количество интервью: исследуемая аудитория, количество исследуемых сегментов аудитории, используемая методология, тема исследования и профессионализм интервьюеров. Если вы собираетесь использовать опыт удачного предыдущего исследования (своего или чужого), сравните эти два исследования по этим пяти параметрам. Если обнаружите пересечение по большинству факторов — смело используйте прошлые наработки. А вот если новое исследование по большинству параметров отличается — опираться на предыдущий опыт следует с большой осторожностью.

• Используйте «доверительные интервалы». По возможности постарайтесь зафиксировать требуемое количество интервью в виде интервала, а не точного числа (например, 18-20 вместо 20). Это даст вам возможность правильно распределить силы на финише исследования. В нашей практике был случай, когда на последней неделе проекта внезапно сорвалось двадцатое интервью и команда исследователей судорожно занималась поиском респондента на замену вместо спокойной работы над итоговым отчетом. Этого бы не произошло, если бы целевое количество интервью было бы зафиксировано в «интервальном» формате.

• Помните, что качество важнее количества. Интервью являются разновидностью качественного исследования, поэтому размер выборки здесь не является самоцелью. Десяток профессионально проведенных часовых интервью при прочих равных ценнее полусотни поверхностных десятиминутных бесед с респондентами. Конечно, это работает, если ценность проекта определяется глубиной и разнообразием выявляемых инсайтов. Ну а если в проекте исходно хочется не инсайты, а много цифр и трендов, то имеет смысл рассмотреть вариант проведения количественного исследования — например, онлайн-опроса.