Сколько CX/UX-интервью проводить в исследовании?
Коротко
Универсального числа интервью не существует. Рабочий ориентир — точка насыщения: сбор прекращают, когда новые респонденты перестают приносить новые инсайты. По систематическому обзору она достигается на 9–17 респондентах, в среднем — на 12–13.
Правило «достаточно пяти» — миф. Оно работает только для юзабилити-тестов, которые ищут ошибки интерфейса, и даже там пятёрку умножают на число типов пользователей.
Ниже — как определяется точка насыщения на конкретном примере, пять факторов, которые сдвигают выборку вверх или вниз, и пять советов, как зафиксировать число интервью на старте коммерческого проекта.
Интервью — один из самых популярных качественных методов исследований клиентского (CX) и пользовательского (UX) опыта. С помощью интервью можно выявить потребности и «боли» целевых аудиторий, разработать гипотезы для количественного исследования, а также собрать информацию для заполнения различных фреймворков — от CJM (customer journey map) и EJM (employee journey map) до JTBD (jobs-to-be-done) и VPC (value proposition canvas).
В наших прошлых статьях мы рассказывали о тонкостях поиска респондентов для интервью (в международных исследованиях и с помощью LinkedIn) и делились кейсами наших исследований на основе интервью (в Индии и на Ближнем Востоке).
Но вслед за вопросом «как рекрутировать респондентов для интервью?» неизбежно возникает вопрос «а сколько этих интервью нужно/достаточно провести?». Об этом мы и поговорим сегодня.
В наших прошлых статьях мы рассказывали о тонкостях поиска респондентов для интервью (в международных исследованиях и с помощью LinkedIn) и делились кейсами наших исследований на основе интервью (в Индии и на Ближнем Востоке).
Но вслед за вопросом «как рекрутировать респондентов для интервью?» неизбежно возникает вопрос «а сколько этих интервью нужно/достаточно провести?». Об этом мы и поговорим сегодня.
“It depends”
В поисках ответа на поставленный вопрос логично обратиться к академическим исследованиям, тем более в них метод интервью начал применяться на несколько столетий раньше коммерческих исследований.
В 2010 году Марк Мэйсон из Университета Оксфорд Брукс провел необычное исследование: он нашел в британских библиотеках все диссертации, написанные с использованием метода интервью (с точным указанием числа участников) с 1716 по 2009 годы. Таких диссертаций оказалось более 500, а количество респондентов в них варьировало от 1 до 95 (медианное значение составило 28 интервью).
Спустя два года, в 2012 году, другие британские исследователи задали вопрос о достаточном количестве интервью двум десяткам экспертов из ведущих университетов. В ответ лишь два эксперта назвали конкретные числа с опорой на опыт собственных исследований, а все остальные эксперты предпочли дать расплывчатые ответы, которые можно резюмировать фразой “it depends” («зависит от ситуации»).
Итак, наука говорит нам о том, что оптимальное количество интервью зависит от множества факторов и находится в интервале от 1 до 95.
Звучит не очень оптимистично и полезно. Нам определенно хочется услышать более конкретный ответ.
В 2010 году Марк Мэйсон из Университета Оксфорд Брукс провел необычное исследование: он нашел в британских библиотеках все диссертации, написанные с использованием метода интервью (с точным указанием числа участников) с 1716 по 2009 годы. Таких диссертаций оказалось более 500, а количество респондентов в них варьировало от 1 до 95 (медианное значение составило 28 интервью).
Спустя два года, в 2012 году, другие британские исследователи задали вопрос о достаточном количестве интервью двум десяткам экспертов из ведущих университетов. В ответ лишь два эксперта назвали конкретные числа с опорой на опыт собственных исследований, а все остальные эксперты предпочли дать расплывчатые ответы, которые можно резюмировать фразой “it depends” («зависит от ситуации»).
Итак, наука говорит нам о том, что оптимальное количество интервью зависит от множества факторов и находится в интервале от 1 до 95.
Звучит не очень оптимистично и полезно. Нам определенно хочется услышать более конкретный ответ.
Правило Нильсена
Если вы попробуете обсудить оптимальный размер выборки в качественном исследовании в чате CX/UX-исследователей, кто-нибудь наверняка скажет, что достаточно собрать ответы пяти респондентов. Источником этого знания (спойлер: скорее заблуждения) является точка зрения одного из отцов-основателей UX Якоба Нильсена.
Согласно мнению Нильсена, основанному на опыте его собственных исследований, пять участвующих в исследовании пользователей обнаруживают 85% юзабилити-проблем. Прирост ценных знаний от последующих респондентов оказывается сравнительно небольшим по сравнению с затратами на продолжение исследований — а значит пяти респондентов вполне достаточно для получения достоверных выводов.
Согласно мнению Нильсена, основанному на опыте его собственных исследований, пять участвующих в исследовании пользователей обнаруживают 85% юзабилити-проблем. Прирост ценных знаний от последующих респондентов оказывается сравнительно небольшим по сравнению с затратами на продолжение исследований — а значит пяти респондентов вполне достаточно для получения достоверных выводов.
Правило Нильсена подверглось критике других исследователей, которые показали, что в реальности процент выявленных юзабилити-проблем с участием пяти пользователей может оказаться иным. Но настоящей проблемой стало ошибочное распространение этого правила на другие виды UX-исследований: например, на айтректинговые исследования и глубинные интервью. С этим заблуждением боролся даже сам Нильсен, делая акцент на применимости «правила пяти пользователей» только для простых юзабилити-тестов.
Резюмируем: правило Нильсена про достаточность 5 респондентов является дискуссионным и относится только к UX-исследованиям, нацеленным на выявление юзабилити-проблем, связанных с функционированием и дизайном интерфейсов сайтов и других цифровых сервисов.
Применять это правило для определения оптимального числа интервью, не связанных с юзабилити-проблемами конкретных интерфейсов, категорически нельзя.
Та самая точка
Хорошая новость в том, что способ определения оптимального числа респондентов в интервью все же существует — он связан с концепцией точки насыщения (saturation point), которая в некотором смысле является обобщением правила Нильсена.
Точка насыщения достигается в тот момент, когда в рамках проведенных интервью собрано достаточно большое количество инсайтов, и последующие интервью не дают или практически не дают новых инсайтов. Это происходит потому что новые респонденты в разных комбинациях озвучивают суждения, ранее высказанные другими респондентами.
Покажем достижение точки насыщения на условном примере. Предположим, мы проводим серию интервью, нацеленную на выявление причин отказа пользователей от участия в программе лояльности сети супермаркетов. На графике показано количество новых инсайтов (в данном случае — причин отказа), обнаруженное по итогам разбора каждого из десяти проведенных интервью.
Точка насыщения достигается в тот момент, когда в рамках проведенных интервью собрано достаточно большое количество инсайтов, и последующие интервью не дают или практически не дают новых инсайтов. Это происходит потому что новые респонденты в разных комбинациях озвучивают суждения, ранее высказанные другими респондентами.
Покажем достижение точки насыщения на условном примере. Предположим, мы проводим серию интервью, нацеленную на выявление причин отказа пользователей от участия в программе лояльности сети супермаркетов. На графике показано количество новых инсайтов (в данном случае — причин отказа), обнаруженное по итогам разбора каждого из десяти проведенных интервью.
На графике отчетливо виден нисходящий тренд: в большинстве случаев количество инсайтов от каждого следующего респондента оказывается меньше, чем от предыдущего. После седьмого респондента каждый новый участник интервью добавляет в лучшем случае один новый инсайт, поэтому можно говорить о достижении насыщения при размере выборки, равном семи респондентам. Впрочем, не следует выкидывать из выборки восьмое, девятое и десятое интервью, которые уже проведены.
В нашем условном примере есть интригующий момент, связанный с крайне низким вкладом второго респондента в «копилку» инсайтов. Это может быть связано с неразговорчивостью респондента или ошибками интервьюера. Важно не принять такие неудачные кейсы за точку насыщения и не завершить исследование раньше времени. Для этого полезно провести хотя бы одно дополнительное интервью и, если активная генерация инсайтов возобновится, продолжать сбор данных.
Хотя в идеале точка насыщения должна определяться в каждом исследовании отдельно, на практике можно пользоваться ориентирами, полученными специально обученными экспертами.
В нашем условном примере есть интригующий момент, связанный с крайне низким вкладом второго респондента в «копилку» инсайтов. Это может быть связано с неразговорчивостью респондента или ошибками интервьюера. Важно не принять такие неудачные кейсы за точку насыщения и не завершить исследование раньше времени. Для этого полезно провести хотя бы одно дополнительное интервью и, если активная генерация инсайтов возобновится, продолжать сбор данных.
Хотя в идеале точка насыщения должна определяться в каждом исследовании отдельно, на практике можно пользоваться ориентирами, полученными специально обученными экспертами.
Согласно недавнему систематическому обзору, точка насыщения при проведении серии интервью практически гарантированно может быть достигнута в интервале от 9 до 17 респондентов, а в среднем для ее достижения нужно провести 12-13 интервью.
Пять важных факторов
Хотя концепция точки насыщения является достаточно универсальной, опыт реальных исследовательских проектов показывает, что оптимальное количество интервью зависит от нескольких специфических факторов:
- Тип исследуемой аудитории. Количество интервью в B2C-исследованиях практически всегда больше, чем в B2B-исследованиях, а число интервью с пользователями (потребителями) больше числа интервью с экспертами. Это различие имеет два основных объяснения. Во-первых, типичный пользователь дает меньше инсайтов, чем типичный эксперт. Во-вторых, рекрутинг пользователей значительно проще и дешевле.
- Число сегментов аудитории. Здесь все достаточно очевидно: чем больше сегментов пользователей (потребителей) у исследуемого сервиса или продукта, тем больше нужно провести интервью. К примеру, если вы делаете простое юзабилити-тестирование электронного дневника и хотите применить правило Нильсена про достаточность пяти респондентов, вам придется умножить это число на три, так как этим сервисом пользуются три разных типа пользователей: школьники, учителя и родители.
- Методология исследования. Для структурированных экспресс-интервью, как правило, требуется достаточно много респондентов, так как число инсайтов от каждого респондента оказывается небольшим. В случае неструктурированных глубинных интервью, напротив, каждый респондент может оказаться кладезью инсайтов, а итоговое количество интервью может оказаться меньшим. Кроме того, если интервью миксуются с другими методами (например, с айтркетинговыми тестами) — полезно ориентироваться на гайдлайны для этих дополнительных методов.
- Чувствительность темы исследования. Здесь все неоднозначно. С одной стороны, есть очевидные аргументы в пользу большего количества респондентов при проведении интервью на сенситивные темы (здоровье, личная жизнь, финансы), так как некоторые респонденты отказываются отвечать на отдельные вопросы или отвечают на них общими словами. С другой стороны, респондентов для участия в таких интервью привлекать намного сложнее — и это уже звучит как аргумент в пользу меньшего размера выборки.
- Профессионализм интервьюеров. Хотя все интервью в рамках одного исследования проводятся по единому гайду, в реальности извлечение инсайтов происходит с разной эффективностью у опытных и начинающих исследователей. Конечно, иногда случаются исключения, когда джуниоры оказываются интервьюерами от Бога, однако общее правило выглядит именно так: чем более профессиональные/опытные сотрудники проводят интервью, тем раньше будет достигнута точка насыщения.
| Фактор | Интервью нужно больше | Интервью нужно меньше |
|---|---|---|
| Тип аудитории | B2C, интервью с пользователями: типичный пользователь даёт меньше инсайтов, а рекрут дешевле | B2B, интервью с экспертами: каждый даёт больше, но рекрут дороже |
| Число сегментов | несколько групп пользователей — норму умножают на их количество (электронный дневник: школьники, учителя, родители — ×3) | одна однородная группа |
| Методология | структурированные экспресс-интервью: инсайтов с одного респондента мало | неструктурированные глубинные: один респондент может быть кладезем |
| Чувствительность темы | здоровье, личная жизнь, финансы: часть респондентов уходит от ответов | на такие темы и рекрутировать сложнее — фактор давит в обе стороны |
| Опыт интервьюеров | начинающие исследователи извлекают инсайты медленнее, насыщение наступает позже | опытные достигают точки насыщения раньше |
Факторы разобраны ниже по тексту. Они не складываются механически — тема исследования тянет выборку в обе стороны сразу.
Пять не менее важных советов
Итак, идеально подходящее для конкретного случая количество интервью практически невозможно определить до проведения исследования. Для академических исследователей это не проблема: они могут позволить себе двигаться шаг за шагом в поисках точки насыщения.
К сожалению, такая роскошь не позволительна для коммерческих исследований, где размер выборки в большинстве случаев фиксируется в самом начале пути. Вот несколько советов, которые помогут определиться с тем, какое целевое количество интервью зафиксировать на старте исследования.
К сожалению, такая роскошь не позволительна для коммерческих исследований, где размер выборки в большинстве случаев фиксируется в самом начале пути. Вот несколько советов, которые помогут определиться с тем, какое целевое количество интервью зафиксировать на старте исследования.
- Анализируйте личный опыт. Если у вас есть опыт проведения аналогичных исследований, попробуйте его систематизировать в разрезе четырех параметров: количества проведенных интервью, стоимости, затрат времени и количества выявленных инсайтов. Представим условный пример: ваш интернет-магазин в третий раз планирует качественное исследование предпочтений своих покупателей. В первый раз вы провели 10 интервью в сжатые сроки и с минимальными затратами, но инсайтов было получено крайне мало. Во второй раз интервью было 30, инсайтов было более чем достаточно, но времени и денег было потрачено слишком много. При таком раскладе в третий раз имеет смысл провести серию интервью с участием 20 респондентов: возможно, это именно та самая «золотая середина», которая позволит получить нужный результат и оптимизировать затраты.
- Опирайтесь на плечи гигантов. Если планируемое исследование не похоже на то, что вы делали раньше, попробуйте поискать аналогичные исследования других авторов. Например, вы планируете исследование лучших практик управления клиентским опытом в люксовых отелях на основе интервью с их топ-менеджерами. Поиск по ключевым словам в обычном Google приведет вас к вот этому исследованию McKinsey, основанному на 12 интервью, а в Google Академии вы сможете найти опубликованное в топовом научном журнале исследование на базе 14 интервью. Опыту консультантов и ученых в данном случае вполне можно доверять и планировать 12-14 интервью.
- Учитывайте специфику исследования. Выше мы разобрали пять факторов, от которых зависит количество интервью: исследуемая аудитория, количество исследуемых сегментов аудитории, используемая методология, тема исследования и профессионализм интервьюеров. Если вы собираетесь использовать опыт удачного предыдущего исследования (своего или чужого), сравните эти два исследования по этим пяти параметрам. Если обнаружите пересечение по большинству факторов — смело используйте прошлые наработки. А вот если новое исследование по большинству параметров отличается — опираться на предыдущий опыт следует с большой осторожностью.
- Используйте «доверительные интервалы». По возможности постарайтесь зафиксировать требуемое количество интервью в виде интервала, а не точного числа (например, 18-20 вместо 20). Это даст вам возможность правильно распределить силы на финише исследования. В нашей практике был случай, когда на последней неделе проекта внезапно сорвалось двадцатое интервью и команда исследователей судорожно занималась поиском респондента на замену вместо спокойной работы над итоговым отчетом. Этого бы не произошло, если бы целевое количество интервью было бы зафиксировано в «интервальном» формате.
- Помните, что качество важнее количества. Интервью являются разновидностью качественного исследования, поэтому размер выборки здесь не является самоцелью. Десяток профессионально проведенных часовых интервью при прочих равных ценнее полусотни поверхностных десятиминутных бесед с респондентами. Конечно, это работает, если ценность проекта определяется глубиной и разнообразием выявляемых инсайтов. Ну а если в проекте исходно хочется не инсайты, а много цифр и трендов, то имеет смысл рассмотреть вариант проведения количественного исследования — например, онлайн-опроса.
Саммари вместо заключения
- Универсального ответа на вопрос о достаточном количестве интервью для CX/UX исследований не существует: многое зависит от темы, аудитории, используемой методологии и профессионализма интервьюера.
- Распространенное утверждение о достаточности 5 интервью является мифом: это правило сравнительно хорошо работает только для юзабилити-тестов, нацеленных на выявление ошибок в интерфейсе и дизайне цифровых сервисов.
- Действительно работающей является концепция «точки насыщения»: она предписывает завершить сбор данных в тот момент, когда последующие интервью лишь подтверждают ранее сделанные наблюдения и не дают новых инсайтов.
- Существуют эмпирические оценки «точки насыщения»: согласно исследованиям, она практически всегда достигается в интервале от 9 до 17 респондентов (а в среднем для ее достижения следует провести 12-13 интервью).
- При планировании качественных исследований лучше фиксировать количество интервью в виде небольших интервалов: это позволит раньше приступить к анализу собранных данных, а ценность результатов не пострадает.
Частые вопросы о глубинных интервью
Сколько интервью нужно провести в качественном исследовании?
Универсального числа нет — считать нужно от точки насыщения. Но есть эмпирический ориентир: согласно систематическому обзору, точка насыщения практически гарантированно достигается в интервале от 9 до 17 респондентов, а в среднем для неё нужно 12–13 интервью.
Это ориентир для планирования, а не норма: итог зависит от аудитории, числа сегментов, методологии, темы и опыта интервьюеров.
Правда ли, что достаточно пяти респондентов?
Нет, это самое распространённое заблуждение. Правило Нильсена про пять человек относится только к юзабилити-тестам, которые ищут проблемы интерфейса и дизайна цифровых сервисов. Переносить его на интервью, не связанные с юзабилити конкретного интерфейса, нельзя.
Даже внутри юзабилити-тестирования пятёрку умножают на число типов пользователей: у электронного дневника это школьники, учителя и родители — то есть уже пятнадцать человек, а не пять.
Что такое точка насыщения?
Момент, когда очередные интервью перестают приносить новые инсайты: новые респонденты в разных комбинациях повторяют то, что уже сказали предыдущие. На этом сбор данных можно останавливать.
Осторожность нужна с ложным насыщением: провал может дать неразговорчивый респондент или ошибка интервьюера. Поэтому стоит провести хотя бы одно дополнительное интервью — и если инсайты снова пошли, продолжать.
Сколько длится глубинное интервью?
В нашей практике полноценное глубинное интервью — это разговор примерно на час. Десятиминутная беседа глубинным интервью не является: десяток профессионально проведённых часовых интервью при прочих равных ценнее полусотни поверхностных бесед.
Сколько вопросов должно быть в гайде интервью?
Жёсткой нормы нет, и число вопросов вторично по отношению к методологии. В структурированных экспресс-интервью вопросов больше, а инсайтов с одного респондента меньше — поэтому и респондентов нужно больше. В неструктурированных глубинных интервью наоборот: гайд задаёт направления, а не список вопросов, и один разговор может дать больше, чем пять коротких.
Как зафиксировать количество интервью на старте коммерческого проекта?
Три рабочих приёма. Первый — систематизировать собственный опыт по четырём параметрам: сколько провели интервью, сколько это стоило, сколько заняло времени и сколько дало инсайтов. Второй — посмотреть на аналогичные исследования: у консультантов и в научных журналах выборки обычно указаны прямо.
Третий — фиксировать не точное число, а интервал: 18–20 вместо 20. Это спасает финал проекта. У нас был случай, когда на последней неделе сорвалось двадцатое интервью, и команда искала замену вместо работы над отчётом.
Читайте также: