Мы проводим
Наши тестирования отчасти похожи на коридорные тесты: мы тоже узнаём у респондентов, как они понимают продукт и как пользовались бы им в реальной жизни. Проблема коридорных тестов в том, что исследователь может получить нерелевантные данные, потому что опрашивает случайных людей, которые могут не входить в целевую аудиторию продукта. Так что мы взяли эту методику за основу, но доработали её под свои задачи.
Наш главный инструмент — программа тестирования. Она помогает нам и клиенту моделировать
Обычно программа тестирования состоит из блоков «Проблемная ситуация», «Цель», «Выборка», «Задача» и «Вопросы».
Блок «Проблемная ситуация» описывает проблему, которую мы хотим решить с помощью тестирования. Например, у нас есть лендинг о страховке квартиры, конверсия на нём низкая, но мы не понимаем, в чём именно причина.
«Цель» вытекает из проблемы: она задаёт направление тестирования и определяет его задачи. Если проблема звучит так: «У нас есть лендинг о страховке квартиры, конверсия на нём низкая, но мы не понимаем, в чём именно причина», то целью тестирования будет — понять, почему люди не оформляют страховку.
Когда мы определились с целью, то начинаем думать, как её достичь. Для этого раскладываем цель на отдельные задачи. Если цель — понять, почему люди не оформляют страховку на квартиру, то задачи могут быть такие:
В блоке «Вопросы» мы перечисляем то, о чём хотим спросить респондентов, например:
В «Выборке» описываем людей, которых планируем опросить. Для тестирования лендинга о страховке квартиры мы выбрали респондентов в возрасте
Это пример программы тестирования. Но для каждого тестирования заполняется своя программа, потому что проблема, цель, задачи, выборка и вопросы могут отличаться. Если скопировать информацию о другом проекте и применить на своём, можно получить нерелевантные данные
На первый взгляд заполнить программу проще простого. Это действительно нетрудно, но есть нюансы. Если их не учесть, можно получить недостоверную информацию и сделать ошибочные выводы.
Хорошая формулировка проблемы состоит из описания ситуации и объяснения, почему это проблема. Чем чётче мы сформулируем проблему, тем лучше поставим цель тестирования. Если же формулировка будет размытая, есть риск, что исследовать будем не то.
Вот как мы сформулировали проблему в одном из тестирований:
«Мы не знаем, почему у нас покупают (ситуация). Следовательно, не можем транслировать нашу ценность тем, кто у нас ещё не покупает» (объяснение).
Объяснение помогает понять, что именно не так с ситуацией. В нашем примере мы не знаем, почему у нас покупают, поэтому не знаем, как правильно рассказывать о том, какие мы классные. Чтобы это исправить, нам нужно понять, на что нынешние покупатели обращают внимание. Вот вам и цель тестирования.
Чёткая формулировка проблемы
Мы не знаем, почему у нас покупают. Следовательно, не можем транслировать нашу ценность тем, кто у нас ещё не покупает.
Верная цель тестирования
Понять, на что нынешние покупатели обращают внимание.
Когда мы берём ситуацию без объяснения, то создаём слишком широкий контекст. В этом случае легко поставить не ту цель, а следом — задачи и вопросы.
Размытая формулировка проблемы
Мы не знаем, почему у нас покупают.
Разные цели тестирования
Для наглядности покажем ещё несколько примеров с хорошими и плохими формулировками проблемы.
Не проблема
Мы не знаем, почему у нас покупают.
Проблема
Мы не знаем, почему у нас покупают. Следовательно, не можем транслировать нашу ценность тем, кто у нас ещё не покупает.
Не знаем, чего не хватает в текущей версии сайта.
Не знаем, чего не хватает в текущей версии сайта. Не уверены, что новый прототип будет закрывать все вопросы, возражения и доносить необходимую ценность.
Плохая страница, её нужно улучшить.
Нужно проверить гипотезы улучшений страницы услуги, но непонятно, что на ней улучшать.
Открытые вопросы — это вопросы, которые подразумевают развёрнутые ответ, а не только «Да» или «Нет». Они помогают лучше разобраться в проблеме.
Закрытый вопрос
Пользуетесь ли вы для поиска Яндексом?
Открытый вопрос
Как вы ищете подрядчика?
Обратили ли вы внимание вот на эту кнопку, когда попали на страницу?
Что вы видите, когда попадаете на страницу?
Рассматривали ли вы нашего прямого конкурента — компанию Х?
Как вы выбирали подрядчика?
Чего следует избегать — наводящих или закрытых вопросов.
Наводящие вопросы отчасти содержат ответ или на него намекают. Таких вопросов лучше избегать, потому что они заранее предопределяют ответ респондента, тем самым мешают докопаться до правды.
Закрытые вопросы сужают контекст настолько, что обратная связь становится бесполезной. По сути, респондент либо подтверждает, либо опровергает сказанное интервьюером.
У нас была задача — выяснить, почему мобильная версия приложения плохо продаёт. В числе прочих мы задали респондентам открытый ненаводящий вопрос. Ответы на него помогли нам найти проблему, а позже устранить её.
Открытый ненаводящий вопрос
Что вы видите, когда попадаете на страницу?
Возможная проблема
В углу экрана появляется всплывающее окно,
Если бы мы сформулировали вопрос иначе: задали бы наводящий или закрытый вопрос, то могли бы получить обратную связь, которая бы никак не помогла.
Открытый наводящий вопрос
Какие кнопки вы видите, когда попадаете на страницу?
Бесполезная обратная связь
Вижу кнопки «Каталог», «Домой».
Закрытый вопрос
Обратили ли вы внимание вот на эту кнопку, когда попали на страницу?
Бесполезная обратная связь
«Да», «нет».
Важно следить за тем, чтобы в выборке была только целевая аудитория тестируемого продукта. Мы убеждены, что нецелевая аудитория может дать нерелевантную обратную связь, потому что не погружена в контекст или проблема для них не актуальна.
Приведу в пример реальную ситуацию: на одном из проектов нам нужно было узнать, что мешает пользователям заказывать эксклюзивный ремонт с дизайном под ключ.
Если бы мы спросили об этом первого попавшегося коллегу, он мог бы ответить, что ему всё нравится. Можем ли мы доверять этому ответу? Скорее всего, нет. Возможно, коллега спешил на обед, поэтому ответил первое, что пришло в голову. Возможно, ему было лень вникать в продукт, который ему не интересен. Мы не знаем наверняка.
Предположим, коллега
В обеих ситуациях обратная связь от коллеги не помогла бы нам улучшить страницу. В первом случае мы бы узнали, что всё хорошо, и ничего не стали менять. Во втором — поработали бы впустую, потому что внесли изменения, которые ни на что не влияют.
Зная о риске получить бесполезную обратную связь, мы нашли людей с запросом на дорогой ремонт. Они изучали лендинг и параллельно рассказывали, что их беспокоит. Например, одни не доверяли отзывам от незнакомых людей, другим не хватало конкретики на первом экране, третьи уходили,
Проблема, вопросы и респонденты — основное, чему следует уделить максимум внимания. Проблема стоит первой в логической цепочке создания программы. Если сформулировать её некорректно, то цели, задачи и вопросы тоже будут неверными.
С помощью правильных вопросов исследователь добывает информацию, которая помогает улучшить продукт. Если он задаёт наводящие или закрытые вопросы, то может получить бесполезную обратную связь.
Респонденты — источники информации, которая нужна для улучшения продукта. Когда в тестировании участвует только целевая аудитория, шансы получить полезную обратную связь возрастают.
Если с этими пунктами всё в порядке, скорее всего, тестирование смоделировано верно.
Рассказал Роман Кирьяков, записала Лариса Васина, отредактировала Наташа Ганецкая.
30 марта 2021
Устройство агентства
Презентация подходаИнструменты
Устройство агентства
Правила выживания для стажёров и сотрудниковИнструменты
Кластеризатор ключевых слов на Power QueryУправление
План обучения менеджеровПродолжая пользоваться сайтом, вы принимаете соглашение о передаче данных.