Процедура фокус-тестирования на примере "Нямстеров"

Дмитрий Ножнин
Продюсер и ведущий геймдизайнер по внешним проектам в фирме "1С". В прошлом работал над проектами "Аллоды" 1 и 2, "Проклятые Земли", "Демиурги" 1 и 2, "Вторая Мировая".

Моя прошлогодняя статья про фокус-тестирование вызвала довольно много вопросов от читателей и коллег по работе, в частности, по непосредственно самой процедуре тестирования - что делать и на что обращать внимание.

А тут так совпали светила в созвездии Водолея, что третьего дня мая было вдохновение провести небольшой фокус-тест и написать детальную статью. Поводом стало обсуждение занимательной казуальной игрушки "Нямстеры" в dtf.блогах. В качестве подопытного кролика была привлечена моя девушка.

Цель данной статьи - рассказать на одном примере в самых-самых подробностях саму процедуру, представить стенограмму фокус-тестирования, а также анализ результатов. Не воспринимайте эту статью как подробный разбор самой игры, я больше концентрировался на описании процедуры проведения фокус-теста. У меня было время и желание только для одной прекрасной подопытной, но рекомендации я старался давать по проведению более масштабного тестирования.

Цель
Фокус-тестирование финального продукта на привлекательность для потребителя, понимание и интересность геймплея, желание купить.

Фокус-группа
Наталья, врач. Опыт PC игр: нет. Опыт казуальных игр: средний. Luxor, Zuma, Жуки@mail.ru, Птички.

Условия
Участники ничего не знают о продукте. Предлагается запущенная игра, с заставки. На тестирование отводится 60 минут (стандартное время бесплатной игры). Монитор 19" LCD, разрешение игры по умолчанию 800х600.

Процедура
Я слежу за игрой фокус-тестера, делаю пометки в блокноте. Иногда задаю уточняющие вопросы, стараюсь в паузах между уровнями. НЕ комментирую никак процесс и НЕ помогаю ничем, ни единой подсказкой.

Удобная для фокус-теста точка наблюдения - сбоку, потому что надо видеть и происходящее на экране, и руку на мышке, и невербальную реакцию фокус-тестера.

Фокус-тестерам явно предлагается в свободной форме комментировать происходящее, высказывать свои мысли и пожелания. По ходу тестирования я очень ненавязчиво про это напоминаю наводящими вопросами.

Комментарии
Я буду концентрироваться только на самом тестировании, для лучшего понимания статьи рекомендую скачать "Нямстеров" и самим поиграть бесплатные 60 минут.

Смайлики в тексте означают явную и сильную невербальную реакцию.

Диалоги и цитаты - это то, что озвучивалось голосом в процессе тестирования, в статье выделено курсивом.

Структура материала такая (и я очень рекомендую ее придерживаться при фокус-тестах, ниже буду рассказывать почему):

1. Непосредственно лог тестирования, расшифровка "сзд. иг. - неоч. к. знч." из блокнота в читаемую форму. Это фактическая информация, записанная во время фокус-теста
2. Отчет по данному фокус-тестеру, скомпилированная и отсортированная фактическая информация
3. Сводный анализ отчетов, интерпретация фактов, предложения и идеи, список багов.

1. Едят все!

[Заставка]

- Как тебе название игры?
- Прикольное, короткое, запоминающееся :)
- А кто на картинке изображен?
- Жирафы!

[Главное меню]

Создать игрока - неочевидно, что это кнопка. Секунд 10 попытки кликнуть в существующее имя, в название окошка, легкое торможение.

- Картинка прикольная, яркая, подвижная, объемная.

[Новая игра]

- Очень мелко все

Инструкции плохо читаемы. Приходится щуриться и наклоняться к монитору.

- Правила игры понятны?
- Да, вполне, надо попробовать

[Уровень 1-1]

Легкие проблемы протягивания нямов. Коллизии с неправильными фруктами.

- Как тебе первый уровень?
- Нормально, пока понятно.

[Уровень 1-2]

Перемещене нямов между лунками - ок.
Поедание двух фруктов подряд - ок.

[1-3]

- Почему за лучшее время ничего не дали!?

Неочевидна последовательность и угол изгиба няма при длинном протягивании.

- Непонятно что там выскочило, награды что ли?
На экране в разгар игры появилось две награды - Тянучка и Суперобжора, и улетели за край экрана.

- Ты поняла, что это было?
- Вроде награды, но я занята была фруктами, не успела посмотреть.

[1-4]

- Непонятно, когда кончается уровень, хочется еще играть, не все же съедено! :-/

Не очень понятен угол изгиба, как можно, и можно ли специально зацепить несколько фруктов.

[1-5]

Уровень с большим количеством фруктов. Запуталась. Четкая реакция замешательства.

Размораживает фрукты перед протягиванием няма.

- Что было сложно, в начале ты запуталась?
- Да, много очень всего на экране
- Но получилось разобраться?
- Да, все нормально

- Что понравилось в игре пока?
- Новые фишки, есть прогресс, что-то появляется

[1-6]

Размораживает фрукты перед протягиванием на них няма.

- А зачем ты размораживаешь фрукты?
- Так замороженные же нельзя есть!

Активная разморозка всех фруктов на уровне кликами.

- Почему остаются фрукты? Непонятно. Хочется собрать все!
Непонятен критерий конца уровня

- Ты поняла, что такое успех?
(легкое замешательство)
- Нет, что-то там ползет

[1-7]

Музыка очень нравится :)

Проблема клик-переноса между лунками. Клик на червя, потом на лунку - не перелезает, фокус куда-то теряется.

Первая попытка протянуть хитро, между несколькими препятствиями. Протягивание на 7 фруктов сразу. Но при этом чаще всего протяжки на 1-2-3.

- Почему ты тянешь на 1-2 фрукта, а не дальше?
- Хмм, не знаю.
- Сложно понять, как можно захватить много фруктов?
- Да нет, это видно, просто не соображаю.

[15 минут]

- Как тебе впечатления от игры?
- Нравится

[1-8]

Непонятные коллизии, легкое раздражение.

- Уровень понравился :)

[1-9]

Статические препятствия - ок.
Уже не оставляет огрызков, доедает фрукты до конца.
Опять проблема клик-переноса между лунками.

Перетягивание няма уже в процессе поедания на еще один фрукт - ок!

Непонятно, что такое успех, внимание на нем не останавливается. Нет связи между действиями на поле и шкалой.

[Покупка]

Кликает на барабанах. Потом на качестве. Легкое замешательство. Хочет выбрать барабан.

- Ты понимаешь, что тебе предлагают?
- Да, могу купить барабан, но не понимаю где цена и как купить-то! :(

Нажала купить - покупка автоматом. Легкое недоумение.

[Концерт]

- Правила понятны?
- Честно говоря, не очень

Разобралась быстро, 4 пропуска.

[2-1]

Уровень пройден за 30 секунд.
- Я не поняла как прошла уровень, все так быстро, я хочу играть еще!

[2-2]

Ошибки координации. Кликает на красного няма с желтой молнией, и пытается им есть желтые фрукты.

- Рябит в глазах уже :(

Использует клик на няма для ускорения поедания.
Нравится звук быстрого поедания.
Хочется клик на бонусе. Все бонусы пытается сначала кликнуть.

- Хочется гибкости, хочется, чтобы можно было по фруктам кликать по каждому, как ему ползти!
Экспрессивно, и это до появления бонуса гибкости!

Не понимает, что жук сбивает длинного няма. Пытается тянуть заново, а не кликать жука.

- Ты поняла, что делают жуки?
- Да, кусают нямчиков

[2-3]

Очень нравится, когда все едят :)

Драг-дроп перенос червей: понял проблему. Проблема в том, что при быстрой игре пытается няма не кликнуть, а перетащить на десяток пикселей. Это сбивает фокус, и дальше клик на другую лунку не переносит няма.

Попытка обмена нямов переносом - они столкнулись. Реакция непонимания.

[30 минут]

Признаки усталости и потери концентрации.
- Уже надоедает?
- Да :( Хочется уже музыкальный инструмент, надоело фрукты есть.

[2-5]

Видна легкая усталость.

Баг - 2 бонуса наложились - подсказки улетели, непонятно. Выдались два бонуса подряд - перекрашивание и смывание.

- Как тебе новые бонусы?
- Перекрашивание класс :)

- (на карте мира) Кааак же долго до музыки еще! :(

[2-6]

Раздражение от Г-коллизий. Два раза.
- :(

Опять потеря фокуса при перемещении нямов.

- (при взгляде и движении мыши вокруг шкалы успеха) Никакого успеха :(

[2-7]

- Гибкость!!! :)
Бонус Гибкость сходу понятен. Сложные конструкции, оптимизации пути.
Хочется развернуть гибкого няма, непонятно как.
Использует гибкость и кликом по каждому фрукту, и непрерывной протяжкой.

- Непонятно, почему не могу :(
Ням через 3 пустые лунки непонятно почему не тянется, убегает в норку. Баг?

- Как тебе бонус гибкость?
- Супер!!!! :) Но может, конечно, и не надо его с самого первого уровня давать.

[2-8] [45 минут]

Коллизии со статическими объектами, непонимание, попытки пиксель-хантинга при протягивании.

- Понятно по иконкам, что делают бонусы?
- Да, вполне

- Все едят :)

- Я не понимаю, когда же кончается уровень :( Вроде, там наверху что-то, но я не успеваю посмотреть.

[2-9]

- Музыка нравится :)

Опять потеря фокуса, непонимание, почему нямы не меняются местами. Опять драг-н-дроп червей вместо кликов, испуг - непонимание почему.

- Я поняла, как уровень выигрывается!

Баг - бомба исчезла сама по себе (возможно, правый клик?)

[2-10]

Использует сложные оптимизации, перетягивая червей через пустые лунки.

- Все едят :)

- Что понравилось в этом уровне
- Да ничего осбенного

[2-11]

- Все едят :) Легкий уровень :)

Когда едят - хочет кликнуть на лунке, чтобы ням спрятался и перетянуть его по другому пути. Приходится кликать на голову.

Баг? Вылез экран трофеев, звук конца уровня. Потом все нормально продолжилось.

[2-12]

Опять попытка драг-н-дропа в чужую лунку

- Все едят :)

Музыка очень нравится :) Притоптывает в такт.

[60 минут]

Активно бьет жуков.
Перекрасила поле бонусом именно в нужный для выигрыша уровня цвет, осознанно.

[Покупка]

- Ну сколько стоит-то пианино? (раздражение)

[Концерт]

Немного запаздывает. Чуть-чуть медленнее, и поймала бы все ноты.

- Как тебе игра?
- Прикольно, но больше 1 раза не хочется
- Больше 1 раза сесть в нее поиграть?
- Нет, один раз бы прошла полностью, но не больше. Хотя не знаю, если бы было больше музыки и больше инструментов. Хочется разных мелодий, разных музонов. Было бы прикольно, если мелодия составлялась только из пойманных ноток.
- Трофеи понравились?
- Да, названия прикольные, только непонятно за что их дают :)
- А что не понравилось, показалось неудобным?
- Панелька с числом фруктов. Я не смотрю туда. Может звуком как-то предупреждать бы.
- Ок. Ты бы купила игру, чтобы дальше играться?
- Угу
- А сколько бы заплатила?
- Нуу, за 150-200 рублей бы купила, но точно не больше.

[Afterparty]

Комментарии уже после теста, в течении вечера:

- Что такое нон-стоп режим?
- Скорость бы помедленее. Сделать надо много, за всем не успеваешь :( Чувствуешь себя дурой.
- Не люблю, когда много цветных нямов, голова болеть начинает.
- идея есть, бонус-замедлитель времени, чтобы все успеть.
- КТО ТАКАЯ КАТЯ У ТЕБЯ НА ПЕРВОМ МЕСТЕ В РЕКОРДАХ?