Сколько человек нужно для проведения исследования

Данная статья – авторский перевод статьи известного специалиста по Usability Якоба Нильсона.
http://www.useit.com/alertbox/20000319.html

Существует предубеждение, что обеспечение удобства пользования сайтом вещь весьма дорогая и сложная, и что приглашать пользователей для испытания нужно только для исключительных проектов, под которые заложен большой бюджет и не слишком сжатые сроки. Это неправда. Изощренные тесты на удобство – напрасная трата ресурсов. Самые хорошие результаты получаются при использовании не более 5 пользователей и проведении стольких коротких сеансов, сколько вы себе можете позволить.

В своем исследовании Том Ландауэр (Tom Landauer) и я доказали, что число проблем с удобством работы с сайтом найденных при проведении тестов с n пользователями равно:

N(1-(1-L)ⁿ)

где N — общее количество обнаруженных проблем с юзабилити, а L — процент проблем с юзабилити, обнаруженных при проведении тестов с одним единственным пользователем. Как правило, L составляет 31%. Это средняя цифра выведена на основе тех проектов, что нам приходилось изучать. Если нарисовать график этой формулы при L равном 31%, то получится следующее:

Самый удивительный вывод из этого графика: при нулевом количестве пользователей-тестеров вы получаете нулевой результат.

Как только вы привлекаете к тестированию одного пользователя, результат немедленно повышается. И вам становится известной почти треть всех проблем вашего дизайна. Разница между этим результатом и нулевым впечатляет.

Когда в тест включается второй пользователь, вы увидите, что он в некоторой степени повторяет действия первого пользователя, и вы узнаете от него, что уже и так знаете. Но люди все-таки отличаются друг от друга, и от второго пользователя вы узнаете то, что заметил второй, и не заметил первый. Так что второй пользователь добавляет в общий результат определенную долю, но уже не такую большую, как первый.

Третий пользователь будет делать многое, что делали первый или второй пользователи, или даже оба вместе. Плюс, естественно, третий пользователь тоже отыщет немного ошибок, но не столько много, сколько первый или второй.

Чем больше вы добавляете пользователей-тестеров, тем меньше нового вы будете узнавать, так как вы будете видеть одни и те же действия и ошибки. Нет смысла много раз наблюдать одно и то же, так что стоит вернуться обратно к чертежной доске и перекроить сайт, чтобы уменьшить количество проблем с юзабилити.

После подключения пятого пользователя-тестера вы начинаете терять свое время, так как повторно будут обнаруживаться одни и те же ошибки, а шансы обнаружить что-то новое будут невелики.

Циклический дизайн

Кривая графика четко демонстрирует, что для обнаружения всех проблем с юзабилити вам необходимо по крайней мере 15 пользователей-тестеров. Так почему же я советую проводит тесты с гораздо меньшим количеством пользователей?

Главная причина в том, что лучше потратить деньги на несколько небольших тестов, вместо того, чтобы вкладывать всю сумму в один, сложный тест. Скажем, у вас действительно есть деньги, чтобы пригласить 15 представителей заказчика и попросить их протестировать дизайн. Прекрасно. Так потратьте эти деньги на три теста с 5 пользователями в каждом!

Несколько тестов хороши потому, что настоящая цель изучения юзабилити – это улучшить дизайн, а не просто засвидетельствовать его недостатки. После первого теста с пятью пользователями вы отыщите 85% проблем с юзабилити. Наверняка вы пожелаете исправить ошибки, переделав дизайн.

После создания нового дизайна, вам необходимо опять провести тест. Хоть я и сказал, что переделка дизайна должна исправить проблемы, обнаруженные при первом тесте, правда заключается в том, новый дизайн только кажется свободным от ошибок. Так как идеальный пользовательский интерфейс создать просто невозможно, нет никакой гарантии, что новый дизайн не имеет никаких проблем и ошибок. Второй тест должен показать, сработали ли ваши исправления, или нет. Так же в новый дизайн может вкрасться новая ошибка юзабилити, несмотря на то, что старые ошибки были исправлены.

Так, второй тест с пятью пользователями поможет вам найти оставшиеся 15% ошибок, необнаруженных при первом тесте. (По прежнему останется еще 2% ненайденных ошибок, которые будут обнаружены при третьем тесте).

Наконец, второй тест позволит более глубоко исследовать саму структуру сайта, оценить его информационную архитектуру, проверить порядок исполнения действий, подогнать сайт под требования пользователей. Эти важные моменты обычно ускользают из поля зрения при начальных тестированиях. Тогда пользователи тратят время, преодолевая различные глупые поверхностные ошибки в пользовательском интерфейсе. Им уже не до более глубоко изучения сайта.

Так что второй тест будет служить проверке результатов переделки после первого теста и поможет более глубоко оценить сайт. При втором тесте неизбежно получится новый (но меньший) список проблем с юзабилити, которые нужно будет решать при новой переделке дизайна. И опять же: не все проблемы при новой переделке будут решены; некоторые очень глубокие ошибки неизбежно всплывут, когда при переделке вы расчистите интерфейс. Вот для этого и нужен третий тест.

Следовательно, качество вашей работы и удовольствие пользователей от работы с сайтом увеличится гораздо больше, если будут проведены три теста по пять пользователей-тестеров, чем один большой тест с 15 пользователями.

Почему одного пользователя недостаточно?

Казалось бы, пятнадцать тестов с одним пользователем могут быть еще более эффективными, чем три с пятью. Ведь график показывает, что от первого пользователя мы узнаем намного больше, чем от последующих, так зачем привлекать этих последующих? По двум причинам:

• Всегда существует риск, что вас собьет с толку поведение одного единственного пользователя, который натолкнулся на проблему совершая спонтанные и совершенно неважные действия. Даже трех пользователей достаточно, чтобы понять различие в поведении пользователей, и определить, что между ними общего, а что нетипично
• Анализ тестов с точки зрения затрат и выигрыша показывает, что три-пять пользователей – это оптимальное количество в зависимости от стиля теста. Всегда есть определенная постоянная стоимость затрат, связанных с планированием и проведением теста: лучше всего разложить эти начальные затраты на результаты, полученные от нескольких пользователей, чем всего лишь от одного.

Когда следует привлекать много пользователей?

Если предполагается, что у сайта будет несколько сильно различных групп пользователей, к тесту следует привлечь большее количество пользователей. Наша формула относится к тем случаям, когда есть пользователи, работающие с сайтом в примерно одинаковом стиле.

Например, у вас есть сайт, которым будут пользоваться как дети, так и родители. В этом случае две группы пользователей будут вести себя на сайте совершенно по разному. Следовательно, необходимо проводить тесты с представителями из обеих групп пользователей. То же самое относится, например, к сайту, назначение которого – свести в одном месте продавцов и покупателей какого-либо товара.

Даже если группы пользователей очень сильно отличаются друг от друга, все-таки что-то общее в их поведении будет. Ведь все они – люди. Кроме того, многие проблемы с юзабилити относятся к фундаментальным принципам взаимодействия людей с Web и влиянием других сайтов на поведение пользователей.

При проведении тестов с группами различных пользователей нет необходимости составлять большую группу, как это делается при проведении тестов с одной единственной группой пользователей. Так как результаты тестов будут пересекаться, лучше всего в каждую группу включить небольшое количество пользователей. Я рекомендую:

• 3-4 пользователя для каждой категории, если тест проводится с двумя группами
• 3 пользователя для каждой категории, если тестирование проводится с тремя и более группами (3 пользователя как минимум нужны для того, что бы у вас получилось большее разнообразие в поведении пользователей внутри каждой отдельно взятой группы)

Якоб Нильсен