ПОЛЕВЫЕ МЕТОДЫ ОЦЕНКИ ПОЛЬЗОВАТЕЛЬСКОГО ОПЫТА В МОБИЛЬНЫХ ПРИЛОЖЕНИЯХ

С наступлением эры смартфонов рынок приложений активно процветает: согласно статистике за 2018 год [2], в Google Play Store загружено 2,1 млн сервисов, в Apple App Store – 2 млн, при этом средний пользователь ежедневно запускает около 9 сервисов, проводя в них более 5 часов, и устанавливает минимум одно новое каждый месяц [6, с. 56]. Однако известно, что люди чувствуют себя менее комфортно в мобильных приложениях по сравнению с настольными. Это связано, во-первых, с характерными качествами портативных устройств, такими как небольшой размер экрана, сенсорное управление, единственное рабочее окно, ограничение мощности процессора и объема оперативной памяти, нестабильное соединение с сетью и т. д., а во-вторых – с некорректным проектированием пользовательского опыта.

Пользовательский опыт (англ. User Experience, UX) – это многогранная концепция, находящаяся на стыке психологических, социальных и информационных наук. Термин был популяризован американским ученым Д. Норманом в 1990-х годах и сегодня официально трактуется как «впечатления пользователя, возникающие в результате использования и/или предстоящего использования продукции, системы или услуги» [1, с. 9]. Процесс UX-проектирования призван обеспечивать позитивное восприятие человеком цифрового продукта на когнитивном, эмоциональном, чувственном, физическом уровнях путем грамотной проработки всех взаимодействий на основе сценариев и карт путешествий. Для тестирования принятых проектных решений, обнаружения ошибок, а также получения представления о конкурентоспособности готового продукта проектировщики проводят исследования по измерению/оценке пользовательского опыта.

Как правило, специалисты стремятся оценить общий или суммарный опыт пользователя. Он складывается из таких элементов, как удобство использования, гедонистические качества продукта, эстетика, эмоционально-чувственные реакции человека и его субъективные ценности по отношению к конкретному приложению. Каждый аспект обладает рядом атрибутов, которые выполняют функцию мер (например, для юзабилити это эффективность, результативность, удовлетворенность и др.). Помимо этого, общий UX учитывает факторы воздействия на опыт, которые не измеряются, но помогают в дальнейшей интерпретации данных. К ним относят индивидуальные характеристики пользователя (настроение, физические ограничения, ожидания), системные характеристики (атрибуты аппаратного и программного обеспечения (ПО) устройства, используемого при тестировании) и контекст (временные, технические, социальные и иные параметры среды, в которой происходит взаимодействие). Таким образом, мы выводим следующее определение для оценки UX: это установление актуального состояния общего пользовательского опыта путем исследования мер (то есть атрибутов) его основных элементов при помощи специализированных методов.

Методы оценки разделяются по многим критериям, однако самым значимым для мобильных исследований является место их проведения: лаборатория, поле, онлайн. Универсальными методиками, применяемыми в любой обстановке, являются исследования типа анкетирование/шкалирование. Специалисты рекомендуют проводить мобильные оценки в реальных условиях на собственных устройствах участников, так как это обеспечивает захват более реалистичного опыта с учетом предустановленных настроек, получение более качественных, несмещенных данных от пользователя ввиду отсутствия психологического давления, а также выявление специфических проблем юзабилити. К современным методикам in-situ (от лат. «на месте») относят логгинг, дневниковые исследования и метод выборки переживаний.

Логгинг – парадигма ненавязчивого мониторинга и сбора количественных данных о действиях пользователя, его эмоциональных реакциях и окружающем контексте. Принцип работы подобных методов основан на полном невмешательстве исследователей в повседневные задачи людей благодаря специальному ПО, которое регистрирует информацию через встроенные датчики устройств (GPS, акселерометр, камера, Bluetooth и др.) в фоновом режиме. Привлекательность подхода определяется его прозрачностью для участников эксперимента, точностью отображения контекста и возможностью зафиксировать интуитивные и бессознательные действия пользователей [5]. Тем не менее, недостатки логгинга заключаются в необходимости интерпретации большого объема данных и жестких требованиях относительно конфиденциальности и этики. В качестве примеров можно привести фреймворк Funf, платформу Morae, коммерческие сервисы Google Analytics for Mobile Apps (GAMA), Localytics и User-Metrix, а также авторские разработки Дж. Ф. Фильо и соавт. [3] и Е. Карапаноса [4]. Последний представил подход «реконструкция с помощью технологий» (англ. Technology-assisted reconstruction, TAR), который включает в себя инструменты, фиксирующие визуальные, локационные, социальные сигналы для последующей активации воспоминаний у участника. TAR эффективно применяется в совокупности с дневниковыми исследованиями, так как подробная расшифровка полученных данных непосредственно от пользователя полезна для глубокого понимания опыта.

Дневниковые исследования представляют собой продольные самоотчетные методологии, в которых пользователи ежедневно описывают свои эмоции и впечатления от работы с продуктом с целью сбора специалистами качественной субъективной информации. Сообщаемые пользователем сведения могут иметь предписанный характер, то есть касаться исключительно установленных специалистом вопросов, или открытый, когда тема повествования заранее не указана. Традиционно подобные исследования предписывали использование бумаги и ручки, но сегодня инструментами для ведения дневника могут быть блоги и микроблоги, журналистские онлайн-инструменты, офисные ПО (например, Excel), профессиональные системы управления контентом; также в последние годы зародилась идея по реализации «облачных» дневников [7]. Наиболее распространенным примером является метод реконструкции дня (англ. Day Reconstruction Method, DRM), который предписывает ведение ретроспективного дня строго один раз в день (как правило, вечером) с сохранением хронологического порядка наиболее значимых эпизодов (не более трех).

«Золотым стандартом» оценки UX в поле является метод выборки переживаний (англ. Experience Sampling Method, ESM) – количественно-качественная методология, призванная ежедневно в режиме реального времени запрашивать у людей документацию и комментарии своих мыслей, чувств и действий в контексте повседневной жизни. Современная структура ESM включает в себя анкеты для сбора субъективной информации, датчики мобильных устройств и специализированное программное обеспечение, поддерживающее метод [9]. Вопросники снабжены формами ввода информации (текстовое поле, чекбоксы и радио-кнопки, шкала Ликерта, слайдер, файлы мультимедиа), соответствующими различным типам и целям вопросов (открытые/закрытые, имеющие один/несколько вариантов ответа, запрашивающие степень/процент и т. п.). Инструментом исследования выступает смартфон, так как он оснащен большим количеством встроенных сенсоров – GPS, WLAN (Wi-Fi), Bluetooth, микрофон, камера и т. д. Фреймворк или платформа для проведения ESM – это связующее звено между компонентами, внутри которого собираются и обрабатываются данные датчиков и вопросников и согласовываются взаимодействия между ними, например, ПО отвечает за настройку триггеров – обстоятельств, запускающих процесс отправки уведомлений. Наиболее эффективным мобильным ESM-инструментом представляется AWARE – фоновое приложение с открытым исходным кодом, собирающее коллекцию данных аппаратных (магнитометр, фотометр), программных (журналы, социальная активность) и пользовательских (касания, голосовой ввод, вопросник) сенсоров и анализирующее контекстную информацию при помощи дополнительных плагинов.

Для сравнения по заранее определенным критериям В. Рото и соавт. [8] (табл. 1) и охватываемым элементам UX (табл. 2) были выбраны три наиболее перспективных подхода: метод Фильо (авторы не предложили название), DRM + TAR и ESM + AWARE. Из результатов сравнения вытекают следующие выводы: традиционные методы (ESM и DRM) эффективны только в совокупности с технологиями логгинга, что отражает современную тенденцию к применению в UX-исследованиях методологической триангуляции; все методы работают только на финальных этапах разработки продукта, в то же время исследователи рекомендуют оценивать UX на всех фазах; ни один подход не включает в себя ожидаемый/последующий опыт;  ESM + AWARE является самым эффективным подходом за счет точной передачи текущего взаимодействия пользователя.

Таблица 1

Сравнение методов по критериям В. Рото и соавт.

Таблица 2

Сравнение методов по элементам пользовательского опыта

Список литературы:

1.  ГОСТ Р ИСО 9241-210-2016. Эргономика взаимодействия человек-система. Часть 210. Человеко-ориентированное проектирование интерактивных систем. М.: Стандартинформ, 2016. – 32 с.
2. 2018 App Industry Report & Trends to Watch for 2019 [Электронный ресурс].  Режим доступа: https://www.mobileaction.co/blog/app-news-analysis/2018-app-industry-report-trends-to-watch-for-2019 (дата обращения: 19.05.2019).
3. Filho, J. F., Prata, W., Oliveira, J. Where-How-What Am I Feeling: User Context Logging in Automated Usability Tests for Mobile Software // Design, User Experience, and Usability: Technological Contexts: 5th International Conference, DUXU 2016, Held as Part of HCI International 2016, Toronto, Canada, July 17–22, 2016. – pp.14-23.
4. Karapanos, E. Technology-assisted reconstruction: a new alternative to the experience sampling method [Электронный ресурс]. Режим доступа: http://ekarapanos.com/TAR.pdf (дата обращения: 23.05.2019).
5. Kujala, S., Miron-Shatz, T. Emotions, experiences and usability in real-life mobile phone use // CHI 2013: Changing Perspectives, Paris, France, April 27–May 2, 2013. – ACM Press, pp. 1061-1070.
6. Lusky, M., Bohm, S. Quantifying Mobile User Experience. Status quo, Implementation Challenges, and Research Agenda // The Tenth International Conference on Advances in Human-oriented and Personalized Mechanisms, Technologies, and Services (CENTRIC 2017), Athens, Greece, October 8-12, 2017. – pp. 53-58.
7. Poppinga, B. Sensor-supported Unsupervised Observation Techniques for Field Studies [Электронный ресурс]. Режим доступа: http://www.benjaminpoppinga.de/downloads/benjamin-poppinga-phd-thesis-small.pdf (дата обращения: 25.05.2019).
8. Roto, V., Vermeeren, A., Law, E., Väänänen-Vainio-Mattila, K., Obrist, M. User eXperience Evaluation. Which Method to Choose? [Электронный ресурс]. Режим доступа: http://www.allaboutux.org/files/UX-evaluation-methods-CourseMaterial.pdf (дата обращения: 27.05.2019).
9. Van Berkel, N., Ferreira, D., Kostakos, V. The Experience Sampling Method on Mobile Devices // ACM Computing Surveys (CSUR). 2017. Vol.50. №6. P.1-40.