СОЗДАНИЕ БАЗОВОГО СЛОВАРЯ ЖЕСТОВ И ДВИЖЕНИЙ ДЛЯ БЕСКОНТАКТНОГО ВЗАИМОДЕЙСТВИЯ С ТРЁХМЕРНЫМ КОМПЬЮТЕРНЫМ ИНТЕРФЕЙСОМ ДЛЯ ЛЮДЕЙ С ОВЗ

Современные тенденции указывают на то, что в ближайшем будущем человеко-машинное взаимодействие будет подразумевать использование естественных для людей форм коммуникации: опыт общения словами и жестами, опыт управления реальными объектами в реальном мире постепенно становится неотъемлемой частью взаимодействия человека и компьютера и, соответственно, отражается в современных интерфейсах [4].

Вначале, следует определить условные обозначения, которые будут указаны в словаре жестов как начальное, конечное положение руки и направление её движения. Для этого используются интуитивно понятные графические примитивы, дополненные соответствующими подписями (рис. 1).

Рисунок 1. Условные обозначения словаря жестов и их расшифровка

Так как некоторые люди с ОВЗ не имеют возможности долгое время стоять на ногах, то было принято решение ограничить зону распознавания пользователя торсом. В данном случае распознаваться будут лишь положение головы, шеи, плеч, локтей и кистей рук. К тому же, устройство Microsoft Kinect адаптируется под особенности пользователей, просчитывая возможные варианты жестов, так что если человек с ОВЗ не повторит определённое движение в точности, как в словаре жестов, то устройство захвата движения всё равно идентифицирует кисть и определит тип движения [4].

Основными движениями в данном бесконтактном интерфейсе являются перелистывание вправо и влево, а также прокрутка вверх и вниз. Это базовые движения, которые на сегодняшний день интуитивно понятны любому пользователю, который хотя бы раз работал с персональным компьютером. Эти жесты осуществляются взмахом руки в необходимую сторону (рис. 2). Они необходимы в ситуациях, когда информация полностью не помещается на экране монитора, так что разделяется на части (страницы), поэтому для просмотра новой порции информации требуется переход на следующую часть.

Рисунок 2. Жесты листания вправо, влево и прокручивания вверх, вниз

Для облегчения взаимодействия пользователя с ОВЗ с интерфейсом, было разработано такое функциональное улучшение, как «предпросмотр содержимого». Зачастую, пользователи, которые сортируют документы по множеству папок, не всегда могут вспомнить точное месторасположение того или иного файла. Поэтому была создана функция «предпросмотра содержимого», которая позволяет вывести список последних открытых в определённых папках файлов, что может сэкономить много времени н поиск необходимых документов. Данная возможность реализуется путём изображения круга по часовой стрелке для раскрытия списка файлов и против часовой, соответственно, - для их закрытия (рис. 3).

Рисунок 3. Жесты предпросмотра содержимого папки и панели «Пуск»

Также было принято решение создать новое движение, которое упростит работу с меню, подобным элементу «Пуск» в ОС Windows. Так как у пользователей с ограниченной моторикой возникает необходимость совершать действия в системе, затрачивая как можно меньше сил и совершая не очень активные движения, то было принято решение сделать жест максимально понятным и удобным для людей с ОВЗ [2]. Для того чтобы отобразилась панель меню, следует немного поднять ладони вверх, как при прокручивании снизу. А чтобы панель скрыть, следует сделать такое же движение, но в обратном направлении (рис. 4). Однако многие пользователи с ограничениями в движении не имеют возможности двигать две руки одновременно, к тому же в одном направлении. Поэтому интерфейс предоставляет возможность совершать данные манипуляции любой одной рукой.

Рисунок 4. Жесты выбора элемента и увеличения или уменьшения объекта

Чтобы совершить «клик» по выбранному жестом элементу интерфейса, следует удерживать ладонь на месте 3 секунды. Как уже было сказано ранее, устройство Microsoft Kinect имеет возможность адаптироваться под особенности пользователей. Поэтому, если задать возможную амплитуду размаха руки в попытках удержать её на одном месте, что не всегда удаётся людям с ограниченной моторикой из-за судорог или непроизвольных спазмов мышц, то можно настроить систему для восприятия дрожащей или даже колеблющейся в пределах 5-10 сантиметрах руки как жест выбора элемента [3].

Последней из возможных базовых функций, адаптированных под пользователей с ОВЗ, является функция увеличения и уменьшения размеров объектов. При просмотре изображения или документа в его изначальном состоянии, не всегда достигаются необходимые для корректного восприятия величины объекта с самого его запуска. Поэтому функция увеличения и уменьшения размеров особенно необходима на сегодняшний день. Увеличение достигается путём раздвигания рук из центра в стороны по диагонали. Не имеет значения, какая именно рука окажется в верхней точке жеста, а какая – в нижнем. Система распознаёт оба положения как один и тот же запрос.

Соответственно, уменьшение элемента может быть получено в том случае, когда руки, разведённые в стороны и находящиеся по диагонали друг от друга, собираются в центре. Причём степень увеличения и уменьшения может достигаться как поэтапно, если указать в настройках, что одно такое движение рук – это один шаг масштабирования элемента, так и плавно – что актуально для пользователей без ограничений в моторике.

Отличительной особенностью разработки является адаптивность и индивидуализация интерфейса – способность осуществить настройку словаря движений для управления системой в соответствии с потребностями каждой категории граждан с ОВЗ. Ещё одной важной особенностью прототипа является возможность встраивания его в виде дополнительного программного модуля для управления операционной системой MS Windows и её системными приложениями.

Список литературы:

1. 3D with kinect / J. Smisek, M. Jancosek, T. Pajdla // Computer vision workshops (ICCV Workshops), 2011 IEEE International conference on, 2011, P. 1154 – 1160;
2. Roger, Y. TsaiPeter, K. Allen Automated sensor planning for robotic vision tasks / Y. Roger, K. TsaiPeter // IEEE Intemational Conference on Robotics and Automation Sacramento, Califomia. - 2011. - 352 p.;
3. Zhang Z. Microsoft kinect sensor and its effect // IEEE Computer Society, vol. 19, № 2, 2012, pp. 4 – 12;
4. Быковский, В. П. Моделирование прототипа интерфейса // Модели систем распределения информации и их анализ. М., 2012.- с. 101-112.