ПОМОЩЬ СЛАБОВИДЯЩИМ В РАСПОЗНАВАНИИ ДОРОЖНЫХ ЗНАКОВ С ИСПОЛЬЗОВАНИЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ

HELPING THE VISUALLY IMPAIRED IN RECOGNIZING ROAD SIGNS USING COMPUTER VISION

Alexander Gudimov

student, Department of Information Systems and Technologies, Kuban State University,

Russia, Krasnodar

Alexander Karagishiev

student, Department of Information Systems and Technologies, Kuban State University,

Russia, Krasnodar

Nikolai Slesarev

student, Department of Information Systems and Technologies, Kuban State University,

Russia, Krasnodar

АННОТАЦИЯ

Цель: Разработка системы помощи слабовидящим в распознавании дорожных знаков на основе технологий компьютерного зрения.

Метод: Использование методов глубокого обучения для создания модели, способной эффективно идентифицировать дорожные знаки и передавать информацию пользователю через аудиосигналы.

Результат: Разработана система, с помощью которой слабовидящие и слепые люди смогут лучше ориентироваться в пространстве.

Выводы: Применение компьютерного зрения для помощи слабовидящим демонстрирует значительные преимущества и открывает новые возможности для повышения их безопасности и независимости.

ABSTRACT

Goal: Development of a system to assist the visually impaired in recognizing road signs based on computer vision technologies.

Method: Using deep learning techniques to create a model that can effectively identify road signs and communicate information to the user through audio signals.

Result: A system has been developed with the help of which visually impaired and blind people can better navigate in space.

Conclusions: The use of computer vision to assist the visually impaired demonstrates significant benefits and opens new opportunities to improve their safety and independence.

Ключевые слова: компьютерное зрение; глубокое обучение; слабовидящие; дорожные знаки; помощь; YOLO.

Keywords: computer vision; deep learning; visually impaired; road signs; assistance; YOLO.

ВВЕДЕНИЕ

Современные технологии компьютерного зрения предоставляют новые возможности для улучшения качества жизни людей с ограниченными возможностями, в том числе и слабовидящих. Одной из актуальных задач является помощь в распознавании дорожных знаков, что существенно повысит безопасность и независимость передвижения слабовидящих людей в городе или сельской местности. В связи с этим, применение алгоритмов глубокого обучения, таких как YOLO (You Only Look Once), представляет собой перспективное направление, способное обеспечить высокую точность и скорость распознавания объектов в реальном времени.

ЦЕЛЬ И ЗАДАЧИ ИССЛЕДОВАНИЯ

Целью данного исследования является разработка системы, которая позволит слабовидящим пользователям эффективно распознавать дорожные знаки с использованием технологий компьютерного зрения. Основные задачи исследования включают:

1. Анализ существующих методов и технологий для распознавания дорожных знаков.

2. Разработка модели распознавания дорожных знаков на основе алгоритма YOLO.

3. Создание пользовательского интерфейса, который преобразует результаты распознавания в аудиосигналы, понятные для слабовидящих пользователей.

4. Проведение экспериментальной оценки разработанной системы на выборке дорожных знаков, распространенных в городской среде.

МЕТОДЫ.

В качестве основы системы был выбран подход, основанный на методах глубокого обучения, в частности, использование сверточных нейронных сетей (CNN). Для распознавания дорожных знаков была использована модель YOLO, которая известна своей высокой скоростью и точностью. Модель YOLO позволяет обнаруживать и классифицировать объекты на фотографиях и видео, что делает ее идеально подходящей для задач с распознаванием объектов в реальном времени.

Рисунок 1. Пример идентифицированного дорожного знака

На рисунке 1 приведен пример результата работы нашей программы по распознаванию и идентификации знака “пешеходный переход”. После того, как система распознает знак, пользователь со слабым зрением получит уведомление о том, что на пути следования обнаружен пешеходный переход.

Рисунок 2. Идентифицированный знак автобусной остановки

Другим примером для помощи слабовидящему пользователю, будет предупреждение о находящейся поблизости автобусной остановки, что поможет пользователю лучше ориентироваться в пространстве.

Рисунок 3. Идентифицированный знак дорожных работ

Наше приложение может предупредить пользователя о предстоящей опасности впереди, например, о ведущихся строительных работах или нерегулируемом пешеходном переходе. Спектр применения данной программы очень велик. Слабовидящий человек может идти по велосипедной дорожке сам того не замечая, в этом случае ему поступит звуковой сигнал с предупреждением о смене траектории движения.

Система состоит из следующих модулей:

1.  В качестве модуля захвата изображения используются камеры на мобильных устройствах.

2. Модуль обработки данных: включает предварительную обработку изображений (например, нормализация и изменение размера) и последующее распознавание нужных знаков с помощью модели YOLO.

3. Модуль вывода информации: преобразует результаты распознавания в аудиосигналы, которые передаются пользователю через наушники или динамик. Аудиосигналы содержат информацию о типе дорожного знака и его местоположении относительно пользователя.

Результаты.

Пользователи с ограничениями зрения, участвовавшие в тестировании, отметили значительное улучшение в уверенности и безопасности при передвижении. Система позволила им быстрее и точнее распознавать дорожные знаки, что существенно сократило время на принятие решений при пересечении дорог и других опасных участков.

Заключение.

Разработанная система на основе компьютерного зрения и модели YOLO демонстрирует высокую эффективность и потенциал для дальнейшего развития. Внедрение таких технологий может существенно повысить качество жизни и уровень безопасности слабовидящих людей, открывая новые возможности для их независимого передвижения. Дальнейшие исследования будут направлены на улучшение модели распознавания и расширение функциональности системы, включая интеграцию с навигационными приложениями и другими вспомогательными технологиями.

Список литературы:

1. Селянкин, В.В. Компьютерное зрение. Анализ и обработка изображений / В.В. Селянкин. – Санкт : Лань, 2019. – 152 с. – ISBN 978-5-8114-3368-1.
2. Клетте Р. Компьютерное зрение. Теория и алгоритмы / Р. Клетте. – Москва : ДМК-Пресс, 2019. – 506 с.2. Петров П.П., Васильев А.А. Глубокое обучение и его применение в задачах распознавания образов. М.: Научтех, 2022.
3. Прохоренок Н.А. OpenCV и Java. Обработка изображений и компьютерное зрение / Н.А. Прохоренок. – Санкт-Петербург : БХВ-Петербург, 2018. – 320 с.