ИСПОЛЬЗОВАНИЕ СИСТЕМЫ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ РАСПОЗНАВАНИЯ ДОРОЖНОЙ РАЗМЕТКИ

USING A COMPUTER VISION SYSTEM TO RECOGNIZE ROAD LABELS

Yanis Karibov

student, institute PIMiF, Armavir State Pedagogical University,

Russia, Armavir

Evgeny Golodov

scientific advisor, teacher, Armavir State Pedagogical University,

Russia, Armavir

АННОТАЦИЯ

В данной статье рассматривается система распознавания дорожной разметки, основанная на компьютерном зрении и использовании библиотеки OpenCV, позволяющая осуществить автономное движение мобильного робота, обладающего кинематикой полно приводного автомобиля, в пределах полосы движения на дорогах общего пользования.

ABSTRACT

This article discusses a road marking recognition system based on computer vision and the use of the OpenCV library, which allows the autonomous movement of a mobile robot with the kinematics of an all-wheel drive vehicle within a lane on public roads.

Ключевые слова: автономное движение автомобиле подобного транспортного средства по полосе; распознавание дорожной разметки.

Keywords: autonomous movement of a car of a similar vehicle along the lane; recognition of road markings.

Распознавание дорожной разметки играет важную роль в системе автономного движения транспортных средств. Такие системы могут существенно снизить количество аварий и уровень заторов на дорогах. Существует два основных подхода для решения данной проблемы: первый основан на обработке изображений, полученных с камер [1], установленных на транспортном средстве, второй - в основном использует информацию, полученную с датчиков (лидар [2], лазерные датчики [3], сочетание GPS и других разнородных датчиков [4]). Кроме того, часто примеряют комбинацию этих двух подходов при решении задач распознавания и следования дорожной разметки [5]. Задачу управления автономным транспортным средством на дорогах, обладающих разметкой, можно разделить на несколько частей: обнаружение линии, планирование траектории движения и формирование сигнала управления исполнительными устройствами робота [2].

Широкое применение подходов, основанных на компьютерном зрении, обусловлено их низким энергопотреблением, компактностью и доступностью [4]. Обработку полученных с камер изображений проводят с использованием различных методов: методы, основанные на выделении контуров и их обработке [1]; методы, использующие преобразование Хафа [1]; методы, использующие нейронные сети [2]; подходы, основанные на RANSAC-методе [5].

Планирование траектории и реализацию передачи сигнала управления производят на основании полученных после обработки изображений данных.

В данной статье рассматривается система управления автономным движением мобильного робота, обладающего кинематикой полноприводного автомобиля, на дороге с разметкой без учёта статических и динамических помех. Система распознавания дорожной разметки использует изображения, полученные с камеры, и производит их последующую обработку с помощью функций из библиотеки OpenCV. Данная система позволяет поддерживать движение в полосе, затрачивая небольшие вычислительные мощности при этом обрабатывая изображения в реальном времени. При реализации разработанного подхода использовался одноплатный компьютер RaspberryPi 2 и веб-камера LogitechC310.

Система управления автономным движением автомобилеподобного мобильного робота состоит из нескольких уровней:

• нижний уровень - микроконтроллерная система управления, позволяющая осуществить управление рулевым приводом и приводом главного движения;
• верхний уровень - система компьютерного зрения, которая осуществляет обработку информации и подготовку её для передачи на нижний уровень.

Рисунок 1. Функциональная схема системы управления движением робота.

Взаимодействие между микроконтроллером и RaspberryPi 2 осуществляется с помощью передачи одного байта по протоколу передачи данных УАПП (UART).

При реализации системы распознавания дорожной разметки были сделаны следующие допущения: дорожная разметка является непрерывной и имеет две сплошные линии по краям дороги и одну пунктирную в середине; движение начинается и осуществляется в правой полосе дороги; разметка нанесена яркой белой краской на асфальте; для распознавания используется только одна камера, установленная на передней части робота; на дороге отсутствуют статические и динамические препятствия.

Первым этапом обработки полученного с камеры изображения является выделение нижней части, содержащей дорогу с разметкой, и отбрасывание остальной части изображения. Полученное изображение представляет собой, так называемую, область интереса. После чего используется фильтр Гаусса, который позволяет уменьшить шумы на изображении. Следующий этап - это поиск областей белого с помощью цветового фильтра. Для удаления незначительных участков белого цвета, не являющихся частью дорожной разметки, а также для выравнивания границ линий разметки, используются морфологические операции сжатия и расширения. Далее, используя детектор границ Кенни и операцию поиска замкнутых контуров, формируется массив всех контуров. При этом производится фильтрация замкнутых контуров, обладающих слишком маленькой площадью. Поскольку боковая линия является значительно длиннее отрезка центральной, то контуры имеющие большую длину попадают в массив боковых линий. Оставшиеся контуры аппроксимируются прямыми отрезками. Также, производится проверка на выпуклость аппроксимированных контуров и распределение их в массивы боковых или центральных линий. Эта проверка необходима, так как в случае поворота направо правая боковая линия уходит за край изображения, и её размер оказывается сопоставим с размером участков центральной линии, но в отличие от них из-за поворота её контур является невыпуклым. Если в результате поиска обнаруживается более одной боковой линии, то за используемую в дальнейшем координату боковой линии принимается координата самой правой найденной боковой линии. При нахождении только одной боковой линии, её координата используется только в том случае, если её край не граничит с левым краем изображения, что часто происходит при повороте направо (в случае полной потери правой боковой линии из поля зрения камеры). При отсутствии найденных боковых линий на изображении считаем, что линия находится правее области видимости камеры. Координата центральной линии определяется как среднее арифметическое значение координат центров всех найденных участков центральной линии, которые находятся левее найденной координаты правой боковой линии. Направление движения робота рассчитывается как отклонение среднего значения координат центральной и боковой линий дорожной разметки от центра изображения. Для увеличения устойчивости алгоритма к шумам в систему также вводится медианный фильтр, фильтрующий рассчитанные углы поворота рулевых колёс робота. На рис. 2 представлены примеры работы полученного алгоритма.

Рисунок 2. Скриншоты работы алгоритма распознавания дорожной разметки. (а) - найденные контуры, (б) - результат работы

На рис. 2 (а) показан результат работы поиска контуров на изображении с камеры, а на рис.2 (б) - полный результат работы, демонстрирующий выделение области интереса, выделение боковой линии синим цветом на изображении, выделение участков центральной линии красным цветом, а также была добавлена зелёная стрелка, которая указывает желаемое направление движения робота.

B. Система управления приводами мобильного робота

Управляющие сигналы для привода главного движения и привода поворота рулевых колёс передаются с помощью широтно-импульсной модуляции (ШИМ), частота работы ШИМ составляет 73,5 Гц (период - 13,6 мс).

Управляющим сигналом служит один байт информации, т.е. число от 0 до 255, в зависимости от которого происходит изменение угла поворота рулевых колес. Скорость движения остается постоянной. Если полученное число находится в диапазоне от 0 до 128 - колеса поворачиваются на 35° влево, если в диапазоне от 129 до 254 - на 35° вправо, при получении числа 255 - робот производит остановку. Детектирование остановки осуществляется при обнаружении стоп-линии (перпендикулярной основной разметке).

В данной работе была разработана система управления автономным движением         мобильного автомобиле подобного робота по дороге с нанесенной разметкой. Реализованы задачи распознавания дорожной разметки с использованием библиотеки OpenCV и управления движением робота в соответствии с полученными после обработки изображения с камеры управляющими сигналами. Проведены успешные испытания с помощью прототипа четырёхколёсного транспортного средства на полигоне с дорожной разметкой. Полученная система использует небольшие вычислительные мощности, что позволяет использовать одноплатный компьютер RaspebbyPi 2 для ее реализации.

Список литературы:

1. Automated Road Marking Detection System for Autonomous Car /
2. B.S.Khan, M.Hanafi, S.Mashohor //IEEE Student Conferenceon Researchand Development (SCOReD),
3. 2015.pp. 398 – 401.
4. Road Marking Detection Using LIDAR Reflective Intensity Data and its Application to Vehicle Localization / A. Hata, D. Wolf // IEEE 17^th International conference on Intelligent Transportation Systems (ITSC), 2014. pp. 584 – 589.
5. Lane Detection and Street Type Classification using Laser Range Image / J. Sparbert, K. Dietmayer, D. Steller // IEEE Intelligent Transportation Systems Conference Proceedings, 2001. pp. 454 – 459.
6. Jo K., Jo Y., Suhr J.K., Jung H.G., Sunwoo M. Precise Localization of an Autonomous Car Based on Probabilistic Noise Models of Road Surface Marker Features Using Multiple Cameras // IEEE Transactions on Intelligent Transportation Systems, 2015. Vol. 16, no. 6. pp. 3377 – 3392.
7. Labayrade R., Royere C., Gruyer D., Aubert D. Cooperative fusion for Multi-Obstacle Detection With Use of Stereovision and Laser Scanner // Autonomous Robots, 2005. Vol. 19. pp. 117 – 140.