31 января 2020

Инженеры ЦИТМ Экспонента приняли участие во внутреннем пилотном проекте Экспоненты по семантической сегментации видео с камеры автомобиля для построения ADAS систем содействия водителю.

В результате проекта инженерами получено решение на основе нейронных сетей для сегментации исходного видео, распознавания автомобилей в кадре, вычисления расстояния до них и распознавания дорожных знаков, которое впоследствии может применяться как в ADAS системах содействия водителю, так и для построения автономных транспортных средств.

При необходимости данное решение может быть доработано под требования заказчика и смежные задачи: железнодорожный транспорт, навигация мобильных роботов, системы безопасности и т.д.

Проблема

Во многих задачах разработки систем содействия водителю и автономных транспортных средств на первом этапе требуется получить информацию о внешнем окружении объекта, определить другие объекты, классифицировать их и вычислить расстояние до них. Для детектирования объектов, как правило, применяют камеры, лидары и радары, а для классификации объектов используют изображение с камеры.

Решение

В нашем проекте мы ограничились использованием только одного датчика - камерой, ввиду широкого распространения камер уже в серийных автомобилях и возможностью выполнять детектирование и классификацию объектов по изображению с камеры автомобиля. Для сегментации исходного кадра с камеры применена дообученная сегментирующая нейронная сеть DeepLabV3+ c декодером на основе ResNet50. В пилотном проекте нейронная сеть сегментирует исходный кадр на следующие 6 классов: дорога, обочина, автомобили, дорожные знаки, небо и фон. Дальше, на основе данных с камеры и выполняя преобразование координат, вычисляется расстояние до автомобилей, и дополнительная нейронная сеть классифицирует изображения дорожных знаков на 14 классов. Демонстрация работы алгоритма:

Демонстрация работы алгоритма.

Скачать статью полностью вы можете по ссылке ниже.

История успеха
Применение MATLAB для эффективного распознания цифрового кода продукции Tetra Pak
05.07.2021
Новость
Мобильное приложение для сбора изображений автомобильных стекол
27.11.2020
Новость
Новые онлайн курсы ЦИТМ "Экспонента"
29.05.2020
Новость
Сборник материалов VI всероссийской научно-практической конференции "Технологии разработки и отладки сложных технических систем"
03.04.2020
Новость
Внимание! Изменение формата конференции “Технологии разработки и отладки сложных технических систем” на online
18.03.2020
История успеха
Нейросетевой детектор госномера и его портирование на ПЛИС и GPU для устройств Элвис-НеоТек
14.01.2020
Публикация
Детектор дорожных знаков и его портирование на автомобильную GPU платформу Jetson в рамках конкурса Ice Vision
27.12.2019
Видео
Компьютерное зрение
24.11.2019
Видео
MATLAB + Raspberry Pi
21.11.2019
Видео
Цифровые интерфейсы
21.11.2019
Видео
Цифровые интерфейсы: 02. UART (Последовательный интерфейс)
11.10.2019
Видео
Цифровые интерфейсы: 01. Введение
02.10.2019