Семантическая сегментация изображения с камеры автомобиля для построения ADAS систем
31 января 2020
Инженеры ЦИТМ Экспонента приняли участие во внутреннем пилотном проекте Экспоненты по семантической сегментации видео с камеры автомобиля для построения ADAS систем содействия водителю.
В результате проекта инженерами получено решение на основе нейронных сетей для сегментации исходного видео, распознавания автомобилей в кадре, вычисления расстояния до них и распознавания дорожных знаков, которое впоследствии может применяться как в ADAS системах содействия водителю, так и для построения автономных транспортных средств.
При необходимости данное решение может быть доработано под требования заказчика и смежные задачи: железнодорожный транспорт, навигация мобильных роботов, системы безопасности и т.д.
Проблема
Во многих задачах разработки систем содействия водителю и автономных транспортных средств на первом этапе требуется получить информацию о внешнем окружении объекта, определить другие объекты, классифицировать их и вычислить расстояние до них. Для детектирования объектов, как правило, применяют камеры, лидары и радары, а для классификации объектов используют изображение с камеры.
Решение
В нашем проекте мы ограничились использованием только одного датчика – камерой, ввиду широкого распространения камер уже в серийных автомобилях и возможностью выполнять детектирование и классификацию объектов по изображению с камеры автомобиля. Для сегментации исходного кадра с камеры применена дообученная сегментирующая нейронная сеть DeepLabV3+ c декодером на основе ResNet50. В пилотном проекте нейронная сеть сегментирует исходный кадр на следующие 6 классов: дорога, обочина, автомобили, дорожные знаки, небо и фон. Дальше, на основе данных с камеры и выполняя преобразование координат, вычисляется расстояние до автомобилей, и дополнительная нейронная сеть классифицирует изображения дорожных знаков на 14 классов. Демонстрация работы алгоритма:
Демонстрация работы алгоритма.
Скачать статью полностью вы можете по ссылке ниже.
