Системы компьютерного зрения

Для алгоритмов компьютерного зрения исходные данные — это изображения или кадры видео. На этом этапе необходимо подготовить базу изображений или видеофайлов на основе которой и будет происходить разработка и тестирование алгоритмов компьютерного зрения. Размер базы изображений зависит от используемых алгоритмов и решаемой задачи и может варьироваться от нескольких изображений до сотен или тысяч изображений необходимых для обучения нейронных сетей. Как правило размер тестовой базы постоянно увеличивается по ходу выполнения проекта.

При использовании алгоритмов машинного обучения и свёрточных нейронных сетей для задач детектирования и классификации объектов необходимо выполнить разметку исходных данных. Разметка данных — это процесс, по ходу которого пользователь выделяет на изображении объекты интереса и распределяет их по классам. Проведение разметки в ручном режиме является утомительным и трудоемким процессом, потому автоматизация этих работ является критически важной задачей. Модельно-ориентированное проектирование предоставляет необходимые инструменты для автоматизации этих задач.

Ключевые особенности:

• Захват данных с фото и видеокамер
• Гибкие и интерактивные инструменты для ручной разметки изображений и видео
• Автоматизированная и интеллектуальная разметка изображений или видео

Модельно-ориентированное проектирование предоставляет широкий выбор инструментов для разработчика алгоритмов компьютерного зрения. При разработке таких систем не всегда получается заранее выявить какой из алгоритмов даст наибольшую эффективность, потому необходимо предоставить разработчику средство быстрого прототипирования и перебора вариантов решения поставленной задачи. Инструменты МОП включают в себя как классические методы работы с видеопотоком, так и элементы искусственного интеллекта, основанные на машинном и глубоком обучении.

Ключевые возможности:

• Анализ и обработка изображений, фильтрация, бинаризация, регистрация изображений, выделение областей и объектов на изображении – анализ на микро уровне. 
• Выделение признаков, слежение за объектами, классификация изображений, стерео зрение, работа с облаком точек – анализ на макро уровне.
• Разработка и обучение нейронных сетей для задач детектирования объектов их классификации и сегментации изображений.
• Разработка алгоритмов классификации изображений на основе машинного обучения.

После моделирования и прототипирования алгоритмов, производимого в арифметике с плавающей запятой с двойной точностью, встает задача подготовки алгоритма для переноса на целевую платформу. Такой платформой может быть микропроцессор с плавающей точкой, но меньшей разрядностью, ПЛИС с фиксированной точкой и потоковой обработкой или GPU. Задача уточнения модели для аппаратной платформы крайне ресурсоёмкая, и при ее решении вносится большое количество сложновыявляемых ошибок. Используя подход модельно-ориентированного проектирования разработчик находится в зоне безопасности, так как ему доступны различные инструменты для автоматизации и доказательства отсутствия ошибок. Например, можно автоматизированно перевести модель алгоритма в арифметику с одинарной/половинной точностью, в арифметику с фиксированной точкой, пересобрать модель в подходящем для ПЛИС формате и т.д.

Ключевые особенности:

• Перевод алгоритма в фиксированную точку или одинарную точность
• Функции для потовой обработке изображений и видео на ПЛИС
• Проверка работоспособности модели с учетом аппаратной реализаии относительно исходного прототипа

Модельно-ориентированное проектирование гарантирует быстрый перенос алгоритмов на встраиваемые платформы посредством генераторов кода. Наличие нескольких генераторов кода, позволяет вам найти наилучший вариант распределения частей алгоритма между ПЛИС и процессорными ядрами. Например, из одной части алгоритма вы можете получить С код и запустить его на процессоре, а из другой подсистемы получить Verilog код и запустить его на ПЛИС. При таком подходе проверка работоспособности алгоритма на реальном оборудовании занимает часы, а не месяцы работы.

Ключевые особенности:

• Генерация C/C++ для различных архитектур микропроцессоров
• Генерация CUDA C кода для запуска на Nvidia GPU, NVIDIA Jetson
• Генерация Verilog/VHDL кода для запуска на ПЛИС