GPU Coder

Используйте GPU Coder совестно с Deep Learning Toolbox для развертывания обученных нейронных сетей на графических процессорах NVIDIA, таких как Tesla и Tegra. Используйте метод передачи обучения для переобучения существующих сетей: AlexNet или VGG-16/19 для решения ваших задач.

Например, вы можете классифицировать только те объекты из набора, которые являются наиболее важными для вас, вместо 1000 объектов, на которых изначально обучалась сеть. Также есть возможность с нуля создать архитектуру нейронной сети и обучить сеть для новой задачи, предварительно собрав базу данных с метками для обучения сети.

 Помимо обученной нейронной сети, GPU Coder также может генерировать код для предварительной и постобработки данных, поэтому на выходе вы получаете готовый алгоритм для решения вашей задачи. Например, вам может потребоваться предварительное повышение контраста для входного изображения. После предобработанные изображения можно подавать на вход нейронных сетей AlexNet или VGG-16 для детектирования и классификации объектов.

Сегментация изображения сетью - SegNet. 2 – генерация кода и запуск алгоритма на NVIDIA Jetson TX2

Детектирование линий разметки. Часть 2 – генерация кода и запуск алгоритма на NVIDIA Jetson TX2

Детектирование объектов сетью YOLO v2 в реальном времени (англ.)

Сегментация изображения сетью - SegNet. 1 – алгоритм в MATLAB

Детектирование линий разметки. Часть 1 – алгоритм в MATLAB

GPU Coder создает CUDA ядра, которые минимизируют пересылку данных в памяти между CPU и GPU и оптимизируют использование памяти на GPU. GPU Coder автоматически анализирует и идентифицирует код и автоматически выделяет сегменты кода MATLAB для запуска на CPU и на GPU. При желании пользователи могут с помощью специальных прагм вручную указать весь код или его часть для запуска на GPU. Код MATLAB, распознанный для запуска на GPU, преобразуется в CUDA ядра и создается из таких программных конструкций, как циклы FOR, поэлементные матричные операции, векторные операции, операции, редукции и т.д. и алгоритмы более высокого уровня, такие как БПФ и функции обработки изображений.

GPU Coder анализирует зависимость данных CPU - GPU ядра, данные используемые совместно процессором и графическим процессором, располагаться в памяти графического процессора с помощью функций cudaMalloc или cudaMallocManaged. GPU Coder определяет минимальное число мест, где данные должны быть скопированы между CPU и GPU с помощью функций cudaMemcpy. Если вы используете общую память в CUDA, GPU Coder также определяет минимальное число вызовов функции cudaDeviceSync, необходимой для корректного поведения кода. GPU Coder поддерживает различные пространства памяти GPU, от локальной до глобальной памяти. В каждом ядре GPU Coder отображает данные в область памяти для увеличения пропускной способности памяти.

Сгенерированный код использует оптимизированные библиотеки NVIDIA CUDA, включая TensorRT, cuDNN, cuSolver, cuFFT, cuBLAS и Thrust.

• NVIDIA TensorRT  - высокопроизводительная библиотека для глубокого обучения, обеспечивающая низкую задержку при выполнении и высокую пропускную способность для приложений с глубоким обучением;
• NVIDIA cuDNN представляет собой ускоренную на GPU библиотеку примитивов для глубоких нейронных сетей и предоставляет хорошо настроенные реализации для стандартных операций: свертка, пулинг, нормализация, активация слоя и т.д;
• NVIDIA cuSOLVER - набор решателей, как обычных, так и для разреженных систем, для ускорения приложений компьютерного зрения и линейной оптимизации;
• NVIDIA cuFFT предназначена для высокопроизводительных вычислений быстрого преобразования Фурье;
• NVIDIA cuBLAS – библиотека стандартных алгоритмов линейной алгебры (BLAS) с ускорением на графическом процессоре;
• Thrust - библиотека шаблонов C++ для CUDA, которая предоставляет обширную коллекцию примитивов для параллельной обработки данных: сканирование, сортировка, прореживание и т.д. для реализации высокопроизводительных параллельных приложений с минимальными затратами на программирование.

Вы можете добиться дополнительного ускорения, используя шаблоны для CUDA ядер при разработке алгоритмов MATLAB. Шаблоны для CUDA ядер вы можете использовать в таких операций, как свертка, медианная фильтрация и методы конечных элементов. Сгенерированный код использует разделяемую память для улучшения пропускной способности памяти и локальности данных. Матрично-матричные операции могут использоваться в таких операций, как вычисление суммы абсолютных разностей (SAD), суммы квадратов разностей (SSD). В этом случае сгенерированный код переиспользует данные и улучшает пропускную способность памяти.

Вы можете использовать директиву coder.ceval для включения внешнего CUDA кода в ваш сгенерированный код. Внешний код может быть уже существующим рукописным кодом для сред разработки, для которых вы генерируете и интегрируете код, или любой другой CUDA код, указанный пользователем, который используется в процесс сборки в GPU Coder. Сгенерированный код будет содержать вызовы внешних CUDA функций в соответствующих местах.

Также можно подключить внешний CUDA код в MATLAB для моделирования и проверки его поведения, написав функцию MATLAB, которая использует coder.ceval для вызова внешнего CUDA кода, а затем сгенерировать из функции MEX файл.

Вы можете скомпилировать сгенерированный код с помощью продуктов NVIDIA и запустить его на графических процессорах, таких как NVIDIA Tesla и NVIDIA Tegra. Для графических процессоров (видеокарт), установленных на хост-компьютере, где установлен MATLAB, вы можете скомпилировать его с помощью компилятора NVIDIA. Если сгенерированный код вызывает сторонние библиотеки, такие как cuDNN, cuFFT, cuSolver или cuBLAS, вам необходимо предварительно установить эти библиотеки перед началом компиляции сгенерированного кода.

На встраиваемых графических платформах вы можете вручную подключить сгенерированный код в проект и скомпилировать его на целевой платформе с помощью инструментов NVIDIA. Кроме того, с помощью пакета поддержки для встраиваемых графических процессоров NVIDIA вы можете использовать кросс-компиляцию и запускать сгенерированный CUDA код в виде отдельного приложения или библиотеки для встраиваемых GPU на таких платах, как NVIDIA Drive или NVIDIA Jetson. Пакет поддержки также позволяет удаленно взаимодействовать с платой NVIDIA, управлять периферийными устройствами на плате и быстро создавать на ее основе прототипы устройств.

NVIDIA GPU поддерживаемые GPU Coder (англ.)

Детектирование пешеходов на NVIDIA GPU используя TensorRT (англ.)