${message}

Проектирование и анализ систем обработки речи, акустических и звуковых сигналов.

Audio Toolbox предоставляет инструменты для обработки звука, анализа речи и акустических измерений. Он включает в себя алгоритмы обработки аудиосигнала (такие как выравнивание и управление динамическим диапазоном) и акустического измерения (такие как оценка импульсной характеристики, октавная фильтрация и перцептивное взвешивание). Он также предоставляет алгоритмы для извлечения аудио и речевых функций (например, MFCC и pitch) и преобразования аудиосигнала (например, банки gammatone-фильтров и спектрограмма на мел-шкале).

Связанные теги

Приложения в составе продукта поддерживают тестирование алгоритмов в реальном времени, измерение импульсной характеристики и маркировку аудиосигнала. Продукт предоставляет потоковые интерфейсы для звуковых карт ASIO, WASAPI, ALSA и CoreAudio и MIDI-устройств, а также инструменты для создания и размещения стандартных аудио плагинов, таких как VST и Audio Units.

С помощью Audio Toolbox вы можете импортировать, маркировать и изменять наборы аудиоданных, а также извлекать признаки и преобразовывать сигналы для машинного обучения и глубокого обучения. Вы можете прототипировать алгоритмы обработки звука в режиме реального времени путем потоковой передачи звука с низкой задержкой при настройке параметров и визуализации сигналов. Вы также можете проверить свой алгоритм, превратив его в аудио-плагин для запуска во внешних приложениях, таких как Digital Audio Workstations (DAWs). Плагин хостинг позволяет использовать внешние аудио плагины, как обычные объекты для обработки массивов в MATLAB. Подключение звуковой карты позволяет выполнять пользовательские измерения на реальных аудиосигналах и акустических системах.

Потоковое аудио со звуковыми картами

Подключение к стандартным звуковым картам ноутбуков и настольных ПК для потоковой передачи многоканального звука с низкой задержкой между любой комбинацией файлов и живыми входами и выходами.

Подключение к стандартным аудио драйверам

Чтение и запись звука с и на звуковые карты (например, USB или Thunderbolt) с помощью стандартных аудио драйверов (например, ASIO, WASAPI, CoreAudio и ALSA) в операционных системах Windows, Mac и Linux.


Многоканальная звуковая карта


Многоканальное потоковое аудио с низкой задержкой

Обрабатывайте живое аудио в MATLAB с миллисекундными задержками полного пути.


Живой необработанный вход от четырехканальной микрофонной решетки

Машинное обучение и глубокое обучение

Размечайте, изменяйте, создавайте и принимайте наборы аудио- и речевых данных, извлекайте признаки и вычисляйте частотно-временные преобразования. Разрабатывайте аналитику звука и речи со Statistics and Machine Learning ToolboxDeep Learning Toolbox или другими инструментами для машинного обучения.

Извлечение аудио и речевых признаков

Извлекайте низкоуровневые признаки для речевой и звуковой аналитики, в том числе мел-частотные кепстральные коэффициенты (MFCC), gammatone-кепстральные коэффициенты (GTCC), тон, гармоничность и спектральные дескрипторы. Используйте архитектуры глубокого обучения, работающие на временных рядах, например, основанные на слоях LSTM.

Оценённая высота звука (внизу) записи речи из нескольких слов (вверху)


Частотно-временные преобразования

Преобразовывайте сигналы в частотно-временные представления с помощью модифицированного дискретного косинусного преобразования (MDCT), кратковременного преобразования Фурье (STFT) или более компактной спектрограммы на мел-шкале. Раскладывайте сигналы с помощью перцептивно разнесенных полос частот, которые используют банки gammatone-фильтров. Используйте модели глубокого обучения, работающие с двумерными данными, например, на основе слоев CNN.

Живая мел-спектрограмма речевых команд


Разметка и создание наборов данных аудио

Создавайте новые записи и назначайте метки истинности для наборов данных аудио и речи. Автоматизируйте транскрипцию речи с помощью облачных сервисов преобразования речи в текст.


ROI-отметки в приложении Audio Labeler


Прием больших наборов аудио данных

Индексируйте и читайте из больших коллекций аудиозаписей с помощью audioDatastore. Случайным образом разделяйте списки аудиофайлов в соответствии с метками. Распараллеливайте задачи обработки с использованием высоких массивов для изменения данных, частотно-временных преобразований и извлечения признаков.


Хранилище данных, указывающее на набор данных команд Google speech

Алгоритмы и эффекты обработки звука

Генерируйте стандартные сигналы, применяйте стандартные звуковые эффекты и проектируйте системы обработки звука с динамической настройкой параметров и живой визуализацией.

Звуковые фильтры и эквалайзеры

Моделируйте и применяйте параметрический эквалайзер, графический эквалайзер, полочный эквалайзер и фильтры с переменным наклоном. Создавайте и симулируйте цифровые кроссоверы, октавные и дробно-октавные фильтры.


Интерактивная настройка трехдиапазонного кроссовер-фильтра с живой визуализацией


Управление динамическим диапазоном и эффекты

Моделируйте и применяйте алгоритмы обработки динамического диапазона, такие как компрессор, ограничитель, расширитель и noise gate. Добавьте искусственную реверберацию с рекурсивными параметрическими моделями.


Интерактивная настройка динамической характеристики компрессора


Системная симуляция с блок-диаграммами

Разрабатывайте и симулируйте системные модели с использованием библиотек блоков обработки звука для Simulink. Настраивайте параметры и визуализируйте поведение системы с помощью интерактивных элементов управления и динамических графиков.


Описание модели многополосного компрессора динамического диапазона в Simulink

Аудио прототипирование в реальном времени

Проверка алгоритмов обработки звука с помощью интерактивных тестов и прослушивания в реальном времени в MATLAB.

Настройка параметров в реальном времени через пользовательские интерфейсы

Создавайте пользовательские интерфейсы для настраиваемых параметров алгоритмов обработки звука автоматически. Тестируйте отдельные алгоритмы с помощью приложения Audio Test Bench и настраивайте параметры в запущенных программах с автоматически сгенерированными интерактивными элементами управления.


Интерактивная настройка пользовательского трехполосного параметрического эквалайзера с использованием Audio Test Bench


Подключение к MIDI для управления параметрами и обмена сообщениями

Изменяйте параметры алгоритмов MATLAB интерактивно с помощью панелей управления MIDI. Управляйте внешним оборудованием или реагируйте на события посредством отправки и получения любого типа MIDI-сообщений.


MIDI-сообщение и поток аудиосигнала, написанные в MATLAB для синтезатора музыкальных инструментов

Акустические измерения и пространственное аудио

Измеряйте отклики системы, анализируйте и измеряйте сигналы, проектируйте системы обработки пространственного аудио.

Измерения и анализ, основанные на стандартах

Применяйте измерители уровня звукового давления (SPL) и громкости к записанным или живым сигналам. Анализируйте сигналы с помощью октавных и дробно-октавных фильтров. Применяйте стандартные фильтры A-, C-или K-взвешивания к необработанным записям.


Визуализация различных измерений SPL в двух третях октавы


Измерение импульсной характеристики

Измеряйте импульсные и частотные характеристики акустических и аудиосистем с последовательностями максимальной длины (MLS) и экспоненциально-изменяющимися синусоидами (ESS). Начните работу с приложением Impulse Response Measurer. Автоматизируйте измерения путем программной генерации сигналов возбуждения и оценки реакции системы.


Приложение Impulse Response Measurer


Эффективная свертка с импульсными характеристиками помещения

Осуществляйте свёртку сигналов с длинными импульсными характеристиками эффективно с использованием реализаций перекрытие-и-сумма или перекрытие-и-сохранение в частотной области. Находите компромисс между задержкой и скорости вычислений с использованием автоматического разделения импульсной характеристики.


Импульсная характеристика длительностью 5 секунд или более 220 тыс. отсчётов на 44100 Гц


Пространственное аудио

Кодируйте и декодируйте различные форматы ambisonic. Интерполируйте пространственно-дискретизированные передаточные функции, связанные с головой (HRTF).


Пример желаемого расположения источника звука и ближайших углов, где доступны измерения HRTF

Генерация и хостинг аудио плагинов

Прототипируйте алгоритмы обработки звука, написанные в MATLAB, в виде стандартных аудио плагинов; используйте внешние аудио плагины в качестве обычных объектов MATLAB.

Генерация аудио плагинов

Генерируйте VST и другие типы аудио плагинов непосредственно из кода MATLAB, без необходимости создания пользовательских интерфейсов вручную. С помощью MATLAB Coder создавайте готовые к сборке проекты JUCE C++ для более продвинутого прототипирования плагинов.

Автоматическое создание плагинов VST из кода MATLAB (англ.)
Галерея примеров аудио плагинов (рус.)
Создание аудио-плагина (рус.)

Пример многополосного параметрического эквалайзера: плагин VST, сгенерированный из кода MATLAB и работающий в REAPER


Хостинг внешних аудио плагинов

Используйте внешние VST и AU плагины в качестве обычных объектов MATLAB. Изменяйте параметры плагина и обрабатывайте массивы MATLAB программно. Либо автоматизируйте ассоциации параметров плагина с пользовательскими интерфейсами и MIDI-элементами управления. Подключайте плагины, сгенерированные из вашего кода MATLAB для повышения эффективности выполнения.


Пример внешнего плагина VST для шумоподавления звука (Accusonus ERA-N) и программного интерфейса в MATLAB

Таргетируйте встраиваемые аудиосистемы, и системы, работающие в реальном времени

Используйте дополнительные продукты генерации C-кода для реализации систем обработки звука на программных устройствах и автоматизации подключения к многоканальным аудио интерфейсам.

Недорогие и мобильные устройства

Прототипируйте системы аудио обработки на Raspberry Pi с помощью встроенных или внешних многоканальных аудио интерфейсов. Создавайте интерактивные панели управления в виде мобильных приложений для устройств Android или iOS.


Плата Raspberry Pi 3


Системы с нулевой задержкой

Прототипируйте системы обработки аудио с одноэлементными входами и выходами для адаптивного контроля шума, валидации работы слухового аппарата, или других задач, требующих минимальной задержки ЦОС. Автоматически таргетируйте аудио машины Speedgoat и платы ST Discovery непосредственно из моделей Simulink.

Параметрический эквалайзер звуковых плат для STM32 Discovery (англ.)
Поддержка плат ST Discovery из Embedded Coder (англ.)
Аппаратная поддержка Speedgoat для симуляции и тестирования в реальном времени с Simulink Real-Time (англ.)
Cochlear Ltd. упрощает разработку алгоритмов обработки звука кохлеарных имплантатов (англ.)

Аудио машина Speedgoat


Поделиться

Задать вопрос

*
Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, вы подтверждаете свое согласие на обработку персональных данных . Мы, ООО ЦИТМ "Экспонента" и аффилированные к нему лица, гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных». * - обязательные поля