Многоканальная звуковая карта
Многоканальная звуковая карта

Audio Toolbox предоставляет инструменты для обработки звука, анализа речи и акустических измерений. Он включает в себя алгоритмы обработки аудиосигнала (такие как выравнивание и управление динамическим диапазоном) и акустического измерения (такие как оценка импульсной характеристики, октавная фильтрация и перцептивное взвешивание). Он также предоставляет алгоритмы для извлечения аудио и речевых функций (например, MFCC и pitch) и преобразования аудиосигнала (например, банки gammatone-фильтров и спектрограмма на мел-шкале).

Приложения в составе продукта поддерживают тестирование алгоритмов в реальном времени, измерение импульсной характеристики и маркировку аудиосигнала. Продукт предоставляет потоковые интерфейсы для звуковых карт ASIO, WASAPI, ALSA и CoreAudio и MIDI-устройств, а также инструменты для создания и размещения стандартных аудиоплагинов, таких как VST и Audio Units.

С помощью Audio Toolbox вы можете импортировать, маркировать и изменять наборы аудиоданных, а также извлекать признаки и преобразовывать сигналы для машинного и глубокого обучения. Вы можете прототипировать алгоритмы обработки звука в режиме реального времени путем потоковой передачи звука с низкой задержкой при настройке параметров и визуализации сигналов. Вы также можете проверить свой алгоритм, превратив его в аудиоплагин для запуска во внешних приложениях, таких как Digital Audio Workstations (DAWs). Плагин хостинг позволяет использовать внешние аудиоплагины как обычные объекты для обработки массивов в MATLAB. Подключение звуковой карты позволяет выполнять пользовательские измерения на реальных аудиосигналах и акустических системах.

Многоканальная звуковая карта Многоканальная звуковая карта

Потоковое аудио со звуковыми картами

Живой необработанный вход от четырехканальной микрофонной решетки
Живой необработанный вход от четырехканальной микрофонной решетки

Подключение к стандартным звуковым картам ноутбуков и настольных ПК для потоковой передачи многоканального звука с низкой задержкой между любой комбинацией файлов и живыми входами и выходами.

Подключение к стандартным аудиодрайверам

Чтение и запись звука с и на звуковые карты (например, USB или Thunderbolt) с помощью стандартных аудиодрайверов (например, ASIO, WASAPI, CoreAudio и ALSA) в операционных системах Windows, Mac и Linux.

Многоканальное потоковое аудио с низкой задержкой

Обрабатывайте живое аудио в MATLAB с миллисекундными задержками полного пути.

Живой необработанный вход от четырехканальной микрофонной решетки Живой необработанный вход от четырехканальной микрофонной решетки

Машинное обучение и глубокое обучение

Оценённая высота звука (внизу) записи речи из нескольких слов (вверху)
Оценённая высота звука (внизу) записи речи из нескольких слов (вверху)
Оценённая высота звука (внизу) записи речи из нескольких слов (вверху) Оценённая высота звука (внизу) записи речи из нескольких слов (вверху)

Размечайте, изменяйте, создавайте и принимайте наборы аудио- и речевых данных, извлекайте признаки и вычисляйте частотно-временные преобразования. Разрабатывайте аналитику звука и речи со Statistics and Machine Learning Toolbox, Deep Learning Toolbox или другими инструментами для машинного обучения.

Извлечение аудио- и речевых признаков

Извлекайте низкоуровневые признаки для речевой и звуковой аналитики, в том числе мел-частотные кепстральные коэффициенты (MFCC), gammatone-кепстральные коэффициенты (GTCC), тон, гармоничность и спектральные дескрипторы. Используйте архитектуры глубокого обучения, работающие на временных рядах, например, основанные на слоях LSTM.

Частотно-временные преобразования

Преобразовывайте сигналы в частотно-временные представления с помощью модифицированного дискретного косинусного преобразования (MDCT), кратковременного преобразования Фурье (STFT) или более компактной спектрограммы на мел-шкале. Раскладывайте сигналы с помощью перцептивно разнесенных полос частот, которые используют банки gammatone-фильтров. Используйте модели глубокого обучения, работающие с двумерными данными, например, на основе слоев CNN.

Разметка и создание наборов данных аудио

Создавайте новые записи и назначайте метки истинности для наборов данных аудио и речи. Автоматизируйте транскрипцию речи с помощью облачных сервисов преобразования речи в текст.

Прием больших наборов аудиоданных

Индексируйте и читайте из больших коллекций аудиозаписей с помощью audioDatastore. Случайным образом разделяйте списки аудиофайлов в соответствии с метками. Распараллеливайте задачи обработки с использованием высоких массивов для изменения данных, частотно-временных преобразований и извлечения признаков.

Алгоритмы и эффекты обработки звука

Интерактивная настройка трехдиапазонного кроссовер-фильтра с живой визуализацией
Интерактивная настройка трехдиапазонного кроссовер-фильтра с живой визуализацией

Генерируйте стандартные сигналы, применяйте стандартные звуковые эффекты и проектируйте системы обработки звука с динамической настройкой параметров и живой визуализацией.

Звуковые фильтры и эквалайзеры

Моделируйте и применяйте параметрический эквалайзер, графический эквалайзер, полочный эквалайзер и фильтры с переменным наклоном. Создавайте и симулируйте цифровые кроссоверы, октавные и дробно-октавные фильтры.

Управление динамическим диапазоном и эффекты

Моделируйте и применяйте алгоритмы обработки динамического диапазона, такие как компрессор, ограничитель, расширитель и noise gate. Добавьте искусственную реверберацию с рекурсивными параметрическими моделями.

Системная симуляция с блок-диаграммами

Разрабатывайте и симулируйте системные модели с использованием библиотек блоков обработки звука для Simulink. Настраивайте параметры и визуализируйте поведение системы с помощью интерактивных элементов управления и динамических графиков.

Интерактивная настройка трехдиапазонного кроссовер-фильтра с живой визуализацией Интерактивная настройка трехдиапазонного кроссовер-фильтра с живой визуализацией

Аудио прототипирование в реальном времени

Интерактивная настройка пользовательского трехполосного параметрического эквалайзера с использованием Audio Test Bench
Интерактивная настройка пользовательского трехполосного параметрического эквалайзера с использованием Audio Test Bench
Интерактивная настройка пользовательского трехполосного параметрического эквалайзера с использованием Audio Test Bench Интерактивная настройка пользовательского трехполосного параметрического эквалайзера с использованием Audio Test Bench

Проверка алгоритмов обработки звука с помощью интерактивных тестов и прослушивания в реальном времени в MATLAB.

Настройка параметров в реальном времени через пользовательские интерфейсы

Создавайте пользовательские интерфейсы для настраиваемых параметров алгоритмов обработки звука автоматически. Тестируйте отдельные алгоритмы с помощью приложения Audio Test Bench и настраивайте параметры в запущенных программах с автоматически сгенерированными интерактивными элементами управления.

Подключение к MIDI для управления параметрами и обмена сообщениями

Изменяйте параметры алгоритмов MATLAB интерактивно с помощью панелей управления MIDI. Управляйте внешним оборудованием или реагируйте на события посредством отправки и получения любого типа MIDI-сообщений.

Акустические измерения и пространственное аудио

Визуализация различных измерений SPL в двух третях октавы
Визуализация различных измерений SPL в двух третях октавы

Измеряйте отклики системы, анализируйте и измеряйте сигналы, проектируйте системы обработки пространственного аудио.

Измерения и анализ, основанные на стандартах

Применяйте измерители уровня звукового давления (SPL) и громкости к записанным или живым сигналам. Анализируйте сигналы с помощью октавных и дробно-октавных фильтров. Применяйте стандартные фильтры A-, C-или K-взвешивания к необработанным записям.

Измерение импульсной характеристики

Измеряйте импульсные и частотные характеристики акустических и аудиосистем с последовательностями максимальной длины (MLS) и экспоненциально-изменяющимися синусоидами (ESS). Начните работу с приложением Impulse Response Measurer. Автоматизируйте измерения путем программной генерации сигналов возбуждения и оценки реакции системы.

Эффективная свертка с импульсными характеристиками помещения

Осуществляйте свёртку сигналов с длинными импульсными характеристиками эффективно с использованием реализаций перекрытие-и-сумма или перекрытие-и-сохранение в частотной области. Находите компромисс между задержкой и скорости вычислений с использованием автоматического разделения импульсной характеристики.

Пространственное аудио

Кодируйте и декодируйте различные форматы ambisonic. Интерполируйте пространственно-дискретизированные передаточные функции, связанные с головой (HRTF).

Визуализация различных измерений SPL в двух третях октавы Визуализация различных измерений SPL в двух третях октавы

Генерация и хостинг аудиоплагинов

Пример многополосного параметрического эквалайзера: плагин VST, сгенерированный из кода MATLAB и работающий в REAPER
Пример многополосного параметрического эквалайзера: плагин VST, сгенерированный из кода MATLAB и работающий в REAPER
Пример многополосного параметрического эквалайзера: плагин VST, сгенерированный из кода MATLAB и работающий в REAPER Пример многополосного параметрического эквалайзера: плагин VST, сгенерированный из кода MATLAB и работающий в REAPER

Прототипируйте алгоритмы обработки звука, написанные в MATLAB, в виде стандартных аудиоплагинов; используйте внешние аудиоплагины в качестве обычных объектов MATLAB.

Генерация аудиоплагинов

Генерируйте VST и другие типы аудиоплагинов непосредственно из кода MATLAB, без необходимости создания пользовательских интерфейсов вручную. С помощью MATLAB Coder создавайте готовые к сборке проекты JUCE C++ для более продвинутого прототипирования плагинов.

Хостинг внешних аудиоплагинов

Используйте внешние VST и AU плагины в качестве обычных объектов MATLAB. Изменяйте параметры плагина и обрабатывайте массивы MATLAB программно. Либо автоматизируйте ассоциации параметров плагина с пользовательскими интерфейсами и MIDI-элементами управления. Подключайте плагины, сгенерированные из вашего кода MATLAB для повышения эффективности выполнения.


Таргетируйте встраиваемые аудиосистемы, и системы, работающие в реальном времени

Аудио машина Speedgoat
Аудио машина Speedgoat

Используйте дополнительные продукты генерации C-кода для реализации систем обработки звука на программных устройствах и автоматизации подключения к многоканальным аудио интерфейсам.

Недорогие и мобильные устройства

Прототипируйте системы аудиообработки на Raspberry Pi с помощью встроенных или внешних многоканальных аудиоинтерфейсов. Создавайте интерактивные панели управления в виде мобильных приложений для устройств Android или iOS.

Системы с нулевой задержкой

Прототипируйте системы обработки аудио с одноэлементными входами и выходами для адаптивного контроля шума, валидации работы слухового аппарата или других задач, требующих минимальной задержки ЦОС. Автоматически таргетируйте аудиомашины Speedgoat и платы ST Discovery непосредственно из моделей Simulink. 

Аудио машина Speedgoat Аудио машина Speedgoat

Услуги

Продукты