Audio Toolbox
Проектирование и анализ систем обработки речи, акустических и звуковых сигналов
Документация
Audio Toolbox предоставляет инструменты для обработки звука, анализа речи и акустических измерений. Он включает в себя алгоритмы обработки аудиосигнала (такие как выравнивание и управление динамическим диапазоном) и акустического измерения (такие как оценка импульсной характеристики, октавная фильтрация и перцептивное взвешивание). Он также предоставляет алгоритмы для извлечения аудио и речевых функций (например, MFCC и pitch) и преобразования аудиосигнала (например, банки gammatone-фильтров и спектрограмма на мел-шкале).
Приложения в составе продукта поддерживают тестирование алгоритмов в реальном времени, измерение импульсной характеристики и маркировку аудиосигнала. Продукт предоставляет потоковые интерфейсы для звуковых карт ASIO, WASAPI, ALSA и CoreAudio и MIDI-устройств, а также инструменты для создания и размещения стандартных аудиоплагинов, таких как VST и Audio Units.
С помощью Audio Toolbox вы можете импортировать, маркировать и изменять наборы аудиоданных, а также извлекать признаки и преобразовывать сигналы для машинного и глубокого обучения. Вы можете прототипировать алгоритмы обработки звука в режиме реального времени путем потоковой передачи звука с низкой задержкой при настройке параметров и визуализации сигналов. Вы также можете проверить свой алгоритм, превратив его в аудиоплагин для запуска во внешних приложениях, таких как Digital Audio Workstations (DAWs). Плагин хостинг позволяет использовать внешние аудиоплагины как обычные объекты для обработки массивов в MATLAB. Подключение звуковой карты позволяет выполнять пользовательские измерения на реальных аудиосигналах и акустических системах.
Потоковое аудио со звуковыми картами
Подключение к стандартным звуковым картам ноутбуков и настольных ПК для потоковой передачи многоканального звука с низкой задержкой между любой комбинацией файлов и живыми входами и выходами.
Подключение к стандартным аудиодрайверам
Чтение и запись звука с и на звуковые карты (например, USB или Thunderbolt) с помощью стандартных аудиодрайверов (например, ASIO, WASAPI, CoreAudio и ALSA) в операционных системах Windows, Mac и Linux.
Многоканальное потоковое аудио с низкой задержкой
Обрабатывайте живое аудио в MATLAB с миллисекундными задержками полного пути.
Аудио ввод-вывод: буферизация, задержка и пропускная способностьМашинное обучение и глубокое обучение
Размечайте, изменяйте, создавайте и принимайте наборы аудио- и речевых данных, извлекайте признаки и вычисляйте частотно-временные преобразования. Разрабатывайте аналитику звука и речи со Statistics and Machine Learning Toolbox, Deep Learning Toolbox или другими инструментами для машинного обучения.
Извлечение аудио- и речевых признаков
Извлекайте низкоуровневые признаки для речевой и звуковой аналитики, в том числе мел-частотные кепстральные коэффициенты (MFCC), gammatone-кепстральные коэффициенты (GTCC), тон, гармоничность и спектральные дескрипторы. Используйте архитектуры глубокого обучения, работающие на временных рядах, например, основанные на слоях LSTM.
Частотно-временные преобразования
Преобразовывайте сигналы в частотно-временные представления с помощью модифицированного дискретного косинусного преобразования (MDCT), кратковременного преобразования Фурье (STFT) или более компактной спектрограммы на мел-шкале. Раскладывайте сигналы с помощью перцептивно разнесенных полос частот, которые используют банки gammatone-фильтров. Используйте модели глубокого обучения, работающие с двумерными данными, например, на основе слоев CNN.
Разметка и создание наборов данных аудио
Создавайте новые записи и назначайте метки истинности для наборов данных аудио и речи. Автоматизируйте транскрипцию речи с помощью облачных сервисов преобразования речи в текст.
Прием больших наборов аудиоданных
Индексируйте и читайте из больших коллекций аудиозаписей с помощью audioDatastore. Случайным образом разделяйте списки аудиофайлов в соответствии с метками. Распараллеливайте задачи обработки с использованием высоких массивов для изменения данных, частотно-временных преобразований и извлечения признаков.
Применение методов машинного обучения для классификации динамиков музыкальных инструментов (англ.)
Statistics and Machine Learning ToolboxАлгоритмы и эффекты обработки звука
Генерируйте стандартные сигналы, применяйте стандартные звуковые эффекты и проектируйте системы обработки звука с динамической настройкой параметров и живой визуализацией.
Звуковые фильтры и эквалайзеры
Моделируйте и применяйте параметрический эквалайзер, графический эквалайзер, полочный эквалайзер и фильтры с переменным наклоном. Создавайте и симулируйте цифровые кроссоверы, октавные и дробно-октавные фильтры.
Управление динамическим диапазоном и эффекты
Моделируйте и применяйте алгоритмы обработки динамического диапазона, такие как компрессор, ограничитель, расширитель и noise gate. Добавьте искусственную реверберацию с рекурсивными параметрическими моделями.
Системная симуляция с блок-диаграммами
Разрабатывайте и симулируйте системные модели с использованием библиотек блоков обработки звука для Simulink. Настраивайте параметры и визуализируйте поведение системы с помощью интерактивных элементов управления и динамических графиков.
Аудио прототипирование в реальном времени
Проверка алгоритмов обработки звука с помощью интерактивных тестов и прослушивания в реальном времени в MATLAB.
Настройка параметров в реальном времени через пользовательские интерфейсы
Создавайте пользовательские интерфейсы для настраиваемых параметров алгоритмов обработки звука автоматически. Тестируйте отдельные алгоритмы с помощью приложения Audio Test Bench и настраивайте параметры в запущенных программах с автоматически сгенерированными интерактивными элементами управления.
Подключение к MIDI для управления параметрами и обмена сообщениями
Изменяйте параметры алгоритмов MATLAB интерактивно с помощью панелей управления MIDI. Управляйте внешним оборудованием или реагируйте на события посредством отправки и получения любого типа MIDI-сообщений.
Акустические измерения и пространственное аудио
Измеряйте отклики системы, анализируйте и измеряйте сигналы, проектируйте системы обработки пространственного аудио.
Измерения и анализ, основанные на стандартах
Применяйте измерители уровня звукового давления (SPL) и громкости к записанным или живым сигналам. Анализируйте сигналы с помощью октавных и дробно-октавных фильтров. Применяйте стандартные фильтры A-, C-или K-взвешивания к необработанным записям.
Измерение импульсной характеристики
Измеряйте импульсные и частотные характеристики акустических и аудиосистем с последовательностями максимальной длины (MLS) и экспоненциально-изменяющимися синусоидами (ESS). Начните работу с приложением Impulse Response Measurer. Автоматизируйте измерения путем программной генерации сигналов возбуждения и оценки реакции системы.
Эффективная свертка с импульсными характеристиками помещения
Осуществляйте свёртку сигналов с длинными импульсными характеристиками эффективно с использованием реализаций перекрытие-и-сумма или перекрытие-и-сохранение в частотной области. Находите компромисс между задержкой и скорости вычислений с использованием автоматического разделения импульсной характеристики.
Пространственное аудио
Кодируйте и декодируйте различные форматы ambisonic. Интерполируйте пространственно-дискретизированные передаточные функции, связанные с головой (HRTF).
Генерация и хостинг аудиоплагинов
Прототипируйте алгоритмы обработки звука, написанные в MATLAB, в виде стандартных аудиоплагинов; используйте внешние аудиоплагины в качестве обычных объектов MATLAB.
Генерация аудиоплагинов
Генерируйте VST и другие типы аудиоплагинов непосредственно из кода MATLAB, без необходимости создания пользовательских интерфейсов вручную. С помощью MATLAB Coder создавайте готовые к сборке проекты JUCE C++ для более продвинутого прототипирования плагинов.
Хостинг внешних аудиоплагинов
Используйте внешние VST и AU плагины в качестве обычных объектов MATLAB. Изменяйте параметры плагина и обрабатывайте массивы MATLAB программно. Либо автоматизируйте ассоциации параметров плагина с пользовательскими интерфейсами и MIDI-элементами управления. Подключайте плагины, сгенерированные из вашего кода MATLAB для повышения эффективности выполнения.
Таргетируйте встраиваемые аудиосистемы, и системы, работающие в реальном времени
Используйте дополнительные продукты генерации C-кода для реализации систем обработки звука на программных устройствах и автоматизации подключения к многоканальным аудио интерфейсам.
Недорогие и мобильные устройства
Прототипируйте системы аудиообработки на Raspberry Pi с помощью встроенных или внешних многоканальных аудиоинтерфейсов. Создавайте интерактивные панели управления в виде мобильных приложений для устройств Android или iOS.
Системы с нулевой задержкой
Прототипируйте системы обработки аудио с одноэлементными входами и выходами для адаптивного контроля шума, валидации работы слухового аппарата или других задач, требующих минимальной задержки ЦОС. Автоматически таргетируйте аудиомашины Speedgoat и платы ST Discovery непосредственно из моделей Simulink.
