Появление формата VST в 1996 году — событие, изменившее музыкальную индустрию и методики создания музыки с помощью компьютера. Протестировав возможности VST и выложив ее в свободный доступ, компания Steinberg открыла двери в мир творчества всем и каждому, вне зависимости от социального и финансового положения.
Технология позволила перенести аналоговые музыкальные инструменты в цифровую среду, а обработку звукового сигнала доверить ресурсам компьютера. Со временем разработкой схожих форматов занялись и другие компании: Apple адаптировала технологию для операционной системы macOS, создав формат Audio Units (AU), а Digidesign занялась развитием технологии Real Time AudioSuite (RTAS), поддержка которой появилась в Pro Tools.
В 1999 году Steinberg обновила формат до версии 2.0, добавив поддержку виртуальных инструментов, позволивших создавать цифровые версии музыкальных инструментов и использовать их внутри цифровых рабочих станций или в виде самостоятельных программ.
Сегодня VST-плагины стали именем нарицательным — этим термином в разговорной речи музыканты обозначают виртуальные инструменты и эффекты в любом формате. И если «матерые» музыканты понимают, о чем идет речь и какие плагины нужны, то молодых музыкантов такое обобщенное обозначение приводит в замешательство: не понятно, какие виды плагинов поддерживают разные цифровые рабочие станции, в чем разница между форматами (этого иногда не знают и те, кто «в теме»), какой разрядности отдавать предпочтение и как не ошибиться с выбором.
Основные форматы музыкальных плагинов
VST VSTi VST3 AU RTAS AAX DXi ReFill VST (Virtual Studio Technology)
VST (от англ. Virtual Studio Technology — Технология Виртуальной Студии) — самый популярный формат плагинов на сегодняшний день, поддерживающий работу в среде Windows, macOS и Linux. Плагины зависят от ресурсов компьютера (являются нативными) и подключаются к звуковым и музыкальным программам и рабочим станциям, и функционируют в режиме реального времени. Формат VST изначально разрабатывался совместными усилиями Steinberg и Propellerhead, но впоследствии Propellerhead покинула проект по разработке VST.
Несмотря на то, что сегодня VST-плагинами называют любые цифровые эффекты и инструменты, формат в первую очередь относится к программным аудиоэффектам (эквалайзеры, компрессоры, дилэи и т.д.), подгружаемым в рабочие станции.
VSTi (Virtual Studio Technology instrument)
В отличие от VST, VSTi-плагины представляют собой звукообразующий инструмент (синтезатор или сэмплер). В то время как VST-плагины фокусируются на звуковых эффектах, VSTi воспроизводят сигналы, имитирующие звучание реальных инструментов и синтезаторов.
Логическое продолжение VST в виде третьей версии было представлено Steinberg в 2008 году, а в 2011 году немецкая компания выпустило еще одно обновление стандарта, получившее название VST 3.5.
В чем отличия VST3 от VST и VST2:
Поставка только в 64-битном формате; Поддержка большего количества аудиовходов (Audio Inputs) для VST-инструментов (по сравнению с VST2); Поддержка большего количества MIDI-входов и выходов (по сравнению с VST2); Улучшенная работа с MIDI-событиями, отвечающими за артикуляцию, силу извлечения и динамику воспроизводимых звуков; Пониженная требовательность к ресурсам компьютера за счет оптимизации работы. AU (Audio Units)
Формат разработан специально для операционных систем компании Apple — macOS и iOS. Фактически, Audio Units — набор API, позволяющий операционной системе генерировать, обрабатывать, воспроизводить и манипулировать звуковым сигналам с минимальным уровнем задержки.
Тем не менее, отличий от VST/VSTi — нет, если не брать в расчет, что AU могут выступать как в роли эффектов, так и инструментов. Благодаря сходству между VST и AU, некоторые компании разрабатывают специальные программы (см. FXpansion VST to AU Adapter V2 и Symbiosis), позволяющие конвертировать VST в AU.
Формат Audio Units поддерживается всеми рабочими станциями, обладающими версиями для macOS (см. таблицу).
RTAS (Real Time AudioSuite)
Формат RTAS был разработан компанией Digidesign (ныне — Avid Technology) специально для рабочей станции Pro Tools и использовался вплоть до Pro Tools 10. Отличий от VST и AU не существует — RTAS также используют вычислительные мощности персонального компьютера, просты в использовании и обладают широкими возможностями автоматизации.
Еще один распространенный формат плагинов, созданный компанией Digidesign для использования только с рабочей станцией Pro Tools.
AAX (Avid Audio eXtensions)
Вместе с выходом Pro Tools 11 в 2013 году, компания Avid отказалась от дальнейшей поддержки RTAS и представила новый формат AAX. Свое решение компания объяснила закрытостью форматов VST и AU (только Steinberg и Apple могут вносить изменения в принципы работы форматов), а также их нативностью — оба формата зависят от ресурсов компьютера, не поддерживая работу с внешними DSP-процессорами (VST/AU несовместимы с DSP, а пользователям нужны специальные версии плагинов).
Так как Pro Tools одинаково хорошо работает с нативными и DSP-процессорами, Avid решила инвестировать в разработку собственного формата виртуальных плагинов.
Основное отличие AAX от RTAS заключается в удобстве использования. AAX могут работать сразу в двух режимах (нативном и DSP), а значит пользователям больше не нужно устанавливать две версии одного и того же плагина, чтобы работать в разных студийных условиях.
DXi (DirectX plugin)
Формат плагинов от Microsoft и Cakewalk, построенный на технологии DirectX, но мало чем отличающийся от VST и AU.
Использование DirectX и стандарта Microsoft COM позволяет плагинам определяться в системе и работать с любыми звуковыми программами на ОС Windows, даже если хост изначально не поддерживает DX-плагины, но «знаком» с форматом VST. Что же касается структуры, то DirectX-плагины представляют собой особый вид DirectShow-фильтров.
Также как VST, DX-плагины делятся на два вида: DX — плагины эффектов, и DXi — виртуальные инструменты.
Специальные звуковые библиотеки, объединяющие в себе высококачественные сэмплы, MIDI-файлы, лупы, грувы, патчи и даже целые проекты композиций. Формат ReFill поддерживается и развивается компанией Propellerhead и предназначен только для использования с рабочей станцией Propellerhead Reason.В чем отличия между разными форматами плагинов?
С точки зрения практического использования, отличий между разными форматами плагинов попросту нет, а вся разница заключается в технических моментах (методика и технологии разработки), мало затрагивающих музыкантов.
Основные отличия заключаются в разрядности и методиках поставки эффектов и инструментов.
95% современных плагинов и виртуальных инструментов поставляются в виде загружаемого установщика, хотя некоторые производители продолжают выпускать коробочные версии собственных разработок (см. Native Instruments Komplete, Mixosaurus).
Количество оперативной памяти, которую компьютер может выделить на один процесс, значительно больше при использовании 64-битных операционных систем. В то время как 32-битные ОС ограничены 4 Гб памяти на один процесс, 64-битные лишены такого ограничения.
Для того, чтобы плагин и операционная система использовали всю доступную в компьютере оперативную память, плагин должен быть написан специально под 64-битные системы. При работе с 64-битными плагинами ОС гибко расходует оперативную память, грамотно распределяя ее между всеми используемыми в проекте инструментами и обработками по принципу «столько, сколько сейчас нужно». При этом те плагины, которые не используются в данный момент, ОС переводит в «режим ожидания», минимизируя потребление ресурсов компьютера.
Проблема 32-битных плагинов распространяется на плагины в форматах VST2, RTAS и DXi, в то время как VST3/AU/AAX-плагины всегда поставляются в виде 64-битных разработок. Тем не менее, многие современные DAW оснащены специальными инструментами конвертации плагинов в нужную разрядность (работает как в сторону x86->x64, так и обратно), которые незаметно для пользователя заставляют ОС думать, что работа ведется с x64-плагинами, что приводит к эффективному потреблению ресурсов ПК.
Virtual Studio Technology (виртуальная студийная технология, сокращенно VST) — стандарт плагинов звуковых эффектов и программных синтезаторов, введенный в 1996 г. фирмой Steinberg.
Работа с VST-инструментами (VSTi), осуществляется через так называемую программу-хост (англ. host), например секвенсер, в среде которого запускается плагин. К самым известным программам-хостам относятся такие программы как Ableton Live, Cubase, FL Studio, Reaper и Sonar.
VST-RTAS адаптеры
VST-плагины можно подключить и к совместимым с этим стандартом программам, используя специальные адаптеры. Например существуют VST-RTAS адаптеры, обеспечивающие подключение VST-плагинов в программу Pro Tools или VST-AU адаптеры, обеспечивающие подключение VST-плагинов в Logic Pro, которая работает под Mac OS X.
Инструменты VST имеют, как правило, собственный интерфейс, включающий разнообразные контроллеры подобны контроллерам аппаратных синтазаторов, которыми музыкант может управлять в реальном времени.
Политика Steinberg, направленная на выдачу бесплатных лицензий фирмам на использование технологии VST своих разработках стала причиной того, что этот стандарт стал основным на рынке музыкального программного обеспечения.
В 1999 была внедрена новая версия технологии, обозначаемая как VST 2.0.
Разновидности VST
При наличии соответствующего аппаратного обеспечения и драйверов, а именно звуковой карты поддерживает протокол ASIO, VST-плагины могут использоваться в реальном времени. ASIO обходит более медленные средства Windows, обеспечивая меньшую задержку.
Плагин (от англ. plug-in) — независимо компилируемый программный модуль, динамически подключаемый к основной программе, предназначенный для расширения и/или использования её возможностей. Также может переводиться как «модуль». Плагины обычно выполняются в виде разделяемых библиотек.
В программах обработки звука плагины выполняют обработку и создание звуковых эффектов, например, мастеринг, применение эквалайзера и сжатие динамического диапазона. Некоторые плагины изменяют технические характеристики звука: глубину, частоту дискретизации и прочее.
Форматы плагинов
Плагины Direct X это плагины реального времени (т.е. они могут обрабатывать или изменять звук без создания нового файла). Приложения Direct X относятся к категории ресурсозависимых (native), т.е. используют для работы ресурсы центрального процессора компьютера. Эта технология стала наиболее популярной с ростом мощности процессоров. Формат Direct X был разработан Microsoft для операционной системы Windows. Он позволил запускать игры и медиа-приложения, не используя DOS. Одной из причин создания формата были трудности, которые испытывали разработчики аппаратных видео-акселераторов. Microsoft воспользовались возможностью унифицировать игровой рынок, и в результате появился Direct X. Direct X использует программные интерфейсы приложений (API) низшего уровня, для работы медиа-приложений с высокой производительностью, в частности, аудио-плагинов. Формат включает поддержку звука, музыки, графики и сетевых программ. Он доступен в системах Windows 95, 98, 2000, XP. Для работы с плагинами, нужны хост-программы, поддерживающие Direct X.
Аббревиатура HTDM означает «Host TDM» и относится к плагинам, которые осуществляют всю аудио-обработку за счёт ресурсов центрального процессора (native plugins), а не DSP на аппаратных устройствах для TDM. HTDM используют единственный общий DSP в системе TDM, для ввода и вывода аудио-потока. Количество плагинов, работающих одновременно, зависит от мощности компьютера. Плагины HTDM добавляют системам Pro Tools гибкость и мощность ресурсов хост-процессора. Они поддерживают все стандартные возможности формата TDM, включая штатную автоматизацию Pro Tools и управление ручными контроллерами.
Отличие VST от DX
VST эффекты и инструменты создавались фирмой Steinberg, изготовителем секвенсора Cubase и насчитывалось на применение лишь внутри его. Данная фирма приложила все усилия чтобы обеспечить своих пользователей высококачественным программным обеспечением. DX – это произведение содружества компаний Microsoft и Cakewalk. Их задачей было создать реальную конкуренцию VST, что они в общем-то и сделали. Кроме разницы в звдачах и фирм изготовителей, есть ещё и более серьёзные отличия. Одно из них, и наверное самое важное – это Возможность в VST автоматизировать все имеющиеся ручки и переключатели, то есть каждой ручке ставится в соответствие свой миди контроллер, на изменение которого плагин способен реагировать в течении проигрывания произведения. DX этого не имеет, но фирма Cakewalk решила сделать из недостатка – достоинство и в общем-то была права. Отсутствие автоматизации в DX плагинах делает их более быстрыми и менее сбойными. А автоматизацию по миди контроллеров, всё-таки вполне возможно реализовать, так например Dream Station, хоть и является Dxi – всё же имеет возможность автоматизации, разве что её труднее сделать, чем в VST, но это уже заботы разработчиков, а мы будем наслаждаться высокой скоростью DX и “живостью” VST. Ещё одним отличием является установка плагинов. В связи с влиянием фирмы Microsoft DX плагины буквально встраиваются в ядро Windows, а VST же должны лежать в определённой папке и используются лишь оттуда. Это отличие по сути не принципиальное и не будем более упоминать о нём. Общим для этих плагинов является, то, что почти все они – платные и требуют регистрации, которая зачастую производится через системный реестр Windows. Есть лишь несколько бесплатных или условно бесплатных плагинов. К условно бесплатным я отношу те, которые имеют ограничение на полифонию или не возможность читать и сохранять банки. Но таковых очень мало, в своём большинстве ограничение даётся на несколько минут времени, после которых плагин должен быть перегружен, по мнению автора это вообще проявление не любви к потенциальным клиентам и вызывает отвращение. И со мной согласится добрые 98% пользователей. Так же, сами плагины, как DX, так и VST, подразделяются на содержащие и не содержащие изображений. Если таковые имеются, то при загрузке плагина в любой программе пользователь увидит одно и то же, если нет, то как будет выглядеть плагин зависит от той среды где этот плагин активизируется. К примеру, в FL Studio все регуляторы выглядят как “крутилки”, а переключатели – как кнопки. А в Skill Tracker – все они представляются в виде стандартных “ползунков” Windows. Ещё, оба вида плагинов может как содержать, так и не содержать готовых решений настроек(Presets), возможности считывать и сохранять банки и многое другое. Есть и ещё одно не менее важное отличие, которое относится к VSTi/Dxi. Как VSTi, так и Dxi – могут быть двух видов, это генераторы, в них звук генерируется самим плагином и семплерные, когда звук генерируется используя семплы. К первым можно отнести, например, WASP, ко вторым Dream Station или Live Synth. Без сомнения, семплерные генераторы зачастую имеют более низкое качество, но зато с их помощью можно использовать например DLS или SF2 банки инструментов. Подводя итог, можно сказать что реального ответа на вопрос “Что же лучше” – нет и быть не может, каждый недостаток или достоинство всегда сопровождается его противоположностью.
Этот пост — первый из серии переводов руководства Мартина Финке о написании собственных аудиоплагинов. Отличительной особенностью этого материала является отсутствие зависимости от формата плагина и платформы его использования. Внимание сфокусировано на общей структуре аудиоплагина. Затем алгоритмы оборачиваются в слой абстракции для сборки в форматы VST, VST3, AU, RTAS, AAX или в отдельное приложение. Сам Мартин больше работает на Маке, но руководство содержит и все необходимые шаги для разработки на Windows.
Введение
Аудиоплагины — это программы, которые загружаются в хост (например Ableton Live, Logic или REAPER). Они обрабатывают аудио и\или MIDI данные. У них, как правило, есть GUI (графический пользовательский интерфейс). Вот три примера (U-He Zebra, Sonalksis FreeG и D16 Decimort):
Как видите, в GUI присутствуют элементы управления (чаще всего это какие-нибудь ручки), меняющие то, как плагин обрабатывает входящие данные. Еще есть набор пресетов (предустановок — на скриншотах они называются Combo и Emulator), в которых хранятся положения ручек и других параметров.
Начнем мы с дисторшена — это достаточно простой плагин. После этого мы сделаем вот такой субстрактивный синтезатор, шаг за шагом:
Будем использовать С++ и библиотеку WDL-OL. Она основана на библиотеке Cockos WDL (произносится как «уитл»). Она делает за нас кучу работы, вот самые важные моменты:
Также в этой библиотеке есть некоторые часто используемые алгоритмы, например, передискретизация. Вот в этой ветке форума есть много скринов плагинов, написанных при помощи WDL.
Разные форматы плагинов делают более-менее одно и то же. Следовательно, в коде обычно бывает много копипасты. Как программист, вы должны стараться не повторяться, так что рано или поздно вы бы написали свой собственный слой абстракции над разными форматами. Но это уже существует в виде фрэймворка IPlug, являющегося частью WDL. Это самая раздражающая часть процесса разработки, так что теперь мы сможем сфокусироваться на таких интересных штуках, как:
Еще одна замечательная вещь в WDL это разрешительная лицензия. Библиотеку можно свободно использовать даже в коммерческих продуктах (см. детальную информацию по ссылкам выше).
Как мы это сделаем
«Погоня лучше, чем добыча» — Эйч Пи Бакстер
В программировании результат сам по себе — это уже вознаграждение, но именно по пути к результату мы учимся. В этом руководстве не будет длинных листингов с идеальными решениями. Мы начнем с того, что работает, и будем постепенно развивать это, встречаясь с разными проблемами. Минус в том, что вы будете писать код, который впоследствии замените на лучший. Но программистам к этому не привыкать. Первый плюс: не будет переполняющей радости, т. к. мы будем подходить к решению постепенно вместо того, чтобы сделать все одним махом. Второй — это то, что мы получим некоторые ценные знания в программировании.
Эта серия постов — не о решении задач по матану без калькулятора на бумажке. Она о том, как создавать хорошее программное обеспечение, которое вы можете дать своему другу-продюсеру, чтобы он сделал бас пожирнее.
Что нам понадобится
Полезные ресурсы
Пара ссылок, которые нам могут пригодиться:
Теперь пора все настроить и подготовить.
Установка и настройка WDL-OL
Сейчас мы установим библиотеку WDL-OL и ее зависимости. Затем запустим пример, просто чтобы убедиться, что все работает как надо.
Большая часть этого материала есть в видео Оли Ларкина:
Материал следующей секции в основном для настройки на Mac. Windows будет немного ниже.
Настройка на Mac OS X с использованием Xcode 4
Перед тем, как мы начнем, надо скачать и установить парочку новых вещей. Это немного муторно, но придется сделать только один раз.
Загрузка WDL-OL
Откройте Terminal и напечатайте следующие строки, чтобы создать новую папку в вашей домашней директории и переместиться туда:
Давайте загрузим WDL-OL:
Эти строчки можно скопировать и вставить. Главное — не забудьте точку в конце! Тогда вы наверняка будете использовать ту же версию WDL-OL, что и в этом руководстве. На данный момент должна появиться подпапка wdl-ol.
Добавление зависимостей
Обратите внимание, что папку public.sdk надо будет создать вручную. Так в итоге должно выглядеть ваше дерево папок:
Теперь откройте common.xcconfig (он должен открыться в Xcode) и внесите следующие изменения:
CERTIFICATE_ID = Your Name
// Comment this line out: // COMPILER = com.apple.compilers.gcc.4_2 // Uncomment this line: COMPILER = com.apple.compilers.llvm.clang.1_0
Чтобы его установить, нужно скачать Xcode 3.2.6. Когда вы его скачаете, смонтируйте .dmg файл, откройте Terminal.app и введите
open /Volumes/Xcode\ and\ iOS\ SDK/Packages/
Откроется окно поисковика и там будет файл с именем MacOSX10.5.pkg. Щелкнике по нему два раза. Если у вас версия OS X 10.8 или выше, появится сообщение, что программа от неизвестного разработчика не может быть установлена. В этом случае правый клик по файлу, в меню надо нажать Open и подтвердить, что вы действительно хотите установить софт. При установке выберите change install location, кликните по диску, на который хотите установить, чтобы можно было выбрать на нем директорию. Установите, например, в папку Downloads в папке пользователя. После завершения установки в выбранном месте появится новая папка MacOSX10.5.sdk. Напечатайте в Terminal.app следующее:
Снова появится окно поисковика. Перетащите в него папку MacOSX10.5.sdk. После перезапуска Xcode старый SDK должен быть доступен в Xcode 4. Убедитесь, что вы сделали резервную копию MacOSX10.5.sdk где-нибудь: если вы будете обновлять Xcode до более поздней версии, вам, возможно, придется повторить эти действия.
Запуск тестового проекта
В Терминале перейдите в папку с примерами:
Запустите скрипт dublicate чтобы создать свой первый плагин (замените YourName что-нибудь свое):
Теперь там появилась новая папка MyFirstPlugin. Зайдите в нее и откройте MyFirstPlugin.xcodeproj. Выберите таргет APP:
В WDL-OL есть маленький баг: самостоятельное приложение не будет выводить звук, если не выбрать другой аудиовход. Но это легко исправить. В навигаторе проектов Xcode откройте Other Sources → OSX App Wrapper → app_main.h. Измените содержание 34-й строки (в которой #define DEFAULT_INPUT_DEV ) на следующее:
#define DEFAULT_INPUT_DEV «Built-in Microphone»
Кликните Run. Выскочат несколько ошибок линкера:
Их легко исправить. Вернитесь в настройки сборки вашего проекта (убедитесь, что вы выбрали именно ваш проект, а не какой-то другой target) и поменяйте значение параметра Implicitly Link Objective-C Runtime Support на No:
Снова кликните Run. Через пару секунд плагин появится в виде самостоятельного приложения:
Проверка версии AudioUnit при помощи Logic
Если у вас нет Logic, можно использовать бесплатный инструмент auval для проверки. Убедитесь, что сборка AU Target прошла успешно, откройте Terminal и введите:
Он должен выдать что-то типа этого:
Если Logic или auval не находят AU (а другие хосты типа REAPER его видят), зайдите в настройки сборки и убедитесь, что вверху слева выделен таргет AU. В поиске вбейте “active arch”. В результатах должна быть только одна строка параметра Build Active Architecture Only, значение которого . Измените его на No. Таким образом 32-х и 64-х битные версии будут компилироваться даже в режиме Debug. После этого зайдите в Product → Clean (Cmd+Shift+K) и запустите сборку снова. Теперь должно заработать.
Установка на Windows с использованием Visual C++ 2010 Express
Для начала установите Visual C++ 2010 Express.VS 2012 вроде тоже подойдет, но лично я не проверял.
Пост с описанием других возможных проблем и их решений находится здесь.
Затем установите Git для Windows, используя настройки по умолчанию. Я использовал версию 1.8.4. Запустите Start → Program Files → Git → Git Bash. Откроется окно терминала. В этом окне введите несколько команд:
Чтобы вставить строки в окно, сделайте правый клик по его заголовку и выберите Edit → Paste:
Теперь скопируйте все файлы VST2/VST3/ASIO SDK в нужные папки, так же, как описано выше. Установите Python, используя настройки по умолчанию. Я использовал 2.7.5.
Чтобы создавать плагины формата VST3, надо создать папку VST3. Выполните в терминале эту команду:
Теперь перейдите в терминале в подпапку IPlugExamples:
Появится новая папка MyFirstPlugin. Зайдите в нее и откройте MyFirstPlugin.sln. Не обращайте внимания на предупреждения, они говорят о том, что мы не сможем собрать форматы AAX и TDM. В окне project explorer слева убедитесь, что MyFirstPlugin-app выделено жирным:
Если это не так, кликните по нему и выберите Set as StartUp Project. Жмите F5, должно появиться такое окно:
Возможные проблемы
Если вы видите ошибку fatal error LNK1123 в процессе сборки, вам нужно отключить incremental linking: правым кликом по проекту MyFirstPlugin-app, кликайте по Properties и заходите в Configuration Properties → Linker (General) → Enable Incremental Linking → “No (/INCREMENTAL:NO)”. Если проблема не решается, попробуйте установить Visual Studio 2010 SP1, если еще не устанавливали. Так же может пригодиться обновление компилятора для создания 64-х битных версий плагинов.
