Что такое разделение стемов? Руководство для музыкантов и продюсеров

Если вы работаете в продакшене, диджействе или в сообществах ремиксеров, вы наверняка слышали слово «стемы». Но что такое стемы и как работает разделение стемов? Это руководство охватывает всё, что нужно знать — от основ до того, как работают современные ИИ-сепараторы стемов.

Что такое аудиостемы?

В музыкальном продакшене стем — это сабмикс, группа связанных треков, сведённых в один стерео- или моноаудиофайл. Стемы стоят на ступень выше отдельных записанных треков, но ниже финального мастера.

Типичная песня может быть передана в виде таких стемов:

• Стем вокала — ведущий и бэк-вокал, сведённые вместе
• Стем ударных — бочка, малый барабан, хай-хэт, томы, сведённые вместе
• Стем баса — бас-гитара или синтезированный бас
• Стем инструментов — гитары, клавишные, синтезаторы, струнные

Если сложить все стемы вместе, получится готовая песня. Если выключить стем вокала, вы получите инструментальную (караоке) версию.

Зачем нужны стемы?

Стемы — валюта творческого сотрудничества в музыке. Вот зачем они нужны людям:

Для диджеев и ремиксеров

Диджеи и продюсеры ремиксов используют стемы для создания мэшапов и ремиксов. Имея вокальный стем одной песни и инструментальный стем другой, можно создать новые сочетания, которые звучат профессионально сведёнными — а не просто двумя песнями, неуклюже наложенными друг на друга.

Для музыкальных продюсеров

Когда продюсер хочет поработать с уже существующей записью, стемы позволяют работать с отдельными элементами, не затрагивая весь микс. Он может оставить оригинальный стем ударных и заменить бас или оставить вокальный стем и перестроить всю музыкальную аранжировку.

Для live-исполнителей

Группы и сольные исполнители используют стемы-подложки в живых выступлениях. Например, сольный артист может играть вживую на гитаре под стем ударных и баса.

Для кино и телевидения

Музыкальные супервайзеры используют стемы, когда нужно адаптировать песню под конкретную сцену: убрать вокал для фоновой сцены, подправить уровни или зациклить отдельный инструмент.

Проблема: к большинству песен нет стемов

Вот в чём сложность: стемы обычно доступны только напрямую от оригинальных продюсеров или лейблов, и публично их почти никогда не выкладывают. Стемы можно найти, если вы участвуете в конкурсе ремиксов, покупаете продюсерский пакет или работаете непосредственно с артистом. Для большинства коммерчески выпущенной музыки публичных стемов просто не существует.

Здесь на помощь приходит ИИ-разделение стемов.

Как работает ИИ-разделение стемов

ИИ-сепараторы стемов анализируют сведённый аудиофайл и математически разделяют отдельные компоненты — и всё это без доступа к оригинальным многодорожечным записям.

Современные ИИ-сепараторы стемов используют глубокие нейронные сети, обученные на больших наборах профессионально записанных многодорожечных песен. В процессе обучения модель выучивает, как «звучат» вокал, ударные, бас и инструменты с акустической точки зрения — их частотные паттерны, временные характеристики и тембральные особенности.

Когда вы загружаете песню, ИИ:

1. Преобразует аудио в частотное представление (спектрограмму)
2. Применяет обученную нейросеть, чтобы выделить каждый источник
3. Восстанавливает разделённое аудио из выделенных компонентов
4. Выдаёт каждый стем как отдельный аудиофайл

Насколько хорошо ИИ-разделение стемов работает сегодня?

Качество ИИ-разделения стемов за последние несколько лет резко выросло. Современные модели глубокого обучения достигают качества разделения вокала, которое ещё 3–4 года назад было невозможным.

Для двухстемового разделения (вокал + инструментал), которое предлагает FreeVocalRemover, качество достаточно высокое, чтобы быть действительно полезным для ремиксов, караоке и музыкального анализа. Четырёхстемовое разделение (с добавлением ударных и баса) сложнее, но всё чаще доступно в продвинутых ИИ-инструментах.

Стемы и треки: в чём разница?

• Треки (мультитреки) — отдельные записанные каналы. Ударная установка может состоять из 10+ отдельных треков (по одному на каждый микрофон). Это сырые строительные блоки студийной записи.
• Стемы — группы треков, сведённые вместе. Десять треков ударных, сведённых в один стереостем ударных.
• Мастер (микс) — все стемы, сведённые в финальную песню.