Meta создала модель ИИ MusicGen, которая пишет музыку на основе текстовых подсказок
Компания Meta создала модель MusicGen, которая с помощью искусственного интеллекта способна генерировать новые музыкальные произведения на основе текстовых подсказок, сообщает The Decoder.
Подобно тому, как языковая модель отвечает на текстовые запросы, MusicGen генерирует музыкальные произведения. Для обучения было использовано 20 тыс. часов лицензионной музыки.
Модель уникальна тем, что может обрабатывать текстовые и музыкальные подсказки. Текст задает основной стиль, который затем формируется в мелодию.
По сравнению с другими музыкальными моделями, такими как Riffusion, Mousai, MusicLM и Noise2Music, MusicGen имеет лучшие показатели как по объективным, так и по субъективным метрикам, которые проверяют, насколько хорошо музыка соответствует тексту и насколько правдоподобна композиция. Тесты показывают, что производительность MusicGen сравнима с Google MusicLM.
Meta выпустила модель ИИ с открытым исходным кодом на Github, разрешая ее коммерческое использование. Демонстрационная версия доступна на HuggingFace.
