Riffusion, приложение, созданное как бесплатный инструмент с открытым исходным кодом, использующий Stable Diffusion для создания музыки из визуальных треков, недавно получило 4 млн. долл. инвестиций после того, как его создатели превратили его в коммерческую компанию.
Создатели Сет Форсгрен и Хейк Мартирос изначально строили Riffusion как хобби-проект. С момента создания он привлек интерес таких технологических организаций, как Meta, Google и ByteDance. Отчасти его привлекательность заключалась в простоте.
«Пользователи просто описывают текст песни и музыкальный стиль, а наша модель за несколько секунд генерирует риффы, сопровождаемые пением и индивидуальным оформлением», — рассказал Форсгрен в интервью TechCrunch.
Недавний раунд финансирования возглавила компания Greycroft Partner, в нем приняли участие South Park Commons и Sky9. Кроме того, в качестве консультантов к проекту присоединился музыкальный дуэт «The Chainsmokers».
Музыка является универсальным средством художественного выражения, а генеративные инструменты искусственного интеллекта, такие как Riffusion, Suno или Meta’s Audio Craft, открывают новые возможности для любителей и профессионалов сочинять музыку, делиться своими творениями и взаимодействовать друг с другом. Например, уже существует несколько серверов Discord и каналов YouTube, где пользователи делятся своей музыкой с помощью ИИ.
Тем временем профессиональные композиторы изучают возможности внедрения ИИ в свой творческий процесс.
Однако сочетание искусственного интеллекта с искусством остается деликатной темой. Некоторые художники, как, например, Граймс, приняли технологию с распростертыми объятиями, используя ее возможности для совершенствования своего творческого процесса. С другой стороны, такие исполнители, как Дрейк, выражают беспокойство по поводу внедрения ИИ в музыку.
В 2023 году объединение ИИ и музыки вызвало ряд противоречий. Принятый в США «Закон о запрете подделок» направлен на пресечение несанкционированного воспроизведения с помощью ИИ голосов и образов актеров и певцов с целью защиты прав исполнителей. Опасения Universal Music Group по поводу несанкционированного генерирующего обучения ИИ с использованием музыки своих исполнителей также свидетельствуют о потенциальных нарушениях законодательства об авторском праве.
Эта проблема получила широкое распространение после того, как псевдонимный художник Ghostwriter опубликовал сгенерированную искусственным интеллектом песню «Heart On My Sleeve», которая имитирует стиль и голоса The Weenknd и Drake. Песня даже рассматривалась на номинацию «Грэмми», но идея была отклонена, поскольку сгенерированные искусственным интеллектом произведения не могут быть защищены авторским правом в соответствии с действующим законодательством.
Riffusion не стоит ввязываться в такие тернии.
«Продукт не был создан для создания глубоких подделок, и он не распознает имена известных исполнителей в своих подсказках», — отметил Форсгрен.
Хотя подробности стратегии монетизации Riffusion не раскрываются, сотрудничество с известными артистами позволяет предположить потенциальные направления развития платформы.
За пределами музыкальной сферы генеративный ИИ также подвергается тщательному изучению в изобразительном искусстве и литературе. Многие художники утверждают, что обучение моделей ИИ с использованием их произведений без согласия является неэтичным и потенциально незаконным.
