Могут ли задиристые, децентрализованные модели искусственного интеллекта с открытым исходным кодом конкурировать с хорошо финансируемыми проприетарными моделями, такими как мощный GPT-4 от OpenAI? Часто задаваемый вопрос вызвал оживленную дискуссию в Twitter после того, как бывший исследователь Google AI выбрал свою сторону.
Арно Бенард, соучредитель Galileo AI, бросил вызов, заявив: «Если вы думаете, что модели с открытым исходным кодом победят GPT-4 в этом году, то вы ошибаетесь». Он сослался на талант и ресурсы OpenAI, а также на надежный характер GPT-4 как продукта, выходящего за рамки LLM, и заявил, что проектам с открытым исходным кодом будет трудно превратиться из претендентов в чемпионов ИИ.
если вы думаете, что модели с открытым исходным кодом победят gpt-4 в этом году, вы ошибаетесь.
Я работал в лучших исследовательских лабораториях, занимающихся разработкой аи (google ai), и создавал библиотеки с открытым исходным кодом с ☻ 5 млн ежемесячных загрузок.
gpt-4 уже год, и пока ни одна модель не сравнится с ней, вот почему:
1. талант — openai наняла…
— Арно Бенара (@arnaudai) 1 января 2024
Неудивительно, что твит Бенарда вызвал неоднозначную реакцию — от бурной поддержки до яростного несогласия.
Райан Кейси, популярный энтузиаст ИИ, автор рассылки «Beyond The Yellow Woods», предложил более оптимистичный взгляд на потенциал ИИ с открытым исходным кодом, заявив: «Открытый исходный код сравняется или превзойдет [частные модели] в этом году», — согласно его расчетам. «Если на него есть спрос, то будут и инновации.»
Эх, я думаю, что открытый исходный код будет соответствовать или превзойдет этот год. pic.twitter.com/y99qKJ2iKF
— Райан Кейси (@ryansweb)1 января 2024 года
С другой стороны, стратег по ИИ Джереми Трагуна отметил, что «модели OpenAI постоянно движутся», добавив, что «моделям с открытым исходным кодом будет трудно поддерживать скорость, чтобы поразить движущуюся цель в тот момент, когда цель находится в положении, когда ее нужно поразить». Другими словами, хотя модели с открытым исходным кодом могут догнать GPT-3.5 в эпоху GPT-4, к тому времени, когда у нас появятся универсальные LLM, сопоставимые с GPT-4.5 Turbo, может быть уже GPT-5.
Технический аналитик Джон Хауэллс (Jon Howells) считает, что ресурсы — не единственный стандарт, отделяющий открытые LLM от закрытых.
«У Mistral огромное финансирование, отличная команда, и недавно они выпустили модель GPT-3.5 с открытым исходным кодом», — пишет он. «Они или аналогичная компания выпустят модель с открытым исходным кодом уровня GPT-4 к концу этого года».
Mistral AI, французский стартап, получил признание после выпуска своей модели Mixtral LLM, которая предлагает улучшенную производительность по сравнению с GPT-3.5 во многих случаях использования.
В ходе многопоточной дискуссии соучредитель Nous Research Текниум высказал важную, но философскую мысль. «Каждый прирост возможностей ОС (Open Source) — это постоянная вещь, которую никогда нельзя отнять у мира и которую можно надежно использовать всегда, — сказал он. По сути, пока существует какой-то прогресс в технологии ИИ с открытым исходным кодом, ни одна компания не может ограничить доступ к ней.
Я представил вместе и мистраль, ни одна из сторон не злится по этому поводу, fwiw. Но в этом посте он сказал, что ни одна модель ОС не побьет GPT-4, но GPT-4 будет старой новостью — возможно, в этом году — нам не потребовалось много времени, чтобы побить 3.5, а генеральный директор Mistral сказал, что планирует выпустить GPT4 уровня Open…
— Teknium (e/λ) (@Teknium1) January 1, 2024
Открытый или закрытый? Бесконечные дебаты
Дебаты между открытым и закрытым исходным кодом напоминают ранние битвы за операционные системы между Windows и Linux. Сантьяго Пино из ML School написал, что проприетарные модели ИИ, возможно, и выиграют у обычных потребителей, как это сделала Windows, но программное обеспечение с открытым исходным кодом обеспечивает настройку и контроль, которые могут быть чрезвычайно полезны для корпоративных пользователей.
Пино рассказал о том, как многие компании начинают экспериментировать с ChatGPT, но затем переходят на модели с открытым исходным кодом, которые они могут точно настроить и адаптировать под свои конкретные нужды и требования к соответствию данных. По его словам, решения с открытым исходным кодом позволяют избежать привязки к поставщику и обеспечивают прозрачность.
«Закрытые, проприетарные модели могут привлечь отдельных пользователей, но большинство компаний не хотят отправлять свои данные в Microsoft или Google. Им нужен контроль. Модели с открытым исходным кодом — вот ответ», — сказал он в своем твите за несколько дней до того, как тема Бернарда стала вирусной.
Модели с открытым исходным кодом уничтожат ChatGPT и Gemini.
История открытых моделей больших языков — это история Linux. Windows и Mac завоевали потребителей, но Linux стала операционной системой Интернета.
То же самое произойдет с ChatGPT, Gemini и моделями с открытым исходным кодом. Закрытые,… pic.twitter.com/fdmS1VNtqf
— Сантьяго (@svpino) Декабрь 22, 2023
Такого мнения придерживалась в дискуссии по поводу твита Бернарда компания Sciumo Inc., занимающаяся разработкой программного обеспечения, которая подчеркнула нишевый потенциал моделей с открытым исходным кодом: «(Модели с открытым исходным кодом) будут конкурировать там, где это важно: специфические проблемы, связанные с конкретной областью, с конкретными данными и опытом, которых у (OpenAI) нет».
Фуркан Гёзюкара, компьютерный инженер, известный своим YouTube-каналом SECourses, также относится к тем, кто придерживается более тонкой позиции. В беседе с TCN он согласился с Бернардом, заявив, что «только в специфических задачах Open Source LLMs обойдет OpenAI».
Гёзюкара приводит пример компании, которая «обучает LLM по (своим) собственным документам». Да, у OpenAI есть возможность настраивать GPT на основе конкретных инструкций и документов, но передача конфиденциальных данных третьим лицам всегда вызывает опасения. Недавно эта обеспокоенность подтвердилась, когда выяснилось, что персонализированные GPT передают конфиденциальные данные сторонним пользователям.
Ян Лекун, руководитель отдела разработки ИИ компании Meta и ярый защитник открытого ПО, неоднократно заявлял, что «базовые модели ИИ с открытым кодом вытеснят закрытые и проприетарные модели ИИ». Google, другой гигант в области ИИ, также признает угрозу, исходящую от ИИ с открытым кодом: «Модели с открытым кодом быстрее, более настраиваемые, более частные и в фунтах стерлингов более способные», — говорится в утечке служебной записки Google в 2023 году.
Пока неясно, смогут ли модели с открытым исходным кодом превзойти GPT-4 и последующие итерации в этом году. Однако мнения экспертов с обеих сторон свидетельствуют об интригующем противоречии. Модели с закрытым исходным кодом могут иметь преимущество в ресурсах и быстроте итераций, но инструменты с открытым исходным кодом быстро развиваются, предлагая постоянные возможности и настраиваемость. Пока что сообщество ИИ может наблюдать за ходом соревнований и наслаждаться преимуществами использования лучших доступных технологий.
