Любопитството към следващия голям ход на Meta достига трескава степен в надпреварата за доминиране в сферата на изкуствения интелект. След като нейният модел за генериране на текст Llama 2 – пуснат през юли – се утвърди на пазара, наблюдателите на изкуствения интелект жадно търсят признаци за Llama 3.
Ако се вярва на шушуканията в индустрията, продължението на успеха на технологичния титан с отворен код може да се появи в началото на 2024 г.
Meta не е потвърдила официално слуховете, но Марк Зукърбърг наскоро хвърли известна светлина върху това какво може да бъде бъдещето на LLM (големи езикови модели) на Meta, започвайки с признанието, че Llama 3 е в процес на разработка. Но той каза, че новият основополагащ модел на изкуствения интелект все още е на заден план, докато приоритет остава фината настройка на Llama 2, за да стане по-удобен за потребителите.
„Искам да кажа, че винаги има друг модел, който обучаваме“, каза той в интервю за подкаст, посветено на пресечната точка между ИИ и метавселената, „Обучихме Llama 2 и го пуснахме като модел с отворен код, а в момента приоритетът е да го вградим в няколко потребителски продукта…
„Но да, работим и по бъдещите модели на фондацията и нямам нищо ново или новина по този въпрос“, продължи той. „Не знам кога точно ще бъде готов.“
Въпреки че Meta не е потвърдила официално слуховете, моделите в циклите на разработка и големите инвестиции в хардуер подсказват за предстоящо пускане на пазара. При Llama 1 и Llama 2 се наблюдаваха шестмесечни интервали в обучението и ако този каданс се запази, новата Llama 3, за която се предполага, че ще бъде на нивото на GPT-4 на OpenAI, може да бъде пусната през първата половина на 2024 г.
Потребителят на Reddit llamaShill представи подробен анализ на историческите цикли на разработване на моделите на Meta, който допринася за задълбочаването на спекулациите.
Обучението на Llama 1 е продължило от юли 2022 г. до януари 2023 г., а Llama 2 го е последвала до юли 2023 г., предлага потребителят, което поставя правдоподобен етап за обучението на Llama 3 от юли 2023 г. до януари 2024 г. Тези прозрения съвпадат с разказа за Мета, която непрестанно се стреми към съвършенство в областта на изкуствения интелект, нетърпелива да покаже следващия си напредък, който може да се изправи рамо до рамо с възможностите на GPT-4.
Междувременно технологичните форуми и социалните медии са пълни с дискусии за това как тази нова итерация може да възстанови конкурентното предимство на Meta. Технологичната общност също така е сглобила вероятна времева линия от трохите налична информация.
Слушано на социална среща на Meta GenAI:
„Имаме изчисления за обучение на Llama 3 и 4. Планът е Llama-3 да бъде толкова добра, колкото GPT-4.“
„Уау, ако Llama-3 е толкова добра, колкото GPT-4, ще продължите ли да я използвате с отворен код?“
„Да, ще го направим. Съжаляваме хората, които се занимават с подравняване.“
– jason (@agikoala) August 25, 2023
Добавете към това и малко слухове в Twitter: разговор, за който се твърди, че е подслушан на социална среща на „Meta GenAI“, по-късно публикуван в Twitter от изследователя на OpenAI Джейсън Уей. „Имаме изчислителната база за обучение на Llama 3 и 4“, казва неидентифициран източник според Уей, като потвърждава, че тя ще бъде предоставена и като отворен източник.
Междувременно партньорството на компанията с Dell, която предлага Llama 2 на място за корпоративни потребители, подчертава ангажимента ѝ за контрол и сигурност на личните данни – ход, който е както стратегически, така и показателен за времето. Тъй като Meta се подготвя да се изправи срещу гиганти като OpenAI и Google, този ангажимент е от решаващо значение.
Meta също така внедрява изкуствен интелект в много от своите продукти, така че е логично компанията да увеличи залозите си, за да не остане по-назад. Llama 2 захранва Meta AI, както и други услуги, като чатботовете на Meta, генеративните услуги на Meta и очилата с изкуствен интелект на Meta, за да назовем само някои от тях.
На фона на този водовъртеж от спекулации разсъжденията на Марк Зукърбърг относно отворения код на Llama 3 само заинтригуваха и мистифицираха. „Ще ни е необходим процес, за да го преработим и да го направим безопасен“, сподели Зукърбърг по време на неотдавнашен подкаст с компютърния учен Лекс Фридман.
Llama 2 разполага с многостепенна архитектура с версии, предлагащи 7 милиарда, 13 милиарда и 70 милиарда параметри, всяка от които е подходяща за различни нива на сложност и изчислителна мощ. Параметрите в LLM служат като невронни градивни елементи, които определят способността на модела да разбира и генерира език, като броят на параметрите често корелира със сложността и потенциалното качество на резултатите на модела.
Мощният модел за изкуствен интелект е обучен върху обширен корпус от 2 трилиона лексеми, което е в основата на способността му да се ориентира и да генерира текст, подобен на човешкия, в широк спектър от теми и контексти.
Изображение с любезното съдействие на Meta
На заден план се полагат и основите на хардуера. Както съобщава TCN, Meta снабдява център за данни с Nvidia H100, един от най-мощните хардуерни елементи за обучение на ИИ – ясен знак, че колелата са в движение.
И все пак, при цялото вълнение и спекулации, истината остава забулена в корпоративна тайна.
Намеренията на Meta да се конкурира в областта на ИИ се определят до голяма степен от необходимото време за обучение, инвестициите в хардуер и въпроса за отворения код. Междувременно очакването е толкова осезаемо, колкото е вероятно пускането на Llama 3 през 2024 г.
