Zvědavost ohledně dalšího velkého kroku společnosti Meta v oblasti umělé inteligence dosahuje horečnatých rozměrů. Poté, co se v červenci na trhu ujal model generování textu Llama 2, pozorovatelé AI netrpělivě vyhlížejí Llama 3.
Pokud jsou zvěsti z oboru pravdivé, mohlo by pokračování technologického giganta s otevřeným zdrojovým kódem vyjít na začátku roku 2024.
Společnost Meta tyto zvěsti oficiálně nepotvrdila, ale Mark Zuckerberg nedávno vnesl trochu světla do budoucnosti LLM (Large Language Models) společnosti Meta, počínaje jeho přiznáním, že Llama 3 je ve vývoji. Uvedl však, že nový základní model umělé inteligence je stále v pozadí a že prioritou zůstává doladění modelu Llama 2, aby byl uživatelsky přívětivější.
„Chci říct, že stále trénujeme další model,“ řekl v podcastovém rozhovoru o průsečíku mezi umělou inteligencí a metaverzemi „Vycvičili jsme Llama 2 a vydali ho jako open-source model a nyní je nutností zabudovat ho do nějakého spotřebitelského produktu …….
„Ale ano, pracujeme také na budoucích modelech Foundation a nemám k tomu žádné nové zprávy,“ pokračoval.“ Nevím přesně, kdy to bude hotové.
Ačkoli Meta tyto zvěsti oficiálně nepotvrdila, modely ve vývojovém cyklu a značné investice do hardwaru naznačují, že společnost je blízko vydání nového produktu. llama 1 a llama 2 byly vyškoleny s půlročním odstupem, a pokud se toto tempo udrží, nová llama 3 (předpokládá se, že bude na úrovni OpenAI GPT-4) by mohla být vydána v první polovině roku 2024.
Uživatel Reddit llamaShill poskytl podrobnou analýzu historických vývojových cyklů modelu Meta, čímž přispěl k dalším spekulacím.
Uživatel naznačuje, že trénink pro lamu 1 trval od července 2022 do ledna 2023, přičemž lama 2 následovala v těsném závěsu až do července 2023, což vytváří pravděpodobný scénář, že trénink pro lamu 3 bude probíhat od července 2023 do ledna 2024. Tyto poznatky se shodují s pokračujícím příběhem společnosti Meta o vynikající umělé inteligenci a společnost Meta se těší, až předvede svůj další pokrok, který se může zařadit po bok schopností GPT-4.
Technologická fóra a sociální média mezitím zaplavily diskuse o tom, jak by nová iterace mohla obnovit konkurenční výhodu společnosti Meta. Technologická komunita také ze střípků informací shrnula možnou časovou osu.
Zhodnoceno na konferenci Meta GenAI Social:
„Provedli jsme tréninkové výpočty na lamě 3 a 4. Plán je takový, aby Llama-3 byla stejně dobrá jako GPT-4.“
„Páni, jestli bude Llama-3 stejně dobrá jako GPT-4, budete pokračovat v jejím open source?“
„Ano, budeme. Omlouvám se, zarovnávači.“
– jason (@agikoala) 25. srpna 2023
Plus malá zajímavost na Twitteru: rozhovor, který údajně zaslechl na společenském setkání „Meta GenAI“ a později na Twitteru zveřejnil výzkumník OpenAI Jason Way.“ Podle Waye již máme výpočetní základ pro trénink lamy 3 a 4″ a neznámý zdroj potvrdil, že bude k dispozici i jako open source.
Společnost mezitím uzavřela partnerství se společností Dell, aby zpřístupnila Llama 2 podnikovým uživatelům, čímž podtrhla svůj závazek ke kontrole soukromí a bezpečnosti, což je strategický a současný krok. Tento závazek má zásadní význam v době, kdy se Meta připravuje na souboj s giganty, jako jsou OpenAI a Google.
Meta také začleňuje umělou inteligenci do mnoha svých produktů, takže pro společnost dává smysl, aby zvýšila své úsilí a zajistila, že nebude dále zaostávat. llama 2 pohání Meta AI, stejně jako další služby, jako je Meta Chatbot, Meta Generation Service a Meta Artificial Intelligence Glasses.
V tomto víru spekulací úvahy Marka Zuckerberga o otevřeném zdrojovém kódu Llama 3 jen fascinují a mystifikují.“ V nedávném podcastu s počítačovým vědcem Lexem Friedmanem Zuckerberg řekl: „Potřebujeme proces, abychom ho znovu vytvořili a zabezpečili.
Llama 2 používá víceúrovňovou architekturu, která nabízí verze se 7, 13 a 70 miliardami parametrů, z nichž každá je vhodná pro různé úrovně složitosti a výpočetního výkonu. parametry v LLM fungují jako neuronové stavební bloky, které určují schopnost modelu porozumět jazyku a generovat ho, a počet parametrů často koreluje se složitostí a potenciální kvalitou výsledků modelu.
Tento výkonný model umělé inteligence byl vycvičen na rozsáhlém korpusu obsahujícím 2 biliony slov, což je základem jeho schopnosti orientovat se a generovat text podobný lidskému v široké škále témat a kontextů.
Image courtesy of Meta
V pozadí se pokládají hardwarové základy. Podle TCN společnost Meta vybavuje datové centrum počítačem Nvidia H100, jedním z nejvýkonnějších kusů hardwaru pro trénink umělé inteligence – to je jasný signál, že se kola dávají do pohybu.
Navzdory vzrušení a spekulacím je však pravda ze strany společnosti stále zahalena tajemstvím.
Záměry společnosti Meta konkurovat v oblasti umělé inteligence do značné míry závisí na době potřebné k výcviku, investicích do hardwaru a otázkách otevřeného zdrojového kódu. Do té doby jsou očekávání stejně silná jako možné vydání Lamy 3 v roce 2024
.
