Als de geruchten uit de industrie kloppen, zou het vervolg van de open-source techgigant begin 2024 uit kunnen komen.
Meta heeft de geruchten niet officieel bevestigd, maar Mark Zuckerberg heeft onlangs wat licht geworpen op de toekomst van Meta’s LLM (Large Language Models), te beginnen met zijn erkenning dat Llama 3 in ontwikkeling is. Hij zei echter dat het nieuwe onderliggende AI-model nog steeds op een laag pitje staat en dat de prioriteit ligt bij het verfijnen van Llama 2 om het gebruiksvriendelijker te maken.
“Ik bedoel, we zijn nog steeds bezig met het trainen van het volgende model,” zei hij in een podcast interview over het snijvlak tussen AI en metaverse “We hebben Llama 2 getraind en uitgebracht als een open-source model, en nu is het noodzakelijk om het in een soort consumentenproduct te bouwen ……..
“Maar ja, we werken ook aan toekomstige Foundation-modellen en daar heb ik geen nieuws over,” vervolgde hij.” Ik weet niet precies wanneer het klaar zal zijn.
Hoewel Meta de geruchten niet officieel heeft bevestigd, suggereren modellen in de ontwikkelingscyclus en aanzienlijke hardware-investeringen dat het bedrijf dicht bij het uitbrengen van een nieuw product is. llama 1 en llama 2 werden zes maanden na elkaar uitgebracht, en als dat tempo wordt aangehouden, zou de nieuwe llama 3 (naar verwachting op het OpenAI GPT-4-niveau) in de eerste helft van 2024 kunnen worden uitgebracht.
Reddit-gebruiker llamaShill heeft een gedetailleerde analyse van de historische ontwikkelingscycli van het Meta-model gemaakt, die de speculaties nog meer kracht bijzet.
De gebruiker suggereert dat de training voor Llama 1 duurde van juli 2022 tot januari 2023, met Llama 2 vlak daarna tot juli 2023, waardoor het waarschijnlijk is dat de training voor Llama 3 zal lopen van juli 2023 tot januari 2024. Deze bevindingen vallen samen met Meta’s voortdurende verhaal van superieure AI, en het bedrijf kijkt ernaar uit om zijn volgende vooruitgang te laten zien, die naast de capaciteiten van GPT-4 kan staan.
Ondertussen zijn de
technologiefora en sociale media overspoeld met discussies over hoe de nieuwe versie het concurrentievoordeel van Meta zou kunnen herstellen. De technische gemeenschap heeft ook een mogelijke tijdlijn samengesteld uit restjes informatie.
Geëvalueerd op Meta’s GenAI Social conferentie:
“We hebben trainingsberekeningen gedaan op Llama 3 en 4. Het plan is dat Llama-3 net zo goed is als GPT-4.”
“Wow, als Llama-3 net zo goed is als GPT-4, blijven jullie het dan open source maken?”
“Ja, dat doen we. Sorry, aligner.”
– jason (@agikoala) 25 augustus 2023
Plus een beetje Twitter trivia: een gesprek dat zou zijn opgevangen op een “Meta GenAI” sociale bijeenkomst en later op Twitter is gezet door OpenAI onderzoeker Jason Way.” Volgens Way hebben we al de computationele basis voor het trainen van Lama’s 3 en 4″ en een onbekende bron bevestigde dat het beschikbaar zal zijn als open source.
Ondertussen is het bedrijf een samenwerking aangegaan met Dell om Llama 2 beschikbaar te maken voor zakelijke gebruikers, wat de toewijding aan privacy en veiligheid onderstreept, een strategische en gelijktijdige stap. Deze toewijding is cruciaal nu Meta zich voorbereidt om het op te nemen tegen giganten als OpenAI en Google.
Meta integreert ook kunstmatige intelligentie in veel van zijn producten, dus het is logisch dat het bedrijf zijn inspanningen opvoert om ervoor te zorgen dat het niet verder achterop raakt. llama 2 wordt aangedreven door Meta AI, evenals andere diensten zoals Meta Chatbot, Meta Generation Service en Meta Artificial Intelligence Glasses.
In deze maalstroom van speculatie fascineren en mystificeren Mark Zuckerbergs overpeinzingen over open source Llama 3 alleen maar.” In een recente podcast met computerwetenschapper Lex Friedman zei Zuckerberg: “We hebben een proces nodig om het opnieuw te maken en te beveiligen.
Llama 2 gebruikt een architectuur met meerdere niveaus die versies biedt met 7, 13 en 70 miljard parameters, elk geschikt voor verschillende niveaus van complexiteit en rekenkracht. De parameters in LLM fungeren als neurale bouwstenen die het vermogen van het model om taal te begrijpen en te genereren bepalen, en het aantal parameters correleert vaak met de complexiteit en potentiële kwaliteit van de resultaten van het model.
Dit krachtige AI-model is getraind op een groot corpus met 2 biljoen woorden, wat zijn vermogen om te navigeren en mensachtige tekst te genereren over een breed scala aan onderwerpen en contexten onderbouwt.
Afbeelding met dank aan Meta
.
