A curiosidade sobre o próximo grande passo do Meta está a crescer na corrida pelo domínio da inteligência artificial e, com o lançamento em julho do modelo de texto generativo Llama 2 firmemente estabelecido no mercado, os observadores da inteligência artificial aguardam ansiosamente sinais do Llama 3
Se acreditarmos nos rumores da indústria, o gigante tecnológico poderá anunciar a continuação do seu sucesso de código aberto no início de 2024.
Embora o Meta não tenha confirmado oficialmente o rumor, Mark Zuckerberg lançou recentemente alguma luz sobre o futuro do LLM (Large Language Model) do Meta, começando por admitir que o Llama 3 está em desenvolvimento. No entanto, disse
que, embora a prioridade seja aperfeiçoar o Llama 2 para o tornar mais acessível ao consumidor, o novo modelo de inteligência artificial principal ainda está a ser desenvolvido.
“Estamos constantemente a treinar modelos diferentes”, disse – disse numa entrevista num podcast sobre a interface entre a inteligência artificial e o metaverso. “Treinámos o Llama 2 e disponibilizámo-lo como um modelo de código aberto”.
E continuou: “Mas sim, também estamos a trabalhar num futuro modelo de fundação e não há novas informações ou notícias sobre isso. Não sei exatamente quando estará concluído”.
O Met não confirmou oficialmente este rumor, mas o padrão dos ciclos de desenvolvimento e o investimento significativo em hardware sugerem que um lançamento está iminente; o Llama 1 e o Llama 2 estão a ser treinados em intervalos de seis meses e, se este ciclo se mantiver, o OpenAI GPT-4 e o Llama 2 deverão ser lançados. O novo Llama 3, que é considerado equivalente, poderá ser lançado no primeiro semestre de 2024.
O utilizador do Reddit llamaShill faz uma análise exaustiva dos ciclos de desenvolvimento dos modelos Meta anteriores.
Ele afirma que é razoável assumir que o treino da Llama 1 decorre de julho de 2022 a janeiro de 2023, o da Llama 2 decorre até julho de 2023 e o da Llama 3 decorre de julho de 2023 a janeiro de 2024. Estas ideias são consistentes com a narrativa da Meta de uma busca incessante pela excelência da IA e um desejo de mostrar a próxima evolução que pode rivalizar com as capacidades do GPT-4
Entretanto, os fóruns de tecnologia e as redes sociais estão cheios de discussões sobre como esta nova iteração irá restaurar a vantagem competitiva do Meta. A comunidade técnica também está a definir prazos prováveis com base nas informações disponíveis
O que ouvimos na reunião social da MetaGenAI:
“Temos computadores para treinar a Llama-3 e a Llama-4, a Llama-3 será comparável à GPT-4”.
“Quando a Llama-3 for tão boa como a GPT-4, vão torná-la open source?
“Sim, faremos isso.
– jason (@agikoala) 25 de agosto de 2023
‘
Entretanto, a parceria com a Dell para oferecer o Llama 2 no local para utilizadores empresariais é uma medida estratégica e oportuna que demonstra o empenho da empresa na gestão e segurança dos dados pessoais. Este compromisso é crucial, uma vez que a Meta está a preparar-se para enfrentar gigantes como a OpenAI e a Google.
A Meta também está a implementar a inteligência artificial em muitos dos seus produtos e faz sentido garantir que não fica para trás; a Llama 2 alimenta a IA da Meta e outros serviços, como o chatbot da Meta, os serviços generativos da Meta e os óculos Meta AI.
No meio de toda esta especulação, Mark Zuckerberg fez algumas declarações intrigantes e enigmáticas sobre o facto de a Llama 3 ser de código aberto. Num podcast recente com o cientista informático Rex Friedman, Zuckerberg disse: “Precisamos de um processo para o fazer e torná-lo seguro”.
A Llama 2 possui uma arquitetura multi-camadas com versões que oferecem 7 mil milhões, 13 mil milhões e uns robustos 70 mil milhões de parâmetros, cada uma adequada a diferentes níveis de complexidade e poder computacional Os parâmetros LLM funcionam como blocos de construção neurais que definem a capacidade do modelo para compreender e gerar linguagem.
Esta poderosa inteligência artificial foi treinada num enorme corpus de 2 biliões de tokens, o que sustenta a sua capacidade de navegar e gerar texto semelhante ao humano numa vasta gama de tópicos e contextos
Imagem cortesia da Meta
Em parte, isto deve-se aos fundamentos do hardware: como relata o TCN, a Meta está a armazenar um dos seus mais poderosos dispositivos de treino de IA, o Nvidia H100, no seu centro de dados.
No entanto, apesar de todo o entusiasmo e especulação, a verdade permanece envolta num véu de segredos comerciais.
As intenções do Met de competir no domínio da inteligência artificial dependem em grande medida do tempo de formação necessário, do investimento em hardware e das questões relativas ao software de código aberto. Por outro lado, as expectativas estão a aumentar, tal como a probabilidade de lançamento do Frame 3 em 2024.
