Microsoft Research heeft de release aangekondigd van Phi-2, een klein taalmodel (SLM) dat opmerkelijke mogelijkheden biedt voor zijn grootte. Het model is vandaag gelanceerd en werd voor het eerst onthuld tijdens Microsofts Ignite 2023-evenement, waar Satya Nadella de mogelijkheid benadrukte om state-of-the-art prestaties te behalen met een fractie van de trainingsgegevens.
In tegenstelling tot GPT, Gemini en andere grote taalmodellen (LLM’s), wordt een SLM getraind op een beperkte dataset, waarbij minder parameters worden gebruikt maar ook minder berekeningen nodig zijn om uit te voeren. Hierdoor kan het model niet zo generaliseren als een groot taalmodel, maar kan het wel erg goed en efficiënt zijn in specifieke taken, zoals wiskunde en berekeningen in het geval van Phi.
Phi-2, met zijn 2,7 miljard parameters, laat zien goed te kunnen redeneren en taal te begrijpen, en kan zich meten met modellen die tot 25 keer zo groot zijn, volgens Microsoft. Dit is te danken aan de focus van Microsoft Research op trainingsgegevens van hoge kwaliteit en geavanceerde schaaltechnieken. Dit heeft geleid tot een model dat beter presteert dan zijn voorgangers in verschillende benchmarks, waaronder wiskunde, codering en redeneren op basis van gezond verstand.
“Met slechts 2,7 miljard parameters overtreft Phi-2 de prestaties van Mistral- en Llama-2-modellen met 7B en 13B parameters op verschillende geaggregeerde benchmarks,” aldus Microsoft, die Google’s nieuwste AI-model een gevoelige klap toediende: “Bovendien is Phi-2 gelijk aan of beter dan de onlangs aangekondigde Google Gemini Nano 2, ondanks zijn kleinere formaat.”
Bron: Microsoft
Gemini Nano 2 is Google’s nieuwste gok op een multimodale LLM die lokaal kan draaien. Het werd aangekondigd als onderdeel van de Gemini-familie van LLM’s die naar verwachting PaLM-2 zullen vervangen in de meeste services van Google.
Microsofts benadering van AI gaat echter verder dan modelontwikkeling. De introductie van aangepaste chips, Maia en Cobalt, zoals gemeld door TCN, laten zien dat het bedrijf zich beweegt in de richting van volledige integratie van AI en cloud computing. De computerchips, geoptimaliseerd voor AI-taken, ondersteunen Microsofts grotere visie van het harmoniseren van hardware- en softwaremogelijkheden en zijn een directe concurrent van Google Tensor en Apple’s nieuwe M-serie chips.
Het is belangrijk op te merken dat Phi-2 zo’n klein taalmodel is dat het lokaal kan worden uitgevoerd op low-tier apparatuur, mogelijk zelfs smartphones, wat de weg vrijmaakt voor nieuwe toepassingen en use cases.
Nu Phi-2 zijn intrede doet in het domein van AI-onderzoek en -ontwikkeling, is de beschikbaarheid ervan in de Azure AI Studio modelcatalogus ook een stap in de richting van democratisering van AI-onderzoek. Microsoft is een van de meest actieve bedrijven die bijdraagt aan open source AI-ontwikkeling.
Terwijl het AI-landschap zich blijft ontwikkelen, bewijst Microsofts Phi-2 dat de wereld van AI niet altijd draait om groter denken. Soms ligt de grootste kracht in kleiner en slimmer zijn.
