Microsoft Research hat die Veröffentlichung von Phi-2 angekündigt, einem kleinen Sprachmodell (SLM), das für seine Größe bemerkenswerte Fähigkeiten aufweist. Das heute vorgestellte Modell wurde erstmals auf der Microsoft Ignite 2023 vorgestellt, auf der Satya Nadella die Fähigkeit des Modells hervorhob, mit einem Bruchteil der Trainingsdaten Spitzenleistungen zu erzielen.
Im Gegensatz zu GPT, Gemini und anderen großen Sprachmodellen (LLMs) wird ein SLM auf einem begrenzten Datensatz trainiert, wobei weniger Parameter verwendet werden, aber auch weniger Berechnungen für die Ausführung erforderlich sind. Infolgedessen kann das Modell nicht so viel verallgemeinern wie ein großes Sprachmodell, aber es kann sehr gut und effizient bei bestimmten Aufgaben sein – wie Mathematik und Berechnungen im Fall von Phi.
Phi-2 mit seinen 2,7 Milliarden Parametern zeigt ein gutes Denkvermögen und Sprachverständnis, das laut Microsoft mit Modellen konkurriert, die bis zu 25 Mal so groß sind. Dies ist auf die Konzentration von Microsoft Research auf hochwertige Trainingsdaten und fortschrittliche Skalierungstechniken zurückzuführen, die zu einem Modell geführt haben, das seine Vorgänger in verschiedenen Benchmarks übertrifft, darunter Mathematik, Codierung und gesunder Menschenverstand.
„Mit nur 2,7 Milliarden Parametern übertrifft Phi-2 die Leistung der Mistral- und Llama-2-Modelle mit 7B und 13B Parametern bei verschiedenen aggregierten Benchmarks“, so Microsoft, das damit Googles neuestes KI-Modell in die Schranken weist: „Außerdem ist Phi-2 dem kürzlich angekündigten Google Gemini Nano 2 ebenbürtig oder sogar überlegen, obwohl es kleiner ist.“
Quelle: Microsoft
Gemini Nano 2 ist Googles neuester Versuch eines multimodalen LLM, der lokal ausgeführt werden kann. Er wurde als Teil der Gemini-Familie von LLMs angekündigt, die voraussichtlich PaLM-2 in den meisten Google-Diensten ersetzen werden.
Microsofts Ansatz zur KI geht jedoch über die Modellentwicklung hinaus. Die Einführung der kundenspezifischen Chips Maia und Cobalt, über die TCN berichtet, zeigt, dass das Unternehmen eine vollständige Integration von KI und Cloud Computing anstrebt. Die für KI-Aufgaben optimierten Computerchips unterstützen Microsofts größere Vision der Harmonisierung von Hardware- und Software-Fähigkeiten und stehen in direkter Konkurrenz zu Google Tensor und Apples neuer M-Serie von Chips.
Es ist wichtig zu erwähnen, dass Phi-2 ein so kleines Sprachmodell ist, dass es lokal auf Low-Tier-Geräten, möglicherweise sogar auf Smartphones, ausgeführt werden kann, was den Weg für neue Anwendungen und Anwendungsfälle ebnet.
Da Phi-2 in den Bereich der KI-Forschung und -Entwicklung vordringt, ist seine Verfügbarkeit im Azure AI Studio-Modellkatalog auch ein Schritt zur Demokratisierung der KI-Forschung. Microsoft ist eines der aktivsten Unternehmen, das zur Open-Source-KI-Entwicklung beiträgt.
Während sich die KI-Landschaft weiter entwickelt, ist Microsofts Phi-2 ein Beweis dafür, dass es in der Welt der KI nicht immer darum geht, größer zu denken. Manchmal liegt die größte Stärke darin, kleiner und intelligenter zu sein.
