Google Labs hat ein bedeutendes Upgrade seines Gemini Pro AI-Tools angekündigt – das mittelgroße AI-Modell, das die kostenlose Version seines Chatbots antreibt – und führt die Fähigkeit ein, bis zu 1 Million Token in der Vorschau zu verarbeiten. Es bietet eine noch nie dagewesene „Kontextgröße“, die die derzeit führenden Tools und ihre 128K-Kapazität in den Schatten stellt.
Das Upgrade auf Gemini Pro v1.5 macht es theoretisch 700% leistungsfähiger als das kostenpflichtige GPT-4-Modell von OpenAI und setzt einen neuen Maßstab für Computerlinguistik und maschinelles Lernen unter den großen Sprachmodellen (LLMs).
Laut Google handelt es sich dabei um „das längste Kontextfenster eines groß angelegten Basismodells“.
„Bis heute lag das weltweit größte Kontextfenster für ein öffentlich verfügbares großes Sprachmodell bei 200.000 Token. Wir waren in der Lage, diese Zahl deutlich zu erhöhen – wir konnten durchgehend bis zu 1 Million Token verarbeiten“, teilte das Google Labs-Team mit.
Mit dieser Funktion wäre Gemini Pro leistungsfähiger als die leistungsstärkste Version der aktuellen Gemini-Produktreihe – und jedes andere derzeit verfügbare LLM. Dieser Kontext wurde jedoch zu Testzwecken online gestellt, während die kommende stabile Version von Gemini Pro bis zu 128K Token verarbeiten wird.
Während diese Version ein großes Upgrade gegenüber den 32.000 Token darstellt, die Gemini 1.0 verarbeiten kann, müssen die Nutzer abwarten, um zu sehen, was 1 Million Token leisten können.
Dieser Schritt ist die jüngste Offensive von Google im Rennen um die Vorherrschaft in der KI-Branche. Letzte Woche wurde Gemini Advanced der erste ernstzunehmende Konkurrent von ChatGPT Plus. Im Gegensatz zu Anthropics Claude ist der Chatbot von Google multimodal, liefert gute Ergebnisse in verschiedenen Tests und bietet eine Reihe von Funktionen, die OpenAI nicht hat.
Gemini Advanced wird jedoch zu GPT-4.5 Turbo aufschließen, der bereits 128.000 Token verarbeiten kann.
Die Vielseitigkeit von Gemini 1.5 wurde durch mehrere Demonstrationen anschaulich demonstriert. Google sagte, dass es „riesige Mengen an Informationen in einem Durchgang verarbeiten kann – einschließlich 1 Stunde Video, 11 Stunden Audio, Codebases mit über 30.000 Zeilen Code oder über 700.000 Wörter“.
„In unserer Forschung haben wir auch erfolgreich bis zu 10 Millionen Token getestet“, fügte das Team hinzu.
Ein Manko: Gemini-Modelle können keine PDF-Dateien analysieren, eine Schwäche, auf die TCN in seinem Vergleich zwischen Gemini und ChatGPT hingewiesen hat.
‚Mixture of Experts‘ ist hier um zu bleiben
Ein weiterer Unterschied zwischen Gemini 1.5 und seinen Vorgängerversionen ist die Verwendung von Mixture of Experts, der gleichen Technologie, die Mistral AI für sein leichteres Modell verwendet hat. Mistrals Neuzugang war leistungsfähig genug, um GPT 3.5 zu schlagen und in die oberen Ränge der besten Open-Source-LLMs aufzusteigen.
„(Mixture of Experts) leitet Ihre Anfrage an eine Gruppe kleinerer neuronaler Netze weiter, so dass die Antworten schneller und qualitativ hochwertiger sind“, teilte Google in seiner Ankündigung mit und erklärte, dass dies nicht nur schnellere, sondern auch qualitativ hochwertigere Antworten gewährleistet.
Genau wie Mistral konnte Google sein Modell zum Glänzen bringen. Gemini 1.5 Pro zeigte in mehreren Benchmarks eine bessere Leistung als Gemini Ultra 1.0, was auf eine vielversprechende Zukunft für Googles LLMs hindeutet.
„Es zeigt dramatische Verbesserungen in einer Reihe von Dimensionen und 1.5 Pro erreicht eine vergleichbare Qualität wie 1.0 Ultra, während es weniger Rechenleistung benötigt“, sagte Google-CEO Sundar Pichai heute in einem Blog-Post.
In der Ankündigung wurde kein Zeitplan für die Veröffentlichung von Gemini Advanced 1.5 genannt. In der Zwischenzeit entwickelt OpenAI aktiv GPT-5. Die verbesserten Token-Handling-Fähigkeiten von Gemini werden dazu beitragen, Googles Position im KI-Wettrüsten zu stärken
