Google Labs ogłosiło poważną aktualizację swojego narzędzia Gemini Pro AI – średniej wielkości modelu sztucznej inteligencji, który zasila darmową wersję swojego chatbota – wprowadzając możliwość przetwarzania do 1 miliona tokenów w podglądzie. Zapewnia to bezprecedensowy „rozmiar kontekstu”, który pozostawia w tyle obecne wiodące narzędzia i ich pojemność 128K.
Aktualizacja do wersji 1.5 Gemini Pro czyni go teoretycznie o 700% potężniejszym niż płatny model GPT-4 OpenAI i wyznacza nowy punkt odniesienia dla lingwistyki obliczeniowej i uczenia maszynowego wśród dużych modeli językowych (LLM).
Według Google jest to „najdłuższe okno kontekstowe spośród wszystkich wielkoskalowych modeli fundamentalnych”.
„Do dziś największe okno kontekstowe na świecie dla publicznie dostępnego dużego modelu językowego wynosiło 200 000 tokenów. Udało nam się to znacznie zwiększyć – konsekwentnie działając do 1 miliona tokenów” – udostępnił zespół Google Labs.
Dzięki tej funkcji Gemini Pro byłby bardziej wydajny niż najpotężniejsza wersja obecnej linii Gemini – i każdy inny obecnie dostępny LLM. Kontekst ten został jednak wprowadzony online w celach testowych, podczas gdy nadchodząca stabilna wersja Gemini Pro będzie obsługiwać do 128 tys. tokenów.
Chociaż ta wersja będzie dużym ulepszeniem w stosunku do 32 000 tokenów, które może przetwarzać Gemini 1.0, użytkownicy będą musieli poczekać, aby zobaczyć, co potrafi 1 milion tokenów.
Posunięcie to jest najnowszą ofensywą Google w wyścigu o dominację w branży sztucznej inteligencji. W zeszłym tygodniu Gemini Advanced stał się pierwszym wiarygodnym konkurentem ChatGPT Plus. W przeciwieństwie do Anthropic’s Claude, chatbot Google jest multimodalny, zapewnia dobre wyniki w różnych testach i oferuje zestaw funkcji, których nie ma OpenAI.
Gemini Advanced będzie jednak doganiać GPT-4.5 Turbo, który obsługuje już 128 000 tokenów.
Wszechstronność Gemini 1.5 została żywo zaprezentowana podczas kilku demonstracji. Google powiedział, że „może przetwarzać ogromne ilości informacji za jednym razem – w tym 1 godzinę wideo, 11 godzin audio, bazy kodu zawierające ponad 30 000 wierszy kodu lub ponad 700 000 słów”.
„W naszych badaniach z powodzeniem przetestowaliśmy również do 10 milionów tokenów” – dodał zespół.
Jedna wada: Modele Gemini nie mogą analizować plików PDF, co TCN wskazał w swoim porównaniu Gemini i ChatGPT.
’Mixture of Experts’ is here to stay
Kolejną różnicą między Gemini 1.5 a jego poprzednimi wersjami jest wykorzystanie Mixture of Experts, tej samej technologii, którą Mistral AI wykorzystał do stworzenia swojego lżejszego modelu. Uczestnik Mistral był wystarczająco potężny, aby pokonać GPT 3.5 i przeskoczyć na wyższe szczeble najlepszych LLM o otwartym kodzie źródłowym.
„(Mixture of Experts) kieruje twoje zapytanie do grupy mniejszych” eksperckich „sieci neuronowych, dzięki czemu odpowiedzi są szybsze i wyższej jakości”, Google podzieliło się w swoim ogłoszeniu, twierdząc, że zapewnia to nie tylko szybsze odpowiedzi, ale także wyższą jakość.
Podobnie jak Mistral, Google był w stanie sprawić, że jego model zabłysnął. Gemini 1.5 Pro wykazał lepszą wydajność w kilku testach porównawczych w porównaniu do Gemini Ultra 1.0, co sugeruje obiecującą przyszłość dla LLM Google.
„Pokazuje radykalną poprawę w wielu wymiarach, a 1.5 Pro osiąga porównywalną jakość do 1.0 Ultra, przy mniejszym zużyciu mocy obliczeniowej” – powiedział CEO Google Sundar Pichai w dzisiejszym wpisie na blogu.
W ogłoszeniu nie podano harmonogramu wydania Gemini Advanced 1.5. Tymczasem OpenAI aktywnie rozwija GPT-5. Ulepszone możliwości Gemini w zakresie obsługi tokenów pomogą wzmocnić pozycję Google w wyścigu zbrojeń AI.
