Google Labs обяви голямо подобрение на своя инструмент за изкуствен интелект Gemini Pro – моделът за изкуствен интелект от среден клас, който захранва безплатната версия на чатбота – като въвежда възможност за обработка на до 1 милион жетона в предварителен преглед. Това осигурява безпрецедентен „размер на контекста“, който оставя в прахта сегашните водещи инструменти и техния капацитет от 128 хил.
Обновлението до Gemini Pro v1.5 го прави теоретично 700% по-мощен от платения модел GPT-4 на OpenAI и поставя нов критерий за компютърна лингвистика и машинно обучение сред големите езикови модели (LLM).
Цифрата е „най-дългият контекстуален прозорец на който и да е широкомащабен модел на фондация.“ според Google.
„Преди днес най-големият контекстен прозорец в света за публично достъпен голям езиков модел беше 200 000 лексеми. Успяхме значително да го увеличим – постоянно работим с до 1 милион токена“, сподели екипът на Google Labs.
С тази функция Gemini Pro ще бъде по-мощен от най-мощната версия на сегашната линия Gemini – и от всеки друг наличен в момента LLM. Този контекст обаче беше пуснат онлайн с цел тестване, докато предстоящата стабилна версия на Gemini Pro ще се справя с до 128 хил. токена.
Въпреки че тази версия ще бъде значително подобрение спрямо 32 000 жетона, които Gemini 1.0 може да обработва, потребителите ще трябва да изчакат, за да видят какво могат да направят 1 милион жетона.
Този ход е най-новата офанзива на Google в надпреварата за доминиране в индустрията на изкуствения интелект. Миналата седмица Gemini Advanced стана първият надежден конкурент на ChatGPT Plus. За разлика от Клод на Anthropic, чатботът на Google е мултимодален, осигурява добри резултати в различни тестове и предлага набор от функции, които OpenAI не предлага.
Gemini Advanced обаче ще трябва да навакса изоставането си от GPT-4.5 Turbo, който вече обработва 128 000 токена.
Многофункционалността на Gemini 1.5 беше нагледно демонстрирана чрез няколко демонстрации. От Google заявиха, че „може да обработва огромни количества информация с едно преминаване – включително 1 час видео, 11 часа аудио, кодови бази с над 30 000 реда код или над 700 000 думи“.
„В нашите изследвания също така успешно тествахме до 10 милиона лексеми.“ – добави екипът.
Един недостатък: Моделите на Gemini не могат да анализират PDF файлове – недостатък, който TCN посочи в сравнението си между Gemini и ChatGPT.
„Смесицата от експерти“ е тук, за да остане
Друга разлика между Gemini 1.5 и предишните му версии е използването на Mixture of Experts – същата технология, която Mistral AI използва, за да създаде своя по-лек модел. Участникът на Mistral беше достатъчно мощен, за да победи GPT 3.5 и да прескочи в горния ешелон на най-добрите LLM с отворен код.
„(Mixture of Experts) насочва заявката ви към група по-малки „експертни“ невронни мрежи, така че отговорите да са по-бързи и по-качествени“, сподели Google в съобщението си, като заяви, че по този начин гарантира, че отговорите са не само по-бързи, но и по-качествени.
Подобно на Mistral, Google успя да накара своя модел да блесне. Gemini 1.5 Pro показа по-добра производителност в няколко бенчмарка в сравнение с Gemini Ultra 1.0, което подсказва обещаващо бъдеще за LLM на Google.
„Той показва драматични подобрения в редица измерения и 1.5 Pro постига качество, сравнимо с 1.0 Ultra, като същевременно използва по-малко изчисления“, заяви главният изпълнителен директор на Google Сундар Пичай в публикация в блога днес.
В съобщението не се посочва график за пускането на Gemini Advanced 1.5. Междувременно OpenAI активно разработва GPT-5. Усъвършенстваните възможности на Gemini за работа с токени ще помогнат за укрепване на позициите на Google в надпреварата в областта на изкуствения интелект.
