Gigant technologiczny Microsoft zaprezentował nową metodę szkolenia sztucznej inteligencji o nazwie „Algorithm of Thoughts” (AoT), zaprojektowaną w celu uczynienia dużych modeli językowych, takich jak ChatGPT, bardziej wydajnymi i przypominającymi ludzkie zdolności rozumowania.
Nowe podejście jest naturalnym kolejnym krokiem dla firmy, która mocno zainwestowała w sztuczną inteligencję, a zwłaszcza w OpenAI – twórców DALL-E, ChatGPT i potężnego modelu językowego GPT.
Microsoft twierdzi, że technika AoT jest potencjalnym przełomem, ponieważ „prowadzi model językowy przez bardziej usprawnioną ścieżkę rozwiązywania problemów”, zgodnie z opublikowanym artykułem badawczym. To nowatorskie podejście wykorzystuje „uczenie się w kontekście”, umożliwiając modelowi systematyczne badanie różnych rozwiązań w zorganizowany sposób.
Rezultat? Szybsze i mniej zasobochłonne rozwiązywanie problemów.
„Nasza technika przewyższa poprzednie metody oparte na pojedynczym zapytaniu i jest na równi z niedawnym podejściem opartym na wielu zapytaniach, wykorzystującym rozległe przeszukiwanie drzew” – czytamy w artykule. „Co ciekawe, nasze wyniki sugerują, że instruowanie modelu za pomocą algorytmu może prowadzić do wydajności przewyższającej sam algorytm.”
Naukowcy twierdzą, że model zyskuje lepszą „intuicję”, gdy ta technika optymalizuje jego proces wyszukiwania.
A Human-Algorithmic Hybrid?
Metoda AoT odnosi się do ograniczeń obecnych technik uczenia się w kontekście, takich jak podejście „Chain-of-Thought” (CoT). CoT czasami zapewnia nieprawidłowe kroki pośrednie, podczas gdy AoT prowadzi model za pomocą przykładów algorytmicznych w celu uzyskania bardziej wiarygodnych wyników.
AoT czerpie inspirację zarówno od ludzi, jak i maszyn, aby poprawić wydajność generatywnego modelu sztucznej inteligencji. Podczas gdy ludzie wyróżniają się intuicyjnym poznaniem, algorytmy są znane ze swojej zorganizowanej, wyczerpującej eksploracji. W artykule badawczym stwierdzono, że Algorytm Myśli ma na celu „połączenie tych dwóch aspektów w celu zwiększenia możliwości rozumowania w LLM”.
Microsoft twierdzi, że ta hybrydowa technika pozwala modelowi przezwyciężyć ograniczenia ludzkiej pamięci roboczej, umożliwiając bardziej wszechstronną analizę pomysłów.
W przeciwieństwie do liniowego rozumowania CoT lub techniki „drzewa myśli” (ToT), AoT pozwala na elastyczne rozważanie różnych opcji dla podproblemów, zachowując skuteczność przy minimalnym podpowiedzi. Rywalizuje również z zewnętrznymi narzędziami do wyszukiwania drzew, efektywnie równoważąc koszty i obliczenia.
Ogólnie rzecz biorąc, AoT reprezentuje przejście od nadzorowanego uczenia się do integracji samego procesu wyszukiwania. Naukowcy uważają, że dzięki udoskonaleniu inżynierii podpowiedzi, podejście to może umożliwić modelom skuteczne rozwiązywanie złożonych problemów w świecie rzeczywistym, jednocześnie zmniejszając ich wpływ na emisję dwutlenku węgla.
Biorąc pod uwagę znaczne inwestycje w sztuczną inteligencję, Microsoft wydaje się dobrze przygotowany do włączenia AoT do zaawansowanych systemów, takich jak GPT-4. Choć jest to trudne, nauczenie modeli językowych „myślenia” w ten bardziej ludzki sposób może być transformacyjne.
