Technologický gigant Microsoft představil novou metodu tréninku umělé inteligence nazvanou „Algoritmus myšlenek“ (AoT), která má zefektivnit velké jazykové modely, jako je ChatGPT, a přiblížit jejich schopnosti uvažování lidem.
Nový přístup je přirozeným dalším krokem společnosti, která do AI, a zejména do OpenAI – tvůrců DALL-E, ChatGPT a výkonného jazykového modelu GPT – investovala velké prostředky.
Podle Microsoftu je technika AoT potenciální změnou hry, protože podle zveřejněného výzkumného dokumentu „vede jazykový model cestou efektivnějšího řešení problémů“. Tento nový přístup využívá „učení v kontextu“, což modelu umožňuje systematicky a organizovaně zkoumat různá řešení.
Výsledek? Rychlejší řešení problémů, které je méně náročné na zdroje.
„Naše technika překonává předchozí metody s jedním dotazem a vyrovná se nedávnému přístupu s více dotazy využívajícímu rozsáhlé stromové prohledávání,“ uvádí se v článku. „Zajímavé je, že naše výsledky naznačují, že instruování modelu algoritmem může vést k výkonu, který překonává samotný algoritmus.“
Výzkumníci tvrdí, že model získává lepší „intuici“, když tato technika optimalizuje jeho proces vyhledávání.
Lidsko-algoritmický hybrid?
Metoda AoT řeší omezení současných technik učení v kontextu, jako je přístup „Chain-of-Thought“ (CoT). CoT někdy poskytuje nesprávné mezikroky, zatímco AoT vede model pomocí algoritmických příkladů pro spolehlivější výsledky.
AoT čerpá inspiraci od lidí i strojů, aby zlepšil výkon generativního modelu umělé inteligence. Zatímco lidé vynikají intuitivním poznáváním, algoritmy jsou známé svým organizovaným, vyčerpávajícím zkoumáním. Ve výzkumné zprávě se uvádí, že Algoritmus myšlenek se snaží „spojit tyto dva aspekty, aby rozšířil schopnosti uvažování v rámci LLM“.
Podle Microsoftu tato hybridní technika umožňuje modelu překonat omezení lidské pracovní paměti, což umožňuje komplexnější analýzu myšlenek.
Na rozdíl od lineárního uvažování CoT nebo techniky „stromu myšlenek“ (ToT) umožňuje AoT flexibilně uvažovat o různých možnostech dílčích problémů a zachovává efektivitu s minimem podnětů. Soupeří také s externími nástroji pro vyhledávání stromů a efektivně vyvažuje náklady a výpočty.
Algoritmus myšlenek versus jiné metody uvažování AI. Obr: Microsoft
Obecně představuje AoT posun od učení pod dohledem k integraci samotného procesu vyhledávání. Výzkumníci se domnívají, že s vylepšením pobídkového inženýrství může tento přístup umožnit modelům efektivně řešit složité problémy reálného světa a zároveň snížit jejich uhlíkový dopad.
Vzhledem ke značným investicím do umělé inteligence se zdá, že společnost Microsoft má dobré předpoklady pro začlenění AoT do pokročilých systémů, jako je GPT-4. Ačkoli je to náročné, naučit jazykové modely „myslet“ tímto lidštějším způsobem by mohlo být transformativní.
