Techgigant Microsoft heeft een nieuwe AI-trainingsmethode onthuld met de naam “Algorithm of Thoughts” (AoT), ontworpen om grote taalmodellen zoals ChatGPT efficiënter en menselijker te maken in hun redeneervermogen.
De nieuwe aanpak is de logische volgende stap voor het bedrijf, dat veel heeft geïnvesteerd in AI, met name in OpenAI – de makers van DALL-E, ChatGPT en het krachtige GPT-taalmodel.
Microsoft zegt dat de AoT-techniek een potentiële game-changer is, omdat het “het taalmodel door een meer gestroomlijnd probleemoplossend pad leidt”, volgens een gepubliceerd onderzoeksartikel. Deze nieuwe aanpak maakt gebruik van “in-context-leren”, waardoor het model verschillende oplossingen op een georganiseerde manier systematisch kan verkennen.
Het resultaat? Sneller en met minder middelen problemen oplossen.
Onze techniek presteert beter dan eerdere single-query methoden en is vergelijkbaar met een recente multi-query benadering die gebruik maakt van uitgebreid boomonderzoek”, aldus het artikel. “Intrigerend genoeg suggereren onze resultaten dat het instrueren van een model met een algoritme kan leiden tot prestaties die het algoritme zelf overtreffen.”
De onderzoekers beweren dat het model een verbeterde “intuïtie” krijgt wanneer deze techniek zijn zoekproces optimaliseert.
Een menselijk-algoritmische hybride?
De AoT-methode adresseert de beperkingen van de huidige in-context leertechnieken zoals de “Chain-of-Thought” (CoT) benadering. CoT geeft soms onjuiste tussenstappen, terwijl AoT het model leidt met behulp van algoritmische voorbeelden voor betrouwbaardere resultaten.
AoT haalt inspiratie uit zowel mensen als machines om de prestaties van een generatief AI-model te verbeteren. Terwijl mensen uitblinken in intuïtieve cognitie, staan algoritmes bekend om hun georganiseerde, uitputtende exploratie. Het onderzoeksartikel zegt dat het Algorithm of Thoughts probeert “deze twee facetten te combineren om het redeneervermogen binnen LLM’s te vergroten”.
Microsoft zegt dat deze hybride techniek het model in staat stelt om de beperkingen van het menselijke werkgeheugen te overwinnen, waardoor een uitgebreidere analyse van ideeën mogelijk wordt.
In tegenstelling tot het lineaire redeneren van CoT of de “Tree of Thoughts” (ToT) techniek, staat AoT flexibele overpeinzing van verschillende opties voor deelproblemen toe, waarbij de effectiviteit behouden blijft met minimale vragen. Het kan ook wedijveren met externe tree-search tools, waarbij de kosten en berekeningen efficiënt in balans worden gebracht.
Gedachtenalgoritme versus andere AI-redeneermethoden. Afbeelding: Microsoft” src=”https://www.todayscrypto.news/wp-content/uploads/2023/09/[email protected]” width=”768″ height=”317″ /☻
Over het geheel genomen vertegenwoordigt AoT een verschuiving van leren onder toezicht naar het integreren van het zoekproces zelf. Onderzoekers geloven dat deze benadering, met verfijningen van de prompt engineering, modellen in staat kan stellen om complexe problemen in de echte wereld efficiënt op te lossen en tegelijkertijd hun CO2-impact te verminderen.
Gezien zijn aanzienlijke AI-investeringen lijkt Microsoft goed gepositioneerd om AoT in geavanceerde systemen zoals GPT-4 te integreren. Hoewel het een uitdaging is, kan het leren van taalmodellen om op deze meer menselijke manier te “denken” transformatief zijn.
