Il gigante tecnologico Microsoft ha presentato un nuovo metodo di addestramento dell’IA chiamato “Algoritmo dei pensieri” (AoT), progettato per rendere i modelli linguistici di grandi dimensioni come ChatGPT più efficienti e simili a quelli umani nelle loro capacità di ragionamento.
Il nuovo approccio è il naturale passo successivo per l’azienda, che ha investito molto nell’intelligenza artificiale e in particolare in OpenAI, i creatori di DALL-E, ChatGPT e del potente modello linguistico GPT.
Secondo Microsoft, la tecnica AoT è un potenziale cambiamento, in quanto “guida il modello linguistico attraverso un percorso di risoluzione dei problemi più snello”, come si legge in un documento di ricerca pubblicato. Questo nuovo approccio utilizza l'”apprendimento nel contesto”, consentendo al modello di esplorare sistematicamente diverse soluzioni in modo organizzato.
Il risultato? Una risoluzione dei problemi più veloce e meno dispendiosa in termini di risorse.
“La nostra tecnica supera i precedenti metodi a singola domanda ed è alla pari con un recente approccio a più domande che impiega una ricerca ad albero estesa”, si legge nel documento. “È interessante notare che i nostri risultati suggeriscono che istruire un modello con un algoritmo può portare a prestazioni superiori all’algoritmo stesso. “
I ricercatori sostengono che il modello ottiene una migliore “intuizione” quando questa tecnica ottimizza il suo processo di ricerca.
Un ibrido umano-algoritmico?
Il metodo AoT affronta i limiti delle attuali tecniche di apprendimento in contesto, come l’approccio “Chain-of-Thought” (CoT). Il CoT a volte fornisce passaggi intermedi errati, mentre l’AoT guida il modello utilizzando esempi algoritmici per ottenere risultati più affidabili.
L’AoT trae ispirazione sia dagli esseri umani che dalle macchine per migliorare le prestazioni di un modello di intelligenza artificiale generativa. Mentre gli esseri umani eccellono nella cognizione intuitiva, gli algoritmi sono noti per la loro esplorazione organizzata ed esaustiva. Il documento di ricerca afferma che l’Algoritmo dei Pensieri cerca di “fondere queste due sfaccettature per aumentare le capacità di ragionamento dei LLM”.
Secondo Microsoft, questa tecnica ibrida permette al modello di superare i limiti della memoria di lavoro umana, consentendo un’analisi più completa delle idee.
A differenza del ragionamento lineare di CoT o della tecnica dell'”Albero dei pensieri” (ToT), AoT permette di contemplare in modo flessibile diverse opzioni per i sottoproblemi, mantenendo l’efficacia con una richiesta minima. Inoltre, è in grado di competere con gli strumenti di ricerca ad albero esterni, bilanciando in modo efficiente costi e calcoli.
Algoritmo dei pensieri rispetto ad altri metodi di ragionamento dell’intelligenza artificiale. Immagine: Microsoft
Nel complesso, l’AoT rappresenta un passaggio dall’apprendimento supervisionato all’integrazione del processo di ricerca stesso. Con i miglioramenti apportati all’ingegneria dei prompt, i ricercatori ritengono che questo approccio possa consentire ai modelli di risolvere in modo efficiente i complessi problemi del mondo reale, riducendo al contempo il loro impatto sulle emissioni di anidride carbonica.
Visti i suoi ingenti investimenti nell’intelligenza artificiale, Microsoft sembra ben posizionata per incorporare l’AoT in sistemi avanzati come il GPT-4. Anche se impegnativo, insegnare ai modelli linguistici a “pensare” in questo modo più umano potrebbe essere trasformativo.
