Der Tech-Gigant Microsoft hat eine neue KI-Trainingsmethode mit dem Namen „Algorithm of Thoughts“ (AoT) vorgestellt, mit der große Sprachmodelle wie ChatGPT effizienter und menschenähnlicher in ihrer Denkfähigkeit werden sollen.
Der neue Ansatz ist der natürliche nächste Schritt für das Unternehmen, das stark in KI investiert hat, insbesondere in OpenAI, den Entwicklern von DALL-E, ChatGPT und dem leistungsstarken GPT-Sprachmodell.
Laut Microsoft hat die AoT-Technik das Potenzial, das Spiel zu verändern, da sie „das Sprachmodell durch einen strafferen Problemlösungspfad führt“, wie es in einem veröffentlichten Forschungspapier heißt. Dieser neuartige Ansatz nutzt „kontextbezogenes Lernen“, wodurch das Modell in die Lage versetzt wird, verschiedene Lösungen auf systematische Weise zu untersuchen.
Das Ergebnis? Schnelleres, weniger ressourcenintensives Problemlösen
Unsere Technik übertrifft frühere Single-Query-Methoden und ist gleichauf mit einem neueren Multi-Query-Ansatz, der eine umfangreiche Baumsuche verwendet“, heißt es in dem Papier. „Interessanterweise deuten unsere Ergebnisse darauf hin, dass die Instruktion eines Modells mit einem Algorithmus zu einer Leistung führen kann, die den Algorithmus selbst übertrifft“
Die Forscher behaupten, dass das Modell eine verbesserte „Intuition“ erlangt, wenn diese Technik seinen Suchprozess optimiert.
A Human-Algorithmic Hybrid?
Die AoT-Methode befasst sich mit den Einschränkungen aktueller kontextbezogener Lerntechniken wie dem „Chain-of-Thought“-Ansatz (CoT). CoT liefert manchmal falsche Zwischenschritte, während AoT das Modell anhand von algorithmischen Beispielen anleitet, um zuverlässigere Ergebnisse zu erzielen.
AoT lässt sich sowohl von Menschen als auch von Maschinen inspirieren, um die Leistung eines generativen KI-Modells zu verbessern. Während Menschen sich durch intuitive Wahrnehmung auszeichnen, sind Algorithmen für ihre organisierte, erschöpfende Erkundung bekannt. Im Forschungspapier heißt es, dass der Algorithmus der Gedanken versucht, „diese beiden Facetten zu verschmelzen, um die Argumentationsfähigkeiten von LLMs zu verbessern“.
Laut Microsoft ermöglicht diese hybride Technik dem Modell, die Beschränkungen des menschlichen Arbeitsgedächtnisses zu überwinden und eine umfassendere Analyse von Ideen zu ermöglichen.
Im Gegensatz zu CoTs linearem Denken oder der „Tree of Thoughts“-Technik (ToT) erlaubt AoT die flexible Betrachtung verschiedener Optionen für Teilprobleme, wobei die Effizienz mit minimaler Eingabeaufforderung erhalten bleibt. Es konkurriert auch mit externen Werkzeugen für die Baumsuche, indem es Kosten und Berechnungen effizient ausgleicht.
Algorithmus der Gedanken im Vergleich zu anderen KI-Schlussfolgermethoden. Bild: Microsoft
Gesamt gesehen stellt AoT eine Verlagerung vom überwachten Lernen zur Integration des Suchprozesses selbst dar. Die Forscher glauben, dass dieser Ansatz es den Modellen ermöglichen kann, komplexe Probleme in der realen Welt effizient zu lösen und gleichzeitig ihre Auswirkungen auf die Umwelt zu reduzieren.
Angesichts seiner beträchtlichen KI-Investitionen scheint Microsoft gut positioniert zu sein, um AoT in fortschrittliche Systeme wie GPT-4 einzubauen. Auch wenn es eine Herausforderung ist, Sprachmodellen das „Denken“ auf diese menschlichere Art und Weise beizubringen, könnte dies einen Wandel bewirken
