Anthropic, het AI-bedrijf dat is opgericht door voormalige OpenAI-onderzoekers, heeft zijn bijgewerkte chatbot Claude 2 onthuld, waarmee het zich richt op rivalen als ChatGPT en Google Bard.
De opvolger van Claude, die slechts vijf maanden na het debuut verscheen, biedt langere antwoorden, genuanceerde redeneringen en superieure prestaties, waarmee hij indrukwekkend scoorde op de GRE lees- en schrijfexamens.
Claude 2 wordt gekarakteriseerd als een AI-krachtpatser die tot 100.000 tokens, ruwweg gelijk aan 75.000 woorden, in één prompt kan verwerken. Dit is een enorme sprong voorwaarts ten opzichte van Claude’s vorige limiet van 9.000 tokens, die een uniek voordeel biedt: de AI is in staat om antwoorden te geven op een meer contextuele en verbeterde manier.
Het nieuwe model heeft aanzienlijke vooruitgang geboekt op meerdere gebieden, waaronder recht, wiskunde en codering, beoordeeld via gestandaardiseerde tests. Volgens Anthropic scoorde Claude 2 76,5% in het meerkeuzedeel van het advocatuurexamen (GPT-3.5 behaalde 50,3%) en behaalde hij een score die hoger was dan 90% van de kandidaten voor de GRE lees- en schrijfexamens. Claude 2 behaalde ook een score van 71,2% op de Codex HumanEval Python coderingstest en een score van 88,0% op de GSM8k wiskundeproblemen van de basisschool, wat de geavanceerde rekenvaardigheden onthult.
Zoals TCN meldt, is Anthropic’s Claude ontworpen met een unieke “grondwet”, een set regels geïnspireerd door de Universele Verklaring van de Rechten van de Mens, die het in staat stelt zichzelf te verbeteren zonder menselijke feedback, ongepast gedrag te identificeren en zijn eigen gedrag aan te passen.
Maar hoe kan het zich meten met de twee monarchen op de heuvel, ChatGPT en Google’s nieuwe Bard? Laten we beginnen met hoe goed ze zijn op het gebied van specs.
Prijs:
- ChatGPT: Gratis voor gebruikers van de GPT-3.5-versie. Als je de krachtigere versie met GPT-4 wilt gebruiken, moet je $20 per maand betalen voor de ChatGPT Plus-versie.
- Claude: Gratis
- Bard: Gratis
Beschikbaarheid:
- ChatGPT: Is het meest beschikbaar van de drie.
- Bard: Is in minder landen beschikbaar dan ChatGPT.
- Claude: Tijdelijk beschikbaar in de VS en het VK.
Privacy:
- ChatGPT: Hiermee kunnen gebruikers hun interacties verwijderen. Ondersteunt browsen via VPN niet.
- Bard: Heeft een optie om interacties na 18 maanden automatisch te verwijderen. Gebruikers kunnen eerdere interacties niet terughalen. Ondersteunt VPN’s, waardoor het vrijwel overal ter wereld beschikbaar is en politieke beperkingen omzeilt.
- Claude: Hiermee kunnen gebruikers hun gesprekken verwijderen. Ondersteunt VPN-browsen.
Ondersteunde talen:
- ChatGPT: Ondersteunt meer dan 80 talen.
- Bard: Ondersteunt Engels, Japans en Koreaans.
- Claude: Ondersteunt verschillende wijdverspreide talen zoals Engels, Spaans, Portugees, Frans, Mandarijn en Duits. Als het een taal niet herkent (of als de invoer veel grammaticafouten bevat) geeft het een inleidende zin en antwoordt dan in het Engels.
Contextverwerking:
- ChatGPT: De gratis versie ondersteunt 7.096 tokens context, ChatGPT Plus (GPT-4) ondersteunt 8.192 tokens. OpenAI biedt een versie die 32K tokens ondersteunt, maar deze wordt niet gebruikt door ChatGPT.
- Bard: Ondersteunt 8.196 contexttokens.
- Claude: Ondersteunt 100.000 tokens aan context – geen typefout.
Functies:
- ChatGPT: De gratis versie heeft geen extra functies. GPT Plus biedt een pluginwinkel, code-interpreter en een tijdelijk gepauzeerde webbrowserfunctie met Microsoft Bing. Biedt API-ondersteuning.
- Bard: De chatbot bevindt zich nog in de experimentele fase, maar zal een pluginwinkel en Google Suite-integratie hebben. Biedt beperkte toegang tot zijn API.
- Claude: De chatbot kan worden toegevoegd aan Slack en verschillende taken uitvoeren, zoals threads samenvatten, suggesties geven, brainstormen, enz. Biedt API-ondersteuning.
De strijd van de prompts: ChatGPT vs Bard vs Claude
TCN gebruikte dezelfde prompt om de resultaten van de drie chatbots te vergelijken.
Vreemde talen begrijpen
Eerst vroegen we naar de betekenis van een veelgebruikte Spaanse straattaalzin. Claude bleek voorzichtiger en nauwkeuriger met zijn uitleg, ChatGPT gaf een goede uitleg, maar Bard weigerde te antwoorden met het argument dat het geen Spaans sprak. Toen we onze vraag echter herformuleerden van “wat betekent dit” naar “wat is het Engelse equivalent van”, gaf het een beter antwoord dan dat van ChatGPT, zij het minder uitgebreid dan dat van Claude AI.
Antwoord gegeven door Claude 2.
Antwoord gegeven door ChatGPT.
Antwoord gegeven door Google Bard.
Up-to-date informatie
Vervolgens vroegen we de modellen naar de prijs van Bitcoin vandaag. Dit test niet alleen de webbrowserfuncties, maar meet ook hoeveel informatie ze bieden op basis van een enkele bestelling.
ChatGPT is mislukt. Het heeft geen internetverbinding en kan dus geen actuele informatie geven. Claude heeft ook geen internetverbinding. In tegenstelling tot ChatGPT hallucineerde hij echter een antwoord met onjuiste informatie. Als een gebruiker iets zou vragen in de veronderstelling dat Claude een internetverbinding heeft, zou hij een fout antwoord krijgen dat als correct verschijnt. Google Bard gaf de juiste informatie.
Antwoord gegeven door ChatGPT.
Antwoord gegeven door Claude 2.
Antwoord gegeven door Google Bard.
Contextverwerking
Vervolgens hebben we de modellen getest op hun vermogen om grote stukken tekst te verwerken. We gebruikten de Bijbel als voorbeeld en kopieerden alle tekst van Genesis 1:1 tot Exodus 25:39 (bijna 62K woorden). Daarna stelden we een zeer specifieke vraag op basis van het verhaal in de tekst.
Het enige model dat een antwoord kon geven was Claude, zoals verwacht. Hij had ongeveer 2 minuten nodig om de vraag te verwerken, maar gaf een nauwkeurig antwoord. We gebruikten specifieke markeringen om er zeker van te zijn dat het niet valsspeelde en de tekst analyseerde, en het bleek de taak aan te kunnen.
Antwoord gegeven door Claude 2.
Non-verbale vaardigheden
Tot slot vroegen we de modellen om een aantal wiskundige taken uit te voeren. AI LLM’s zijn hier niet echt voor ontworpen en ChatGPT Plus met GPT-4 is waarschijnlijk de beste optie van de drie met zijn code-interpreter. We hebben de drie modellen echter getest en hen gevraagd een betalingsplan op te stellen voor iemand die zijn creditcardschulden probeert af te lossen. We vroegen de modellen ook om te rangschikken welke kaarten moeten worden gebruikt en welke moeten worden vermeden.
Claude gaf de meest uitgebreide antwoorden in termen van het plan. Hij maakte echter een fout en raadde ons aan om prioriteit te geven aan uitgaven op de kaart met het hoogste JKP.
Antwoord gegeven door Claude 2.
ChatGPT’s code-interpreter gaf een antwoord waarbij we een van de kaarten te veel betalen, wat niet echt handig is als iemand schulden heeft op andere kaarten.
Antwoord gegeven door ChatGPT met behulp van code-interpreter.
GPT 3.5 gaf geen nauwkeurige resultaten en vroeg ons meer geld te betalen dan we daadwerkelijk beschikbaar hadden.
Antwoord verstrekt door ChatGPT.
Bard was vrij algemeen. Hij koos de veilige weg en gaf geen cijfers, maar beschreef in feite wat bekend staat als de Debt Avalanche-methode.
Antwoord verstrekt door Google Bard.
Sterke en zwakke punten
Claude 2:
- Zwakke punten: Het is tijdelijk alleen beschikbaar in de VS en het VK. Claude 2 heeft geen internetverbinding en kan onjuiste informatie geven als er gevraagd wordt naar actuele praktijkgegevens. Hij kan fouten maken bij complexe taken en daar heel overtuigend over klinken.
ChatGPT:
- Zwakke punten: Het heeft beperkte contextverwerkingsmogelijkheden vergeleken met Claude 2. De gratis versie biedt geen extra functies en is veel beperkter en van mindere kwaliteit dan de betaalde versie. De webbrowserfunctie wordt tijdelijk gepauzeerd en kan geen real-time gegevens leveren. Bij sommige complexe taken kan het ongeschikte resultaten genereren.
Google’s Bard:
- Zwakke punten: Bard ondersteunt minder talen dan ChatGPT. De API-toegang is beperkt en de contextverwerkingsmogelijkheden zijn minder dan die van Claude 2. De antwoorden van Bard kunnen algemeen en onhandig zijn bij sommige complexe taken, wat een redelijk compromis is als de gebruiker het risico op hallucinaties wil beperken.
Conclusie
Nu er op het gebied van AI LLM’s en chatbots meer opties beschikbaar zijn, hoef je niet per se een ChatGPT-fanboy te worden of in het alleen-Google-kamp te stappen.
Als je aarzelt om $20 te betalen voor ChatGPT Plus, overweeg dan om Claude te gebruiken. Het biedt vergelijkbare functionaliteit als GPT-4, en het zal waarschijnlijk een superieure output produceren dan GPT-3.5, de versie die beschikbaar is in de gratis ChatGPT – en het zal voor de meeste gebruikers een betere keuze zijn dan Google Bard. Een extra functie van Claude is de mogelijkheid om PDF’s en bestanden met veel extensies te analyseren. Je kunt de bestanden gewoon naar het programma slepen, vergelijkbaar met de betaalde plugins die beschikbaar zijn in het GPT Plus-abonnement. Dus voordat je besluit om te betalen voor ChatGPT 4, wil je Claude misschien eerst proberen. Het kan je mogelijk wat geld besparen.
Elke optie heeft echter sterke en zwakke punten die elke bot aantrekkelijker maken voor specifieke behoeften. Claude verwerkt grote hoeveelheden gegevens, maar is misschien niet de beste keuze voor taken waarvoor realtime gegevens nodig zijn. ChatGPT is creatiever, wat perfect is voor taken die specifieke taalondersteuning vereisen (en de plugin store is echt goed als je bereid bent de prijs te betalen). Aan de andere kant is Bard feitelijker, nauwkeuriger en maakt gebruik van zijn internetconnectiviteit, maar is misschien niet het beste voor creatieve taken.
Waarom zou je er uiteindelijk één kiezen? Je hoeft niet te beslissen welke beter is-je kunt ze allemaal gebruiken.
