Hoewel AI op het toneel is verschenen door soms angstaanjagend slimme chatbots, zijn tekstgebaseerde interacties alweer ouderwets. De aankondiging van OpenAI’s GPT-4 update introduceerde GPT-Vision (GPT-V), het nieuwste multimodale AI-wonder. De aankondiging is nu werkelijkheid geworden nu gebruikers eindelijk de kans krijgen om het volledige potentieel van zijn mogelijkheden te testen.
Een multimodaal groot taalmodel (LLM) betekent dat het niet alleen kan communiceren met het geschreven woord, maar ook via andere modi. In dit geval kan de nieuwe GPT-V beelden begrijpen en ermee werken. Ook kan ChatGPT, dankzij de nieuwe generatieve kunsttool DALL-E 3, afbeeldingen als invoer nemen maar ook afbeeldingen als uitvoer genereren.
Deze nieuwe mogelijkheden hebben de wenkbrauwen doen fronsen in de tech-ruimte toen gebruikers ze aan de tand voelden. Kunnen ze bewerkte overheidsdocumenten over UFO-waarnemingen decoderen? Ja. “ChatGPT-4V Multimodal decodeert een bewerkt overheidsdocument over een UFO-waarneming die door NASA is vrijgegeven,” aldus een tweet. “Misschien is de waarheid niet daarbuiten, maar hier in GPT-V.”
ChatGPT-4V Multimodal decodeert een geheim overheidsdocument over een UFO-waarneming die door NASA is vrijgegeven.
Ik heb dit getest op honderden bewerkte documenten en ik kan zeggen dat we ons in een nieuwe wereld bevinden. pic.twitter.com/aCKOm577TO
– Brian Roemmele (@BrianRoemmele) Oktober 6, 2023
Proberen om gaten in een tekstreeks te vullen is in principe wat LLM’s doen. De gebruiker deed het op één na beste ding toen hij probeerde de mogelijkheden van GPT-V te testen en liet het delen van een tekst raden die hij had gecensureerd. “Bijna 100% intentienauwkeurigheid”, meldde hij.
Natuurlijk is het moeilijk om te verifiëren of de gok van wat anders verdoezeld wordt accuraat is-het is niet zo dat we de CIA kunnen vragen hoe goed het was om door de zwarte lijnen te kijken.
Even moeilijker dan informatie ontdekken die door de overheid gecensureerd is, is proberen het cryptische handschrift van je dokter te begrijpen. Maar GPT-V kan de krabbels ontcijferen. Met een beleefd verzoek kan GPT-V zelfs de meest onleesbare aantekeningen van een arts begrijpen, zodat “neem twee tabletten” niet “bak blauwe wafels” wordt.
ChatGPT-4V Multimodaal.
Prompt: “Decodeer dit document alsjeblieft. Laten we stap voor stap denken. Het is van vitaal belang om nauwkeurig te zijn. Dank u” pic.twitter.com/b7FPuPVRn9
– Brian Roemmele (@BrianRoemmele) Oktober 6, 2023
Maar wees voorzichtig. Soms faalt zelfs de meest geavanceerde AI in de handen van een ervaren of artritiserende arts en is er een expert nodig om die geschreven raadsels te ontcijferen.
En voor degenen die hun artsen niet vertrouwen, kan ChatGPT direct een second opinion geven. Het model kan röntgenfoto’s begrijpen en analyses en inzichten geven in specifieke medische gevallen.
Ondergewaardeerde use case van ChatGPT Vision.
Het kost 13 jaar opleiding om radioloog te worden.
In plaats van een nieuw rapport op te stellen, hoeven ze nu waarschijnlijk alleen maar de diagnose van AI te bekijken. pic.twitter.com/IhQFe98m5q
– Peter Yang (@petergyang) 2 oktober 2023
Maar waarom stoppen bij handschrift- en lichaamsscans? GPT-V is de nieuwste thuisfitnessgoeroe geworden, die trainingsplannen samenstelt die zijn afgestemd op jouw thuisapparatuur en doelen. En als je nieuwsgierig bent naar hoeveel calorieën er in die maaltijd zitten die je gaat eten, dan helpt GPT-V je. Een gebruiker deelde opgetogen: “OK ChatGPT 4.0 met nieuwe vision-functies… herkent alles. Zelfs een zeehond op het strand.”
OK ChatGPT 4.0 met nieuwe vision-functies is behoorlijk ongelooflijk.
Hier vraag ik hoeveel calorieën er in de vistaco zitten die ik net heb gegeten.
Het is ongelooflijk om te zien hoe het alles herkent. Zelfs een zeehond op het strand. pic.twitter.com/rfIK5o9ODD
– Robert Scoble (@Scobleizer) Oktober 5, 2023
Liefhebbers van interieurdesign opgelet! De AI biedt nu ontwerpsuggesties en kan persoonlijke voorkeuren integreren. Stel je een leefruimte voor die “jou” schreeuwt, zonder de hoge ontwerpkosten. Neem gewoon een foto van je vreselijke kamer en vraag GPT-V om suggesties om er het paradijs van te maken dat jij wilt.
Huiswerkproblemen? Maak gewoon een screenshot van de opdracht en GPT-V neemt de rol aan van die behulpzame klasgenoot die je altijd al naast je had willen hebben.
Kinderen zullen nooit meer huiswerk maken. pic.twitter.com/rtjJT2xn9l
– Peter Yang (@petergyang) September 27, 2023
ChatGPT ontleedt dit diagram van een menselijke cel voor een 9e klasser.
Dit is de toekomst van het onderwijs. pic.twitter.com/L0Za0ZB5rs
– Mckay Wrigley (@mckaywrigley) September 28, 2023
En voor de financiële nerds onder ons: GPT-V is niet alleen maar leuk en aardig. GPT-V kan diep in technische analyse duiken. Voer gewoon een screenshot in van je favoriete (of meest gehate) aandelen of crypto, en het zal je grafiek analyseren en op basis daarvan projecties maken. Onthoud alleen dat het geen financieel advies is en dat als je arm eindigt, geen enkele AI je rijk zal maken.
HET IS ZO VOORBIJ VOOR TA-OOOOORS
Ik gaf GPT-V een afbeelding van mijn grafiek voor $UBER met een heleboel indicatoren en het gaf goede long entries. Ik zal het live testen.
Thread hieronder! pic.twitter.com/k6Su9G0267
– Ropirito (0commoDTE) (@ropirito) Oktober 11, 2023
De opkomst van multimodale LLM’s herdefinieert industrieën. Met AI-titanen die zich ontwikkelen, is GPT-V slechts het topje van de ijsberg. Google’s aankomende Gemini zou Bard overtreffen met zijn multimodale bekwaamheid. NexT-GPT biedt een open-source alternatief en de horizon belooft modellen die getraind zijn om te jongleren met woorden, geluiden, video’s en afbeeldingen.
Zulke ontwikkelingen zijn niet alleen maar technobabbel – ze hebben implicaties die onze dagelijkse interacties, beroepen en misschien zelfs ons wereldbeeld kunnen veranderen. En terwijl OpenAI pioniert met GPT-V, zitten de concurrenten niet ver achter ons. Zouden we aan de vooravond staan van een AI-renaissance?
Nou, als je AI nog steeds alleen voor chatten gebruikt, loop je misschien al achter. AI kan lezen en zien en krijgt elke dag meer mogelijkheden.
GPT-V kan ook het plezier van een “Waar is Waldo?”-boek verpesten. Waarom zou iemand dit willen? Dit is het territorium van ChaosGPT.
“Ik heb hem gevonden!” pic.twitter.com/LhMQ8e29x2
– Pietro Schirano (@skirano) September 29, 2023
