Kunstmatige intelligentie (AI) beeldgeneratietechnologie raakt in een stroomversnelling – in meerdere opzichten. Recente ontwikkelingen hebben de industrie gekatapulteerd van gestage vooruitgang naar onophoudelijke doorbraken en beloven nu de komst van realtime, high-fidelity beeldcreatie.
Het is niet dat deze tools traag waren-één minuut is niet te lang om te wachten om “het meer te maken”. Maar gebruikers vragen nog steeds om meer: meer realisme, meer veelzijdigheid, meer variatie en meer snelheid. En op dat laatste punt leveren onderzoekers graag.
SDXL trapt op het gaspedaal
Stability AI heeft SDXL Turbo onthuld, wat wel eens een monumentale sprong in het genereren van AI-beelden zou kunnen betekenen. Dat zeggen we niet zomaar: het onlangs aangekondigde model kan afbeeldingen genereren in één seconde in plaats van de 30 tot meer dan 60 seconden die gebruikelijke generatoren nodig hebben. Het is bijna, zo niet in feite, het in realtime genereren van AI-afbeeldingen.
SDXL Turbo verschilt van alle voorgaande Stable Diffusion-modellen. De Adversarial Diffusion Distillation (ADD) technologie maakt het mogelijk om het aantal stappen dat nodig is om afbeeldingen van hoge kwaliteit te genereren, aanzienlijk te verminderen – tot zelfs maar één stap, terwijl normale afbeeldingen misschien wel 30 tot 100 stappen nodig hebben. “ADD is de eerste methode die in één stap realtime beeldsynthese met funderingsmodellen ontsluit”, claimt Stability AI in een onderzoekspaper.
Introductie van SDXL Turbo: Een real-time tekst-naar-beeld generatiemodel.
SDXL Turbo bereikt state-of-the-art prestaties met een nieuwe destillatietechnologie, waardoor in één stap afbeeldingen kunnen worden gegenereerd met een ongekende kwaliteit, waardoor het aantal benodigde stappen wordt teruggebracht van 50 naar slechts één.
De… pic.twitter.com/0NA4aUqKkD
– Stability AI (@StabilityAI) November 28, 2023
SDXL Turbo maakt gebruik van een hybride van adversariële training en score destillatie, waarbij het generatieve proces wordt geoptimaliseerd en ervoor wordt gezorgd dat beelden snel worden geproduceerd met behoud van een hoge getrouwheid.
Als gevolg hiervan maakt de introductie van SDXL Turbo de productie van complexe afbeeldingen met een hoge resolutie vrijwel direct mogelijk. Deze nieuwe benadering brengt ook GAN’s onder de aandacht, die grotendeels in de vergetelheid raakten nadat diffusietechnologie het toneel begon te domineren.
Latente consistentie modellen betekenen efficiëntie
Als u echter geen afscheid wilt nemen van uw “oude” Stabiele Diffusiemodellen, dan hebben onderzoekers een oplossing voor u.
Naast de vooruitgang van SDXL Turbo zijn er Latente Consistentie Modellen (LCM’s) en LCM-LoRA, die elk een unieke bijdrage leveren aan het veld.
LCM’s, zoals gepresenteerd in hun speciale onderzoekspaper, onderscheiden zich door hun vermogen om beelden met een hoge resolutie te genereren door efficiënt te werken binnen de latente ruimte van vooraf getrainde autoencoders zoals Stable Diffusion. LCM’s zijn gericht op het verbeteren van de snelheid van beeldgeneratie zonder significant kwaliteitsverlies, waarbij de nadruk ligt op uitvoer met een hoge resolutie. Door gebruik te maken van een eenfasige geleide destillatiemethode transformeren LCM’s vooraf getrainde diffusiemodellen in snelle beeldgeneratoren, waarbij onnodige stappen worden overgeslagen.
Praktisch gezien hoeven gebruikers verder niets te veranderen. Ze downloaden gewoon het model en gebruiken het als een normaal SDXL-controlepunt. Maar in plaats van een enorm aantal stappen te doorlopen, kunnen ze de meter tot het minimum terugbrengen. Het model zal goede beelden produceren met vier stappen in een paar seconden, in plaats van de generatie te berekenen voor 25, 50 of 75 stappen per beeld.
Er zijn al geweldige modellen met hun eigen LCM-versies die je kunt proberen. Wij raden Hephaistos_NextGENXL aan vanwege zijn veelzijdigheid, maar er zijn veel goede modellen beschikbaar om te testen.
We brengen Pixart-alpha x LCM uit ！⚡️
Blij om een andere samenwerking uit te brengen met het Pixart-alpha team！@lawrence_cjs
check de link hier：https://t.co/9qTYKyiaQk pic.twitter.com/HPUmXYERrk
– Allen (Simian) Luo (@SimianLuo) November 30, 2023
LCM-LoRAS: elk model turbochargen
LCM-LoRA wordt samen met LCM’s uitgebracht en biedt een universele versnellingsmodule die in verschillende Stable-Diffusion modellen kan worden geïntegreerd. “LCM-LoRA kan worden gezien als een plug-in neurale PF-ODE oplosser met sterke generalisatiemogelijkheden”, aldus het onderzoeksartikel.
LCM-LoRA is ontworpen om de efficiëntie van bestaande Stabiele Diffusiemodellen te verhogen, waardoor ze sneller en veelzijdiger worden. Het maakt gebruik van LoRA (Low-Rank Adaptation) om voorgetrainde gewichtsmatrices bij te werken, waardoor de computerbelasting en geheugenvereisten afnemen.
Met LCM-LoRA ervaren de normale Stable Diffusion-modellen een enorme toename in hun beeldgeneratiesnelheid, waardoor ze zeer effectief zijn voor verschillende taken. Gebruikers hoeven niet eens een nieuw model te downloaden, maar activeren gewoon de LCM-LoRA en genereren beelden net zo snel als een LCM-modus zou doen…
Kwaliteit versus snelheid
Ondanks deze technologische sprongen blijft het nodig om een balans te vinden tussen snelheid en beeldkwaliteit. Hoewel tools voor snelle beeldgeneratie zoals SDXL Turbo en LCM-LoRA het creatieve proces versnellen, gaan ze ten koste van een bepaalde getrouwheid van het beeld. Met andere woorden, een afbeelding gegenereerd met 50 stappen en een goed model zal altijd een hogere resolutie of natuurgetrouwheid hebben dan een afbeelding gegenereerd met 5 stappen en een goed LCM-model.
Deze afweging wordt echter afgezwakt door hun nut in typische workflows waarbij talloze afbeeldingen worden gegenereerd om de perfecte afbeelding te vinden. Latere iteraties met tools zoals image-to-image of inpaint kunnen details in deze eerste beelden verbeteren, waardoor het initiële kwaliteitsverlies wordt goedgemaakt. Een goed bewerkte afbeelding die is gegenereerd met een van deze snelle technologieën kan net zo goed zijn als een afbeelding die is gegenereerd met een normaal Stable Diffusion-model.
Maak uw veiligheidsgordels vast, want de ruimte voor het genereren van AI-beelden komt in een stroomversnelling en weinig mensen houden meer van snelheid dan AI-fanboys.
