人工知能（AI）画像生成技術は、様々な意味で急速に加速している。最近の進歩は、業界を着実な進歩から絶え間ないブレークスルーへと飛躍させ、今やリアルタイムの高忠実度画像作成の出現を約束している。
これらのツールが遅かったというわけではない。よりリアルに、より多機能に、より多様に、そしてよりスピーディーに。そして後者の点に関しては、研究者たちは喜んでそれを提供している
。
SDXLはアクセルを踏み込む
安定性AIはSDXLターボを発表した。最近発表されたモデルは、通常のジェネレーターが30秒から60秒以上かかるところを1秒で画像を生成できる。事実上とは言わないまでも、ほぼリアルタイムのAI画像生成と言える。
SDXL Turboは、これまでのStable Diffusionモデルとは異なる。ADD（Adversarial Diffusion Distillation：逆拡散蒸留）技術により、高品質の画像を生成するために必要なステップ数を大幅に削減することができる。「ADDは、基礎モデルによるシングルステップのリアルタイム画像合成を可能にした最初の手法です」とStability AIは研究論文で主張している。
SDXLターボの紹介： リアルタイムテキスト画像生成モデル。
SDXL Turboは、新しい蒸留技術によって最先端のパフォーマンスを実現し、必要なステップ数を50からわずか1へと削減することで、これまでにない品質のシングルステップ画像生成を可能にします。
その… pic.twitter.com/0NA4aUqKkD
– Stability AI (@StabilityAI) 2023年11月28日
..
SDXLターボは、敵対的学習とスコア蒸留のハイブリッドを採用し、生成プロセスを最適化することで、高い忠実度を維持しながら高速に画像を生成します。
その結果、SDXL Turboの導入により、複雑で高解像度の画像をほぼ瞬時に生成できるようになりました。この新しいアプローチは、拡散技術がシーンを支配し始めた後、ほとんど忘れられていたGANにも注目されるようになりました。
潜在一貫性モデルが意味する効率
レガシー」安定拡散モデルに別れを告げたくないのであれば、研究者が解決策を用意しています。
SDXL Turboの進化に伴い、潜在的一貫性モデル（LCM）とLCM-LoRAが登場し、それぞれがこの分野に独自の貢献をしています。
LCMは、専用の研究論文で紹介されているように、Stable Diffusionのような事前に訓練されたオートエンコーダの潜在空間内で効率的に動作することにより、高解像度の画像を生成する能力で際立っています。LCMは、高解像度の出力に焦点を当て、画質を大きく損なうことなく画像生成の速度を向上させることを目的としている。LCMは、1段階のガイド付き蒸留法を利用することで、不要なステップを省き、事前に訓練された拡散モデルを迅速な画像生成に変換します。
実用的には、ユーザーは他に何も変更する必要はありません。モデルをダウンロードして、通常のSDXLチェックポイントとして使用するだけです。ただし、膨大な数のステップを実行する代わりに、ゲージを最小にすることができます。このモデルは、画像1枚につき25、50、75ステップの生成を計算する代わりに、4ステップの良好な画像を数秒で生成する。
独自のLCMバージョンを持つ素晴らしいモデルがすでにありますので、試してみてください。私たちは汎用性の高さからHephaistos_NextGENXLを推奨しますが、テスト用に多くの素晴らしいモデルが用意されています
。
Pixart-alpha×LCMをリリースしました！⚡️
Pixart-alphaチームとのコラボ作品をリリースしました！@lawrence_cjs
リンクはこちら：https://t.co/9qTYKyiaQk pic.twitter.com/HPUmXYERrk
– Allen (Simian) Luo (@SimianLuo) 2023年11月30日
LCM-LoRAS：どのモデルにもターボチャージ
LCMと同時にリリースされたLCM-LoRAは、様々な安定拡散モデルに統合可能なユニバーサル加速モジュールを提供します。「LCM-LoRAは、強力な汎化能力を持つプラグイン・ニューラルPF-ODEソルバーと見なすことができる。
LCM-LoRAは、既存の安定拡散モデルの効率を高め、より高速で汎用性の高いものにするために設計されている。LCM-LoRAは、LoRA（Low-Rank Adaptation：低ランク適応）を用いて、事前に訓練されたウェイト行列を更新し、計算負荷とメモリ要件を軽減する。
LCM-LoRAにより、通常のStable Diffusionモデルの画像生成速度が大幅に向上し、様々なタスクに高い効果を発揮します。ユーザーは新しいモデルをダウンロードする必要さえありません。LCM LoRAを起動するだけで、LCMモードと同等の速度で画像を生成できます。
品質とスピード
このような技術的な飛躍にもかかわらず、スピードと画質のバランスをとる必要性が残っています。SDXL TurboやLCM-LoRAのような高速生成ツールは、クリエイティブなプロセスを迅速化する一方で、画像の忠実性をある程度犠牲にしています。言い換えれば、50ステップと優れたモデルで生成された画像は、5ステップと優れたLCMモデルで生成された画像よりも、常に解像度と画像の忠実度が高くなります。
しかし、このトレードオフは、完璧な画像を見つけるために多数の画像が生成される典型的なワークフローにおける有用性によって軽減されます。イメージ・トゥ・イメージやインペイントのようなツールを使って繰り返し処理することで、最初にカットした画像のディテールを向上させ、最初の品質低下を補うことができます。このような高速技術で適切に編集された画像は、通常のStable Diffusionモデルで生成された画像に匹敵するほど優れたものになります。
AI画像生成の領域はオーバードライブに移行しており、AIファンボーイほどスピードを切望する人は少ないので、シートベルトを締めてください
。
