潜在拡散モデル（Stable Diffusionの基礎）――圧縮した潜在空間で拡散させ、高品質な画像生成を低コストに
High-Resolution Image Synthesis with Latent Diffusion Models
30秒でわかる要点
拡散モデルを画素空間ではなく、事前学習済みオートエンコーダの潜在空間で動かす「潜在拡散モデル（LDM）」を提案。計算コストを大きく下げつつ画質を保ち、クロスアテンションでテキストなど多様な条件による生成も可能にした。
要約― この論文の概要は？
画像の生成過程をノイズ除去オートエンコーダの逐次適用に分解することで、拡散モデルは画像などで最高水準の合成結果を達成している。さらにその定式化により、再学習なしで生成過程を制御する誘導の仕組みも使える。しかし、拡散モデルは通常画素空間で直接動作するため、強力な拡散モデルの最適化には数百GPU日を要することが多く、逐次的な評価のために推論も高コストである。限られた計算資源で拡散モデルを学習しつつ品質と柔軟性を保つため、本論文は強力な事前学習済みオートエンコーダの潜在空間に拡散モデルを適用する。従来と異なり、この表現で拡散モデルを学習することで、計算量の削減と細部の保持の間でほぼ最適な点に初めて到達でき、視覚的な忠実度が大きく向上した。モデル構造にクロスアテンション層を導入することで、テキストやバウンディングボックスなど一般的な条件入力に対応する強力で柔軟な生成器とし、畳み込み的な方法で高解像度の合成も可能にした。潜在拡散モデル（LDM）は、画像の欠損補完（インペインティング）で最高水準を達成し、条件なし画像生成、意味的なシーン合成、超解像など多様なタスクで高い競争力を示しつつ、画素ベースの拡散モデルに比べて計算量を大幅に減らした。コードは公開されている。
課題― 何を解決しようとしているのか？
拡散モデルは画素空間で直接動作するため、学習に数百GPU日かかることが多く、推論も逐次処理のため高コストだった。
手法― どのような方法で取り組んだのか？
強力な事前学習済みオートエンコーダの潜在空間で拡散モデルを学習する。さらにクロスアテンション層を導入し、テキストやバウンディングボックスなどを条件として生成できるようにした。
結果― 何が分かったのか？
計算量削減と細部保持の間でほぼ最適な点に到達し、視覚的な忠実度が向上。画像の欠損補完で最高水準を達成し、条件なし生成、意味的シーン合成、超解像でも高い競争力を示しながら、画素ベースの拡散モデルより計算量を大幅に削減した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、オートエンコーダによる圧縮で失われる情報の影響や、生成速度の具体的な数値は示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
テキストから画像を作る現在の画像生成AI（Stable Diffusion系）の基礎となった設計。一般的なGPUでも画像生成を動かせるようになった理由がここにあり、自社環境での画像生成の導入可否やコストを考える際の参考になる。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
画像生成 定番 原論文 2020年 約1分で読める
拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎
Denoising Diffusion Probabilistic Models
要点非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2018年 約2分で読める
BERT――文の左右両方の文脈から学ぶ事前学習で、11の言語タスクの最高精度を更新
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
要点ラベルなしテキストから、全層で左右両方の文脈を同時に使う双方向の表現を事前学習する「BERT」を提案。出力層を1つ足してファインチューニングするだけで、質問応答や推論など11の言語タスクで最高精度を更新した。