今の生成AIの土台になった重要論文を、原論文の発表順に並べました。ここから読むと、Transformer → 大規模化 → 指示への追従 → エージェント、という研究の流れがつかめます。
掲載 24本
大規模言語モデル 定番 原論文 2017年 約2分で読める
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2018年 約2分で読める
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
要点ラベルなしテキストから、全層で左右両方の文脈を同時に使う双方向の表現を事前学習する「BERT」を提案。出力層を1つ足してファインチューニングするだけで、質問応答や推論など11の言語タスクで最高精度を更新した。
大規模言語モデル 定番 原論文 2020年 約2分で読める
Scaling Laws for Neural Language Models
要点言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。
RAG／検索 定番 原論文 2020年 約2分で読める
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
要点事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。
大規模言語モデル 定番 原論文 2020年 約2分で読める
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
画像生成 定番 原論文 2020年 約1分で読める
Denoising Diffusion Probabilistic Models
要点非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。
マルチモーダル 定番 原論文 2021年 約2分で読める
Learning Transferable Visual Models From Natural Language Supervision
要点インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。
学習手法／ファインチューニング 定番 原論文 2021年 約2分で読める
LoRA: Low-Rank Adaptation of Large Language Models
要点事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。
画像生成 定番 原論文 2021年 約2分で読める
High-Resolution Image Synthesis with Latent Diffusion Models
要点拡散モデルを画素空間ではなく、事前学習済みオートエンコーダの潜在空間で動かす「潜在拡散モデル（LDM）」を提案。計算コストを大きく下げつつ画質を保ち、クロスアテンションでテキストなど多様な条件による生成も可能にした。
推論 定番 原論文 2022年 約2分で読める
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。
学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める
Training language models to follow instructions with human feedback
要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
大規模言語モデル 定番 原論文 2022年 約2分で読める
Training Compute-Optimal Large Language Models
要点400以上の言語モデルを学習して検証し、計算予算が決まっているならモデルサイズと学習トークン数は同じ比率で増やすべきだと結論。同じ計算量で700億パラメータ・4倍のデータで学習した「Chinchilla」が、2800億パラメータのGopherなどを上回った。
効率化／推論高速化 定番 原論文 2022年 約3分で読める
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
要点GPUのメモリ階層間の読み書き（IO）を意識し、タイリングで高帯域メモリへのアクセスを減らす正確な注意機構の計算法「FlashAttention」を提案。GPT-2で3倍の学習高速化を実現し、より長い文脈を扱えるようにした。
エージェント 定番 原論文 2022年 約2分で読める
ReAct: Synergizing Reasoning and Acting in Language Models
要点LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。
安全性／評価 定番 原論文 2022年 約2分で読める
Constitutional AI: Harmlessness from AI Feedback
要点有害な出力に人がラベルを付けず、「原則（憲法）のリスト」だけを与えて、AI自身の批評・修正とAIによる評価（RLAIF）で無害なアシスタントを学習する「Constitutional AI」を提案。回避的にならず、有害な質問には理由を説明して応じるアシスタントを実現した。
エージェント 定番 原論文 2023年 約2分で読める
Toolformer: Language Models Can Teach Themselves to Use Tools
要点どのAPIを、いつ、どんな引数で呼び、結果をどう使うかを、各APIにつき数例の手本だけから自己教師ありで学ぶ「Toolformer」を提案。電卓・検索・翻訳・カレンダーなどを使えるようになり、より大きなモデルに匹敵するゼロショット性能を示した。
大規模言語モデル 定番 原論文 2023年 約1分で読める
LLaMA: Open and Efficient Foundation Language Models
要点70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。
エージェント 定番 原論文 2023年 約2分で読める
Generative Agents: Interactive Simulacra of Human Behavior
要点LLMに経験の記録・振り返り（リフレクション）・記憶の検索を組み合わせ、人間らしい行動をシミュレートする「生成エージェント」を提案。25人のエージェントが暮らす町で、1人がバレンタインパーティーを開きたいという設定だけから、招待や約束、当日の集合が自律的に起きた。
マルチモーダル 定番 原論文 2023年 約2分で読める
Visual Instruction Tuning
要点テキストのみのGPT-4に画像と言語の指示データを生成させ、それで指示チューニングした大規模マルチモーダルモデル「LLaVA」を提案。合成データでGPT-4比85.1%の相対スコアを出し、Science QAではGPT-4との組み合わせで92.53%の最高精度を達成した。
推論 定番 原論文 2023年 約2分で読める
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
要点思考の連鎖を一般化し、複数の推論の道筋を木のように探索して自己評価し、先読みや後戻りもできる推論の枠組み「Tree of Thoughts」を提案。24ゲームでは、思考の連鎖を使ったGPT-4の正解率4%に対し、74%を達成した。
学習手法／ファインチューニング 定番 原論文 2023年 約3分で読める
QLoRA: Efficient Finetuning of Quantized LLMs
要点4ビットに量子化して固定したモデルからLoRAへ勾配を流す「QLoRA」で、650億パラメータのモデルを48GBのGPU 1枚でファインチューニング可能に。16ビットのファインチューニングと同等の性能を保ち、作ったGuanacoはVicunaベンチマークでChatGPTの99.3%に達した。
学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。
RAG／検索 定番 原論文 2023年 約1分で読める
Lost in the Middle: How Language Models Use Long Contexts
要点長い入力を扱える言語モデルでも、関連情報が入力の先頭や末尾にあると性能が高く、真ん中にあると大きく下がることを、複数文書の質問応答とキー・バリュー検索で示した。長文脈向けとされるモデルでも同様だった。
大規模言語モデル 定番 原論文 2024年 約2分で読める
Mixtral of Experts
要点各層に8つの専門家（フィードフォワードブロック）を持ち、トークンごとにルーターが2つを選ぶ疎なMixture of Expertsモデル「Mixtral 8x7B」を提案。470億パラメータのうち推論時に使うのは130億で、評価したすべてのベンチマークでLlama 2 70BやGPT-3.5と同等以上だった。