# AI論文ライブラリ（AI Paper Library）

> arXivに毎日公開される生成AI論文を編集部が選び、日本語タイトル・翻訳要約・構造化解説（課題／手法／結果／限界／ビジネス活用）で掲載する、日本語で検索できる論文ライブラリです。

本サイトの要約は、各論文の原文アブストラクトに書かれた事実の範囲で作成しています（数字・結果を創作しない方針）。引用時は日本語ページのURLと、arXivの原文URLの両方を示してください。
各論文ページには同じ内容のMarkdown版（URL末尾に .md を付ける）があります。全文をまとめたものは /llms-full.txt です。

## サイト情報
- [このサイトについて](https://papers.plutine.com/about): サイトの概要、よくある質問、著作権、運営者
- [カテゴリ一覧](https://papers.plutine.com/categories)
- [まず読みたい定番論文](https://papers.plutine.com/classics): Transformer・GPT-3・RAG・思考の連鎖など、生成AIの土台になった論文
- [新着RSS](https://papers.plutine.com/feed.xml)
- [全論文Markdown](https://papers.plutine.com/llms-full.txt)

## カテゴリ
- [大規模言語モデル](https://papers.plutine.com/categories/llm): 大規模言語モデル（LLM）の学習・アーキテクチャ・スケーリングに関する論文。
- [推論](https://papers.plutine.com/categories/reasoning): 推論能力、思考の連鎖（CoT）、推論時計算に関する論文。
- [画像生成](https://papers.plutine.com/categories/image-generation): 拡散モデルなどによる画像・動画生成に関する論文。
- [学習手法／ファインチューニング](https://papers.plutine.com/categories/training): ファインチューニング、人間のフィードバックによる学習（RLHF）、選好最適化など、モデルを目的に合わせて調整する手法の論文。
- [RAG／検索](https://papers.plutine.com/categories/rag): 検索拡張生成（RAG）、情報検索、ナレッジ活用に関する論文。
- [エージェント](https://papers.plutine.com/categories/agents): LLMエージェント、マルチエージェント、ツール利用、自律的なタスク実行に関する論文。
- [マルチモーダル](https://papers.plutine.com/categories/multimodal): 画像・音声・動画とテキストを横断するマルチモーダルモデルに関する論文。
- [安全性／評価](https://papers.plutine.com/categories/safety-eval): AIの安全性、アラインメント、ベンチマーク・評価手法に関する論文。
- [効率化／推論高速化](https://papers.plutine.com/categories/efficiency): 量子化、蒸留、KVキャッシュなどモデルの軽量化・高速化に関する論文。
- [プロダクト／開発](https://papers.plutine.com/categories/product-dev): AI支援開発、コーディングエージェント、生成AIを組み込んだプロダクト開発の実務に関する論文。
- [研究手法](https://papers.plutine.com/categories/research-methods): 生成AIを研究プロセスそのものに使う手法、科学的発見・図解・評価方法論に関する論文。

## 論文（新着順）
- [Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に](https://papers.plutine.com/papers/1706.03762): 再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。（原題: Attention Is All You Need / arXiv:1706.03762）
- [BERT――文の左右両方の文脈から学ぶ事前学習で、11の言語タスクの最高精度を更新](https://papers.plutine.com/papers/1810.04805): ラベルなしテキストから、全層で左右両方の文脈を同時に使う双方向の表現を事前学習する「BERT」を提案。出力層を1つ足してファインチューニングするだけで、質問応答や推論など11の言語タスクで最高精度を更新した。（原題: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / arXiv:1810.04805）
- [思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上](https://papers.plutine.com/papers/2201.11903): プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。（原題: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models / arXiv:2201.11903）
- [拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎](https://papers.plutine.com/papers/2006.11239): 非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。（原題: Denoising Diffusion Probabilistic Models / arXiv:2006.11239）
- [InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に](https://papers.plutine.com/papers/2203.02155): 人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。（原題: Training language models to follow instructions with human feedback / arXiv:2203.02155）
- [GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす](https://papers.plutine.com/papers/2005.14165): 1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。（原題: Language Models are Few-Shot Learners / arXiv:2005.14165）
- [LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル](https://papers.plutine.com/papers/2302.13971): 70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。（原題: LLaMA: Open and Efficient Foundation Language Models / arXiv:2302.13971）
- [LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に](https://papers.plutine.com/papers/2106.09685): 事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。（原題: LoRA: Low-Rank Adaptation of Large Language Models / arXiv:2106.09685）
- [潜在拡散モデル（Stable Diffusionの基礎）――圧縮した潜在空間で拡散させ、高品質な画像生成を低コストに](https://papers.plutine.com/papers/2112.10752): 拡散モデルを画素空間ではなく、事前学習済みオートエンコーダの潜在空間で動かす「潜在拡散モデル（LDM）」を提案。計算コストを大きく下げつつ画質を保ち、クロスアテンションでテキストなど多様な条件による生成も可能にした。（原題: High-Resolution Image Synthesis with Latent Diffusion Models / arXiv:2112.10752）
- [RAG（検索拡張生成）の原点――言語モデルに外部知識の検索を組み合わせ、より事実に即した生成へ](https://papers.plutine.com/papers/2005.11401): 事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。（原題: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / arXiv:2005.11401）
- [ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形](https://papers.plutine.com/papers/2210.03629): LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。（原題: ReAct: Synergizing Reasoning and Acting in Language Models / arXiv:2210.03629）
- [Chinchilla――モデルの大きさと学習データ量は同じ比率で増やすべき。計算資源の最適配分を見直した研究](https://papers.plutine.com/papers/2203.15556): 400以上の言語モデルを学習して検証し、計算予算が決まっているならモデルサイズと学習トークン数は同じ比率で増やすべきだと結論。同じ計算量で700億パラメータ・4倍のデータで学習した「Chinchilla」が、2800億パラメータのGopherなどを上回った。（原題: Training Compute-Optimal Large Language Models / arXiv:2203.15556）
- [CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす](https://papers.plutine.com/papers/2103.00020): インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。（原題: Learning Transferable Visual Models From Natural Language Supervision / arXiv:2103.00020）
- [Constitutional AI――「原則のリスト」だけを人が与え、AIのフィードバックで無害なアシスタントを学習](https://papers.plutine.com/papers/2212.08073): 有害な出力に人がラベルを付けず、「原則（憲法）のリスト」だけを与えて、AI自身の批評・修正とAIによる評価（RLAIF）で無害なアシスタントを学習する「Constitutional AI」を提案。回避的にならず、有害な質問には理由を説明して応じるアシスタントを実現した。（原題: Constitutional AI: Harmlessness from AI Feedback / arXiv:2212.08073）
- [DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を](https://papers.plutine.com/papers/2305.18290): RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。（原題: Direct Preference Optimization: Your Language Model is Secretly a Reward Model / arXiv:2305.18290）
- [Generative Agents――記憶・振り返り・計画を持つAIエージェント25人が、小さな町で人間らしく暮らす](https://papers.plutine.com/papers/2304.03442): LLMに経験の記録・振り返り（リフレクション）・記憶の検索を組み合わせ、人間らしい行動をシミュレートする「生成エージェント」を提案。25人のエージェントが暮らす町で、1人がバレンタインパーティーを開きたいという設定だけから、招待や約束、当日の集合が自律的に起きた。（原題: Generative Agents: Interactive Simulacra of Human Behavior / arXiv:2304.03442）
- [FlashAttention――GPUメモリの読み書きを減らし、注意機構を正確なまま高速・省メモリに](https://papers.plutine.com/papers/2205.14135): GPUのメモリ階層間の読み書き（IO）を意識し、タイリングで高帯域メモリへのアクセスを減らす正確な注意機構の計算法「FlashAttention」を提案。GPT-2で3倍の学習高速化を実現し、より長い文脈を扱えるようにした。（原題: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness / arXiv:2205.14135）
- [Lost in the Middle――長い入力の「真ん中」にある情報は、LLMに見落とされやすい](https://papers.plutine.com/papers/2307.03172): 長い入力を扱える言語モデルでも、関連情報が入力の先頭や末尾にあると性能が高く、真ん中にあると大きく下がることを、複数文書の質問応答とキー・バリュー検索で示した。長文脈向けとされるモデルでも同様だった。（原題: Lost in the Middle: How Language Models Use Long Contexts / arXiv:2307.03172）
- [Mixtral 8x7B――8つの専門家から2つを選んで使う疎なMoEで、少ない計算量でLlama 2 70B級の性能](https://papers.plutine.com/papers/2401.04088): 各層に8つの専門家（フィードフォワードブロック）を持ち、トークンごとにルーターが2つを選ぶ疎なMixture of Expertsモデル「Mixtral 8x7B」を提案。470億パラメータのうち推論時に使うのは130億で、評価したすべてのベンチマークでLlama 2 70BやGPT-3.5と同等以上だった。（原題: Mixtral of Experts / arXiv:2401.04088）
- [LLaVA――画像を見て会話できるAIを、GPT-4が作った指示データで学習](https://papers.plutine.com/papers/2304.08485): テキストのみのGPT-4に画像と言語の指示データを生成させ、それで指示チューニングした大規模マルチモーダルモデル「LLaVA」を提案。合成データでGPT-4比85.1%の相対スコアを出し、Science QAではGPT-4との組み合わせで92.53%の最高精度を達成した。（原題: Visual Instruction Tuning / arXiv:2304.08485）
- [QLoRA――4ビット量子化とLoRAで、650億パラメータのモデルを1枚の48GB GPUでファインチューニング](https://papers.plutine.com/papers/2305.14314): 4ビットに量子化して固定したモデルからLoRAへ勾配を流す「QLoRA」で、650億パラメータのモデルを48GBのGPU 1枚でファインチューニング可能に。16ビットのファインチューニングと同等の性能を保ち、作ったGuanacoはVicunaベンチマークでChatGPTの99.3%に達した。（原題: QLoRA: Efficient Finetuning of Quantized LLMs / arXiv:2305.14314）
- [「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則](https://papers.plutine.com/papers/2001.08361): 言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。（原題: Scaling Laws for Neural Language Models / arXiv:2001.08361）
- [Toolformer――言語モデルが電卓や検索などの道具の使い方を自分で学ぶ](https://papers.plutine.com/papers/2302.04761): どのAPIを、いつ、どんな引数で呼び、結果をどう使うかを、各APIにつき数例の手本だけから自己教師ありで学ぶ「Toolformer」を提案。電卓・検索・翻訳・カレンダーなどを使えるようになり、より大きなモデルに匹敵するゼロショット性能を示した。（原題: Toolformer: Language Models Can Teach Themselves to Use Tools / arXiv:2302.04761）
- [Tree of Thoughts――複数の考え筋を試し、見通し・後戻りしながら解くLLMの推論法](https://papers.plutine.com/papers/2305.10601): 思考の連鎖を一般化し、複数の推論の道筋を木のように探索して自己評価し、先読みや後戻りもできる推論の枠組み「Tree of Thoughts」を提案。24ゲームでは、思考の連鎖を使ったGPT-4の正解率4%に対し、74%を達成した。（原題: Tree of Thoughts: Deliberate Problem Solving with Large Language Models / arXiv:2305.10601）
- [潜在空間で考えるエージェント群「SwarmEvolve」――進化的プログラム探索を高速・低コストに](https://papers.plutine.com/papers/2611.08483): 1ラウンドに数百の低コストエージェントが群れで働き、潜在空間で推論して情報を共有する進化探索フレームワーク「SwarmEvolve」。21課題で最高の平均スコア、最良スコアへの到達は中央値3〜8分とされる。（原題: SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization / arXiv:2611.08483）
- [「理解」を成果物に：AI開発の認知負債・意図負債に挑むCognitive Tours](https://papers.plutine.com/papers/2611.08456): AI支援開発で生まれる「認知負債」「意図負債」に対し、ニーズ・設計判断・コード・テスト・未解決の疑問をつなぐ道筋をたどれるプロトタイプ「Cognitive Tours」を提示する論文。（原題: Cognitive Tours: Making Understanding a Deliverable in AI-Assisted Development / arXiv:2611.08456）
- [生成AIで科学図は良くなるか――371点の図を検証、明瞭さは向上も美的一貫性は低下](https://papers.plutine.com/papers/2611.08486): 200本の論文の図371点を対象に生成AIによる図の作り直しを検討。制約付きの改訂では明瞭さが平均0.428点上がる一方、美的一貫性は0.111点下がり、著者らは「研究者主導の設計」を支持する。（原題: Do You Miss the Nights We Spent Crafting Figures? Rethinking Teaser and Framework Figures in the Age of Generative AI / arXiv:2611.08486）