AI論文ライブラリ

AI論文ライブラリ — 新着論文 https://papers.plutine.com/ arXivに毎日公開される生成AI論文を編集部が選び、日本語タイトル・翻訳要約・構造化解説（課題／手法／結果／限界／ビジネス活用）で掲載する、日本語で検索できる論文ライブラリです。 ja Fri, 06 Nov 2026 22:00:00 GMT Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に https://papers.plutine.com/papers/1706.03762 https://papers.plutine.com/papers/1706.03762 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデル再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。（原題: Attention Is All You Need / arXiv:1706.03762） BERT――文の左右両方の文脈から学ぶ事前学習で、11の言語タスクの最高精度を更新 https://papers.plutine.com/papers/1810.04805 https://papers.plutine.com/papers/1810.04805 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデルラベルなしテキストから、全層で左右両方の文脈を同時に使う双方向の表現を事前学習する「BERT」を提案。出力層を1つ足してファインチューニングするだけで、質問応答や推論など11の言語タスクで最高精度を更新した。（原題: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / arXiv:1810.04805）思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上 https://papers.plutine.com/papers/2201.11903 https://papers.plutine.com/papers/2201.11903 Fri, 06 Nov 2026 22:00:00 GMT 推論プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。（原題: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models / arXiv:2201.11903）拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎 https://papers.plutine.com/papers/2006.11239 https://papers.plutine.com/papers/2006.11239 Fri, 06 Nov 2026 22:00:00 GMT 画像生成非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。（原題: Denoising Diffusion Probabilistic Models / arXiv:2006.11239） InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に https://papers.plutine.com/papers/2203.02155 https://papers.plutine.com/papers/2203.02155 Fri, 06 Nov 2026 22:00:00 GMT 学習手法／ファインチューニング人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。（原題: Training language models to follow instructions with human feedback / arXiv:2203.02155） GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす https://papers.plutine.com/papers/2005.14165 https://papers.plutine.com/papers/2005.14165 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデル 1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。（原題: Language Models are Few-Shot Learners / arXiv:2005.14165） LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル https://papers.plutine.com/papers/2302.13971 https://papers.plutine.com/papers/2302.13971 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデル 70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。（原題: LLaMA: Open and Efficient Foundation Language Models / arXiv:2302.13971） LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に https://papers.plutine.com/papers/2106.09685 https://papers.plutine.com/papers/2106.09685 Fri, 06 Nov 2026 22:00:00 GMT 学習手法／ファインチューニング事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。（原題: LoRA: Low-Rank Adaptation of Large Language Models / arXiv:2106.09685）潜在拡散モデル（Stable Diffusionの基礎）――圧縮した潜在空間で拡散させ、高品質な画像生成を低コストに https://papers.plutine.com/papers/2112.10752 https://papers.plutine.com/papers/2112.10752 Fri, 06 Nov 2026 22:00:00 GMT 画像生成拡散モデルを画素空間ではなく、事前学習済みオートエンコーダの潜在空間で動かす「潜在拡散モデル（LDM）」を提案。計算コストを大きく下げつつ画質を保ち、クロスアテンションでテキストなど多様な条件による生成も可能にした。（原題: High-Resolution Image Synthesis with Latent Diffusion Models / arXiv:2112.10752） RAG（検索拡張生成）の原点――言語モデルに外部知識の検索を組み合わせ、より事実に即した生成へ https://papers.plutine.com/papers/2005.11401 https://papers.plutine.com/papers/2005.11401 Fri, 06 Nov 2026 22:00:00 GMT RAG／検索事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。（原題: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / arXiv:2005.11401） ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形 https://papers.plutine.com/papers/2210.03629 https://papers.plutine.com/papers/2210.03629 Fri, 06 Nov 2026 22:00:00 GMT エージェント LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。（原題: ReAct: Synergizing Reasoning and Acting in Language Models / arXiv:2210.03629） Chinchilla――モデルの大きさと学習データ量は同じ比率で増やすべき。計算資源の最適配分を見直した研究 https://papers.plutine.com/papers/2203.15556 https://papers.plutine.com/papers/2203.15556 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデル 400以上の言語モデルを学習して検証し、計算予算が決まっているならモデルサイズと学習トークン数は同じ比率で増やすべきだと結論。同じ計算量で700億パラメータ・4倍のデータで学習した「Chinchilla」が、2800億パラメータのGopherなどを上回った。（原題: Training Compute-Optimal Large Language Models / arXiv:2203.15556） CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす https://papers.plutine.com/papers/2103.00020 https://papers.plutine.com/papers/2103.00020 Fri, 06 Nov 2026 22:00:00 GMT マルチモーダルインターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。（原題: Learning Transferable Visual Models From Natural Language Supervision / arXiv:2103.00020） Constitutional AI――「原則のリスト」だけを人が与え、AIのフィードバックで無害なアシスタントを学習 https://papers.plutine.com/papers/2212.08073 https://papers.plutine.com/papers/2212.08073 Fri, 06 Nov 2026 22:00:00 GMT 安全性／評価有害な出力に人がラベルを付けず、「原則（憲法）のリスト」だけを与えて、AI自身の批評・修正とAIによる評価（RLAIF）で無害なアシスタントを学習する「Constitutional AI」を提案。回避的にならず、有害な質問には理由を説明して応じるアシスタントを実現した。（原題: Constitutional AI: Harmlessness from AI Feedback / arXiv:2212.08073） DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を https://papers.plutine.com/papers/2305.18290 https://papers.plutine.com/papers/2305.18290 Fri, 06 Nov 2026 22:00:00 GMT 学習手法／ファインチューニング RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。（原題: Direct Preference Optimization: Your Language Model is Secretly a Reward Model / arXiv:2305.18290） Generative Agents――記憶・振り返り・計画を持つAIエージェント25人が、小さな町で人間らしく暮らす https://papers.plutine.com/papers/2304.03442 https://papers.plutine.com/papers/2304.03442 Fri, 06 Nov 2026 22:00:00 GMT エージェント LLMに経験の記録・振り返り（リフレクション）・記憶の検索を組み合わせ、人間らしい行動をシミュレートする「生成エージェント」を提案。25人のエージェントが暮らす町で、1人がバレンタインパーティーを開きたいという設定だけから、招待や約束、当日の集合が自律的に起きた。（原題: Generative Agents: Interactive Simulacra of Human Behavior / arXiv:2304.03442） FlashAttention――GPUメモリの読み書きを減らし、注意機構を正確なまま高速・省メモリに https://papers.plutine.com/papers/2205.14135 https://papers.plutine.com/papers/2205.14135 Fri, 06 Nov 2026 22:00:00 GMT 効率化／推論高速化 GPUのメモリ階層間の読み書き（IO）を意識し、タイリングで高帯域メモリへのアクセスを減らす正確な注意機構の計算法「FlashAttention」を提案。GPT-2で3倍の学習高速化を実現し、より長い文脈を扱えるようにした。（原題: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness / arXiv:2205.14135） Lost in the Middle――長い入力の「真ん中」にある情報は、LLMに見落とされやすい https://papers.plutine.com/papers/2307.03172 https://papers.plutine.com/papers/2307.03172 Fri, 06 Nov 2026 22:00:00 GMT RAG／検索長い入力を扱える言語モデルでも、関連情報が入力の先頭や末尾にあると性能が高く、真ん中にあると大きく下がることを、複数文書の質問応答とキー・バリュー検索で示した。長文脈向けとされるモデルでも同様だった。（原題: Lost in the Middle: How Language Models Use Long Contexts / arXiv:2307.03172） Mixtral 8x7B――8つの専門家から2つを選んで使う疎なMoEで、少ない計算量でLlama 2 70B級の性能 https://papers.plutine.com/papers/2401.04088 https://papers.plutine.com/papers/2401.04088 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデル各層に8つの専門家（フィードフォワードブロック）を持ち、トークンごとにルーターが2つを選ぶ疎なMixture of Expertsモデル「Mixtral 8x7B」を提案。470億パラメータのうち推論時に使うのは130億で、評価したすべてのベンチマークでLlama 2 70BやGPT-3.5と同等以上だった。（原題: Mixtral of Experts / arXiv:2401.04088） LLaVA――画像を見て会話できるAIを、GPT-4が作った指示データで学習 https://papers.plutine.com/papers/2304.08485 https://papers.plutine.com/papers/2304.08485 Fri, 06 Nov 2026 22:00:00 GMT マルチモーダルテキストのみのGPT-4に画像と言語の指示データを生成させ、それで指示チューニングした大規模マルチモーダルモデル「LLaVA」を提案。合成データでGPT-4比85.1%の相対スコアを出し、Science QAではGPT-4との組み合わせで92.53%の最高精度を達成した。（原題: Visual Instruction Tuning / arXiv:2304.08485） QLoRA――4ビット量子化とLoRAで、650億パラメータのモデルを1枚の48GB GPUでファインチューニング https://papers.plutine.com/papers/2305.14314 https://papers.plutine.com/papers/2305.14314 Fri, 06 Nov 2026 22:00:00 GMT 学習手法／ファインチューニング 4ビットに量子化して固定したモデルからLoRAへ勾配を流す「QLoRA」で、650億パラメータのモデルを48GBのGPU 1枚でファインチューニング可能に。16ビットのファインチューニングと同等の性能を保ち、作ったGuanacoはVicunaベンチマークでChatGPTの99.3%に達した。（原題: QLoRA: Efficient Finetuning of Quantized LLMs / arXiv:2305.14314）「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則 https://papers.plutine.com/papers/2001.08361 https://papers.plutine.com/papers/2001.08361 Fri, 06 Nov 2026 22:00:00 GMT 大規模言語モデル言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。（原題: Scaling Laws for Neural Language Models / arXiv:2001.08361） Toolformer――言語モデルが電卓や検索などの道具の使い方を自分で学ぶ https://papers.plutine.com/papers/2302.04761 https://papers.plutine.com/papers/2302.04761 Fri, 06 Nov 2026 22:00:00 GMT エージェントどのAPIを、いつ、どんな引数で呼び、結果をどう使うかを、各APIにつき数例の手本だけから自己教師ありで学ぶ「Toolformer」を提案。電卓・検索・翻訳・カレンダーなどを使えるようになり、より大きなモデルに匹敵するゼロショット性能を示した。（原題: Toolformer: Language Models Can Teach Themselves to Use Tools / arXiv:2302.04761） Tree of Thoughts――複数の考え筋を試し、見通し・後戻りしながら解くLLMの推論法 https://papers.plutine.com/papers/2305.10601 https://papers.plutine.com/papers/2305.10601 Fri, 06 Nov 2026 22:00:00 GMT 推論思考の連鎖を一般化し、複数の推論の道筋を木のように探索して自己評価し、先読みや後戻りもできる推論の枠組み「Tree of Thoughts」を提案。24ゲームでは、思考の連鎖を使ったGPT-4の正解率4%に対し、74%を達成した。（原題: Tree of Thoughts: Deliberate Problem Solving with Large Language Models / arXiv:2305.10601）潜在空間で考えるエージェント群「SwarmEvolve」――進化的プログラム探索を高速・低コストに https://papers.plutine.com/papers/2611.08483 https://papers.plutine.com/papers/2611.08483 Thu, 05 Nov 2026 22:00:00 GMT エージェント 1ラウンドに数百の低コストエージェントが群れで働き、潜在空間で推論して情報を共有する進化探索フレームワーク「SwarmEvolve」。21課題で最高の平均スコア、最良スコアへの到達は中央値3〜8分とされる。（原題: SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization / arXiv:2611.08483）「理解」を成果物に：AI開発の認知負債・意図負債に挑むCognitive Tours https://papers.plutine.com/papers/2611.08456 https://papers.plutine.com/papers/2611.08456 Thu, 05 Nov 2026 22:00:00 GMT プロダクト／開発 AI支援開発で生まれる「認知負債」「意図負債」に対し、ニーズ・設計判断・コード・テスト・未解決の疑問をつなぐ道筋をたどれるプロトタイプ「Cognitive Tours」を提示する論文。（原題: Cognitive Tours: Making Understanding a Deliverable in AI-Assisted Development / arXiv:2611.08456）生成AIで科学図は良くなるか――371点の図を検証、明瞭さは向上も美的一貫性は低下 https://papers.plutine.com/papers/2611.08486 https://papers.plutine.com/papers/2611.08486 Thu, 05 Nov 2026 22:00:00 GMT 研究手法 200本の論文の図371点を対象に生成AIによる図の作り直しを検討。制約付きの改訂では明瞭さが平均0.428点上がる一方、美的一貫性は0.111点下がり、著者らは「研究者主導の設計」を支持する。（原題: Do You Miss the Nights We Spent Crafting Figures? Rethinking Teaser and Framework Figures in the Age of Generative AI / arXiv:2611.08486）