カテゴリから探す
関心のあるテーマから論文を探せます。各カテゴリの新着3本を表示しています。
大規模言語モデル7本
大規模言語モデル（LLM）の学習・アーキテクチャ・スケーリングに関する論文。
- Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
- BERT――文の左右両方の文脈から学ぶ事前学習で、11の言語タスクの最高精度を更新
- GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
学習手法／ファインチューニング4本
ファインチューニング、人間のフィードバックによる学習（RLHF）、選好最適化など、モデルを目的に合わせて調整する手法の論文。
- InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に
- LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に
- DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を
エージェント4本
LLMエージェント、マルチエージェント、ツール利用、自律的なタスク実行に関する論文。
- ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形
- Generative Agents――記憶・振り返り・計画を持つAIエージェント25人が、小さな町で人間らしく暮らす
- Toolformer――言語モデルが電卓や検索などの道具の使い方を自分で学ぶ
推論2本
推論能力、思考の連鎖（CoT）、推論時計算に関する論文。
- 思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
- Tree of Thoughts――複数の考え筋を試し、見通し・後戻りしながら解くLLMの推論法
画像生成2本
拡散モデルなどによる画像・動画生成に関する論文。
- 拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎
- 潜在拡散モデル（Stable Diffusionの基礎）――圧縮した潜在空間で拡散させ、高品質な画像生成を低コストに
RAG／検索2本
検索拡張生成（RAG）、情報検索、ナレッジ活用に関する論文。
すべて見る →マルチモーダル2本
画像・音声・動画とテキストを横断するマルチモーダルモデルに関する論文。
すべて見る →安全性／評価1本
AIの安全性、アラインメント、ベンチマーク・評価手法に関する論文。
すべて見る →効率化／推論高速化1本
量子化、蒸留、KVキャッシュなどモデルの軽量化・高速化に関する論文。
すべて見る →プロダクト／開発1本
AI支援開発、コーディングエージェント、生成AIを組み込んだプロダクト開発の実務に関する論文。
すべて見る →研究手法1本
生成AIを研究プロセスそのものに使う手法、科学的発見・図解・評価方法論に関する論文。
すべて見る →