AI論文ライブラリarXivの生成AI論文を日本語で

カテゴリ

RAG/検索の論文

検索拡張生成(RAG)、情報検索、ナレッジ活用に関する論文。

掲載 2本 ・ 最終更新

5 注目度 注目度 5段階中 5

RAG/検索 定番 原論文 2020年 約2分で読める

RAG(検索拡張生成)の原点――言語モデルに外部知識の検索を組み合わせ、より事実に即した生成へ

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

要点事前学習済みの生成モデル(パラメトリック記憶)に、Wikipediaの密ベクトル索引を検索する仕組み(非パラメトリック記憶)を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。

Patrick Lewis, Ethan Perez, Aleksandra Piktus 他9名 arXiv:2005.11401

4 注目度 注目度 5段階中 4

RAG/検索 定番 原論文 2023年 約1分で読める

Lost in the Middle――長い入力の「真ん中」にある情報は、LLMに見落とされやすい

Lost in the Middle: How Language Models Use Long Contexts

要点長い入力を扱える言語モデルでも、関連情報が入力の先頭や末尾にあると性能が高く、真ん中にあると大きく下がることを、複数文書の質問応答とキー・バリュー検索で示した。長文脈向けとされるモデルでも同様だった。

Nelson F. Liu, Kevin Lin, John Hewitt 他4名 arXiv:2307.03172