思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
30秒でわかる要点
プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。
要約― この論文の概要は？
思考の連鎖、すなわち一連の中間的な推論ステップを生成させることで、大規模言語モデルの複雑な推論能力が大きく向上することを探る。特に、プロンプトの手本として思考の連鎖の例を数個示す「思考の連鎖プロンプト」というシンプルな方法によって、十分に大きな言語モデルでこうした推論能力が自然に現れることを示す。3つの大規模言語モデルでの実験により、思考の連鎖プロンプトが算数、常識、記号推論の幅広いタスクで性能を向上させることが示された。改善は目覚ましい場合がある。例えば、5400億パラメータの言語モデルに思考の連鎖の例を8つ示すだけで、数学の文章題ベンチマークGSM8Kで最高精度を達成し、検証器付きでファインチューニングしたGPT-3をも上回った。
課題― 何を解決しようとしているのか？
大規模言語モデルは、算数の文章題のような複数のステップを要する複雑な推論が苦手だった。
手法― どのような方法で取り組んだのか？
プロンプトの手本として、答えだけでなく途中の推論ステップ（思考の連鎖）を含む例を数個示す「思考の連鎖プロンプト」を用い、3つの大規模言語モデルで算数・常識・記号推論のタスクを評価した。
結果― 何が分かったのか？
算数・常識・記号推論の幅広いタスクで性能が向上した。5400億パラメータのモデルに8つの例を示すだけで、GSM8Kで最高精度を達成し、検証器付きでファインチューニングしたGPT-3を上回った。
限界― 注意すべき点は？
推論能力は「十分に大きな言語モデル」で自然に現れるとされており、小さなモデルでは同様の効果が得られない可能性がある。本要約（アブストラクト）の範囲では、生成された推論過程の正しさの検証については示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
「手順を追って考えて」「途中の計算も書いて」といったプロンプトの工夫の原点。見積もり計算、条件の多い判断、規程の当てはめなど、複数ステップの業務で回答精度を上げる基本テクニックとして今も使える。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
推論 定番 原論文 2023年 約2分で読める
Tree of Thoughts――複数の考え筋を試し、見通し・後戻りしながら解くLLMの推論法
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
要点思考の連鎖を一般化し、複数の推論の道筋を木のように探索して自己評価し、先読みや後戻りもできる推論の枠組み「Tree of Thoughts」を提案。24ゲームでは、思考の連鎖を使ったGPT-4の正解率4%に対し、74%を達成した。
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。