Mixtral 8x7B――8つの専門家から2つを選んで使う疎なMoEで、少ない計算量でLlama 2 70B級の性能
Mixtral of Experts
30秒でわかる要点
各層に8つの専門家（フィードフォワードブロック）を持ち、トークンごとにルーターが2つを選ぶ疎なMixture of Expertsモデル「Mixtral 8x7B」を提案。470億パラメータのうち推論時に使うのは130億で、評価したすべてのベンチマークでLlama 2 70BやGPT-3.5と同等以上だった。
要約― この論文の概要は？
疎な専門家混合（SMoE）型の言語モデルMixtral 8x7Bを紹介する。MixtralはMistral 7Bと同じ構造を持つが、各層が8つのフィードフォワードブロック（専門家）で構成される点が異なる。各層で、トークンごとにルーターネットワークが現在の状態を処理する2つの専門家を選び、それらの出力を組み合わせる。各トークンが見る専門家は2つだけだが、選ばれる専門家は時点ごとに異なりうる。その結果、各トークンは470億パラメータにアクセスできる一方、推論時に使うのは130億のアクティブなパラメータだけである。Mixtralは32kトークンの文脈長で学習され、評価したすべてのベンチマークでLlama 2 70BとGPT-3.5を上回るか同等だった。特に、数学、コード生成、多言語のベンチマークではLlama 2 70Bを大きく上回った。指示に従うようファインチューニングしたモデルMixtral 8x7B - Instructも提供し、人間による評価のベンチマークでGPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70B - chatモデルを上回った。ベースモデルとInstructモデルはどちらもApache 2.0ライセンスで公開している。
課題― 何を解決しようとしているのか？
高性能な言語モデルほど推論時の計算量が大きく、性能と推論コストの両立が課題だった。
手法― どのような方法で取り組んだのか？
Mistral 7Bと同じ構造で、各層に8つの専門家（フィードフォワードブロック）を持たせ、トークンごとにルーターが2つを選んで出力を組み合わせる疎なMoEモデル「Mixtral 8x7B」を、32kトークンの文脈長で学習した。指示追従用のInstructモデルも作った。
結果― 何が分かったのか？
各トークンは470億パラメータにアクセスできるが、推論時に使うのは130億。評価したすべてのベンチマークでLlama 2 70BとGPT-3.5と同等以上で、数学・コード生成・多言語ではLlama 2 70Bを大きく上回った。Instructモデルは人間による評価でGPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70B - chatを上回った。Apache 2.0ライセンスで公開。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、推論時のアクティブパラメータは130億だが、モデル全体（470億パラメータ）を保持するメモリが必要になる点についての評価は示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
「全体は大きいが、1回の推論で使う部分は小さい」MoEは、性能と推論コストを両立させる現在の主流設計の1つ。Apache 2.0で商用利用しやすく、自社環境で動かすオープンモデルの候補になる（ただしメモリ要件はモデル全体の大きさで見積もる）。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2023年 約1分で読める
LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル
LLaMA: Open and Efficient Foundation Language Models
要点70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。