Transformerアーキテクチャ解説

たった6ページの論文が世界を変えた

2017年6月12日。Google Brainの研究者たちが、ある論文をプレプリントサーバーにアップロードした。タイトルは挑発的だった。

「Attention is All You Need」

注意機構だけで十分。RNNもCNNも必要ない。自然言語処理の常識を覆す主張だった。多くの研究者は懐疑的だったが、実験結果を見て驚愕した。翻訳精度は最高記録を更新し、学習時間は10分の1以下。まるで、馬車の時代に自動車が登場したかのような衝撃だった。

わずか6ページのこの論文は、その後のAI革命の起爆剤となった。ChatGPT、Claude、BERT、GPT-4。現代の対話型AIはすべて、この「Transformer」というアーキテクチャの上に築かれている。

なぜTransformerはこれほど革命的だったのか。その秘密を解き明かしていこう。

順番という呪縛からの解放

従来の自然言語処理は、まるで一文字ずつ本を読む子どものようだった。

「私は昨日公園で友達と会った」

RNN（再帰型ニューラルネットワーク）は、この文を「私」→「は」→「昨日」→「公園」→「で」→「友達」→「と」→「会った」と、一語ずつ順番に処理していた。前の単語の記憶を保持しながら次の単語を読む。人間の読み方に似ているが、致命的な欠点があった。

長い文章になると、最初の方の単語の記憶が薄れてしまう。「私が10年前に初めて訪れた、あの美しい海辺の町は...」という文で、文末に到達する頃には「私」の情報はほとんど失われている。これが「長距離依存問題」だった。

さらに、順番に処理するため並列化できない。現代のGPUは数千のコアを持つが、RNNではその恩恵を受けられない。まるで、高速道路があるのに一台ずつしか車を走らせられないようなものだった。

Transformerは、この「順番」という呪縛から言語処理を解放した。

教室で起きている奇跡

Transformerの核心は「Self-Attention（自己注意機構）」にある。この仕組みを理解するために、ある教室の風景を想像してみよう。

30人の生徒が円形に座っている。先生が「銀行」という単語カードを掲げた。すると、生徒たちが一斉に反応する。「お金」を持つ生徒は強く手を挙げ、「預金」の生徒も手を挙げる。一方、「川岸」の生徒は少しだけ手を挙げる。文脈によって「銀行」の意味が変わることを知っているからだ。

これがSelf-Attentionの本質だ。各単語が、文中の他のすべての単語との関連性を同時に計算する。「そこでお金を下ろした」という文脈があれば、「銀行」は金融機関として理解される。「釣りをした」なら川岸として理解される。

従来の手法が「順番に読む」なら、Transformerは「全体を一度に見渡す」。まるで、経験豊富な速読者が、ページ全体から重要な情報を瞬時に抽出するように。

Query、Key、Value：三位一体の仕組み

Self-Attentionをより深く理解するために、図書館での検索を例に考えてみよう。

あなたが「料理」に関する本を探しているとする。この時：

• Query（質問）：「料理の本はどこ？」というあなたの問い
• Key（索引）：各本の背表紙に書かれたタイトルやジャンル
• Value（価値）：実際の本の中身

司書は、あなたのQuery（料理）と各本のKey（タイトル）を照らし合わせ、最も関連性の高いValue（本）を推薦する。

Transformerの各単語も、この三つの役割を演じる。「食べた」という単語が処理される時：

1. Queryとして：「誰が何を食べた？」と問いかける
2. 他の単語のKeyと照合：「猫」（主語）、「魚」（目的語）と高い関連性
3. 関連性の高い単語のValueを重み付けして取り込む

この仕組みにより、「猫が魚を食べた」という文脈が正確に理解される。

8つの頭を持つ怪物

人間が物事を理解する時、様々な観点から見る。文法、意味、感情、文脈。Transformerも同じだ。

「Multi-Head Attention」は、8つ（または16、32）の異なる視点で文章を同時に分析する。まるで、8人の専門家が同じ文章を読み、それぞれの観点から重要な部分を指摘するようなものだ。

「美しい花を持つ少女が微笑んだ」という文を考えよう。

• Head 1：主語と述語の関係に注目（少女→微笑んだ）
• Head 2：修飾関係に注目（美しい→花）
• Head 3：所有関係に注目（少女→持つ→花）
• Head 4：感情的なニュアンスに注目（美しい、微笑んだ）

これらすべての視点を統合することで、文の深い理解が生まれる。単一の視点では見逃してしまう微妙なニュアンスも捉えられる。

6層の思考回路

Transformerのエンコーダーは6層の同じ構造を積み重ねている。なぜ6層なのか。これは経験的に決められた数字だが、興味深い類似性がある。

人間の大脳皮質も6層構造を持つ。各層が異なる抽象度で情報を処理する。第1層は単純な特徴を検出し、深い層になるほど複雑な概念を扱う。

Transformerも同様だ：

• 第1-2層：単語間の基本的な関係（主語-述語など）
• 第3-4層：フレーズレベルの意味（慣用句、決まり文句）
• 第5-6層：文全体の意味、文脈、含意

各層は前の層の出力を受け取り、さらに洗練された理解を構築する。まるで、粗いスケッチから始まり、徐々に詳細を描き込んでいく画家のように。

位置の魔法：なぜ正弦波なのか

「犬が猫を追いかけた」と「猫が犬を追いかけた」。単語は同じでも、順序が違えば意味は正反対になる。しかし、Transformerは全単語を同時に処理するため、順序がわからない。

ここで登場するのが「位置エンコーディング」だ。各単語に、その位置を示す独特の「指紋」を付ける。驚くべきことに、この指紋は正弦波（サインとコサイン）の組み合わせで作られる。

なぜ正弦波？音楽を考えてみよう。ドレミファソラシドの各音は、特定の周波数の波だ。これらを組み合わせることで、無限の楽曲が生まれる。同様に、異なる周波数の正弦波を組み合わせることで、各位置に固有のパターンを作り出せる。

さらに巧妙なのは、この方法により相対的な位置関係も表現できることだ。「3番目の単語」と「5番目の単語」の位置エンコーディングの差は、常に「2単語分の距離」を表す。これにより、Transformerは絶対位置だけでなく、単語間の距離も理解できる。

デコーダーの創造力

エンコーダーが「理解」を担当するなら、デコーダーは「創造」を担当する。機械翻訳を例に考えよう。

英語の「I love you」を日本語に翻訳する場合：

1. エンコーダー：英文の意味を深く理解し、内部表現に変換
2. デコーダー：その内部表現から「愛しています」を生成

デコーダーの特徴は「Masked Self-Attention」だ。これは「カンニング防止」の仕組みだ。「愛して」まで生成した時点で、次の「います」を予測する。この時、まだ生成していない未来の単語を見てはいけない。人間が文章を書く時と同じように、過去に書いた部分だけを参照しながら、次の言葉を紡いでいく。

さらに「Encoder-Decoder Attention」により、生成の各ステップで元の英文を参照する。「love」に最も注目しながら「愛して」を生成し、文末の雰囲気を参考に「います」という丁寧な表現を選ぶ。

革命がもたらした果実

Transformerの登場から6年。その影響は計り知れない。

計算速度の革命：RNNで1週間かかっていた学習が、数時間で完了するようになった。これは単なる効率化ではない。研究者が試行錯誤できる回数が飛躍的に増え、イノベーションが加速した。

規模の革命：並列処理が可能になったことで、モデルの大規模化が現実的になった。GPT-3の1750億パラメータは、Transformer以前には想像もできない規模だった。

応用範囲の革命：当初は機械翻訳のために設計されたTransformerは、今や画像認識（Vision Transformer）、音楽生成、タンパク質構造予測まで、あらゆる分野で活躍している。

しかし、最大の革命は「民主化」かもしれない。BERTやGPTといった事前学習済みモデルにより、個人や小規模チームでも最先端のAIを活用できるようになった。

見えてきた地平線と新たな挑戦

Transformerは完璧ではない。Self-Attentionの計算量は入力長の2乗に比例するため、長文処理には限界がある。小説一冊を丸ごと処理することは、現在でも困難だ。

この課題に対し、様々な改良が提案されている：

• Sparse Attention：すべての単語ペアではなく、重要な組み合わせだけを計算
• Flash Attention：メモリアクセスパターンを最適化し、高速化
• Sliding Window：局所的な窓内でのみAttentionを計算

さらに根本的な問いもある。Transformerは本当に「理解」しているのか、それとも巧妙なパターンマッチングに過ぎないのか。この哲学的な問いは、AGI（汎用人工知能）への道筋を考える上で避けて通れない。

6ページが開いた無限の可能性

2017年の「Attention is All You Need」から始まった革命は、まだ終わっていない。むしろ加速している。

毎月のように新しい改良手法が提案され、応用分野が広がっている。医療診断、創薬、気候変動予測、さらには芸術創作まで。Transformerは、人類の創造性を拡張する道具となった。

次にChatGPTやClaudeと対話する時、その背後で働く仕組みを思い出してほしい。8つの頭を持つ注意機構が、あなたの言葉の一つ一つに同時に注目し、6層の思考回路を通じて理解を深め、そして新たな言葉を紡ぎ出している。

たった6ページの論文が、世界を変えた。次の6ページは、どんな未来を開くのだろうか。その答えは、もしかしたらあなたが書くのかもしれない。