自己注意機構の仕組み

自己注意機構（Self-Attention）の動作を理解するために、次の文を読んでいると想像してください：「The animal didn't cross the street because it was too tired.」この文で「it」という単語に出会ったとき、「it」がどの名詞を指しているのかを理解する必要があります。自己注意機構は、モデルが文中のすべての単語を参照し、それぞれの単語の意味に最も関連する単語を判断できるようにします。これは、query（クエリ）、key（キー）、**value（バリュー）**という各単語の数学的表現を用いて、モデルがどの単語に注目すべきかを計算することで実現されます。

自己注意機構を視覚的に理解する有効な方法として、文中の各単語が他の単語にどれだけ「注意」を向けているかを示すグリッドを利用することが挙げられます。また、自己注意をヒートマップで可視化することもでき、各行と列が文中の単語に対応します。セルの色は、ある単語が別の単語にどれだけ「注意」を向けているかを示します。下記のヒートマップでは、色が濃いセルほど特定の単語間の注意が強いことを示しています。この可視化により、モデルが文を処理する際にどの単語同士を強く関連付けているかを確認できます。

「it」という単語が「animal」や「tired」に強い注意重みを持っていることに注目してください。これは、モデルが「it」が「animal」を指し、「tired」と関連していることを学習していることを示しています。これらの注意分布は学習中に獲得され、モデルが文中の単語間の距離に関係なく文脈や関係性を捉えることを可能にします。この仕組みにより、Transformerは複雑な言語の意味を理解する力を持っています。