Qué es la atención multi-cabeza

La atención multi-cabeza es un mecanismo potente en el núcleo de la arquitectura Transformer. Su idea principal es permitir que el modelo se enfoque en diferentes partes de una oración simultáneamente, capturando una amplia variedad de relaciones entre palabras. Para lograr esto, el modelo divide la incrustación de cada palabra en varios vectores más pequeños, llamados "cabezas". Cada cabeza realiza su propio cálculo de atención en paralelo. Esto significa que, mientras una cabeza puede aprender a enfocarse en los vecinos inmediatos de una palabra, otra podría prestar atención al inicio de la oración, y otra más podría rastrear relaciones a mayor distancia.

Esta atención paralela permite que el Transformer capture patrones y dependencias diversas en los datos de texto. Por ejemplo, en una oración como "The cat, which was hungry, chased the mouse," una cabeza podría enfocarse en el sujeto principal y el verbo ("cat" y "chased"), mientras que otra podría centrarse en la cláusula descriptiva ("which was hungry"). Al combinar las salidas de todas las cabezas, el modelo construye una comprensión mucho más rica de toda la oración que la que podría proporcionar cualquier mecanismo de atención individual.

Para visualizar cómo funciona la atención multi-cabeza, imagina una cuadrícula donde cada fila representa una palabra en la oración de entrada y cada columna representa una cabeza de atención. Cada celda en esta cuadrícula muestra a qué palabras está prestando atención una cabeza en particular para una palabra dada. Por ejemplo, si tienes la oración:

"She enjoys reading books at night"

Supón que tienes tres cabezas de atención. La cuadrícula visual podría verse así:

En esta cuadrícula, cada cabeza está aprendiendo a enfocarse en diferentes relaciones. "Cabeza 1" podría rastrear el flujo gramatical, "Cabeza 2" podría centrarse en el sujeto y "Cabeza 3" podría prestar atención a la ubicación o al tiempo. Esta diversidad de enfoques es lo que le da a la atención multi-cabeza su fortaleza para comprender estructuras lingüísticas complejas.