Explicación para principiantes
El orden de las palabras y el contexto importan. En la frase inglesa «the bank beside the river» («la orilla junto al río»), las palabras cercanas aclaran que «bank» significa orilla, no una entidad bancaria. La atención permite al modelo combinar información de distintas posiciones de una secuencia.
Explicación intermedia
Los transformers usan la atención para relacionar las representaciones de los tokens. La información posicional ayuda a distinguir el orden. Los modelos de lenguaje causales ocultan las posiciones futuras durante la predicción del siguiente token; otras arquitecturas utilizan esquemas de enmascaramiento diferentes para tareas distintas.
Explicación avanzada
La atención escalada por producto punto calcula softmax(QKᵀ/√dₖ)V. Las consultas y las claves determinan los pesos normalizados sobre los vectores de valores. La atención completa estándar tiene un crecimiento cuadrático de la interacción par a par con la longitud de la secuencia; los pesos de atención no son una explicación causal fiable de la respuesta de un modelo.
PONLO EN CONTEXTO
Un ejemplo práctico
En «El paquete no cabía en el casillero porque era demasiado pequeño», determinar qué era demasiado pequeño requiere relacionar distintas partes de la oración. Un modelo puede inferir que se trata del casillero, pero la ambigüedad y una redacción poco habitual aún pueden provocar errores.
PRUÉBALO POR TI MISMO
Practica la idea
¿Por qué un ejemplo de entrenamiento de siguiente token debe ocultar tokens posteriores a un modelo causal? Explícalo usando «El cielo es …».
Revela la guía de respuestas
Si la palabra objetivo fuera visible, el modelo podría copiar información que no tendrá en el momento de la generación. Una máscara causal preserva la tarea de predicción prevista bloqueando las posiciones futuras.
Ve más allá: desafío avanzado
Compara duplicar la longitud de la secuencia con atención completa frente a duplicar solo el ancho oculto. Identifica qué dimensiones aparecen en QKᵀ y evita afirmar un multiplicador universal de tiempo de ejecución.
Una actividad de debate abierto. Explica tus supuestos y las pruebas que los respaldan; puede haber más de una respuesta defendible.
Continúa la conversación
¿Qué parte de esta idea te gustaría probar o cuestionar? Compara tu razonamiento con la comunidad.
Encuentra discusiones relacionadas en el foro ↗Abre una búsqueda de temas en el foro existente de AstraCruz. Los resultados dependen de las publicaciones disponibles; puede ser necesario iniciar sesión. No se fabrican discusiones ni actividades.
Explora todos los forosLectura adicional
Explicaciones originales de AstraCruz y ejercicios ficticios. Estas referencias principales proporcionan un contexto técnico más amplio; los materiales vinculados pueden cambiar.
Tu marca de finalización se mantiene en este navegador.