ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
👥 Integrantes:
- 👤 Miguel Ángel Molina G.
- 👤 Sneider Sánchez
📑 Material de apoyo:
- 📊 Diapositivas: Diapositivas
- 📜 Paper: Artículo
🎯 Objetivos
Se plantean 3 objetivos para esta exposición:
✅ Analizar las limitaciones de los métodos tradicionales de encoding posicional (absoluto y relativo).
✅ Justificar la necesidad de una mejor representación posicional en modelos de lenguaje.
✅ Explicar cómo la matriz de rotación preserva la información relativa entre tokens.
📊 Resultados Esperados
📍 Se espera obtener al final de la sesión:
🔹 Diferenciación entre RoPE y otros métodos de encoding posicional.
🔹 Explicar cómo la multiplicación por una matriz de rotación mantiene la magnitud de los embeddings inalterada, asegurando que la información posicional no distorsione las representaciones originales del modelo.
📚 Referencias
📖 Enlaces que pueden servir de ayuda para el lector:
No Comments