# ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING

👥 **Integrantes:**  
- 👤 Miguel Ángel Molina G.  
- 👤 Sneider Sánchez 


📑 **Material de apoyo:**  
- 📊 **Diapositivas:** [Diapositivas](https://www.canva.com/design/DAGg4SKq8RI/W_S_UTTF22k-RuiguMfmdQ/edit?utm_content=DAGg4SKq8RI&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton)  
- 📜 **Paper:** [Artículo](https://arxiv.org/pdf/2104.09864v5)  

---

## 🎯 **Objetivos**

Se plantean 3 objetivos para esta exposición:
 
✅ Analizar las limitaciones de los métodos tradicionales de encoding posicional (absoluto y relativo).  
✅ Justificar la necesidad de una mejor representación posicional en modelos de lenguaje.  
✅ Explicar cómo la matriz de rotación preserva la información relativa entre tokens. 


---

## 📊 **Resultados Esperados**

📍 Se espera obtener al final de la sesión:

🔹 Diferenciación entre RoPE y otros métodos de encoding posicional.  
🔹 Explicar cómo la multiplicación por una matriz de rotación mantiene la magnitud de los embeddings inalterada, asegurando que la información posicional no distorsione las representaciones originales del modelo.

---

## 📚 **Referencias**
📖 Enlaces que pueden servir de ayuda para el lector:

🔹 [🎥 Video complementario #1](https://www.youtube.com/watch?v=o29P0Kpobz0&t=1s)  
🔹 [🎥 Video complementario #2](https://www.youtube.com/watch?v=YMcwsLGU_U8)