The Road Less Scheduled

👥 Integrantes: 
 
 👤 Juan José Calderón. 
 👤 Julián David León Quintero. 
 
 📑 Material de apoyo: 
 
 📊 Diapositivas: Ya es pronto :) 
 📜 Paper: The Road Less Scheduled 
 💻 Código externo: Repositorio de código 
 ▶️ Video-explicación: hu-po 
 🎶 Canción para el despecho después de tanta matemática: Albertico 
 
 🎯 Objetivos 
 📢 En esta sección se definen los objetivos de la sesión: 
 ✅ Comprender la brecha teoría-práctica en optimización, especialmente en métodos como Polyak-Ruppert y los schedules de tasa de aprendizaje. 
 ✅ Posibilidad de respuesta a la pregunta principal: ¿Existen métodos de promediado que igualen el rendimiento práctico de los schedules, sin perder las garantías teóricas? 
 ✅ Obtener la intuición del diseño del método Schedule-Free: las ecuaciones clave, el papel del promedio de línea, y el momentum generalizado. 
 ✅ Analizar las garantías teóricas de los teoremas usados y cómo resuelven limitaciones de los métodos previos a este. 
 
 📊 Resultados Esperados 
 📍 Al final de la sesión, los asistentes podrán: 
 🔹 Entender por qué Schedule-Free elimina la necesidad de schedules y cómo aprovecha el promedio dinámico para convergencia robusta. 
 🔹 Diferenciar entre Polyak-Ruppert, Primal Averaging y Linear Decay como casos especiales del Teorema 2: Online-to-Batch generalizado. 
 🔹 Comprender el impacto del parámetro beta en la estabilidad y velocidad de convergencia. 
 
 📚 Referencias Clave 
 📖 Esta sección recopila enlaces a recursos relevantes sobre procesamiento de imágenes: 
 🔹 📘 Teoría : Polyak (1990) , Cesa-Bianchi et al. (2004). 
🔹 📘 Momentum : Nesterov (2018) , Sutskever et al. (2013). 
🔹 🦾 Implementación : Repo Schedule-Free . 
🔹 🏆 Evaluación : MLCommons AlgoPerf (2024)