The Road Less Scheduled

👥 Integrantes:

• 👤 Juan José Calderón.
• 👤 Julián David León Quintero.

📑 Material de apoyo:

• 📊 Diapositivas: Ya es pronto :)
• 📜 Paper: The Road Less Scheduled
• 💻 Código externo: Repositorio de código
• ▶️ Video-explicación: hu-po
• 🎶 Canción para el despecho después de tanta matemática: Albertico

🎯 Objetivos

📢 En esta sección se definen los objetivos de la sesión:

✅ Comprender la brecha teoría-práctica en optimización, especialmente en métodos como Polyak-Ruppert y los schedules de tasa de aprendizaje.

✅ Posibilidad de respuesta a la pregunta principal: ¿Existen métodos de promediado que igualen el rendimiento práctico de los schedules, sin perder las garantías teóricas?

✅ Obtener la intuición del diseño del método Schedule-Free: las ecuaciones clave, el papel del promedio de línea, y el momentum generalizado.

✅ Analizar las garantías teóricas de los teoremas usados y cómo resuelven limitaciones de los métodos previos a este.

📊 Resultados Esperados

📍 Al final de la sesión, los asistentes podrán:

🔹 Entender por qué Schedule-Free elimina la necesidad de schedules y cómo aprovecha el promedio dinámico para convergencia robusta.

🔹 Diferenciar entre Polyak-Ruppert, Primal Averaging y Linear Decay como casos especiales del Teorema 2: Online-to-Batch generalizado.

🔹 Comprender el impacto del parámetro beta en la estabilidad y velocidad de convergencia.

📚 Referencias Clave

📖 Esta sección recopila enlaces a recursos relevantes sobre procesamiento de imágenes:

🔹 📘 Teoría: Polyak (1990), Cesa-Bianchi et al. (2004).
🔹 📘Momentum: Nesterov (2018), Sutskever et al. (2013).
🔹 🦾 Implementación: Repo Schedule-Free.
🔹 🏆 Evaluación: MLCommons AlgoPerf (2024)