# ATTENTION

# TRANSFORMER: ATTENTION IS ALL YOU NEED

## 🎤 **Ponentes y Tutor(es):**

- **Jorge Garcia**
- **Juan Calderón**
- **Tutor:** Fabián Pérez

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: Attention Is All You Need](https://arxiv.org/pdf/1706.03762)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://www.canva.com/design/DAGUs_HWsG8/2G28kdhKEHfoJ1XfqMhGiA/edit)

### 💻 **Código / Notebooks**

- [Transformer](https://github.com/semilleroCV/deep-learning-notes/blob/main/notebooks/architectures/transformer.ipynb)
- [Multi-Head Attention](https://github.com/semilleroCV/deep-learning-notes/blob/main/notebooks/modules/multihead-self-attention.ipynb)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*

# 🦖Dino V3

👥 **Integrantes:**

- 👤 Marian Becerra
- 👤 Julián León

📑 **Material de apoyo:**

- 📊 **Diapositivas:** [Ver presentaciones](https://www.canva.com/design/DAGz1Velcp4/PqMW9dFOOjJ5Y6PKJJdXIw/edit?utm_content=DAGz1Velcp4&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton)
- 📜 **Paper:** [Ver artículos académicos](https://arxiv.org/pdf/2508.10104)
- 💻 **Code** [Ver código disponible](https://github.com/facebookresearch/dinov3)

# VISION TRANSFORMER

## 🎤 **Ponentes y Tutor(es):**

- **Juan Toloza**
- **Valentina Perez**
- **Tutor:** Miguel Angel

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: Vision Transformer](https://arxiv.org/pdf/2010.11929)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://www.canva.com/design/DAGWx7p2lME/oAhYkGpJBZU0t-3Sw7oIuw/edit)

### 💻 **Código / Notebooks**

- [ViT](https://github.com/semilleroCV/deep-learning-notes/blob/main/notebooks/architectures/vit.ipynb)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*

# PATCHES ARE ALL YOU NEED?

## 🎤 **Ponentes y Tutor(es):**

- **Brayan Quintero**
- **Paula Uzcategui**
- **Tutor:** Cristian Rey

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: Patches Are All You Need?](https://arxiv.org/pdf/2201.09792)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://www.canva.com/design/DAGWfMZNcXc/D3IFRj0Lw1buaORN_bWvuA/edit)

### 💻 **Código / Notebooks**

- [ConvMixer](https://github.com/semilleroCV/deep-learning-notes/blob/main/notebooks/architectures/convmixer.ipynb)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*

# MASKED AUTOENCODERS ARE SCALABLE VISION LEARNERS

## 🎤 **Ponentes y Tutor(es):**

- **Sneider Sánchez**
- **Miguel Pimiento**
- **Tutor:** Guillermo Pinto

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: Masked Autoencoders](https://arxiv.org/pdf/2111.06377)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://www.canva.com/design/DAGXVuvpJSM/8xWHDFVvyWc3viFR4DOLOg/edit)

### 💻 **Código / Notebooks**

- [MAE](https://github.com/facebookresearch/mae)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*

# INTRIGUING PROPERTIES OF VISION TRANSFORMERS

## 🎤 **Ponentes y Tutor(es):**

- **Andrea Parra**
- **César Vanegas**
- **Tutor:** Henry Mantilla

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: Intriguing Properties of Vision Transformers](https://arxiv.org/pdf/2105.10497)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://www.canva.com/design/DAGXV-KmhUY/WNt1q0DJY-v0kusiDRGDYg/edit)

### 💻 **Código / Notebooks**

- [No hay, no existe, tacaños](#bkmrk-%5Bespacio-para-coment)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*

# DINO

## 🎤 **Ponentes y Tutor(es):**

- **Dana Villamizar**
- **Julio**
- **Tutor:** Ramiro Avila

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: DINO](https://arxiv.org/pdf/2104.14294)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://www.canva.com/design/DAGX9d8ooFg/6FhYxBVIVQI_pn94EzjgsA/edit)

### 💻 **Código / Notebooks**

- [Notebook](https://github.com/semilleroCV/deep-learning-notes/blob/main/notebooks/architectures/dino.ipynb)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*

# Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation

👥 **Integrantes:**

- 👤 María Lucía Rodriguez
- 👤 César Vanegas

📑 **Material de apoyo:**

- 📊 **Diapositivas:** [Presentación](https://canva.link/fg7peljjm3uj7bj)
- 📜 **Paper:** [Artículo](https://arxiv.org/pdf/2602.19863)

# The Epochal Sawtooth Phenomenon: Unveiling Training Loss Oscillations in Adam and Other Optimizers

## 🎤 **Ponentes:**

- **Brayan Yesid Quintero Santander**
- **Juan Felipe Serrano**

---

## 📚 **Recursos**

### 🔗 **Referencias**

- [Arxiv: Epochal Sawtooth ](https://arxiv.org/pdf/2410.10056v3)

### 🗂 **Diapositivas**

- [Presentación en Canva](https://canva.link/97a6q6cmb5xugil)

---

## 📝 **Notas Adicionales**

- 

---

## ✍️ **Comentarios y Observaciones**

> *\[Espacio para comentarios\]*