Gaussian Error Linear Units (GELUS)
Pre-atention
š„ Integrantes:
š¤ Henry Mantilla
š¤ Alejandro Moreno
TLDR
GELU (Unidad Lineal de Error Gaussiano) es una función de activación definida como xΦ(x), donde Φ(x) es la función de distribución acumulada de una normal estĆ”ndar. Puede interpretarse como una āpuertaā...