Le reti ResNet

ResNet: Connessioni Residuali e Vanishing Gradient

🔍 ResNet: Cosa Sono e Perché Sono Importanti?

Le ResNet (Residual Networks) sono un'innovativa architettura di reti neurali profonde sviluppata da Microsoft nel 2015 e descritta nel paper 1512.03385. Sono progettate per risolvere il problema del vanishing gradient, che affligge le reti molto profonde.

⚠️ Il Problema del Vanishing Gradient

Quando le reti neurali diventano molto profonde, i gradienti degli strati iniziali diventano sempre più piccoli durante il backpropagation, rendendo difficile l'aggiornamento dei pesi. Questo fenomeno si chiama Vanishing Gradient.

  • 🚨 Pesi non aggiornati → Gli strati iniziali imparano molto lentamente.
  • 🚨 Rete inefficiente → Prestazioni peggiori rispetto a reti meno profonde.

🔗 Connessioni Residuali: La Soluzione

Le **ResNet** introducono le **connessioni residuali**, che permettono di saltare uno o più strati nella rete neurale, migliorando il flusso dell’informazione.

Invece di apprendere una trasformazione diretta F(x), la ResNet apprende solo la **differenza** tra l’input e l’output:

y = F(x) + x

Dove:

  • F(x) → Trasformazione appresa dalla rete.
  • x → Input originale (che viene saltato e sommato all’output).

🚀 Vantaggi delle ResNet

  • ✅ **Permettono reti molto più profonde** (ResNet-50, ResNet-101, ResNet-152).
  • ✅ **Evitano il problema del Vanishing Gradient**.
  • ✅ **Migliorano le prestazioni su ImageNet e altri benchmark**.

📌 Conclusione

Le **ResNet** hanno rivoluzionato il Deep Learning permettendo la creazione di reti **molto profonde**, senza i problemi tipici delle reti tradizionali. Grazie alle **connessioni residuali**, queste reti possono **imparare più velocemente** e ottenere **risultati migliori**. 🚀

CV CLASSIFICAZIONE di Jo & Luke

Commenti

Post popolari in questo blog

SSD (Single Shot MultiBox Detector)

Instance Segmentation: Cos'è e Come Funziona

U-Net: Architettura per la Segmentazione di Immagini