Swin Transformer: Vision Transformer con Shifted Windows

Swin Transformer: Vision Transformer con Shifted Windows

🧠 Swin Transformer: Vision Transformer con Shifted Windows

Il Swin Transformer è una variante avanzata dei Vision Transformer (ViT) che introduce il concetto di Shifted Window per migliorare l'efficienza e la scalabilità dell'attenzione sui pixel di un'immagine. Definito in questo paper 2103.14030

📌 Caratteristiche Principali

  • ✅ **Hierarchical Feature Map** per una rappresentazione più ricca e gerarchica dell'immagine.
  • ✅ **Window Attention** per ridurre la complessità computazionale dell'attenzione.
  • ✅ **Shifted Windows** per migliorare la connessione tra regioni locali e globali dell'immagine.

⚡ Hierarchical Feature Map

Il Swin Transformer suddivide l'immagine in livelli gerarchici, permettendo di catturare meglio sia le caratteristiche di basso livello che quelle di alto livello.

🔄 Window Attention

Invece di applicare l'attenzione all'intera immagine, Swin Transformer suddivide l'input in finestre e applica un'attenzione locale, riducendo la complessità computazionale, catturando pero' solo dipendenze locali.

🚀 Shifted Windows: Come Funzionano?

Le **Shifted Windows** sono un meccanismo chiave del Swin Transformer che permette di migliorare la comunicazione tra diverse regioni dell'immagine permettendo di catturare dipendenze globali.

  • 🔲 Suddivisione in Finestre Statiche: L'immagine viene inizialmente suddivisa in finestre non sovrapposte (Window Attention), riducendo la complessità computazionale.
  • 🔄 Slittamento delle Finestre: Nei livelli successivi, le finestre vengono fatte slittare per creare una sovrapposizione con le regioni adiacenti, garantendo la condivisione delle informazioni.
  • 🤖 Computazione dell'Attenzione: Dopo lo slittamento, il modello ricalcola l'attenzione sulle nuove finestre, garantendo una migliore integrazione tra le caratteristiche locali e globali.
  • ⚡ Efficienza Computazionale: Questo approccio mantiene la scalabilità delle reti Transformer, permettendo di elaborare immagini ad alta risoluzione con un costo computazionale ridotto.

🔍 Applicazioni

  • ✅ **Riconoscimento immagini e segmentazione**.
  • ✅ **Analisi di immagini mediche e satellitari**.
  • ✅ **Miglioramento delle reti Transformer per la Computer Vision**.

🎯 Conclusione

Il **Swin Transformer** rappresenta un'importante evoluzione dei Vision Transformer, introducendo **Hierarchical Feature Map**, **Window Attention** e **Shifted Windows** per migliorare l'efficienza e la qualità dell'analisi visiva. 🚀

CV CLASSIFICAZIONE di Jo & Luke

Commenti

Posta un commento

Post popolari in questo blog

SSD (Single Shot MultiBox Detector)

Immagine
SSD (Single Shot MultiBox Detector) - Object Detection SSD (Single Shot MultiBox Detector) – Object Detection in un unico passo SSD (Single Shot MultiBox Detector) è un modello di object detection single-stage , che rileva oggetti e bounding box in un unico passaggio , senza bisogno di un processo separato di region proposal (come Faster R-CNN). 🚀 Come funziona SSD? SSD utilizza una rete convoluzionale (CNN) che genera contemporaneamente: Bounding box degli oggetti nell'immagine. Classi degli oggetti contenuti in ogni bounding box. A differenza di YOLO , SSD genera più bounding box di varie dimensioni e proporzioni, chiamate default boxes o prior boxes . Per ogni bounding box tra le k disponibili in una data posizione, SSD calcola: c punteggi di classe (uno per ciascuna delle classi dell'oggetto). 4 valori di offset (che rappresentano la variazione rispetto alla forma predefinita della box)...
Continua a leggere

Instance Segmentation: Cos'è e Come Funziona

Instance Segmentation: Cos'è e Come Funziona 🎯 Instance Segmentation: Cos'è e Come Funziona 🔍 Introduzione La Instance Segmentation è una tecnica avanzata di Computer Vision che combina Object Detection e Semantic Segmentation. Il suo obiettivo è non solo classificare ogni pixel di un'immagine, ma anche distinguere le diverse istanze di oggetti appartenenti alla stessa classe. 📊 Differenze tra Semantic, Instance e Panoptic Segmentation Tipo Descrizione Semantic Segmentation Assegna la stessa etichetta a tutti i pixel appartenenti a una classe. Instance Segmentation Distingue tra oggetti individuali della stessa classe. Panoptic Segmentation Combina Semantic e Instance Segmentation, distinguendo oggetti e sfondo. A di...
Continua a leggere

U-Net: Architettura per la Segmentazione di Immagini

Immagine
U-Net: Architettura per la Segmentazione di Immagini 📌 U-Net: Architettura per la Segmentazione di Immagini 🔍 Introduzione U-Net è una delle reti neurali più popolari per la segmentazione delle immagini , progettata inizialmente per applicazioni in biomedical imaging. La sua struttura è caratterizzata da un'architettura encoder-decoder con una forma a "U" , da cui deriva il nome. 🏗️ Architettura di U-Net La rete U-Net è composta da tre parti principali: ✅ Encoder : comprime l'immagine ed estrae le caratteristiche principali. ✅ Decoder : ripristina la dimensione spaziale per generare una segmentazione accurata. ✅ Skip Connections : collegano i livelli dell’encoder con il decoder per mantenere i dettagli spaziali. ⚙️ Funzionamento dell'Encoder L'encoder funziona come una CNN classica, composta da blocchi convoluzionali con: ...
Continua a leggere