RepVGG Une explication détaillée pour la ré-paramétrisation structurale

RepVGG Detailed explanation of structural re-parameterization.

Démystifier RepVGG : Révéler les Secrets de la Ré-paramétrisation Structurale

— Pourquoi écrire cet article sur RepVGG alors qu’il existe déjà plusieurs excellentes ressources disponibles ?

— La réponse réside dans la perspective unique que je souhaite apporter.

— Alors que d’autres articles peuvent aborder des concepts similaires ou mettre en valeur la vitesse d’inférence du code, mon objectif est de fournir une compréhension complète de la paramétrisation structurale au niveau conceptuel.

Je vais plonger dans les détails complexes de la manière dont ces convolutions 1×1 sont ensuite paramétrisées en convolutions 3×3 et comment le raccourci identitaire est transformé en une convolution 1×1. Cet article vise à fournir une illustration approfondie qui comble le vide dans les explications existantes. Dans notre modification de l’architecture VGG originale, nous avons introduit des branches résiduelles et des branches de convolution 1×1. Ces ajouts ont été faits dans le but de permettre une ré-paramétrisation structurale ultérieure en une seule voie. Pour faciliter cette transformation, nous avons ajusté soigneusement le placement de ces branches sans introduire de connexions entre les couches. En termes généraux, le modèle RepVGG utilisé dans l’entraînement comprend trois voies : les convolutions conventionnelles (conv_3x3), les convolutions 1×1 (conv_1x1) et une voie identitaire. Chacune de ces voies est accompagnée de couches de normalisation par lots (BN). Dans les sections suivantes, nous expliquerons en détail comment ces trois voies sont fusionnées en une unité unifiée conv_3x3 lors de l’inférence.

Source: https://arxiv.org/pdf/2101.03697.pdf

Fusion de conv_1x1 et conv_3x3

Commençons par examiner le processus conv_3x3 :

Juste pour expliquer en détail, supposons que la taille de la carte des caractéristiques d’entrée soit (1, 2, 3, 3), ce qui signifie que la taille du lot est de 1, le nombre de canaux est de 2 et la dimension des caractéristiques est de 3 par 3. La taille de la carte des caractéristiques de sortie est la même que celle de la carte des caractéristiques d’entrée, et le pas est…

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Les modèles de génération de code Llama de Meta sont désormais disponibles via Amazon SageMaker JumpStart.

Aujourd'hui, nous sommes ravis d'annoncer que les modèles de la fondation Code Llama, développés par Meta, sont dispo...

AI

De la misère à la richesse

(Note The translation is a direct translation and may not preserve the exact meaning and tone of the original text. I...

AI

Apprenez à évaluer le risque des systèmes d'IA

L'intelligence artificielle (IA) est un domaine en constante évolution avec le potentiel d'améliorer et de transforme...