L’empreinte carbone de GPT-4

Carbon footprint of GPT-4

Des données récemment divulguées nous permettent pour la première fois d’estimer les émissions de carbone liées à l’entraînement du GPT-4 d’OpenAI

Avec les récentes nouvelles nous alertant sur l’augmentation des températures moyennes mondiales [1], il est important de se rappeler que la plupart des activités humaines ont une empreinte carbone qui contribue au réchauffement climatique et aux changements climatiques. Cela est également vrai pour la technologie numérique en général et l’IA en particulier. Cet article sert de rappel à ce sujet, car il estime les émissions de carbone de l’entraînement du grand modèle linguistique GPT-4 d’OpenAI.

Pour faire de telles estimations, nous avons besoin de connaître :

1. La quantité d’électricité utilisée pour entraîner GPT-4
2. L’intensité carbone de l’électricité, c’est-à-dire l’empreinte carbone de la production d’1 kWh d’électricité

Plongeons directement dans le sujet.

Rejoignez VoAGI avec mon lien de parrainage – Kasper Groes Albin Ludvigsen

En tant que membre de VoAGI, une partie de votre cotisation est reversée aux auteurs que vous lisez, et vous avez un accès complet à chaque histoire…

kaspergroesludvigsen.medium.com

• Le data storytelling – l’art de raconter des histoires à travers les données
• Les deux modèles de base Llama 2 de Meta sont désormais disponibles dans Amazon SageMaker JumpStart.
• Les entreprises technologiques espèrent que les séances d’entraînement pourront convaincre les femmes d’acheter des casques de réalité virtuelle (VR).

La consommation d’électricité du GPT-4

Commençons par estimer la consommation d’énergie du GPT-4. Selon des fuites d’informations non vérifiées, le GPT-4 a été entraîné sur environ 25 000 GPU Nvidia A100 pendant 90 à 100 jours [2].

Supposons que les GPU étaient installés dans des serveurs Nvidia HGX pouvant accueillir 8 GPU chacun, ce qui signifie que 25 000 / 8 = 3 125 serveurs étaient nécessaires.

Pour calculer la consommation d’électricité à partir de ces informations, nous avons besoin de connaître la puissance de conception thermique (TDP) d’un serveur Nvidia HGX.

Malheureusement, Nvidia ne divulgue pas ces informations, nous allons donc utiliser le TDP du serveur Nvidia DGX similaire, qui est de 6,5 kW [3]. Donc, si un serveur Nvidia DGX fonctionne à pleine puissance pendant 1 heure, il aura consommé 6,5 kWh.

Rappelons qu’il est estimé qu’il a fallu 90 à 100 jours pour entraîner le GPT-4. Cela représente 90 ou 100 * 24 = 2 160 à 2 600 heures par serveur. Multiplions cela par 6,5 kW, et nous obtenons qu’au cours de l’entraînement, chaque serveur a pu consommer de 14 040 à 16 900 kWh d’électricité.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!