Koldioxidavtrycket från träning av GPT-4 – uppskattningar och vad det betyder för AI-projekt

Illustration av ett stort datacenter med kylsystem och strömledningar – symboliserar energiförbrukning och koldioxidavtryck från träning av stora AI-modeller som GPT-4

Foto: chatgpt.com

En analys publicerad i Towards Data Science i juli 2023 av Kasper Groes Albin Ludvigsen estimerar koldioxidavtrycket från träning av OpenAI:s GPT-4, baserat på uppgifter om hårdvara och energiförbrukning. Resultaten visar att val av datacenterregion kan minska koldioxidutsläppen med en faktor 13. För projektledare som upphandlar eller planerar AI-infrastruktur är koldioxidpåverkan från modellträning en alltmer relevant parameter i hållbarhetsrapportering och leverantörsbedömning.

Koldioxidavtrycket från GPT-4-träning – huvudpunkter

Enligt overifierade uppgifter om läckt information tränade OpenAI GPT-4 på cirka 25 000 Nvidia A100-GPU:er under 90–100 dagar. Dessa uppgifter är inte bekräftade av OpenAI och används i artikeln som beräkningsunderlag (källa: Towards Data Science, 2023-07-18).
Med antaganden om att servrarna kördes vid full kapacitet och med ett PUE-värde på 1,18 — Microsofts Azure-datacentersnitt — estimerar artikeln att träningen kan ha förbrukat mellan 51 772 500 och 62 318 750 kWh el (källa: Towards Data Science, 2023-07-18).
Om träningen skedde i Azure-regionen West US i Kalifornien, med en koldioxidintensitet på 240,6 gram CO2e per kWh, estimeras utsläppen till mellan 12 456 och 14 994 ton CO2e (källa: Towards Data Science, 2023-07-18).
Om träningen i stället skedde i Azure-regionen Canada East, med en koldioxidintensitet på 20 gram CO2e per kWh, estimeras utsläppen till mellan 1 035 och 1 246 ton CO2e — en minskning med en faktor 13 (källa: Towards Data Science, 2023-07-18).
GPT-4:s estimerade elförbrukning är 40–48 gånger högre än den estimerade förbrukningen för träning av GPT-3, som uppskattades till 1 287 000 kWh, trots att GPT-4 uppges ha ungefär tio gånger fler parametrar än GPT-3 (källa: Towards Data Science, 2023-07-18).
Artikeln framhåller att träningsutsläppen är marginella jämfört med utsläppen från hårdvarutillverkning och från drift av modellen i stor skala mot en stor användarbas — den så kallade inferensfasen.

Vad detta betyder för projektledare

Datacenterregion är en hållbarhetsparameter: Analysen visar att koldioxinutsläppen från AI-träning kan skilja med en faktor 13 beroende på var beräkningarna utförs. Projektledare som upphandlar molntjänster för AI-träning bör inkludera koldioxidintensitet per region som ett utvärderingskriterium, vid sidan av pris och prestanda.
Inferens dominerar livscykelns klimatpåverkan: Träningsutsläppen är en engångskostnad. Drift av en modell i stor skala — inferensfasen — genererar löpande utsläpp som över tid överskrider träningsutsläppen. Projektledare bör beakta inferensvolym och energimix i sin hållbarhetsbedömning av AI-tjänster.
PUE som upphandlingskrav: Power Usage Effectiveness är ett etablerat nyckeltal för datacentereffektivitet. Projektledare som ställer krav på hållbarhet i AI-infrastruktur bör efterfråga PUE-data från leverantören — det är ett konkret, jämförbart mått som påverkar den faktiska energiförbrukningen.
Transparens om AI-modellers klimatpåverkan saknas: Artikeln bygger på overifierade uppgifter eftersom OpenAI inte redovisar träningsdata offentligt. Det illustrerar ett generellt problem: organisationer som vill beräkna sin AI-relaterade klimatpåverkan saknar ofta nödvändig data från leverantörerna. Det är ett argument för att ställa transparenskrav i leverantörsavtal.

Begrepp i artikeln

PUE (Power Usage Effectiveness): Nyckeltal för ett datacenters energieffektivitet — förhållandet mellan total energiförbrukning och den energi som når beräkningshårdvaran. Lägre PUE är bättre; 1,0 är teoretiskt maximum.
koldioxidintensitet (carbon intensity): Mängden koldioxidekvivalenter som emitteras per kWh producerad el, uttryckt i gram CO2e/kWh. Varierar kraftigt beroende på energimix i regionen.
CO2e (koldioxidekvivalenter): Samlingsmått för växthusgaser, omräknat till den mängd koldioxid som skulle ha samma uppvärmningseffekt.
TDP (Thermal Design Power): Den maximala effektförbrukning en hårdvarukomponent är designad att hantera under full belastning, uttryckt i watt.
Inferens: Att köra en färdigtränad AI-modell för att generera svar — till skillnad från träning, som sker en gång. Inferens sker kontinuerligt och är den dominerande energikostnaden i drift.

Kursinfo: AI för projektledare

Vanliga frågor

Hur mycket el förbrukade träningen av GPT-4? Baserat på overifierade uppgifter om att GPT-4 tränade på cirka 25 000 Nvidia A100-GPU:er under 90–100 dagar estimerar Kasper Groes Albin Ludvigsen i Towards Data Science (2023-07-18) att träningen kan ha förbrukat mellan 51,8 och 62,3 miljoner kWh el. Siffrorna är uppskattningar och inte bekräftade av OpenAI.

Hur stora var koldioxidutsläppen från träning av GPT-4? Estimaten varierar kraftigt beroende på antagen datacenterregion. I ett California-scenario estimeras utsläppen till 12 456–14 994 ton CO2e. I ett Canada East-scenario, med betydligt grönare el, estimeras utsläppen till 1 035–1 246 ton CO2e — en skillnad med en faktor 13 (källa: Towards Data Science, 2023-07-18).

Är träningsutsläppen den största klimatpåverkan från GPT-4? Nej, enligt artikeln. Träningsutsläppen är en engångskostnad. Hårdvarutillverkning och löpande drift av modellen i stor skala — inferensfasen — genererar utsläpp som på sikt är större än träningsutsläppen.

Hur kan val av molnregion minska AI-modellers koldioxidavtryck? Koldioxidintensiteten varierar kraftigt mellan molnregioner beroende på energimix. Azure-regionen Canada East har en intensitet på 20 gram CO2e per kWh, jämfört med 240,6 gram i West US. Att välja en region med lägre koldioxidintensitet kan minska träningsutsläppen med upp till 93 procent enligt analysen (källa: Towards Data Science, 2023-07-18).

Källa: The carbon footprint of GPT-4 / Towards Data Science, Kasper Groes Albin Ludvigsen, publicerad 2023-07-18.

Läs även

Läs fler artiklar