Während die Welt über Milliarden-Trainingsbudgets diskutiert, hat Epoch AI eine andere Frage untersucht: Was kostet es eigentlich, eine bestimmte KI-Leistung zu bekommen? Die Antwort in der neuen Studie «The plunging price of thought» ist verblüffend. Der Preis für eine festgelegte Leistung an Benchmarks sinkt um rund 47 Prozent pro Quartal – umgerechnet das 13-Fache pro Jahr. Das wäre der schnellste Preisverfall, den eine transformative Technologie je gesehen hat.
Epoch AI definiert für jedes Benchmark eine «Kosten-Frontier»: das günstigste Modell, das eine bestimmte Genauigkeit erreicht. Diese Frontier wird über die Zeit verfolgt – bei fünf Haupt-Benchmarks (AIME OTIS Mock, Chess Puzzles, FrontierMath Tiers 1–3, GPQA Diamond und Mystery Game Puzzles), seit Anfang 2023.
Das Ergebnis ist über die Benchmarks hinweg bemerkenswert stabil: Die Kosten für eine gegebene Genauigkeit sinken zwischen 43 Prozent (Chess Puzzles) und 53 Prozent (FrontierMath) pro Quartal. Der Durchschnitt liegt bei 47 Prozent pro Quartal. Interessant: Das Team hält es für plausibel, dass dieser Verfall bereits seit dem Start der kommerziellen LLM-Inferenz im November 2021 läuft. Ein Beispiel illustriert das: GPT-3 erreichte 43,9 Punkte auf MMLU – für 60 Dollar pro Million Tokens. Llama 2 7B erreichte im Juli 2023 fast denselben Wert (45,3) – für 0,20 Dollar. Das entspricht einem Preisverfall von 31-Fach pro Jahr.
Zum Vergleich: Der Preis für Strom in den USA fiel von 1892 bis 1973 um den Faktor 1,05 pro Jahr, Lithium-Ionen-Batterien verbilligten sich 1991–2024 um Faktor 1,16 pro Jahr, Rechenleistung 1940–2001 um Faktor 1,51 und DNA-Sequenzierung 2001–2025 um Faktor 1,84 pro Jahr. Ausgedrückt in Log-Punkten sinkt der Preis von LLM-Inferenz viermal schneller als jener der DNA-Sequenzierung, sechsmal schneller als Rechenleistung, 18-mal schneller als Batterien und 54-mal schneller als Strom.
Interessant ist auch die Dynamik rund um die Spitze: Im Moment, in dem ein neues Modell die Bestmarke (SOTA) setzt, verlangt der Anbieter noch eine Prämie. Doch sobald die Konkurrenz aufholt, stürzt der Preis für genau diese Leistung ab. Im Schnitt liegt der Preisverfall bei SOTA-Debüt bei 66 Prozent pro Quartal (das 75-Fache pro Jahr), zwei Jahre später sind es nur noch 32 Prozent pro Quartal. Für Anbieter bedeutet das: Überprofits sind kurzlebig, jedenfalls solange man sich auf eine einzelne Leistung bezieht.
Interessant auch: Die Studienautoren halten es für möglich, dass die Preise für nahe SOTA-Leistung besonders schnell fallen, weil Anbieter neue Spitzenmodelle zunächst mit Premium belegen – und der Wettbewerb das dann rasch ebnen kann.
Epoch arbeitet hier mit einem sauberen Setup: Die Benchmark-Kosten werden über Hardware-Mietkosten berechnet, die Auswertung kombiniert modellfreie Schätzungen mit ökonomischen Regressionsmodellen. Ein hübsches Detail: Das Benchmark «Mystery Game Puzzles» nutzt ein geheimes Spiel, damit KI-Anbieter nicht gezielt darauf trainieren können (Stichwort Benchmaxxing). Dass dieses Benchmark mit 44 Prozent leicht unter dem Schnitt liegt, spricht dafür, dass das Phänomen existiert – aber die Grundtendenz nicht kippt.
Die Autoren nennen selbst die Grenzen: Benchmarks sind ein unvollkommener Proxy für echten Nutzen, kaum ein Nutzer bleibt dauerhaft auf der günstigsten Frontier, drei Jahre Daten sind eine kurze Zeitspanne, und je nach Art des Mittelns bewegt sich der Wert zwischen 43 und 58 Prozent pro Quartal.
Die Kernbotschaft bleibt beeindruckend: KI-Fähigkeit pro Dollar verbilligt sich schneller als jede andere transformative Technologie zuvor. Wer heute eine bestimmte Benchmark-Leistung kauft, zahlt dafür in einem Jahr nur noch einen Bruchteil. Das relativiert auch die Debatte über explodierende KI-Kosten: Ja, Frontier-Trainings werden teurer. Aber das, was du fürs Geld bekommst, wird jedes Jahr dramatisch mehr.
Das heisst nicht, dass die Rechnung für KI-Anbieter aufgeht – der Wettbewerb frisst die Effizienzgewinne schnell weg. Für Anwenderinnen und Anwender ist es aber eine klare Ansage: Nicht zu früh auf ein Modell einzementieren, sondern die Preise regelmässig neu prüfen.