1965 hat Gordon Moore eine Beobachtung aufgeschrieben, die die nächsten sechzig Jahre der Halbleiterindustrie geprägt hat: Die Anzahl der Transistoren auf einem Chip verdoppelt sich in regelmäßigen Abständen — ursprünglich alle zwölf Monate, später angepasst auf achtzehn bis vierundzwanzig. Mehr Transistoren auf weniger Fläche bedeutet mehr Leistung zu niedrigeren Kosten. Das ist der Grund, warum dein Smartphone heute mehr Rechenleistung hat als die gesamte NASA bei der Mondlandung.
Soweit die Standarderklärung. Was mich daran beschäftigt, ist etwas anderes.
Hardware ist nicht mehr der Engpass
Das Moore’sche Gesetz war immer eine Aussage über Hardware. Transistoren werden kleiner, Chips werden schneller, Kosten sinken. Das hat funktioniert, und es funktioniert immer noch, auch wenn die Abstände zwischen den Verdopplungen größer werden. Neue Materialien, neue Fertigungsverfahren und spezialisierte KI-Chips wie Nvidias GPUs oder Googles TPUs halten den Fortschritt am Laufen, wenn auch langsamer als früher.
Aber bei KI sehen wir gerade etwas, das über Moore hinausgeht. Die Leistungsfähigkeit von KI-Systemen wächst nicht nur, weil die Hardware besser wird. Sie wächst, weil mehr Daten, bessere Trainingsverfahren und größere Modelle sich gegenseitig verstärken. Anthropic, OpenAI und Google berichten alle von Skalierungsgesetzen, die vorhersagbar sind: Mehr Rechenleistung und mehr Daten ergeben messbar bessere kognitive Fähigkeiten. Nicht linear, sondern exponentiell.
Das Moore’sche Gesetz beschreibt, wie schnell Transistoren schrumpfen. Was wir bei KI beobachten, ist eine Art kognitives Skalierungsgesetz: Wie schnell Maschinen klüger werden. Und dieses Gesetz ist schneller als Moore.
Warum das einen Unterschied macht
Wenn Hardware doppelt so schnell wird, bekommt man doppelt so schnelle Computer. Das ist nützlich, aber die Welt verändert sich dadurch graduell. Schnellere Tabellenkalkulationen, flüssigere Spiele, bessere Kameras.
Wenn kognitive Fähigkeiten sich verdoppeln, ist das etwas fundamental anderes. Dann kann ein System, das gestern noch an Grundschulaufgaben gescheitert ist, morgen Quellcode schreiben. Und übermorgen wissenschaftliche Hypothesen generieren. Die Abstände zwischen den Sprüngen sind kürzer als bei Moore, und die Auswirkungen sind breiter, weil Kognition in fast jedem Bereich relevant ist.
Moore hat uns billigere Rechner gegeben. Die KI-Skalierungsgesetze könnten uns billigere Intelligenz geben. Das ist ein qualitativer Unterschied, kein quantitativer.
Was das für die nächsten Jahre bedeutet
Ich schreibe das im Dezember 2024. Die aktuellen KI-Modelle sind beeindruckend, aber sie haben offensichtliche Grenzen. Sie halluzinieren, sie verstehen Kontext oft nur oberflächlich, sie scheitern an Aufgaben, die für Menschen trivial sind. Es wäre leicht, daraus zu schließen, dass die Grenzen der Technologie erreicht sind.
Wer das glaubt, hat das Moore’sche Gesetz nicht verstanden. Nicht das Gesetz selbst — sondern was es über exponentielles Wachstum lehrt. Menschen unterschätzen Exponenten, weil die ersten Verdopplungen langweilig aussehen. Von 2 auf 4, von 4 auf 8, von 8 auf 16 — das wirkt überschaubar. Aber von 512 auf 1024, von 1024 auf 2048 — da kippt die Intuition.
Bei KI könnten wir an genau diesem Kippunkt sein. Die Skalierungsgesetze deuten darauf hin, dass die nächsten Sprünge größer ausfallen als die bisherigen. Nicht weil sich etwas grundlegend ändert, sondern weil Exponenten so funktionieren.
Ob das passiert, weiß niemand mit Sicherheit. Aber wer die letzten sechzig Jahre Halbleiterentwicklung gesehen hat, sollte zumindest vorsichtig sein mit der Annahme, dass es nicht passiert.
Quellen
Jared Kaplan et al.: Scaling Laws for Neural Language Models, OpenAI, Januar 2020, arxiv.org/abs/2001.08361 — Grundlagenarbeit zu Skalierungsgesetzen in KI-Systemen
Gordon E. Moore: Cramming More Components onto Integrated Circuits, Electronics, April 1965 — Originalpublikation des Moore’schen Gesetzes
Schreibe einen Kommentar