Wenn KI den Code schreibt — wer prüft ihn?

Microsofts CTO prognostiziert: 95 % allen Codes wird bis 2030 von KI generiert. Schon heute schreiben Google und Microsoft 25–30 % ihres neuen Codes mit KI. AWS hat 40 Millionen Zeilen COBOL für Toyota per KI modernisiert. Anthropic hat einen C-Compiler mit 100.000 Zeilen in zwei Wochen für unter 20.000 Dollar gebaut — mit parallelen KI-Agenten.

Die Frage ist nicht mehr, ob KI Code schreibt. Die Frage ist: Wer prüft, ob dieser Code auch korrekt ist?

Das Problem: Mehr Code, mehr Fehler

KI schreibt Code schneller als jeder Mensch — aber nicht unbedingt besser. Die Studien zeichnen ein klares Bild:

45 %

unsicherer KI-Code

Veracode, 100+ Modelle getestet

1,7×

mehr Fehler als Menschen

CodeRabbit, 470 GitHub PRs

2,7×

mehr XSS-Schwachstellen

Cross-Site-Scripting

+23 %

mehr Incidents pro PR

bei +20 % mehr Pull Requests

Besonders alarmierend: 61 % der Entwickler sagen selbst, dass KI-generierter Code korrekt aussieht, aber nicht zuverlässig ist. KI-gestütztes Programmieren führt zu 4-mal mehr Copy-Paste — zum ersten Mal fügen Entwickler häufiger Code ein, als dass sie ihn refaktorisieren oder wiederverwenden.

Zum Vergleich: Der Heartbleed-Bug — ein einziger Fehler in der OpenSSL-Verschlüsselung — blieb zwei Jahre lang unentdeckt, trotz Code-Reviews durch erfahrene Entwickler. Die Kosten: hunderte Millionen Dollar. Und das war bevor KI 25 % des neuen Codes schrieb.

Wer haftet, wenn KI-Code Schaden anrichtet?

Die kurze Antwort: Dein Unternehmen. KI-Tool-Anbieter wie OpenAI, Google und Anthropic zeigen Warnungen wie „KI kann Fehler machen — überprüfe die Ausgabe“ und schließen in ihren AGBs jede Gewährleistung aus.

Aktuelle Rechtslage

• KI-generierter Code ohne menschliche Autorenschaft ist in den USA nicht urheberrechtsfähig
• Gerichte haben noch nicht entschieden, wie Haftung zwischen KI-Anbieter und nutzendem Unternehmen aufgeteilt wird
• ~35 % der KI-Code-Samples enthalten Lizenzierungsunregelmäßigkeiten

EU verschärft Regeln

• Neue EU-Produkthaftungsrichtlinie: Software (inkl. KI-Systeme) ist jetzt ein „Produkt“ — Hersteller und Zulieferer haften
• EU AI Act: GPAI-Regeln seit August 2025, Durchsetzung ab August 2026
• US-Bundesstaaten 2026: Mehrere Gesetze erweitern KI-Haftung

Die Lösung: Mathematische Beweise statt Daumen drücken

Leonardo de Moura — brasilianischer Informatiker, Schöpfer des Beweisassistenten Lean und Senior Principal Scientist bei AWS — hat eine klare These: Wenn KI den Großteil des Codes schreibt, müssen wir die Korrektheit mathematisch beweisen, nicht nur testen.

Formale Verifikation (mathematische Beweise, dass Software genau das tut, was sie soll) war lange ein akademisches Nischenthema. Zu aufwendig, zu teuer, zu langsam für die Praxis. Doch jetzt verändert KI das Spielfeld grundlegend.

Das zlib-Experiment: Ein Durchbruch

Kim Morrison vom Lean-Team hat mit einem generischen KI-Agenten (Claude, ohne Spezialtraining) die zlib-Kompressionsbibliothek — ein Standard-Werkzeug, das in Milliarden Geräten steckt — von C nach Lean konvertiert. Inklusive eines mathematischen Beweises, der garantiert: Dekompression nach Kompression liefert immer die Originaldaten zurück. Maschinell geprüft, nicht nur getestet. De Moura: „Das wurde noch nicht für möglich gehalten.“

Was ist Lean? Lean ist eine Open-Source-Programmiersprache und ein Beweisassistent. Programme in Lean können nicht nur ausgeführt, sondern auch mathematisch auf Korrektheit geprüft werden. 200.000 Nutzer, 750 Mitwirkende, über 200.000 formalisierte Theoreme. Google DeepMinds AlphaProof — das System, das Mathematik-Olympiade-Aufgaben auf Medaillen-Niveau löst — nutzt Lean als Verifikations-Backend.

Was das für dein Unternehmen bedeutet

1. Die Verifikationslücke wächst

KI generiert Code 1.000-mal schneller als Menschen. Die Prüfmechanismen — Code-Review, Testing — sind die gleichen, die Heartbleed zwei Jahre übersahen. Diese Lücke wird größer, nicht kleiner.

2. „Funktioniert“ heißt nicht „korrekt“

Ein Programm kann jeden Test bestehen und trotzdem einen kritischen Fehler enthalten. Tests prüfen nur die Fälle, die jemand bedacht hat. Formale Verifikation beweist die Korrektheit für alle möglichen Eingaben — auch die, an die niemand gedacht hat.

3. Spezifikation wird zur Kernkompetenz

Wenn KI die Implementierung übernimmt, wird die präzise Beschreibung dessen, was das System tun soll, zur wichtigsten Ingenieursaufgabe. Deine Teams verbringen weniger Zeit mit Code-Schreiben — und mehr Zeit mit Design und Anforderungsdefinition.

4. Wettbewerbsvorteil durch verifizierte Software

De Moura: „Teams mit den besten Werkzeugen ziehen weiter davon.“ Verifizierung kann Zertifizierungsprozesse — etwa in Luft- und Raumfahrt, Medizintechnik oder Automotive — von Jahren auf Wochen verkürzen. Welche Coding-Assistenten — also KI-Tools, die Entwicklern beim Programmieren helfen — aktuell führen, zeigt unser Vergleich der KI-Programmierassistenten.

Checkliste: Ist dein Unternehmen vorbereitet?

Hast du klare Richtlinien, welcher KI-generierte Code ohne Review in Produktion darf — und welcher nicht?

Sind deine Code-Review-Prozesse auf das höhere Volumen von KI-generierten Pull Requests skaliert?

Weißt du, wer in deinem Unternehmen haftet, wenn KI-generierter Code einen Schaden verursacht?

Prüfst du regelmäßig auf Lizenzrisiken in KI-generiertem Code (~35 % enthalten Unregelmäßigkeiten)?

Hast du die EU-Produkthaftungsrichtlinie und den EU AI Act auf deine Software-Prozesse angewendet?

Quellen

Weiterlesen

Tools & Systeme

Claude überholt ChatGPT bei Coding-Benchmarks

Warum Anthropics Claude in der Softwareentwicklung die Nase vorn hat.

Strategie

KI-Strategie für dein Unternehmen

Die 5 Bausteine einer erfolgreichen KI-Strategie — von der Pilotphase zur Skalierung.