Der AI Safety Index Winter 2025

Lesezeit: ca. 10 Minuten

Wir schreiben den Dezember 2025. Die KI-Modelle sind leistungsfähiger denn je, die Versprechen von AGI (Artificial General Intelligence) sind allgegenwärtig, und die großen Tech-Giganten liefern sich einen Wettlauf um die Vorherrschaft.

Doch wie sicher sind diese Systeme wirklich?

Das Future of Life Institute (FLI) hat seinen AI Safety Index Winter 2025 veröffentlicht. Die Ergebnisse sind ernüchternd, um nicht zu sagen alarmierend. Eine unabhängige Expertenjury hat acht der führenden KI-Unternehmen der Welt – darunter Anthropic, OpenAI, Google DeepMind, xAI und Meta – auf Herz und Nieren geprüft.

Das Fazit vorweg:

Während die Fähigkeiten der KI-Modelle exponentiell wachsen, hinken die Sicherheitsmaßnahmen gefährlich hinterher. Kein einziges Unternehmen erreichte eine gute Note. Selbst die "Klassenbesten" dümpeln im Mittelmaß.

In diesem Beitrag tauchen wir in die Daten ein, analysieren die Kluft zwischen Marketing und Realität und zeigen auf, warum wir laut FLI auf eine strukturelle Krise in der KI-Entwicklung zusteuern.

1. Die Rangliste: Mittelmaß ist das neue "Gut"

Der Index bewertet die Unternehmen anhand von 35 Indikatoren in sechs kritischen Bereichen, von der Risikobewertung bis zur internen Governance. Die Notenvergabe folgt dem amerikanischen GPA-System (A bis F).

Hier ist der aktuelle Stand im Winter 2025:

1. Anthropic: Note C+ (Score: 2.67)
2. OpenAI: Note C+ (Score: 2.31)
3. Google DeepMind: Note C (Score: 2.08)
4. xAI (Elon Musk): Note D (Score: 1.17)
5. Z.ai: Note D (Score: 1.12)
6. Meta: Note D (Score: 1.10)
7. DeepSeek: Note D (Score: 1.02)
8. Alibaba Cloud: Note D- (Score: 0.98)

Was bedeutet das?

Selbst der Spitzenreiter Anthropic kommt nicht über ein "befriedigend" hinaus. Es klafft eine massive Lücke zwischen den Top 3 (Anthropic, OpenAI, Google) und dem Rest des Feldes. Doch auch die Top-Tier-Unternehmen zeigen laut den Gutachtern kritische Lücken in der Risikobewertung und Sicherheitsplanung.

2. Der Elefant im Raum: "Existential Safety"

Der vielleicht erschreckendste Befund des Reports betrifft die sogenannte "Existential Safety", also die Vorbereitung auf katastrophale Risiken durch Systeme, die menschliche Intelligenz erreichen oder übertreffen.

Das Desaster in Zahlen:

Kein Unternehmen erreichte in diesem Bereich eine bessere Note als ein D.

• xAI, Meta, DeepSeek, Z.ai und Alibaba erhielten hier ein glattes F.
• Selbst Anthropic, OpenAI und Google DeepMind kamen nur auf ein D.

Die "grundlegende Heuchelei"

Die Experten des FLI nutzen harte Worte. Sie beschreiben eine Diskrepanz, die einer "grundlegenden Heuchelei" gleicht: Führende Köpfe bei Anthropic, OpenAI, Google DeepMind und xAI sprechen öffentlich oft und laut über die existenziellen Risiken von AGI. Doch diese Rhetorik spiegelt sich nicht in ihren tatsächlichen Handlungen wider.

Es gibt schlichtweg keine glaubwürdigen Pläne, wie man den Verlust der Kontrolle über eine Superintelligenz verhindern will. Die Unternehmen beschleunigen ihre AGI-Ambitionen, haben aber keine konkreten Strategien ("Quantitative Safety Plans") für den Fall, dass die Systeme feindselig handeln oder sich der Kontrolle entziehen.

3. Die Top 3: Stärken und neue Schwächen

Schauen wir uns die "Besten" der Klasse genauer an. Warum führen sie, und wo straucheln sie?

Anthropic: Der wacklige Spitzenreiter

Anthropic hält seine Führungsposition durch vergleichsweise hohe Transparenz und ein gut entwickeltes Sicherheitsframework.

• Positiv: Sie unterstützen staatliche Regulierungen (wie SB 53 in den USA) und haben eine Unternehmensstruktur (Public Benefit Corporation), die Sicherheit priorisieren soll.
• Negativ: Es gibt Anzeichen für Verschlechterungen. Kritisiert wurde der Wegfall bestimmter Risikostudien ("Human Uplift Trials") und ein Politikwechsel: Anthropic nutzt nun standardmäßig Nutzerinteraktionen für das Training ihrer Modelle – ein Schritt weg vom Datenschutz, den sie früher hochhielten.

OpenAI: Fortschritt mit Fragezeichen

OpenAI (GPT-5) bleibt Anthropic dicht auf den Fersen.

• Positiv: Sie haben einen Risikobewertungsprozess dokumentiert, der breiter angelegt ist als bei der Konkurrenz.
• Negativ: Die Governance steht in der Kritik. Obwohl die neue Struktur als "Public Benefit Corporation" besser bewertet wird als ein reines Profit-Unternehmen, bleiben Entscheidungsgewalt und Kontrollmechanismen oft bei der Führungsebene konzentriert, anstatt unabhängig zu sein.

Google DeepMind: Solide, aber undurchsichtig

Google liegt im Mittelfeld der Top-Gruppe.

• Positiv: Verbesserte Transparenz durch die Teilnahme an der FLI-Umfrage und neue Details zur Whistleblower-Politik. Ihr Sicherheitsframework wurde gelobt, weil es nun auch manipulative Risiken abdeckt.
• Negativ: Externe Evaluatoren werden von Google bezahlt, was ihre Unabhängigkeit in Frage stellt. Zudem lobbyiert Google in den USA teilweise gegen Sicherheitsgesetze, während sie international Kooperation signalisieren.

4. Das Verfolgerfeld: xAI, Meta und China

Der Abstand zur nächsten Gruppe ist signifikant. Hier fehlen oft grundlegende Sicherheitsstandards.

• xAI (Elon Musk): Trotz Elon Musks lauten Warnungen vor KI-Risiken schneidet sein Unternehmen schlecht ab (Note D). xAI hat zwar mittlerweile ein Sicherheitsframework veröffentlicht, dieses ist aber eng gefasst und es fehlt an klaren Mechanismen, was passiert, wenn Sicherheitsgrenzwerte überschritten werden. Im Bereich "Current Harms" (aktuelle Schäden) erhielt xAI sogar ein F.
• Meta (Mark Zuckerberg): Meta hat ebenfalls ein neues Framework vorgestellt, das zumindest klare Schwellenwerte definiert. Das Hauptproblem: Die Hürden für Sicherheitsmaßnahmen sind extrem hoch angesetzt, und die Entscheidungsbefugnis bleibt unklar. Zudem verfolgt Meta eine aggressive Open-Source-Strategie (Modellgewichte werden veröffentlicht), was von den Sicherheitsforschern im Kontext von Frontier-Modellen kritisch gesehen wird.
• Die chinesischen Akteure (DeepSeek, Alibaba, Z.ai):Diese Unternehmen liegen auf den hinteren Plätzen, was vor allem an mangelnder Transparenz und fehlenden öffentlichen Sicherheitsframeworks liegt (Note F in diesem Bereich für DeepSeek und Alibaba).Aber: Der Report lobt die chinesische Regulierung. Durch strenge staatliche Vorgaben (z.B. verpflichtende Inhaltskennzeichnung und Meldepflichten bei Vorfällen) haben diese Firmen teilweise eine stärkere Basis-Accountability als ihre westlichen Pendants, auch wenn sie weniger freiwillig preisgeben.

5. Governance: Wer schützt die Whistleblower?

Ein funktionierendes Sicherheitssystem braucht Menschen, die Alarm schlagen können, ohne Angst um ihren Job zu haben. Auch hier zeigt der Report Defizite.

• OpenAI ist das einzige Unternehmen mit einer öffentlich zugänglichen Whistleblowing-Richtlinie.
• Anthropic hat versprochen, bald eine zu veröffentlichen.
• Bei Meta, DeepSeek und Z.ai fehlen öffentliche Richtlinien völlig.
• xAI hat keine öffentliche Richtlinie, gab aber in der Umfrage an, interne Prozesse zu haben.

Die Experten betonen: Ohne robuste, transparente Schutzmechanismen für Mitarbeiter ist eine effektive Sicherheitskultur kaum möglich.

Fazit: Eine Branche im Blindflug?

Der AI Safety Index Winter 2025 zeichnet das Bild einer Industrie, deren Ambitionen ihre Sicherheitsvorkehrungen weit übertreffen.

Die Kluft zwischen dem, was technisch möglich ist (und entwickelt wird), und dem, was sicher kontrolliert werden kann, vergrößert sich. Wir sehen zwar Fortschritte – etwa formale Frameworks bei Meta und xAI oder verbesserte Risikobewertungen bei OpenAI –, doch diese sind inkrementell. Die Entwicklung der Fähigkeiten hingegen ist exponentiell.

Was muss also passieren?

Der Report fordert unmissverständlich:

1. Konkrete AGI-Notfallpläne: Unternehmen müssen beweisen, dass sie eine Superintelligenz kontrollieren können – oder die Entwicklung stoppen.
2. Unabhängige Prüfung: Externe Audits dürfen nicht von den Firmen selbst bezahlt und kontrolliert werden.
3. Harte Grenzwerte: Sicherheitsframeworks brauchen rote Linien, die automatisch Maßnahmen auslösen, nicht erst nach CEO-Genehmigung.

Solange Big Tech diese Hausaufgaben nicht macht, bleibt die Entwicklung von Frontier-KI ein Experiment mit offenem Ausgang – und wir alle sind die Testsubjekte.