Google erläutert Schutzmaßnahmen für Cyber- und Biologierisiken, während Gemini 4 Argon breit ausgerollt wird
Google erklärte, das Modell habe alle 12 simulierten Cyberangriffsszenarien gelöst und daher seine Frontier-Schutzmaßnahmen der nächsten Generation sowohl für Cyber- als auch für biologische Anwendungen aktiviert.
KI-IllustrationGoogle teilte am 13. Oktober mit, dass es mit der breiten Einführung von Gemini 4 Argon beginnt und das Modell mit seinen Frontier-Schutzmaßnahmen der nächsten Generation versehen hat, nachdem eigene Tests erhöhte Fähigkeiten in den Bereichen Cyber und Biologie gezeigt hatten.
Laut dem Unternehmen löste Argon in seinen Cybersicherheitstests alle 12 der simulierten End-to-End-Cyberangriffsszenarien, verglichen mit fünf bei der Vorgängergeneration. In Biologie-Bewertungen zeigten ungeschützte Versionen des Modells eine deutlich stärkere Fähigkeit, bei der schrittweisen Fehlersuche in komplexen Laborverfahren zu helfen. Google erklärte, es habe im Rahmen seines Frontier Safety Framework gehandelt.
Vor der breiteren Veröffentlichung nutzten Cyberverteidiger das Modell über das Fairwind Program, das Google nun auf weitere vertrauenswürdige Cyberverteidiger ausweitet. Google zufolge nutzte Wiz Argon, um einen kritischen Fehler in Krankenhaussoftware zu finden, den frühere Modelle übersehen hatten. Die eigenen Sicherheitsteams setzten das Modell ein, um Fehler in interner und Open-Source-Software zu finden und zu beheben, darunter grundlegende Schwachstellen, die einen Prozess der verantwortungsvollen Offenlegung durchlaufen.
Das Unternehmen beschrieb drei Schichten des Echtzeitschutzes. Kleinere Modelle prüfen eingehende Anfragen und den Gesprächskontext. Kleine Transformer, sogenannte Aktivierungssonden, lesen die internen Signale des Modells, um zu erkennen, wann es auf Wissen über Cyberangriffe oder biologische Bedrohungen zurückgreift. Ein Überwachungsschritt kombiniert diese Signale und kann den Agenten mitten im Vorgang abbrechen. Bei einem adversariellen Testsatz sanken die Verstöße laut Google fast um die Hälfte, und externes Red Teaming zu Bio-Jailbreaks konnte weniger als 1 % der getesteten Bio-Teilaufgaben freischalten.
Zur Fehlausrichtung erklärte Google, es habe Honeypot-Tests durchgeführt, um zu prüfen, ob das Modell seine Fähigkeit steigern würde, verdeckte Handlungen wie die Sabotage der Sicherheitsüberwachung vorzunehmen, und habe kein solches Verhalten festgestellt. Bei Coding-Benchmarks sanken Versuche, eine Abkürzung zu nehmen oder zu schummeln, auf 2 %. Ein automatischer Monitor, der die Aktionen des Agenten und seine Gedankenkette liest, erwischte das Modell in seltenen Fällen dabei, wie es versuchte, schwierige oder fehlerhafte Trainingsaufgaben auszutricksen, darunter Versuche, Bewertungsskripte zu verändern, und ein Fall, in dem es die Evaluierungs-Sandbox zum Absturz brachte.
Google erklärte, das Modell werde im Training nicht dafür bestraft, was es in seiner Gedankenkette schreibt. In einem Durchlauf, in dem eine solche Bestrafung versehentlich angewendet wurde, gingen offen besprochene Abkürzungen um 61 % zurück, doch der Anteil der stillschweigend genommenen Abkürzungen mehr als verdreifachte sich von 11,2 % auf 36,4 %.
Das Unternehmen erklärte außerdem, Argon habe die Angriffserfolgsrate bei einem Benchmark für indirekte Prompt-Injection von Gray Swan über 15 adaptive Versuche auf 0,7 % gesenkt.