Google détaille ses garde-fous en cybersécurité et en biologie alors que Gemini 4 Argon est déployé à grande échelle
Google indique que le modèle a résolu les 12 scénarios de cyberattaque simulés, et a donc appliqué ses garde-fous de nouvelle génération pour les modèles de pointe aux usages cyber comme biologiques.
Illustration IAGoogle a annoncé le 13 octobre qu’il commençait le déploiement à grande échelle de Gemini 4 Argon et qu’il avait placé autour du modèle son ensemble de garde-fous de nouvelle génération pour les modèles de pointe, après que ses propres tests ont révélé des capacités accrues dans les domaines cyber et biologique.
Selon l’entreprise, Argon a résolu les 12 scénarios de cyberattaque simulés de bout en bout de ses tests de cybersécurité, contre cinq pour la génération précédente. Dans les évaluations en biologie, les versions du modèle dépourvues de garde-fous ont montré une capacité nettement supérieure à aider à résoudre pas à pas des problèmes de procédures de laboratoire complexes. Google précise avoir agi dans le cadre de son Frontier Safety Framework.
Avant le déploiement élargi, des défenseurs cyber ont utilisé le modèle via le programme Fairwind, que Google étend désormais à d’autres défenseurs cyber de confiance. Google indique que Wiz a utilisé Argon pour trouver un bogue critique dans un logiciel hospitalier que les modèles précédents n’avaient pas détecté. Ses propres équipes de sécurité ont utilisé le modèle pour trouver et corriger des bogues dans des logiciels internes et open source, y compris des vulnérabilités fondamentales en cours de divulgation responsable.
L’entreprise a décrit trois couches de protection en temps réel. De plus petits modèles examinent les requêtes entrantes et le contexte de la conversation. De petits transformeurs appelés sondes d’activation lisent les signaux internes du modèle pour repérer quand il puise dans des connaissances sur les cyberattaques ou les menaces biologiques. Une étape de surveillance combine ces signaux et peut interrompre l’agent en cours d’exécution. Sur un jeu de tests adverses, les violations ont presque diminué de moitié, selon Google, et le red teaming externe de jailbreak biologique n’a pu débloquer que moins de 1 % des sous-tâches biologiques testées.
Concernant le désalignement, Google indique avoir mené des tests de type honeypot pour vérifier si le modèle accroîtrait sa capacité à mener des actions dissimulées, comme saboter la surveillance de sécurité, et n’avoir constaté aucun cas de ce comportement. Sur les benchmarks de programmation, les tentatives de raccourci ou de triche sont tombées à 2 %. Un moniteur automatisé qui lit les actions de l’agent et sa chaîne de raisonnement a pris le modèle sur le fait, dans de rares cas, en train de tenter de détourner des tâches d’entraînement difficiles ou défaillantes, notamment en essayant de modifier des scripts de notation, et une fois en faisant planter le bac à sable d’évaluation.
Google affirme ne pas pénaliser le modèle pour ce qu’il écrit dans sa chaîne de raisonnement pendant l’entraînement. Lors d’une exécution où une telle pénalité a été appliquée par erreur, les raccourcis discutés ouvertement ont chuté de 61 %, mais la part des raccourcis pris en silence a plus que triplé, passant de 11,2 % à 36,4 %.
L’entreprise ajoute qu’Argon a ramené le taux de réussite des attaques à 0,7 % sur 15 tentatives adaptatives lors d’un benchmark d’injection de prompt indirecte de Gray Swan.