Google annonce Gemini 4 Carbon, d'abord proposé à un groupe restreint de défenseurs cyber
Google affirme que son nouveau modèle de pointe domine plusieurs benchmarks de cybersécurité et sera accessible cette semaine à un groupe restreint de défenseurs cyber, avant les développeurs, les entreprises et le grand public.
Illustration IAGoogle a annoncé Gemini 4 Carbon, qu'il décrit comme son modèle le plus performant, doté de capacités de cybersécurité et d'horizon long à l'état de l'art. Le modèle s'appuie sur Gemini 4 Argon, lancé il y a deux semaines selon Google.
L'accès sera progressif. Google a indiqué que, dès cette semaine, Carbon sera mis à disposition d'un groupe restreint de défenseurs cyber, puis que l'accès sera étendu graduellement à d'autres partenaires de confiance via son Fairwind Program. L'entreprise a déclaré participer au processus volontaire du gouvernement américain pour les tests de modèles avant leur sortie, et continuer à recueillir des retours et à affiner les garde-fous avant de proposer le modèle aux développeurs, aux entreprises et au grand public via ses produits dès que possible.
Google a indiqué que Carbon se classe n° 1 avec 59 points dans la version v5.0, récemment mise à jour, de l'Artificial Analysis Intelligence Index. Sur les benchmarks externes de cybersécurité, évalués sans garde-fous, il affiche 88,2 % sur SEC-bench Pro pour la détection de vulnérabilités, 54,8 % sur ExploitGym pour l'exploitation et 71,0 % sur CWE-bench pour la correction. En développement web, Google indique que le modèle a gagné 89 points elo pour atteindre la 4e place (1769) sur WebDev Arena.
Sur les benchmarks internes, Google affirme que Carbon obtient un taux de réussite plus de 2 fois supérieur à celui d'Argon pour générer du code sécurisé. Son équipe Chrome a rapporté que Carbon a été plus de 10 fois meilleur qu'un grand modèle de pointe d'un autre laboratoire pour produire des correctifs de haute qualité. Google ajoute que ses équipes ont vu Carbon travailler pendant des jours sur des tâches d'ingénierie complexes en plusieurs étapes, comme identifier la cause racine de bugs subtils et les corriger dans de vastes bases de code.
Concernant l'alignement, Google indique que les tricheries réussies sur Terminal-Bench 4.0 sont tombées à 0,0 %, les tentatives de triche à 0,4 %, et que les alertes de désalignement de forte gravité ont baissé de près de 80 % dans les environnements de codage en conditions réelles avec ses équipes internes. Lors de tests internes, Google affirme que Carbon réduit d'environ 2 fois les affirmations non étayées par rapport à Argon, et diminue les dépassements de 26 % et les sous-prestations de 29 %. Sur le Gray Swan Indirect Prompt Injection Benchmark, Google indique que Carbon atteint un taux de réussite des attaques de 0,0 %, contre 0,7 % pour Argon.
Google a indiqué que Carbon sera lancé au même prix de lancement qu'Argon : 2 $ par million de tokens d'entrée et 10 $ par million de tokens de sortie, les tokens d'entrée mis en cache bénéficiant d'une remise de 95 % sur le prix des tokens d'entrée.