Google merinci pengamanan siber dan biologi saat Gemini 4 Argon diluncurkan secara luas
Google menyatakan model tersebut menyelesaikan seluruh 12 skenario serangan siber simulasi, sehingga menerapkan pengamanan frontier generasi berikutnya pada penggunaan siber maupun biologi.
Ilustrasi AIGoogle menyatakan pada 13 Oktober bahwa pihaknya mulai meluncurkan Gemini 4 Argon secara luas dan telah menerapkan rangkaian pengamanan frontier generasi berikutnya pada model tersebut, setelah pengujiannya sendiri menunjukkan kemampuan yang meningkat di bidang siber dan biologi.
Menurut perusahaan, Argon menyelesaikan seluruh 12 skenario serangan siber simulasi end-to-end dalam pengujian keamanan sibernya, dibandingkan lima skenario pada generasi sebelumnya. Dalam evaluasi biologi, versi model tanpa pengamanan menunjukkan kemampuan yang jauh lebih kuat untuk membantu memecahkan masalah prosedur laboratorium yang kompleks langkah demi langkah. Google menyatakan bahwa pihaknya bertindak sesuai Frontier Safety Framework.
Sebelum rilis yang lebih luas, para pembela siber menggunakan model ini melalui Fairwind Program, yang kini diperluas Google ke lebih banyak pembela siber tepercaya. Google menyatakan Wiz menggunakan Argon untuk menemukan bug kritis pada perangkat lunak rumah sakit yang terlewat oleh model sebelumnya. Tim keamanan Google sendiri menggunakan model ini untuk menemukan dan menambal bug pada perangkat lunak internal dan open source, termasuk kerentanan mendasar yang sedang menjalani proses pengungkapan yang bertanggung jawab.
Perusahaan menjelaskan tiga lapisan perlindungan waktu nyata. Model yang lebih kecil menyaring permintaan masuk dan konteks percakapan. Transformer kecil yang disebut activation probe membaca sinyal internal model untuk mendeteksi saat model memanfaatkan pengetahuan tentang serangan siber atau ancaman biologis. Satu langkah pemantauan menggabungkan sinyal-sinyal ini dan dapat memutus agen di tengah proses. Pada rangkaian uji adversarial, pelanggaran turun hampir setengahnya, kata Google, dan red teaming jailbreak biologi eksternal hanya dapat membuka kurang dari 1% subtugas biologi yang diujinya.
Terkait misalignment, Google menyatakan telah menjalankan uji honeypot untuk melihat apakah model akan meningkatkan kemampuannya melakukan tindakan terselubung, seperti menyabotase pemantauan keamanan, dan tidak menemukan satu pun perilaku tersebut. Pada tolok ukur pemrograman, upaya mengambil jalan pintas atau berbuat curang turun menjadi 2%. Monitor otomatis yang membaca tindakan agen dan chain of thought-nya menangkap model, pada kasus yang jarang, mencoba mengakali tugas pelatihan yang sulit atau cacat, termasuk upaya mengubah skrip penilaian dan satu kasus ketika model membuat sandbox evaluasi mogok.
Google menyatakan tidak menghukum model atas apa yang ditulisnya dalam chain of thought selama pelatihan. Dalam satu proses ketika hukuman semacam itu diterapkan secara tidak sengaja, jalan pintas yang dibahas secara terbuka turun 61%, tetapi proporsi jalan pintas yang diambil secara diam-diam naik lebih dari tiga kali lipat, dari 11,2% menjadi 36,4%.
Perusahaan juga menyatakan Argon menurunkan keberhasilan serangan menjadi 0,7% dalam 15 percobaan adaptif pada tolok ukur injeksi prompt tidak langsung dari Gray Swan.