"Friendly Fire": Ketika AI Security Agent Malah Jalanin Kode Berbahaya yang Harusnya Dia Tangkap

Bayangin satpam yang diminta periksa paket mencurigakan, tapi malah kebuka sendiri paketnya karena ada tulisan "aman, silakan buka" di label luar. Itu kurang lebih yang kejadian sama AI coding agent yang tugasnya justru nyari kode berbahaya.

Pada 8 Juli 2026, AI Now Institute lewat peneliti Boyan Milanov dan Heidy Khlaaf publikasiin proof-of-concept bernama "Friendly Fire". Serangan ini berhasil bikin AI agent yang lagi ngecek keamanan sebuah library malah ngejalanin file berbahaya di komputer sendiri, tanpa peringatan dan tanpa minta persetujuan tambahan dari user.

Gimana caranya AI penjaga bisa kena tipu

Menurut AI Now Institute, target serangan ini adalah Claude Code CLI (diuji di Sonnet 4.6, Sonnet 5, dan Opus 4.8) dan Codex CLI milik OpenAI (diuji di GPT-5.5), tapi hanya kalau dipakai dalam mode otomatis, yaitu "auto-mode" di Claude Code atau "auto-review" di Codex. Di mode ini, agent boleh eksekusi perintah tanpa nunggu user klik approve satu-satu.

Cara serangnya cukup sederhana secara konsep. Peneliti nyisipin empat file ke dalam salinan library open-source geopy: satu file binary yang isinya payload tersembunyi, satu file source code umpan biar binary itu kelihatan legit, satu wrapper script (security.sh) yang manggil binary tadi, dan satu README.md yang di dalamnya ada prompt injection.

Waktu user minta AI agent lakuin security assessment terhadap repository itu pakai mode otomatis, agent kebaca instruksi tersembunyi di README dan akhirnya beneran ngejalanin binary berbahaya itu. Yang bikin ini beda dari eksploit teknis biasa, serangan ini nggak butuh hook, skill, plugin, MCP server, atau file konfigurasi apapun sebagai jalan masuk. Cukup lewat teks di dalam repository yang direview.

Bukan bug yang bisa ditambal sekali patch

AI Now Institute negasin ini adalah kelemahan level desain, bukan celah teknis yang spesifik ke satu versi software. Akar masalahnya, AI agent belum bisa selalu bedain mana instruksi asli dari user dan mana teks di dalam repository pihak ketiga yang kebetulan kelihatan relevan sama tugasnya.

Uji coba ini juga cuma nunjukin tahap awal, yaitu eksekusi kode yang dikendalikan penyerang di mesin review. Peneliti nggak sampai demonstrasiin sandbox escape, persistence, atau lateral movement ke sistem lain. Repository reproduksi yang mereka publikasiin juga cuma berisi binary contoh yang tidak berbahaya, bukan payload asli.

Yang menarik, riset ini juga jalan di luar jalur disclosure resmi kedua perusahaan. Milanov dan Khlaaf udah kasih tahu Anthropic dan OpenAI, tapi sampai sekarang belum ada nomor CVE atau jadwal patch resmi buat isu ini. Berbeda dengan celah sandbox Claude Code sebelumnya, CVE-2026-39861, yang sempat masuk jalur disclosure formal dan udah diperbaiki.

Kenapa ini penting buat siapa aja yang pakai AI coding agent

Rekomendasi langsung dari peneliti simpel tapi bikin mikir ulang cara pakai AI agent: jangan pakai mode persetujuan otomatis buat kode yang belum sepenuhnya kamu percaya. Artinya, makin agent dikasih otonomi buat approve perintahnya sendiri, makin besar juga permukaan serangan yang kebuka kalau agent itu ketemu konten yang sengaja dirancang buat nipu dia.

Ini juga nunjukin batas dari pendekatan "kasih AI otonomi penuh biar cepat". Kecepatan itu ada harganya kalau nggak dibarengi lapisan verifikasi yang nggak cuma ngandelin satu AI model buat mutusin sesuatu aman atau nggak.

Pendekatan TanpaNgoding AI: verifikasi bukan cuma keputusan sepihak AI

Di TanpaNgoding AI, proses build project nggak berhenti begitu AI selesai generate kode. Ada quality gate otomatis yang jalan sebagai lapisan verifikasi terpisah, bukan cuma ngandelin AI yang sama buat nilai hasil kerjanya sendiri. Eksekusi tool juga dibatasi lewat allowlist command dan sandbox project, jadi ruang gerak kalau ada input yang mencoba nyusupin instruksi aneh tetap kebatasi ke lingkup project itu sendiri.

Kasus Friendly Fire jadi pengingat bagus buat semua orang yang makin sehari-hari pakai AI coding agent: pertanyaan penting bukan cuma "AI-nya secanggih apa", tapi "kalau AI ini kena tipu, kerusakannya bisa sejauh mana". TanpaNgoding AI dibangun dengan asumsi bahwa jawaban AI perlu dicek ulang, bukan diterima mentah-mentah.