Bayangkan seorang agen layanan pelanggan yang tiba-tiba menulis ke database yang seharusnya hanya bisa dibaca. Bukan karena perintah langsung, melainkan karena tiket dukungan yang telah diracuni meyakinkannya bahwa pengguna adalah administrator. Ini bukan lagi anomali, melainkan potret hari kerja bagi perusahaan yang menjalankan AI otonom di lingkungan produksi.
Palo Alto Networks menyebut fenomena ini sebagai "agents with hands"—model AI yang bisa memukul API, menanyai database, dan menjalankan tugas tanpa campur tangan manusia. Kemudahan ini, menurut perusahaan keamanan siber asal Amerika Serikat itu, membuka tiga celah mematikan: akses data pribadi, paparan terhadap konten yang tidak tepercaya, dan saluran keluar data dari jaringan.
Yang membuat situasi ini berbahaya adalah sifat kombinasionalnya. Masing-masing celah di atas tidak berbahaya jika berdiri sendiri, namun ketika digabungkan, mereka membentuk jalur diam-diam bagi data untuk meninggalkan jaringan perusahaan. Dalam lingkungan multi-agen, masalahnya berlipat ganda. Lalu lintas timur-barat antar agen berarti satu halusinasi di satu titik bisa merambat ke seluruh rantai.
Serangan yang muncul pun semakin kreatif. Memory poisoning, misalnya, menanam instruksi yang dipelajari dan dieksekusi agen berminggu-minggu kemudian. Serangan confused deputy menipu agen yang hanya bisa membaca untuk menulis. Yang paling licik adalah rugpull: sebuah alat yang bekerja andal selama berbulan-bulan, cukup lama untuk dipercaya, lalu suatu hari mulai menyedot data secara diam-diam setelah organisasi bergantung padanya.
Amazon Bedrock Guardrails dan filter teks serupa bekerja cukup baik untuk tata kelola dan keamanan konten. Namun, menurut Palo Alto Networks, alat-alat itu tidak akan menangkap injeksi SQL yang terkubur di dalam muatan alat, apalagi menahan penalaran dinamis agen otonom. "Protokol standar seperti MCP hanya menjelaskan bagaimana agen berbicara dengan alat, tetapi tidak mengatakan apa-apa tentang apakah permintaan itu sah sejak awal," demikian pernyataan perusahaan dalam bahan yang diterima.
Prisma AIRS dibangun untuk melakukan pemeriksaan lapis kedua. Ia mengawasi muatan itu sendiri dan memutus koneksi saat agen tiba-tiba menuntut hak administrator. Pendekatan yang sama memblokir upaya memory poisoning dan ekstraksi skema alat sebelum instruksi jahat itu pernah mendarat.
Perlindungan sejati di lingkungan AI agen, menurut Palo Alto Networks, tergantung pada mengetahui di mana harus mencari risiko tersembunyi. Shadow agents—agen yang tidak terdokumentasi—menumpuk di dalam organisasi yang cukup besar. Identitas yang tidak aktif masih melekat pada izin lama setelah proyek yang membutuhkannya selesai. Lalu lintas timur-barat yang dulu lewat tanpa pengawasan di pusat data perusahaan kini menuntut pemeriksaan ketat.
Menemukan eksposur ini sebelum penyerang melakukannya membutuhkan alat generasi baru. "Agen AI bergerak cepat sementara model ancaman yang seharusnya mengikatnya masih ditulis," tulis Palo Alto Networks. Respons yang masuk akal, menurut mereka, adalah memperlakukan lapisan keamanan seperti cara Anda memperlakukan keamanan jaringan pada tahun 2010: asumsikan perimeter sudah berada di dalam, dan awasi apa yang dilakukan agen, bukan hanya apa yang mereka katakan.