Peneliti memperingatkan adanya celah keamanan baru yang memungkinkan peretas menanamkan memori palsu untuk mengendalikan asisten kecerdasan buatan secara diam-diam.
Ilustrasi dibuat oleh AI.Ringkasan
- Peneliti menemukan serangan siber baru bernama GhostWriter yang menyisipkan instruksi tersembunyi ke memori AI.
- "Ingatan palsu" tersebut dapat memengaruhi jawaban maupun tindakan AI di kemudian hari.
- Tim peneliti juga mengembangkan sistem pertahanan bernama AM-Sentry yang mampu mengurangi efektivitas serangan tanpa mengorbankan kinerja AI.
JANGAN senang dulu dengan kemampuan AI yang kian canggih. Sejumlah fitur dalam kecerdasan buatan yang mempermudah hidup ternyata membawa risiko keamanan baru yang cukup mendebarkan.
Kecerdasan buatan berbasis large language model (LLM) seperti ChatGPT, Gemini, dan berbagai asisten AI lainnya mampu menjawab pertanyaan dan membantu menyelesaikan berbagai tugas.
Sebagian AI modern juga dibekali memori jangka panjang. Fitur ini memungkinkan AI mengingat preferensi pengguna, percakapan sebelumnya, hingga kebiasaan tertentu sehingga interaksi menjadi lebih personal.
Namun, kemampuan mengingat tersebut ternyata menghadirkan tantangan baru dari sisi keamanan.
Peneliti dari New Mexico State University mengungkap adanya teknik serangan siber baru yang mereka beri nama GhostWriter.
Dalam makalah yang dipublikasikan di server pracetak arXiv, mereka menunjukkan bahwa penyerang dapat menyisipkan instruksi tersembunyi ke dalam memori AI.
Peneliti George Torres, Sharad Shrestha, dan Satyajayant Misra, menyebutkan, instruksi tersebut kemudian tersimpan layaknya pengalaman atau fakta yang sah, padahal sebenarnya merupakan manipulasi.
Ancaman ini relevan bagi asisten AI pribadi yang tidak hanya bercakap-cakap dengan pengguna, tetapi juga mampu menjalankan berbagai tindakan otomatis, seperti mengelola email, membuat jadwal, atau mengakses layanan daring lainnya.
Serangan GhostWriter berlangsung dalam dua tahap:
- Tahap pertama adalah penyisipan (injection).
Pada fase ini, penyerang menyembunyikan muatan berbahaya di dalam informasi yang diterima AI. Instruksi tersebut tidak langsung dijalankan, melainkan disimpan ke memori jangka panjang.
- Tahap kedua adalah aktivasi (activation).
Ketika AI menghadapi situasi yang dianggap relevan di masa depan, memori yang telah tercemar itu dipanggil kembali. Akibatnya, AI dapat menjalankan instruksi berbahaya seolah-olah itu merupakan bagian dari pengetahuan atau preferensi pengguna.
Sebagai contoh, AI yang mengelola email dapat "diingatkan" secara diam-diam agar selalu meneruskan ringkasan email dari pengirim tertentu, misalnya bank atau lembaga keuangan, ke alamat email milik penyerang.
Pengguna mungkin sama sekali tidak menyadari bahwa perilaku tersebut berasal dari instruksi tersembunyi yang telah tersimpan sebelumnya.
Dalam pengujian, GhostWriter menunjukkan tingkat keberhasilan penyisipan yang sangat tinggi, yakni sekitar 98 persen.
Sementara itu, instruksi yang berhasil ditanam memiliki tingkat aktivasi rata-rata sekitar 60 persen, cukup tinggi untuk menimbulkan risiko nyata pada agen AI modern.
Berbeda dengan chatbot biasa yang hanya merespons berdasarkan percakapan saat itu, AI dengan memori jangka panjang menyimpan informasi untuk digunakan kembali pada interaksi berikutnya.
Fitur ini memang meningkatkan kenyamanan pengguna karena AI tidak perlu terus-menerus meminta informasi yang sama.
Namun, jika mekanisme penyimpanan memorinya tidak memiliki pengamanan yang memadai, data palsu juga dapat ikut tersimpan dan dianggap sebagai informasi yang valid.
Para peneliti menyebut kelemahan tersebut muncul karena belum adanya tata kelola memori (memory governance) yang secara khusus dirancang untuk menghadapi ancaman keamanan.
Untuk mengatasi masalah tersebut, tim peneliti mengembangkan sistem pertahanan bernama Agentic Memory Sentry (AM-Sentry).
Sistem ini menerapkan dua lapisan perlindungan. Pertama, kebijakan yang lebih ketat mengenai informasi apa saja yang boleh disimpan ke memori jangka panjang.
Kedua, penyaringan saat AI mengambil kembali memori, sehingga instruksi mencurigakan dapat dideteksi sebelum digunakan.
Hasil uji coba menunjukkan bahwa AM-Sentry mampu menurunkan keberhasilan serangan GhostWriter secara drastis, sekaligus mempertahankan kemampuan AI dalam menjalankan tugas sehari-hari.
Temuan ini menjadi pengingat bahwa semakin pintar dan mandiri sebuah AI, semakin penting pula sistem keamanannya.
Disadur dari Tech Xplore - Hidden prompts can plant false memories in AI agents, researchers warn yang diakses pada Juli 2026.
Posting Komentar