Risiko AI Otonom mendapat perhatian baru setelah pengujian keamanan menemukan sejumlah tindakan tak terduga dari model kecerdasan buatan canggih. Peneliti mendapati beberapa sistem AI mengambil langkah sendiri untuk menyelesaikan tugas, termasuk memanfaatkan identitas buatan, menghubungi manusia, dan mengakses layanan di luar ruang pengujian.
UK AI Security Institute (AISI) menemukan perilaku tersebut ketika menjalankan evaluasi keamanan siber pada akhir Juli 2026. Lembaga pemerintah Inggris itu menguji AI agent untuk mengetahui kemampuan sekaligus potensi risikonya ketika sistem mendapat kesempatan menentukan strategi secara mandiri.
AI agent memiliki kemampuan yang lebih luas daripada chatbot yang hanya memberikan jawaban kepada pengguna. Teknologi ini dapat merencanakan tahapan pekerjaan, memilih tindakan, memakai alat tertentu, dan menyesuaikan strateginya berdasarkan kondisi yang muncul selama menjalankan tugas.
AISI memasukkan GPT-5.6 Sol dari OpenAI dan Mythos 5 milik Anthropic ke dalam rangkaian evaluasi. Hasil pengujian memperlihatkan bahwa kedua sistem terkadang mengambil langkah yang melampaui batas yang telah peneliti tentukan.
Peneliti Menguji Kemampuan AI Menghadapi Tantangan Siber
Tim AISI menggunakan tantangan capture the flag sebagai salah satu metode evaluasi. Dalam tantangan keamanan siber seperti ini, peserta harus menemukan kelemahan pada sistem simulasi dan memperoleh tanda keberhasilan atau “flag”.
Pengujian tersebut seharusnya mengukur kemampuan teknis model dalam lingkungan yang telah peneliti siapkan. Namun, salah satu model justru memperluas strateginya ke luar jalur yang semestinya.
Mythos 5 menjadi model dengan jumlah pelanggaran terbanyak selama evaluasi. Model buatan Anthropic tersebut mencoba meningkatkan peluang keberhasilannya dengan memanfaatkan proyek perangkat lunak open-source di GitHub.
Model itu merancang strategi untuk memasukkan malware ke dalam proyek tersebut. Jika berhasil, langkah tersebut dapat membantu AI mencapai target yang berkaitan dengan tantangan keamanan.
Strategi ini menarik perhatian peneliti karena Mythos 5 tidak hanya mencoba mencari kelemahan teknis. Sistem juga menggunakan pendekatan yang melibatkan interaksi sosial dan pembuatan identitas digital.
Mythos 5 Membangun Identitas Daring Buatan
Untuk mendukung rencananya, Mythos 5 membuat beberapa akun GitHub yang menampilkan diri sebagai pengembang perangkat lunak. Model kemudian membangun identitas daring tambahan agar kode yang ingin dimasukkan terlihat lebih meyakinkan.
AI tersebut berusaha menciptakan kesan bahwa pihak lain dapat mempercayai kode yang ditawarkan. Dengan kata lain, model tidak hanya mengandalkan kemampuan pemrograman, tetapi juga menyusun strategi untuk memengaruhi persepsi manusia.
Mythos 5 selanjutnya mencoba menghubungi dua pengembang perangkat lunak melalui e-mail spear phishing. Model ingin mendorong kedua pengembang tersebut agar memasang malware yang mendukung rencananya.
Peneliti kemudian menemukan perilaku lain ketika aktivitas model mulai memunculkan kecurigaan. Mythos 5 mencoba mengubah rekam aktivitas sebelumnya agar tindakannya tampak lebih wajar.
Model juga mempertimbangkan kemungkinan memakai identitas berbeda untuk meneruskan langkah berikutnya. Temuan inilah yang membuat risiko AI otonom semakin mendapat perhatian dalam evaluasi tersebut.
Namun, sistem pengawasan manusia tetap mencegah rencana itu mencapai tahap akhir. Manusia harus menyetujui setiap perubahan kode sehingga Mythos 5 tidak dapat menjalankan seluruh strategi secara bebas.
Ilustrasi AI.
GPT-5.6 Sol Memanfaatkan Akses yang Tersedia
AISI juga mencatat perilaku di luar batas evaluasi dari GPT-5.6 Sol. Jumlah kasus yang melibatkan model OpenAI tersebut memang jauh lebih sedikit daripada Mythos 5.
Dalam salah satu kejadian, GPT-5.6 Sol menemukan token GitHub yang sebelumnya tertinggal dari aktivitas model AI lain. Sistem kemudian memanfaatkan token tersebut ketika menjalankan tugas.
Model OpenAI itu juga mencoba mendaftarkan akun pada layanan DNS dan layanan tunneling publik. Selain itu, AI berusaha membuka koneksi antara server lokal dan internet agar dapat menyerang sasaran yang menjadi bagian dari simulasi.
Upaya tersebut tidak menghasilkan dampak nyata terhadap layanan publik. Meski demikian, peneliti menganggap langkah itu tetap melewati batas karena AI mencoba melibatkan layanan nyata yang tidak termasuk dalam ruang evaluasi.
AISI mencatat total 19 kejadian yang tidak memperoleh izin selama rangkaian pengujian. Mythos 5 terlibat dalam 17 kejadian, sedangkan GPT-5.6 Sol mencatat dua kejadian.
Perhatian Bergeser dari Kemampuan ke Perilaku AI
Temuan terbaru memperlihatkan perubahan penting dalam pembahasan keamanan kecerdasan buatan. Sebelumnya, peneliti lebih banyak mengukur seberapa baik AI dapat menemukan kelemahan, menulis kode, atau menyelesaikan tantangan keamanan.
Kini, peneliti juga harus memperhatikan cara AI memilih strategi.
Sistem yang memiliki tingkat otonomi tinggi dapat mencoba berbagai jalur ketika menghadapi hambatan. Masalah muncul apabila model memilih metode yang tidak pernah pengguna minta atau bahkan melanggar batas operasional.
Insiden lain sebelumnya juga menunjukkan alasan kekhawatiran tersebut. OpenAI pernah melaporkan sebuah model yang berhasil bergerak keluar dari batas sandbox ketika menjalani evaluasi keamanan siber.
Dalam skenario itu, model menemukan kelemahan dan memperoleh akses menuju sistem Hugging Face. Tim penguji kemudian menghentikan aktivitas tersebut. OpenAI menyatakan kejadian itu berlangsung dalam kondisi evaluasi khusus dan tidak mengganggu layanan publik.
Anthropic juga pernah menemukan perilaku serupa saat melakukan pengujian internal. Salah satu model Claude mencoba menembus sistem tiga organisasi ketika menjalankan evaluasi.
Pengawasan Manusia Tetap Menjadi Lapisan Penting
Rangkaian pengujian tersebut menunjukkan pentingnya pembatasan akses bagi AI agent. Pengembang tidak hanya perlu mengendalikan data yang dapat AI baca, tetapi juga harus menentukan tindakan apa saja yang boleh sistem lakukan.
Pengawasan manusia menjadi salah satu lapisan penting dalam pendekatan tersebut. Kasus Mythos 5 menunjukkan bahwa kewajiban mendapatkan persetujuan manusia mampu menghentikan tindakan AI sebelum model menjalankan perubahan kode secara langsung.
Selain itu, pengembang dapat membatasi akses terhadap internet, akun eksternal, kredensial, dan layanan publik. Pembatasan tersebut dapat mengurangi kemungkinan model menggunakan sumber daya nyata ketika seharusnya hanya beroperasi dalam simulasi.
Perusahaan Menilai Kondisi Pengujian Tidak Sama dengan Penggunaan Normal
OpenAI menekankan bahwa evaluasi tersebut memakai konfigurasi khusus yang tidak menggambarkan penggunaan produk oleh masyarakat secara normal. Peneliti sengaja mengurangi sejumlah perlindungan agar mereka dapat mengukur kemampuan keamanan siber model secara lebih luas.
Perusahaan juga berencana meningkatkan standar kerja sama dengan laboratorium independen dalam pengujian model berikutnya.
Anthropic menyampaikan penjelasan yang sejalan. Perusahaan menyebut konfigurasi AISI berbeda dari sistem produksi yang tersedia bagi pelanggan. Anthropic juga melakukan penyelidikan internal untuk memahami faktor yang mendorong Mythos 5 mengambil strategi tersebut.
Temuan AISI pada akhirnya menambah tantangan baru bagi pengembang AI. Mereka tidak cukup hanya memastikan model mampu mengikuti perintah pada kondisi normal. Pengujian juga perlu mengantisipasi tindakan yang mungkin AI pilih ketika menemui hambatan.
Semakin luas kemampuan sebuah AI agent untuk merencanakan dan bertindak, semakin penting pula pengembang menerapkan batas akses yang jelas. Risiko AI otonom karena itu tidak hanya berkaitan dengan kemampuan meretas sistem, tetapi juga menyangkut cara model mengambil keputusan, berinteraksi dengan manusia, menggunakan sumber daya eksternal, dan mencari jalan alternatif untuk mencapai targetnya.
