Dario Amodei Minta Pengembangan AI Diperlambat karena kemajuan kemampuan kecerdasan buatan mulai bergerak lebih cepat daripada perkembangan sistem keselamatannya. CEO Anthropic tersebut menilai industri perlu mengatur tempo pengembangan model AI agar manusia tetap memiliki cukup waktu untuk memahami, mengawasi, dan mengendalikan teknologi yang semakin canggih.
Amodei menyampaikan pandangannya melalui esai panjang berjudul We Must Pace the Frontier. Dalam tulisan tersebut, ia menekankan perlunya kehati-hatian yang lebih besar ketika perusahaan mengembangkan model AI generasi berikutnya.
Menurut Amodei, industri tidak harus menghentikan inovasi. Sebaliknya, perusahaan tetap dapat meningkatkan kemampuan AI selama mekanisme keselamatan, pengawasan, dan penyelarasan dengan kepentingan manusia berkembang dengan kecepatan yang seimbang.
Amodei Tidak Meminta Industri Menghentikan AI
Seruan untuk memperlambat pengembangan AI bukan berarti Amodei menginginkan penghentian riset secara menyeluruh. Ia justru menawarkan pendekatan yang lebih terukur agar kemajuan teknologi tidak meninggalkan sistem pengaman terlalu jauh di belakang.
Dalam pandangannya, perusahaan perlu menyediakan waktu yang memadai untuk menguji model sebelum meningkatkan kemampuan AI ke level selanjutnya. Selain itu, pengembang harus memastikan model mengikuti tujuan manusia melalui proses alignment atau penyelarasan.
Amodei juga menilai pengawasan perlu meningkat seiring bertambahnya kecanggihan sebuah model. Dengan demikian, perusahaan tidak hanya berlomba menciptakan AI yang lebih kuat, tetapi juga memperkuat kemampuan manusia dalam mengendalikan teknologi tersebut.
Ia kemudian menawarkan tiga pendekatan utama. Pertama, perusahaan perlu menyediakan waktu yang cukup untuk mengamankan dan menyelaraskan model. Pada saat yang sama, evaluator independen harus memperoleh akses yang memadai untuk melakukan pemeriksaan.
Kedua, laboratorium AI terdepan perlu menyusun standar keselamatan bersama. Langkah tersebut dapat mencegah persaingan komersial mendorong perusahaan mengabaikan prosedur pengamanan demi mengejar model yang lebih unggul.
Ketiga, Amodei mendorong koordinasi internasional. Menurutnya, perkembangan AI menyangkut risiko lintas negara sehingga pengelolaannya membutuhkan kerja sama yang lebih luas.
Anthropic Siapkan Akses bagi Evaluator Independen
Anthropic berencana menjalankan sebagian gagasan tersebut dari lingkungan internal perusahaan. Perusahaan di balik Claude itu ingin memberikan akses berkelanjutan kepada evaluator pihak ketiga dengan tingkat akses yang setara kebutuhan pemeriksaan internal.
Melalui skema tersebut, pihak independen dapat menilai kepatuhan perusahaan terhadap standar keselamatan. Selain itu, evaluator dapat mengidentifikasi dan melaporkan insiden sekaligus memeriksa proses penyelarasan model selama tahap pelatihan.
Pendekatan ini penting karena perusahaan pengembang tidak lagi menjadi satu-satunya pihak yang menilai keamanan teknologinya sendiri. Pengawasan eksternal dapat memberikan lapisan pemeriksaan tambahan ketika kemampuan model terus bertambah.
Recursive Self-Improvement Jadi Salah Satu Kekhawatiran
Salah satu risiko yang mendapat perhatian besar dari Amodei berkaitan dengan recursive self-improvement atau RSI. Konsep tersebut menggambarkan kondisi ketika AI mulai berperan secara signifikan dalam menciptakan AI generasi berikutnya.
Saat ini, manusia masih memegang peran utama dalam penelitian, pelatihan, pengujian, dan peningkatan model. Namun, sistem yang semakin pintar mulai mampu membantu manusia menulis kode, melakukan penelitian, menguji perangkat lunak, hingga mengembangkan teknologi AI.
Kondisi tersebut dapat menciptakan siklus percepatan. AI yang lebih pintar membantu manusia membuat sistem berikutnya menjadi lebih pintar. Setelah itu, sistem baru kembali mempercepat pengembangan generasi selanjutnya.
Jika siklus itu bergerak semakin cepat, kemampuan manusia dalam melakukan pengawasan berpotensi kesulitan mengimbanginya. Karena itu, Amodei ingin industri memperkuat kontrol sebelum AI memperoleh tingkat kemandirian yang jauh lebih tinggi.
Ilustrasi chatbot AI Claude bikinan Anthropic.
Insiden Sistem AI Menjadi Sinyal Peringatan
Amodei turut menyoroti insiden yang melibatkan model internal OpenAI dan Hugging Face sebagai contoh risiko yang perlu mendapat perhatian serius. Dalam kasus tersebut, OpenAI baru mengetahui aktivitas modelnya setelah Hugging Face memberi tahu perusahaan beberapa minggu kemudian.
Peristiwa itu tidak menimbulkan korban atau kerugian ekonomi dalam skala besar. Meski demikian, Amodei menilai kasus tersebut menunjukkan masalah yang lebih mendasar: manusia dapat terlambat mengetahui tindakan sebuah sistem AI.
Risikonya tentu dapat meningkat apabila model dengan kemampuan jauh lebih tinggi menunjukkan perilaku serupa. Terlebih lagi, AI generasi mendatang berpotensi memiliki kemampuan lebih kuat dalam menggunakan komputer, menulis program, melakukan penelitian, dan menjalankan berbagai pekerjaan secara mandiri.
Amodei bahkan memperkirakan bahwa dalam enam hingga 12 bulan, sekelompok agen AI yang jauh lebih kuat berpotensi memiliki kemampuan untuk mengambil alih sistem dalam skala lebih besar. Dalam skenario buruk, ia memperingatkan potensi kerugian dapat mencapai ratusan miliar dollar AS.
Sam Altman dan Elon Musk Mendukung Peringatan Amodei
Menariknya, Dario Amodei minta pengembangan AI diperlambat dan pandangan tersebut mendapat respons positif dari sejumlah tokoh yang memimpin perusahaan pesaing Anthropic.
CEO OpenAI Sam Altman menyatakan kesepakatannya terhadap perlunya mengatur kecepatan perkembangan AI terdepan. Menurut Altman, isu tersebut juga menjadi salah satu pembahasan penting di internal OpenAI selama beberapa pekan terakhir.
OpenAI turut mendukung gagasan mengenai evaluator independen dengan akses yang memadai untuk melakukan pemeriksaan. Perusahaan pembuat ChatGPT itu juga menyatakan rencana untuk menerapkan pendekatan serupa.
Sementara itu, Elon Musk memberikan dukungan secara singkat terhadap pandangan Amodei. Pemimpin xAI tersebut menyatakan bahwa Amodei memiliki pandangan yang tepat mengenai persoalan itu.
Demis Hassabis dari Google DeepMind juga memandang gagasan tersebut sebagai langkah menuju arah yang tepat. Namun, ia menilai industri masih perlu membicarakan lebih jauh mengenai mekanisme penerapannya.
Ilmuwan OpenAI Juga Soroti Masalah Alignment
Peringatan Amodei muncul setelah Chief Scientist OpenAI Jakub Pachocki menyampaikan kekhawatiran mengenai arah perkembangan kecerdasan buatan.
Dalam tulisan berjudul An Alien Mind yang terbit pada 6 September, Pachocki menyoroti persoalan alignment dan monitoring. Menurutnya, laboratorium AI belum sepenuhnya menyelesaikan dua tantangan tersebut pada tingkat yang memungkinkan perusahaan terus meningkatkan kemampuan model dengan kecepatan maksimum dalam jangka panjang.
Karena itu, Pachocki mendorong koordinasi antarperusahaan ketika situasi membutuhkan perlambatan. Industri dapat kembali meningkatkan kecepatan setelah sistem keselamatan mampu mengejar perkembangan kemampuan model.
Selain koordinasi, ia mengusulkan penerapan safety bars. Konsep tersebut berfungsi sebagai batas keselamatan yang wajib perusahaan penuhi sebelum meningkatkan AI menuju tingkat kemampuan selanjutnya.
Kerangka seperti Preparedness Framework milik OpenAI dan Responsible Scaling Policy dari Anthropic dapat menjadi fondasi. Namun, Pachocki menginginkan standar yang lebih luas dan tidak hanya bergantung pada penilaian internal perusahaan.
Pengawasan AI Perlu Melibatkan Pihak Independen
Perusahaan teknologi memang memiliki pengetahuan paling mendalam mengenai model yang mereka kembangkan. Namun, kepentingan bisnis dan persaingan dapat menciptakan tekanan untuk terus mempercepat inovasi.
Karena alasan tersebut, Pachocki mengusulkan keterlibatan auditor independen, pemerintah, atau organisasi internasional dalam proses pengawasan. Mekanisme eksternal dapat membantu memastikan setiap perusahaan memenuhi batas keselamatan sebelum meluncurkan sistem yang jauh lebih canggih.
Pada akhirnya, perdebatan mengenai perlambatan AI bukan sekadar membahas seberapa cepat perusahaan mampu menciptakan model yang lebih pintar. Persoalan utamanya menyangkut kemampuan manusia mempertahankan kendali ketika teknologi berkembang semakin mandiri.
Amodei dan sejumlah tokoh industri tidak meminta dunia meninggalkan inovasi AI. Sebaliknya, mereka ingin kemajuan kemampuan berjalan berdampingan dengan peningkatan keselamatan, penyelarasan, serta pengawasan.
Dengan pendekatan tersebut, manusia tetap dapat memanfaatkan potensi kecerdasan buatan tanpa membiarkan perkembangan teknologinya melaju jauh meninggalkan kemampuan untuk mengendalikannya.
