Anthropic memberi amaran: AI mungkin akan segera memasuki fasa percepatan diri—dan apabila manusia sedar, sudah terlambat

Anthropic telah mengeluarkan amaran dalam dokumen prospektus IPO terbarunya pada 2 November: kecerdasan buatan (AI) berpotensi melintasi titik kritikal “peningkatan diri secara rekursif” (RSI) dalam masa yang sangat singkat, seterusnya mempercepatkan proses penyelidikan dan pembangunannya sendiri secara ketara. Dalam sejarah, telah berulang kali berlaku situasi di mana kemajuan penyelidikan secara senyap meningkat kelajuannya—sehingga kelajuan itu hanya disedari apabila ia sudah menjadi realiti yang nyata. Kini, model Claude benar-benar telah terlibat dalam komponen utama proses penyelidikan dan pembangunan, seperti penulisan kod, pelaksanaan eksperimen, serta pemprosesan data latihan—secara langsung menyokong pembangunan model generasi seterusnya yang lebih kuat; model-model baharu ini pula akan terus mendorong peningkatan kecekapan penyelidikan di fasa-fasa berikutnya, mencipta satu lingkaran positif yang terus mempercepat.

Berdasarkan dasar keselamatan semasa Anthropic, istilah “melintasi ambang kritikal” secara khusus merujuk kepada salah satu daripada dua keadaan berikut:
1. AI mampu menjalankan keseluruhan kerja penyelidikan AI secara autonomi dengan kos yang hampir setara dengan pasukan manusia;
2. Kadar kemajuan teknologi AI meningkat sekurang-kurangnya dua kali ganda—maksudnya, pencapaian yang biasanya memerlukan dua tahun kini dapat dicapai dalam tempoh satu tahun sahaja.

Seiring dengan peningkatan tahap keterlibatan AI dalam proses penyelidikan dan pembangunannya sendiri, kelajuan evolusi kapabilitinya mungkin telah mula melampaui ritme penilaian keselamatan, penyelidikan penyelarasan (alignment), dan perkembangan mekanisme perlindungan. Anthropic secara tegas menegaskan bahawa sehingga kini, tiada model sedia ada yang telah dinilai mencapai ambang kritikal tersebut; amaran kali ini terutamanya berdasarkan simulasi teknikal dalaman serta anggaran proaktif terhadap kapabiliti model-model masa depan. Untuk menghadapi risiko potensi ini, syarikat sedang menilai secara berhati-hati cadangan pembaharuan dasar keselamatannya, dengan matlamat utama memastikan pengawasan dan kawalan manusia tetap berkekalan dalam semua komponen penting proses penyelidikan dan pembangunan.