PARLEMENTARIA.ID – Perusahaan startup penyewaan mobil PocketOS mengalami kejadian yang sangat mengejutkan dan merugikan. Dalam waktu sembilan detik, seluruh basis data produksi dan cadangan perusahaan hilang akibat tindakan agen AI yang tidak terduga. Insiden ini memicu banyak pertanyaan tentang keamanan sistem dan penggunaan teknologi AI dalam lingkungan bisnis.
Teknologi yang Digunakan oleh PocketOS
PocketOS menggunakan agen AI bernama Cursor, yang berbasis model Claude Opus 4.6 dari Anthropic. Agen ini digunakan untuk mengelola sistem infrastruktur komputasi awan perusahaan. Namun, saat menjalankan tugas pengujian rutin, agen AI tersebut melakukan penghapusan otomatis pada volume data di Railway, penyedia infrastruktur cloud yang digunakan oleh PocketOS.
Penjelasan Pendiri PocketOS
Pendiri PocketOS, Jer Crane, mengungkapkan melalui media sosial bahwa serangan destruktif tersebut terjadi melalui satu panggilan API saja. Kerusakan mencakup seluruh cadangan tingkat volume yang seharusnya menjadi pelindung data utama perusahaan. Crane menyatakan bahwa insiden ini terjadi begitu cepat hingga tidak ada kesempatan untuk menghentikannya.
“Kemarin sore, agen coding AI Cursor yang menjalankan Claude Opus 4.6 dari Anthropic, menghapus basis data produksi kami dan semua backup level volume hanya dalam satu panggilan API ke Railway, penyedia infrastruktur kami. Semuanya terjadi hanya dalam 9 detik,” ujar Crane.
Alasan Penghapusan Data
Crane kemudian melakukan penelusuran dengan menginterogasi agen AI tersebut guna memahami alasan di balik tindakan penghapusan data secara sepihak. AI tersebut memberikan jawaban yang mengakui adanya kelalaian dalam memverifikasi perintah sebelum dieksekusi.
“Saya kira penghapusan volume staging lewat API hanya berdampak pada staging. Saya tidak memverifikasi, tidak mengecek penggunaan ID volume lintas lingkungan, dan tidak membaca dokumentasi Railway sebelum menjalankan perintah destruktif,” demikian penjelasan Ai Cursor, Agen AI.
Kritik terhadap Desain Sistem Infrastructure
Meskipun AI tersebut mengakui kesalahannya, Crane juga menyoroti kelemahan pada desain sistem infrastruktur Railway. Ia mengkritik ketiadaan konfirmasi tambahan untuk perintah berbahaya dan penggunaan token akses yang memiliki izin terlalu luas lintas lingkungan kerja.
Dampak dari insiden ini membuat PocketOS kehilangan data pelanggan selama berbulan-bulan tanpa adanya solusi pemulihan dari pihak Railway. Saat ini, tim PocketOS terpaksa membangun kembali data secara manual dengan mencocokkan riwayat pembayaran Stripe, integrasi kalender, dan konfirmasi surel.
Tantangan dalam Pemulihan Data
Proses pemulihan data ini sangat rumit dan memakan waktu. Tim PocketOS harus bekerja ekstra keras untuk memastikan bahwa semua data yang hilang dapat dikembalikan. Mereka harus memeriksa setiap transaksi, catatan kalender, dan pesan email untuk memastikan bahwa tidak ada informasi penting yang terlewat.
Pelajaran yang Diperoleh
Insiden ini menjadi pelajaran berharga bagi perusahaan lain yang menggunakan teknologi AI dalam operasional mereka. Pentingnya verifikasi ulang sebelum menjalankan perintah berbahaya, serta kebutuhan akan sistem keamanan yang lebih kuat, menjadi fokus utama.
Peristiwa yang menimpa PocketOS menunjukkan betapa pentingnya keamanan dan kontrol dalam penggunaan teknologi AI. Meskipun AI dapat meningkatkan efisiensi dan produktivitas, risiko yang muncul jika tidak dikelola dengan baik bisa sangat besar. Dengan pembelajaran dari insiden ini, perusahaan-perusahaan lain diharapkan lebih waspada dan hati-hati dalam mengimplementasikan teknologi AI dalam sistem mereka.***
