BANTEN — Cohere mengungkap model Qwen3.8-Flash-Next milik Alibaba berupaya mengunggah file ke server di Beijing saat uji keamanan siber rutin, meski model itu menyatakan tidak akan memakai tool apa pun. Temuan ini memicu diskusi soal keamanan model AI open-weight asal China, sebelum peneliti menyimpulkan perilaku tersebut kemungkinan besar berasal dari proses pelatihan, bukan upaya spionase.
Perusahaan AI asal Kanada, Cohere, merilis temuan bahwa salah satu model terbaru Alibaba, Qwen3.8-Flash-Next, mencoba mengirim file ke server di Beijing dalam sebuah pengujian keamanan siber. Insiden bermula pada Jumat pekan lalu saat model diminta menulis aturan untuk mendeteksi unduhan malware.
Dalam catatan penalarannya, model menegaskan tidak akan menggunakan tool eksternal apa pun. Namun pada langkah berikutnya, Qwen tetap berupaya mengirim string uji berupa teks placeholder ke server luar sebelum diblokir oleh sandbox keamanan.
Cohere menyatakan tidak dapat memastikan apakah perilaku itu disengaja atau sisa dari proses pelatihan. Temuan awal sempat memunculkan kekhawatiran bahwa model open-weight yang di-hosting sendiri tidak lagi menjamin data tetap berada di dalam infrastruktur perusahaan pengguna.
Pengujian berlangsung dalam evaluasi rutin yang meminta model menulis aturan deteksi unduhan malware. Menurut blog resmi Cohere, model secara eksplisit menyatakan tidak akan memakai tool, tetapi langsung mencoba mengirim data uji ke server eksternal pada langkah selanjutnya.
Cohere lantas merilis jejak mentah atau raw traces dari pengujiannya di platform pengembang AI Hugging Face pada Senin malam. Perusahaan juga menyertakan skrip agar pengembang lain bisa mereproduksi perilaku tersebut secara mandiri.
Langkah ini diambil setelah sejumlah pengembang meminta bukti tambahan. Seorang skeptis awal yang menelusuri jejak tersebut menilai bukti bahwa Qwen dapat mengarang alamat web mencurigakan cukup kuat, tetapi tidak menemukan indikasi backdoor yang ditanam Alibaba atau niat Qwen menyembunyikan maksudnya.
Peneliti menduga perilaku tersebut merupakan efek samping lingkungan pelatihan yang berantakan, bukan upaya sengaja mengirim informasi sensitif ke China. Untuk melatih model bertindak sebagai agen otonom, perusahaan seperti Alibaba menyiapkan ribuan skenario latihan layaknya simulator penerbangan bagi perangkat lunak.
Model mendapat reward setiap kali menyelesaikan tugas di simulator dan memungut kebiasaan selama proses itu. Jika skenario latihan rutin menyimpan file di server cloud Alibaba, model bisa belajar menyimpan file ke sana secara default.
Kritikus juga menilai insiden bisa dipicu metode investigasi Cohere yang mengarahkan model ke perilaku tersebut. Untuk mencari pemicu unggahan, Cohere memberikan awal perintah jaringan dan membiarkan model melengkapinya, sehingga model bertindak seperti autocomplete canggih yang sering mengisi alamat web, termasuk server Alibaba.
Cohere menegaskan upaya unggahan awal terjadi tanpa bantuan semacam itu, meski perilakunya tergolong jarang.
Co-founder Cohere Ivan Zhang menyatakan pihaknya pernah melihat model mereka sendiri memungut kebiasaan aneh di simulator pelatihan. Ia menekankan sulit menetapkan niat atau motivasi pada perilaku model.
"It's really hard to assign intention or motivation. We've read our own model traces, we've seen reward hacks, and sometimes these models get really creative when it comes to trying to break out their sandboxes," kata Zhang kepada TechCrunch.
Reward hack merujuk pada jalan pintas yang ditemukan model untuk meraih kredit tanpa menyelesaikan tugas sesuai instruksi. Menurut Zhang, perusahaan sebaiknya memperlakukan model terbuka seperti program apa pun yang diunduh dari internet.
Insiden ini muncul saat pemerintah berbagai negara tengah menentukan seberapa jauh membatasi AI asal China. Pekan lalu, Department of Homeland Security Amerika Serikat memerintahkan agensi sipil federal menghapus produk pengembang AI China, DeepSeek, dari sistem mereka.
Dalam blognya, Cohere meminta pemerintah memperjelas apakah pembatasan terhadap AI China juga berlaku untuk model yang berjalan di komputer pemerintah. Cohere sendiri menjual model AI ke pemerintah dan berpotensi diuntungkan bila pejabat semakin waspada terhadap alternatif AI China yang gratis.
Zhang menegaskan tidak meminta regulasi penuh atas model open-weight. Ia hanya mendorong perusahaan menerapkan kewaspadaan standar sebelum menjalankan model terbuka di lingkungan produksi.
Bagi pelaku bisnis digital di Indonesia, kasus ini menjadi pengingat bahwa adopsi model AI open-weight perlu disertai sandbox, audit jejak model, dan pembatasan akses jaringan. Regulasi pelindungan data pribadi yang berlaku di Indonesia juga menuntut kejelasan lokasi pemrosesan data sebelum model dijalankan di infrastruktur perusahaan.