Grok Menelanjangi Orang-orang di X dan KBGO yang “Disengaja” Platform?
Malam 31 Desember kemarin seharusnya jadi momen menyenangkan bagi Khansa (24). Namun, suasana di kamarnya mendadak mencekam saat salah satu grup WhatsApp-nya riuh dengan aksi lapor massal (report). Lebih dari sepuluh temannya baru saja menjadi korban manipulasi foto oleh akun-akun anonim di platform X.
Saat tengah sibuk membantu teman-temannya, sebuah notifikasi mendadak muncul: foto Khansa juga dimanipulasi. Ia jadi korban selanjutnya.
Di kolom komentar, sebuah akun anonim mengirimkan perintah (prompt) kepada Grok—chatbot AI milik xAI yang dikembangkan Elon Musk—untuk mengganti pakaian Khansa jadi mikro bikini. Dalam sekejap, swafoto Khansa berpakaian lengkap lenyap, berubah jadi bikini.
“Di situ bener-bener langsung shock, hatiku rasanya kayak jatuh,” ungkapnya.
Melihat dirinya jadi korban, Khansa pun segera meminta tolong teman-temannya untuk melakukan report massal, memblokir akun pelaku, hingga menonaktifkan fitur Grok di profil pribadinya. Namun, kekerasan ini seolah tidak terbendung.
“Sudah kita coba untuk blok Grok, report unwanted harassment, nonaktifin fitur Grok, semuanya enggak mempan. Masih tetep kena,” jelasnya dengan nada frustasi.
Insiden ini meninggalkan rasa takut yang mendalam bagi Khansa. Ia jadi enggan mengunggah fotonya lagi di X karena khawatir akan mengalami hal yang sama.
Hal serupa dialami R, laki-laki, 28. Fotonya tiga kali dimanipulasi. Awalnya dibikin shirtless, sampai ada yang “bisa edit sampai full body juga, buat di-undressed,” kata R. Ia langsung speak up di aku media sosialnya, menyebut manipulasi itu sebagai pelecehan. R juga sempat melihat beberapa konten yang dimanipulasi lebih parah, sehingga ia makin takut foto-fotonya disalahgunakan dan diseksualisasi.
“Sebenarnya ada perasaan enggak nyaman juga saat saya mengingat dan mengulang cerita seperti ini,” tambah R. Buatnya, Grok harusnya punya regulasi lebih tegas dalam menerima prompt.
Baca Juga: 5 Hal yang Perlu Diketahui Soal Teknologi Deepfake
KBGO yang Dijadikan Tren
Apa yang menimpa Khansa dan R adalah tren yang sedang mewabah di X. Belakangan, ruang digital ini dipenuhi oleh ribuan prompt yang ditujukan kepada Grok untuk menelanjangi orang-orang, korban terbesarnya perempuan.
Tren ini menargetkan perempuan dari latar belakang beragam. Mulai dari pesohor dunia seperti Taylor Swift dan musisi asal Rio de Janeiro, Julie Yukari, hingga perempuan secara acak yang pelaku temui di lini masa. Dengan perintah sederhana seperti “put her in a bikini”, sistem AI Grok mengubah citra perempuan berpakaian lengkap, bahkan yang mengenakan jilbab, menjadi setengah telanjang dalam hitungan detik.
Skala eksploitasi ini tercatat dalam investigasi Reuters. Dalam tinjauan terhadap permintaan publik yang dikirim ke Grok selama sepuluh menit pada Jumat (2/1) siang waktu AS, ditemukan 102 upaya pengguna untuk memanipulasi foto orang lain secara digital agar tampak mengenakan bikini. Mayoritas sasaran dari perintah tersebut adalah perempuan muda bahkan anak-anak.
Saat pengguna meminta hasil manipulasi AI, mereka biasanya menginginkan subjek ditampilkan dalam pakaian seminim mungkin dan Grok sepenuhnya mematuhi permintaan tersebut. Sedikitnya 21 kasus dalam pantauan Reuters menghasilkan gambar perempuan dengan bikini yang sangat terbuka atau transparan, bahkan dalam satu kasus, menggambarkan subjek dalam kondisi tubuh dilumuri minyak. Lebih lanjut, dalam tujuh kasus lainnya Grok juga ditemukan mematuhi sebagian perintah untuk menelanjangi subjek hingga menyisakan pakaian dalam saja.
Sayang, alih-alih melakukan moderasi ketat, pemilik platform X, Elon Musk, justru terlihat menikmati tren ini. Pada 1 Januari, Musk mengunggah emoji tertawa-menangis dalam merespons hasil manipulasi AI tokoh-tokoh termasuk dirinya sendiri yang menggunakan bikini. Bahkan, saat seorang pengguna mengeluh lini masanya kini menyerupai bar yang penuh perempuan berbikini, Musk kembali hanya merespons dengan emoji serupa.
Respons permisif ini memicu kritik tajam dari para pakar teknologi feminis. Alia Yofira Karunian, Peneliti Gender dan Kebijakan Teknologi dari PurpleCode Collective salah satunya menegaskan bahwa tren yang difasilitasi oleh Grok tak lain adalah bentuk nyata dari Kekerasan Berbasis Gender Online (KBGO). Tren ini memenuhi karakteristik khusus KBGO, yaitu adanya objektifikasi terhadap gender tertentu, ketimpangan relasi kuasa antara pelaku dan korban, serta penggunaan teknologi sebagai instrumen utamanya.
“Dalam jenisnya, ia termasuk dalam manipulasi foto atau video dengan AI sebagai salah satu dari teknik manipulasinya,” jelas Alia kepada Magdalene (5/1).
Alia melihat praktik AI undressing bukan sekadar penyalahgunaan teknologi, melainkan kekerasan berdasarkan keinginan laki-laki untuk menegaskan kekuasaan terhadap perempuan. Lewat manipulasi itu, perempuan ditempatkan sebagai objek—tanpa kendali, tanpa suara, tanpa agensi.
Dalam analisisnya, Alia melihat fenomena ini mencerminkan piramida rape culture (budaya perkosaan) yang sudah berada di level tengah menuju atas. Menurut Alia, manipulasi foto ini mudah terjadi karena ekosistem X telah lama menoleransi perilaku seksis dan lelucon perkosaan (rape jokes) di level bawah piramida.
“Ketika perilaku seksis di bawah itu ditoleransi, hal tersebut memungkinkan munculnya tindakan yang lebih ekstrem. X justru menjadi wadah yang membiarkan budaya ini tumbuh subur,” pungkas Alia.
Baca Juga: Ancaman Deepfake: KBGO dan Gerak Perempuan yang Makin Rentan
Aksesibilitas Tanpa Etika: Komodifikasi Nudifiers Digital
Selama bertahun-tahun, AI generatif yang mampu menelanjangi perempuan secara digital atau sering disebut sebagai “nudifiers” telah eksis di ruang-ruang gelap internet. Sebelumnya, teknologi ini terbatas pada situs-situs spesifik atau kanal Telegram tertutup yang memerlukan upaya teknis tertentu atau pembayaran untuk mengaksesnya.
Namun, inovasi yang diperkenalkan X di bawah kepemimpinan Elon Musk telah meruntuhkan hambatan akses tersebut. Para ahli yang memantau perkembangan kebijakan AI di platform X mengungkapkan kepada Reuters bahwa perusahaan tersebut secara sadar mengabaikan peringatan dari organisasi masyarakat sipil dan kelompok perlindungan anak.
Sejak tahun lalu, sebuah surat peringatan telah dikirimkan yang menyatakan bahwa xAI (perusahaan AI milik Musk) hanya berjarak satu langkah kecil menjadi sarang deepfake non-konsensual. Tyler Johnston, Direktur Eksekutif The Midas Project, salah satu organisasi pengawas AI yang menandatangani surat tersebut menyampaikan kekecewaannya.
“Pada Agustus, kami memperingatkan bahwa kemampuan pembuatan gambar xAI pada dasarnya adalah alat penelanjangan digital yang menunggu untuk dipersenjatai. Itulah yang sebenarnya terjadi sekarang,” ujarnya.
Kegagalan X dalam menyaring materi pelatihan AI serta keengganan mereka untuk memblokir pengguna yang meminta konten non-konsensual dianggap sebagai kelalaian yang disengaja. Dani Pinter, Chief Legal Officer National Center on Sexual Exploitation, menyebut situasi ini sebagai kekejaman yang sepenuhnya dapat diprediksi dan dihindari. Namun, alih-alih bertindak sebagai penjaga gerak inovasi yang bertanggung jawab, X justru membuka pintu bagi eksploitasi massal.
Hal ini diungkapkan oleh Karlina Octaviany, antropolog digital dan penasihat AI di Badan Kerja Sama Internasional Jerman (GIZ) pada Magdalene, Senin (5/1) lalu. Karlina mengingatkan bahwa ketidakpedulian perusahaan ini rentan menciptakan celah bagi jenis kriminalitas baru yang tak terbayangkan sebelumnya.
Masalah utamanya terletak pada sifat data manipulasi Grok yang terbuka secara publik. Pengguna tidak perlu berlangganan akun premium untuk melihat hasil manipulasi tersebut, semua data digital ini bisa diakses dengan mudah di kolom balasan.
“Kondisi ini memungkinkan siapa saja untuk mengumpulkan basis data foto-foto hasil manipulasi untuk kemudian diolah kembali menggunakan AI lain dalam skema kejahatan yang lebih kompleks dan terorganisir,” jelasnya.
Gambar-gambar hasil manipulasi Grok ini misalnya sebut Karlina bisa menjadi modal utama bagi sindikat kejahatan untuk menjalankan romance scam, perdagangan manusia (trafficking), hingga kejahatan transnasional lainnya. Karlina pun menekankan bahwa begitu data ini tersebar dan digunakan oleh jaringan kriminal, proses pelacakan (tracing) akan menjadi sangat sulit untuk dilakukan.
Baca Juga: Magdalene Primer: UU ITE Kriminalisasi Perempuan Korban Pelecehan Seksual
Prioritas Laba di Atas Keselamatan
Ketidakseriusan X dalam mencegah konten eksplisit buatan Grok ini berakar pada proses pengembangan teknologi yang tidak mengedepankan etika dan transparansi. Menurut Alia, banyak perusahaan teknologi berbasis di AS memprioritaskan laba dan kecepatan dalam “balapan AI” (AI Race) tanpa mekanisme mitigasi risiko yang mumpuni.
Mereka memegang teguh slogan klasik tech bros: “move fast and break things”. Demi mengejar ambisi menjadi AI yang paling serba bisa dengan kumpulan data (dataset) terbesar, aspek keamanan (safety) seringkali dianggap sebagai penghambat inovasi.
“Justifikasi ‘kebebasan berbicara’(free speech) pun kerap digunakan sebagai tameng untuk menghindari tanggung jawab etis,” sebut Alia.
Karlina menambahkan bahwa lintasan pengembangan AI di AS juga cenderung menghindari keterikatan dengan regulasi. Perusahaan-perusahaan ini rela mengesampingkan faktor keselamatan, bahkan jika itu berarti melanggar Hak Asasi Manusia (HAM), demi mempertahankan posisi ekonomi mereka.
“Mereka tuh selalu argumennya kayak regulation over innovations. Regulasi AI seakan-akan membuat inovasi susah berjalan. Karena tidak bisa disangkal, selain minyak, AI ini emang bisnis yang jadi tulang punggung ekonomi Amerika sekarang,” jelasnya.
Ketika laba menjadi satu-satunya kompas, paradigma pengembangan AI generatif bergeser sepenuhnya pada kapital. Akibatnya, intervensi manusia dalam proses pengawasan menjadi sangat minim. Orang-orang yang bertugas memastikan teknologi ini aman bagi semua kelompok justru disingkirkan dari proses inovasi.
“Jadi melepasliarkan saja inovasi ini dan belum dicek juga dalam pengkodingan secara gender sensitivity sudah baik apa belum,” tambah Karlina.
Mendesak Akuntabilitas di Tengah Kecepatan Inovasi
Ironi dari pengembangan Grok kian terlihat jelas saat melihat data internal perusahaan pasca diambil alih Elon Musk. Berdasarkan laporan dari Komisi Keamanan Daring Australia (eSafety Commission), X telah memangkas staf global trust and safety sebanyak 30 persen secara keseluruhan sejak 2022.
Angka yang lebih tinggi terlihat pada posisi teknis dengan jumlah insinyur keamanan (safety engineers) anjlok sebesar 80 persen, dari 279 orang secara global menjadi hanya 55 orang. Pemangkasan ini juga berdampak pada moderator konten purnawaktu yang berkurang sebanyak 52 persen.
Di tengah pelemahan sistem pertahanan internal ini, tidak mengherankan kemudian X secara resmi memperbolehkan peredaran konten dewasa konsensual di platformnya dengan dalih ekspresi artistik. Namun, Alia mempertanyakan komitmen tersebut. Tanpa tim safety yang memadai, X tidak akan mampu membedakan mana konten yang benar-benar konsensual dan mana yang merupakan produk KBGO.
“Mereka tidak bisa memastikan ini, justru yang mereka lakukan malah menghilangkan tim trust and safety-nya. Mereka mundur ke belakang terhadap komitmen mereka,” tutur Alia.
Kebijakan yang memperbolehkan konten dewasa tanpa disertai pengawasan ketat hanyalah bentuk legitimasi atas eksploitasi yang dilakukan melalui alat AI mereka sendiri. Maka dari itu pengabaian yang dilakukan oleh perusahaan teknologi seperti X bukan sekadar kegagalan sistem, melainkan keputusan sadar untuk menempatkan keuntungan finansial dan ambisi teknologis di atas martabat manusia.
Sudah saatnya kepemimpinan global bertindak tegas dengan menciptakan kekuatan regulasi yang setara untuk membendung keserampangan inovasi AI. Hal ini, kata Karlina, bisa dimulai dari aliansi negara-negara seperti Uni Eropa atau Inggris, untuk mewajibkan setiap perusahaan teknologi memberlakukan sebuah peraturan yang tegas kepada perusahaan-perusahaan teknologi. Perusahaan teknologi misalnya bisa diwajibkan untuk memberlakukan safeguards yang bisa digunakan untuk mencegah hal seperti ini.
“Misalnya untuk kasus Grok ini, dari sistem Grok keywords yang berpotensi digunakan untuk generate foto nonkonsensual bisa diblokir jadi saat pengguna menggunakan keywords itu bakal otomatis, tidak bisa untuk diproses,” jelas Alia.
Implementasi fitur keamanan digital seperti ini sebut Alia memang menuntut investasi besar dari perusahaan teknologi, terutama untuk merekrut tim ahli yang mampu mengintegrasikan sistem keselamatan ke dalam AI. Namun, hal ini sudah sepatutnya dijalankan oleh perusahaan-perusahaan teknologi.
Perusahan atas tren ini juga disampaikan pemerintah beberapa negara, termasuk Indonesia. Direktur Jenderal Pengawasan Ruang Digital Kemkomdigi Alexander Sabar menyampaikan bahwa hasil penelusuran awal, menunjukkan Grok AI belum memiliki pengaturan yang eksplisit dan memadai untuk mencegah produksi serta distribusi konten pornografi berbasis foto.
“Setiap PSE wajib memastikan bahwa teknologi yang mereka sediakan tidak menjadi sarana pelanggaran privasi, eksploitasi seksual, maupun perusakan martabat seseorang,” kata Alexander, seperti dikutip dari Antara.
X kemudian berjanji untuk mengambil tindakan terhadap konten ilegal di situsnya. Ini termasuk menghapus konten tersebut, menangguhkan akun secara permanen, dan bekerja sama dengan pemerintah.
“Siapa pun yang menggunakan Grok untuk membuat konten ilegal akan menanggung konsekuensi yang sama seperti jika mereka mengunggah konten ilegal,” tulis Musk dalam balasan kepada pengguna X pada hari Sabtu (3/1).
