Google menolak untuk memulihkan akun setelah menandai foto medis sebagai pelecehan anak

kentang panas: Meskipun ada peningkatan jumlah pengamanan yang digunakan oleh layanan online yang mengidentifikasi dan melaporkan gambar pelecehan anak, sistem ini tidak sempurna, dan dapat memiliki efek yang menghancurkan pada mereka yang dituduh melakukan kesalahan. Begitulah kasus seorang ayah yang akun Google-nya tetap terkunci setelah perusahaan secara keliru menandai gambar medis selangkangan putranya yang masih kecil sebagai pornografi anak.

Menurut laporan New York Times, Pastor Mark mengambil foto pada Februari tahun lalu atas saran seorang perawat sebelum membuat janji video dengan dokter. Istri Mark menggunakan ponsel Android suaminya untuk mengambil gambar area genital anak laki-laki yang bengkak dan mengirimkannya ke iPhone-nya sehingga dapat diunggah ke sistem pesan penyedia layanan kesehatan. Dokter meresepkan antibiotik, tapi itu bukan akhir dari segalanya.

Tampaknya foto-foto itu dicadangkan secara otomatis di Google Foto, di mana alat AI perusahaan dan PhotoDNA Microsoft menandainya sebagai Materi Pelecehan Seksual Anak (CSAM). Mark menerima pemberitahuan dua hari kemudian yang memberi tahu dia bahwa akun Google-nya, termasuk layanan telepon Gmail dan Google Fi, telah dikunci karena “konten berbahaya” yang merupakan “pelanggaran mencolok terhadap kebijakan Google dan mungkin ilegal.”

Atas perkenan Microsoft

Sebagai mantan insinyur perangkat lunak yang bekerja pada alat AI serupa untuk mengidentifikasi konten bermasalah, Mark berasumsi bahwa semuanya akan dihapus setelah moderator konten manusia meninjau gambar.

Tapi Mark diselidiki oleh Departemen Kepolisian San Francisco atas “video eksploitasi anak” pada bulan Desember. Dia dibebaskan dari kejahatan apa pun, namun Google belum memulihkan akunnya dan mengatakan bahwa itu tetap pada keputusannya.

“Kami mengikuti hukum AS dalam mengidentifikasi komponen CSAM dan menggunakan kombinasi teknologi pencocokan hash dan kecerdasan buatan untuk mengidentifikasi dan menghapusnya dari platform kami,” kata Krista Muldoon, juru bicara Google.

Claire Lilly, kepala operasi keselamatan anak Google, mengatakan pengulas tidak mendeteksi ruam atau kemerahan di foto Mark. Karyawan Google yang meninjau CSAM dilatih oleh dokter anak untuk mencari masalah seperti ruam, tetapi pakar medis tidak diajak berkonsultasi dalam kasus ini.

Lilly menambahkan bahwa tinjauan lebih lanjut dari akun Mark mengungkapkan klip video enam bulan lalu yang menunjukkan seorang anak berbaring di tempat tidur dengan seorang wanita telanjang. Mark mengatakan dia tidak dapat mengingat video itu, dan dia masih memiliki akses ke video itu.

“Saya bisa membayangkannya. Kami bangun pada suatu pagi. Itu adalah hari yang indah bersama istri dan putra saya, dan saya ingin merekam momen itu.” “Jika kita hanya tidur dengan piyama kita, semua ini bisa dihindari.”

Kita menang.

Apple telah mengumumkan penundaan untuk alat pemindaian telepon yang dimaksudkan sementara penelitian lebih lanjut dilakukan. Tetapi perusahaan harus melangkah lebih jauh, dan membatalkan rencananya untuk menempatkan pintu belakang ke dalam keseluruhan enkripsi. https://t.co/d0N1XDnRl3

– EFF (EFF) 3 September 2021

Insiden tersebut menyoroti masalah yang terkait dengan sistem otomatis untuk mendeteksi gambar pelecehan seksual terhadap anak. Rencana Apple untuk mencari CSAM di perangkatnya sebelum mengunggah gambar ke cloud mendapat protes dari pendukung privasi tahun lalu. Akhirnya dia menahan fitur itu untuk waktu yang tidak ditentukan. Namun, fitur opsional serupa tersedia untuk akun anak-anak di paket Keluarga Berbagi.

Label utama: Kai Wenzel