Bagaimana Teknologi Pengenalan Wajah Cacat dan Bias Secara Rasial
Algoritme pengenalan wajah biasanya diuji menggunakan wajah putih, yang mengakibatkan teknologinya tidak dapat membedakan antara individu yang memiliki ras. (Shutterstock)

Polisi Detroit secara tidak sah menangkap Robert Julian-Borchak Williams pada Januari 2020 untuk insiden pengutilan yang terjadi dua tahun sebelumnya. Meskipun Williams tidak ada hubungannya dengan insiden tersebut, teknologi pengenalan wajah yang digunakan oleh Kepolisian Negara Bagian Michigan "mencocokkan" wajahnya dengan gambar kasar yang diperoleh dari video pengawasan di dalam toko yang menunjukkan pria Afrika-Amerika lainnya mengambil jam tangan senilai US $ 3,800.

Dua minggu kemudian, kasus tersebut dibatalkan atas permintaan jaksa. Namun, dengan mengandalkan pertandingan yang salah, polisi telah memborgol dan menangkap Williams di depan keluarganya, memaksanya untuk memberikan suntikan mug, sidik jari, dan sampel DNA-nya, menginterogasi dan memenjarakannya semalaman.

Para ahli berpendapat bahwa Williams tidak sendirian, dan bahwa orang lain telah mengalami ketidakadilan serupa. Kontroversi yang sedang berlangsung tentang penggunaan Clearview AI oleh polisi tentu saja menggarisbawahi risiko privasi yang ditimbulkan oleh teknologi pengenalan wajah. Tapi penting untuk disadari tidak semua dari kita menanggung risiko tersebut secara setara.

Melatih algoritme rasis

Teknologi pengenalan wajah dilatih dan disetel ke wajah Kaukasia secara sistematis salah mengidentifikasi dan memberi label yang salah pada individu yang dirasialisasi: banyak penelitian melaporkan bahwa teknologi pengenalan wajah adalah "cacat dan bias, dengan tingkat kesalahan yang jauh lebih tinggi bila digunakan terhadap orang kulit berwarna. "


grafis berlangganan batin


Ini merongrong individualitas dan kemanusiaan orang-orang yang dirasialisasi yang lebih mungkin disalahartikan sebagai kriminal. Teknologi - dan kesalahan identifikasi yang dibuatnya - mencerminkan dan selanjutnya memperkuat perpecahan sosial yang telah berlangsung lama yang sangat terkait dengan rasisme, seksisme, homofobia, kolonialisme pemukim, dan penindasan lainnya yang berpotongan.

{vembed Y=vSuDE6wvQlU}
Investigasi France24 terhadap bias rasial dalam teknologi pengenalan wajah.

Bagaimana teknologi mengkategorikan pengguna

Dalam bukunya yang mengubah permainan tahun 1993, Jenis Panoptik, sarjana Oscar Gandy memperingatkan bahwa "teknologi kompleks [yang] melibatkan pengumpulan, pemrosesan, dan berbagi informasi tentang individu dan kelompok yang dihasilkan melalui kehidupan sehari-hari mereka ... digunakan untuk mengoordinasikan dan mengontrol akses mereka ke barang dan jasa yang menentukan kehidupan di ekonomi kapitalis modern. " Penegak hukum menggunakannya untuk mengambil tersangka dari masyarakat umum, dan organisasi swasta menggunakannya untuk menentukan apakah kita memiliki akses ke hal-hal seperti perbankan dan pekerjaan.

Gandy secara nubuat memperingatkan bahwa, jika dibiarkan, bentuk "triase cybernetic" ini akan secara eksponensial merugikan anggota komunitas yang mencari kesetaraan - misalnya, kelompok yang dirasialisasi atau dirugikan secara sosial-ekonomi - baik dalam hal apa yang akan dialokasikan kepada mereka dan bagaimana mereka bisa memahami diri mereka sendiri.

Sekitar 25 tahun kemudian, kita sekarang hidup dengan jenis panoptik pada steroid. Dan banyak contoh efek negatifnya pada komunitas yang mencari kesetaraan, seperti identifikasi salah Williams.

Bias yang sudah ada sebelumnya

Penyortiran menggunakan algoritme ini menyusup ke aspek paling mendasar dari kehidupan sehari-hari, yang menyebabkan kekerasan langsung dan struktural setelahnya.

Kekerasan langsung yang dialami oleh Williams segera terlihat dalam peristiwa seputar penangkapan dan penahanannya, dan kerugian individu yang dialaminya terlihat jelas dan dapat dilacak ke tindakan polisi yang memilih untuk mengandalkan "pertandingan" teknologi untuk melakukan penangkapan. Lebih berbahaya adalah kekerasan struktural dilakukan melalui teknologi pengenalan wajah dan teknologi digital lainnya yang menilai, mencocokkan, mengelompokkan, dan mengurutkan individu dengan cara yang memperbesar pola diskriminasi yang sudah ada sebelumnya.

Kerusakan kekerasan struktural tidak begitu jelas dan tidak langsung, dan menyebabkan cedera pada kelompok-kelompok yang mencari kesetaraan melalui penolakan sistematis terhadap kekuasaan, sumber daya, dan kesempatan. Secara bersamaan, ini meningkatkan risiko langsung dan kerugian bagi anggota individu dari kelompok tersebut.

Penggunaan kepolisian prediktif pemrosesan algoritmik data historis untuk memprediksi kapan dan di mana kejahatan baru kemungkinan besar akan terjadi, memberikan sumber daya polisi sesuai dan menanamkan pengawasan polisi yang ditingkatkan ke dalam komunitas, biasanya di lingkungan berpenghasilan rendah dan rasial. Hal ini meningkatkan kemungkinan bahwa setiap aktivitas kriminal - termasuk aktivitas kriminal yang tidak terlalu serius yang mungkin tidak akan menimbulkan respons polisi - akan terdeteksi dan dihukum, yang pada akhirnya membatasi kesempatan hidup orang-orang yang tinggal di lingkungan tersebut.

Dan bukti ketimpangan di sektor lain terus meningkat. Ratusan siswa di Inggris Raya memprotes pada 16 Agustus terhadap hasil yang menghancurkan dari tidak berkualitas, algoritme cacat yang digunakan pemerintah Inggris untuk menentukan siswa mana yang akan memenuhi syarat untuk masuk universitas. Pada 2019, layanan iklan penargetan mikro Facebook membantu puluhan pengusaha sektor publik dan swasta mengecualikan orang-orang untuk menerima iklan pekerjaan berdasarkan usia dan jenis kelamin. Riset yang dilakukan ProPublica telah terdokumentasi diskriminasi harga berbasis ras untuk produk online. Dan mesin pencari secara teratur menghasilkan hasil yang rasis dan seksis.

Penindasan yang terus berlanjut

Hasil ini penting karena mereka mengabadikan dan memperdalam ketidaksetaraan yang sudah ada sebelumnya berdasarkan karakteristik seperti ras, jenis kelamin, dan usia. Mereka juga penting karena sangat memengaruhi cara kita mengenal diri sendiri dan dunia di sekitar kita, terkadang dengan informasi sebelumnya telah dipilih kami menerima dengan cara yang memperkuat persepsi stereotip. Bahkan perusahaan teknologi sendiri mengakui urgensi menghentikan algoritme agar tidak melanggengkan diskriminasi.

Sampai saat ini keberhasilan investigasi ad hoc, yang dilakukan oleh perusahaan teknologi itu sendiri, tidak konsisten. Terkadang, perusahaan yang terlibat dalam pembuatan sistem diskriminatif menarik mereka dari pasar, seperti kapan Clearview AI mengumumkan tidak akan lagi menawarkan teknologi pengenalan wajah di Kanada. Namun seringkali keputusan seperti itu dihasilkan dari pengawasan peraturan atau protes publik saja setelah anggota komunitas yang mencari kesetaraan telah dirugikan.

Saatnya memberikan lembaga pengatur alat yang mereka butuhkan untuk mengatasi masalah. Perlindungan privasi sederhana yang bergantung pada mendapatkan persetujuan individu untuk memungkinkan data diambil dan digunakan kembali oleh perusahaan tidak dapat dipisahkan dari hasil diskriminatif dari penggunaan tersebut. Hal ini terutama berlaku di era ketika kebanyakan dari kita (termasuk perusahaan teknologi itu sendiri) tidak dapat sepenuhnya memahami apa yang dilakukan algoritme atau mengapa algoritme menghasilkan hasil tertentu.

Privasi adalah hak asasi manusia

Bagian dari solusi tersebut memerlukan pemecahan silo peraturan saat ini yang memperlakukan privasi dan hak asasi manusia sebagai masalah terpisah. Mengandalkan model perlindungan data berbasis persetujuan bertentangan dengan prinsip dasar bahwa privasi dan kesetaraan adalah hak asasi manusia yang tidak dapat disingkirkan.

Bahkan Piagam Digital Kanada - upaya terbaru pemerintah federal untuk menanggapi kekurangan dari keadaan lingkungan digital saat ini - mempertahankan perbedaan konseptual ini. Ini memperlakukan kebencian dan ekstremisme, kontrol dan persetujuan, dan demokrasi yang kuat sebagai kategori terpisah.

Untuk mengatasi diskriminasi algoritmik, kita harus mengakui dan membingkai privasi dan kesetaraan sebagai hak asasi manusia. Dan kita harus menciptakan infrastruktur yang sama-sama perhatian dan ahli di keduanya. Tanpa upaya semacam itu, kilau matematika dan sains yang berkilau akan terus menyamarkan bias diskriminatif AI, dan parodi seperti yang ditimpakan pada Williams dapat diperkirakan akan berlipat ganda.Percakapan

Tentang Penulis

Jane Bailey, Profesor Hukum dan Wakil Pimpinan Proyek eQuality, L'Université d'Ottawa / Universitas Ottawa; Jacquelyn Burkell, Wakil Presiden Asosiasi, Penelitian, Universitas Barat, dan Valerie Steeves, Profesor Penuh, L'Université d'Ottawa / Universitas Ottawa

Artikel ini diterbitkan kembali dari Percakapan di bawah lisensi Creative Commons. Membaca Artikel asli.

Buku tentang Ketimpangan dari daftar Penjual Terbaik Amazon

"Kasta: Asal Usul Ketidakpuasan Kami"

oleh Isabel Wilkerson

Dalam buku ini, Isabel Wilkerson mengkaji sejarah sistem kasta dalam masyarakat di seluruh dunia, termasuk di Amerika Serikat. Buku ini mengeksplorasi dampak kasta pada individu dan masyarakat, dan menawarkan kerangka kerja untuk memahami dan menangani ketidaksetaraan.

Klik untuk info lebih lanjut atau untuk memesan

"Warna Hukum: Sejarah yang Terlupakan tentang Bagaimana Pemerintah Kita Memisahkan Amerika"

oleh Richard Rothstein

Dalam buku ini, Richard Rothstein menelusuri sejarah kebijakan pemerintah yang menciptakan dan memperkuat segregasi rasial di Amerika Serikat. Buku ini mengkaji dampak dari kebijakan ini terhadap individu dan komunitas, dan menawarkan ajakan bertindak untuk mengatasi ketidaksetaraan yang sedang berlangsung.

Klik untuk info lebih lanjut atau untuk memesan

"Jumlah Kita: Berapa Biaya Rasisme Setiap Orang dan Bagaimana Kita Bisa Makmur Bersama"

oleh Heather McGhee

Dalam buku ini, Heather McGhee mengeksplorasi biaya ekonomi dan sosial dari rasisme, dan menawarkan visi untuk masyarakat yang lebih adil dan sejahtera. Buku ini memuat kisah-kisah individu dan komunitas yang menentang ketidaksetaraan, serta solusi praktis untuk menciptakan masyarakat yang lebih inklusif.

Klik untuk info lebih lanjut atau untuk memesan

"Mitos Defisit: Teori Moneter Modern dan Kelahiran Ekonomi Rakyat"

oleh Stephanie Kelton

Dalam buku ini, Stephanie Kelton menantang gagasan konvensional tentang pengeluaran pemerintah dan defisit nasional, serta menawarkan kerangka kerja baru untuk memahami kebijakan ekonomi. Buku ini mencakup solusi praktis untuk mengatasi ketimpangan dan menciptakan ekonomi yang lebih adil.

Klik untuk info lebih lanjut atau untuk memesan

"Jim Crow Baru: Penahanan Massal di Era Buta Warna"

oleh Michelle Alexander

Dalam buku ini, Michelle Alexander mengeksplorasi cara sistem peradilan pidana melanggengkan ketidaksetaraan dan diskriminasi rasial, khususnya terhadap orang kulit hitam Amerika. Buku ini mencakup analisis sejarah sistem dan dampaknya, serta ajakan untuk melakukan reformasi.

Klik untuk info lebih lanjut atau untuk memesan