Bagaimana Teknologi Pengenalan Wajah Cacat dan Bias Secara Rasial

Bagaimana Teknologi Pengenalan Wajah Cacat dan Bias Secara Rasial
Algoritme pengenalan wajah biasanya diuji menggunakan wajah putih, yang mengakibatkan teknologinya tidak dapat membedakan antara individu yang memiliki ras. (Shutterstock)

Polisi Detroit secara tidak sah menangkap Robert Julian-Borchak Williams pada Januari 2020 untuk insiden pengutilan yang terjadi dua tahun sebelumnya. Meskipun Williams tidak ada hubungannya dengan insiden tersebut, teknologi pengenalan wajah yang digunakan oleh Kepolisian Negara Bagian Michigan "mencocokkan" wajahnya dengan gambar kasar yang diperoleh dari video pengawasan di dalam toko yang menunjukkan pria Afrika-Amerika lainnya mengambil jam tangan senilai US $ 3,800.

Dua minggu kemudian, kasus tersebut dibatalkan atas permintaan jaksa. Namun, dengan mengandalkan pertandingan yang salah, polisi telah memborgol dan menangkap Williams di depan keluarganya, memaksanya untuk memberikan suntikan mug, sidik jari, dan sampel DNA-nya, menginterogasi dan memenjarakannya semalaman.

Para ahli berpendapat bahwa Williams tidak sendirian, dan bahwa orang lain telah mengalami ketidakadilan serupa. Kontroversi yang sedang berlangsung tentang penggunaan Clearview AI oleh polisi tentu saja menggarisbawahi risiko privasi yang ditimbulkan oleh teknologi pengenalan wajah. Tapi penting untuk disadari tidak semua dari kita menanggung risiko tersebut secara setara.

Melatih algoritme rasis

Teknologi pengenalan wajah dilatih dan disetel ke wajah Kaukasia secara sistematis salah mengidentifikasi dan memberi label yang salah pada individu yang dirasialisasi: banyak penelitian melaporkan bahwa teknologi pengenalan wajah adalah "cacat dan bias, dengan tingkat kesalahan yang jauh lebih tinggi bila digunakan terhadap orang kulit berwarna. "

Ini merongrong individualitas dan kemanusiaan orang-orang yang dirasialisasi yang lebih mungkin disalahartikan sebagai kriminal. Teknologi - dan kesalahan identifikasi yang dibuatnya - mencerminkan dan selanjutnya memperkuat perpecahan sosial yang telah berlangsung lama yang sangat terkait dengan rasisme, seksisme, homofobia, kolonialisme pemukim, dan penindasan lainnya yang berpotongan.


Investigasi France24 terhadap bias rasial dalam teknologi pengenalan wajah.

Bagaimana teknologi mengkategorikan pengguna

Dalam bukunya yang mengubah permainan tahun 1993, Jenis Panoptik, sarjana Oscar Gandy memperingatkan bahwa "teknologi kompleks [yang] melibatkan pengumpulan, pemrosesan, dan berbagi informasi tentang individu dan kelompok yang dihasilkan melalui kehidupan sehari-hari mereka ... digunakan untuk mengoordinasikan dan mengontrol akses mereka ke barang dan jasa yang menentukan kehidupan di ekonomi kapitalis modern. " Penegak hukum menggunakannya untuk mengambil tersangka dari masyarakat umum, dan organisasi swasta menggunakannya untuk menentukan apakah kita memiliki akses ke hal-hal seperti perbankan serta pekerjaan.


Dapatkan Yang Terbaru Dari Diri Sendiri


Gandy secara nubuat memperingatkan bahwa, jika dibiarkan, bentuk "triase cybernetic" ini akan secara eksponensial merugikan anggota komunitas yang mencari kesetaraan - misalnya, kelompok yang dirasialisasi atau dirugikan secara sosial-ekonomi - baik dalam hal apa yang akan dialokasikan kepada mereka dan bagaimana mereka bisa memahami diri mereka sendiri.

Sekitar 25 tahun kemudian, kita sekarang hidup dengan jenis panoptik pada steroid. Dan banyak contoh efek negatifnya pada komunitas yang mencari kesetaraan, seperti identifikasi salah Williams.

Bias yang sudah ada sebelumnya

Penyortiran menggunakan algoritme ini menyusup ke aspek paling mendasar dari kehidupan sehari-hari, yang menyebabkan kekerasan langsung dan struktural setelahnya.

Kekerasan langsung yang dialami oleh Williams segera terlihat dalam peristiwa seputar penangkapan dan penahanannya, dan kerugian individu yang dialaminya terlihat jelas dan dapat dilacak ke tindakan polisi yang memilih untuk mengandalkan "pertandingan" teknologi untuk melakukan penangkapan. Lebih berbahaya adalah kekerasan struktural dilakukan melalui teknologi pengenalan wajah dan teknologi digital lainnya yang menilai, mencocokkan, mengelompokkan, dan mengurutkan individu dengan cara yang memperbesar pola diskriminasi yang sudah ada sebelumnya.

Kerusakan kekerasan struktural tidak begitu jelas dan tidak langsung, dan menyebabkan cedera pada kelompok-kelompok yang mencari kesetaraan melalui penolakan sistematis terhadap kekuasaan, sumber daya, dan kesempatan. Secara bersamaan, ini meningkatkan risiko langsung dan kerugian bagi anggota individu dari kelompok tersebut.

Penggunaan kepolisian prediktif pemrosesan algoritmik data historis untuk memprediksi kapan dan di mana kejahatan baru kemungkinan besar akan terjadi, memberikan sumber daya polisi sesuai dan menanamkan pengawasan polisi yang ditingkatkan ke dalam komunitas, biasanya di lingkungan berpenghasilan rendah dan rasial. Hal ini meningkatkan kemungkinan bahwa setiap aktivitas kriminal - termasuk aktivitas kriminal yang tidak terlalu serius yang mungkin tidak akan menimbulkan respons polisi - akan terdeteksi dan dihukum, yang pada akhirnya membatasi kesempatan hidup orang-orang yang tinggal di lingkungan tersebut.

Dan bukti ketimpangan di sektor lain terus meningkat. Ratusan siswa di Inggris Raya memprotes pada 16 Agustus terhadap hasil yang menghancurkan dari Ofqual, algoritme cacat yang digunakan pemerintah Inggris untuk menentukan siswa mana yang akan memenuhi syarat untuk masuk universitas. Pada 2019, layanan iklan penargetan mikro Facebook membantu puluhan pengusaha sektor publik dan swasta mengecualikan orang-orang untuk menerima iklan pekerjaan berdasarkan usia dan jenis kelamin. Riset yang dilakukan ProPublica telah terdokumentasi diskriminasi harga berbasis ras untuk produk online. Dan mesin pencari secara teratur menghasilkan hasil yang rasis dan seksis.

Penindasan yang terus berlanjut

Hasil ini penting karena mereka mengabadikan dan memperdalam ketidaksetaraan yang sudah ada sebelumnya berdasarkan karakteristik seperti ras, jenis kelamin, dan usia. Mereka juga penting karena sangat memengaruhi cara kita mengenal diri sendiri dan dunia di sekitar kita, terkadang dengan informasi sebelumnya telah dipilih kami menerima dengan cara yang memperkuat persepsi stereotip. Bahkan perusahaan teknologi sendiri mengakui urgensi menghentikan algoritme agar tidak melanggengkan diskriminasi.

Sampai saat ini keberhasilan investigasi ad hoc, yang dilakukan oleh perusahaan teknologi itu sendiri, tidak konsisten. Terkadang, perusahaan yang terlibat dalam pembuatan sistem diskriminatif menarik mereka dari pasar, seperti kapan Clearview AI mengumumkan tidak akan lagi menawarkan teknologi pengenalan wajah di Kanada. Namun seringkali keputusan seperti itu dihasilkan dari pengawasan peraturan atau protes publik saja setelah anggota komunitas yang mencari kesetaraan telah dirugikan.

Saatnya memberikan lembaga pengatur alat yang mereka butuhkan untuk mengatasi masalah. Perlindungan privasi sederhana yang bergantung pada mendapatkan persetujuan individu untuk memungkinkan data diambil dan digunakan kembali oleh perusahaan tidak dapat dipisahkan dari hasil diskriminatif dari penggunaan tersebut. Hal ini terutama berlaku di era ketika kebanyakan dari kita (termasuk perusahaan teknologi itu sendiri) tidak dapat sepenuhnya memahami apa yang dilakukan algoritme atau mengapa algoritme menghasilkan hasil tertentu.

Privasi adalah hak asasi manusia

Bagian dari solusi tersebut memerlukan pemecahan silo peraturan saat ini yang memperlakukan privasi dan hak asasi manusia sebagai masalah terpisah. Mengandalkan model perlindungan data berbasis persetujuan bertentangan dengan prinsip dasar bahwa privasi dan kesetaraan adalah hak asasi manusia yang tidak dapat disingkirkan.

Bahkan Piagam Digital Kanada - upaya terbaru pemerintah federal untuk menanggapi kekurangan dari keadaan lingkungan digital saat ini - mempertahankan perbedaan konseptual ini. Ini memperlakukan kebencian dan ekstremisme, kontrol dan persetujuan, dan demokrasi yang kuat sebagai kategori terpisah.

Untuk mengatasi diskriminasi algoritmik, kita harus mengakui dan membingkai privasi dan kesetaraan sebagai hak asasi manusia. Dan kita harus menciptakan infrastruktur yang sama-sama perhatian dan ahli di keduanya. Tanpa upaya semacam itu, kilau matematika dan sains yang berkilau akan terus menyamarkan bias diskriminatif AI, dan parodi seperti yang ditimpakan pada Williams dapat diperkirakan akan berlipat ganda.Percakapan

Tentang Penulis

Jane Bailey, Profesor Hukum dan Wakil Pimpinan Proyek eQuality, L'Université d'Ottawa / Universitas Ottawa; Jacquelyn Burkell, Wakil Presiden Asosiasi, Penelitian, Universitas Barat, dan Valerie Steeves, Profesor Penuh, L'Université d'Ottawa / Universitas Ottawa

Artikel ini diterbitkan kembali dari Percakapan di bawah lisensi Creative Commons. Membaca Artikel asli.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

ikuti InnerSelf di

facebook-icontwitter-iconrss-icon

Dapatkan Terbaru Dengan Email

{Emailcloak = off}

Dukung Pekerjaan yang Baik!

DARI EDITOR

Newsletter InnerSelf: Oktober 18, 2020
by Innerself Staf
Hari-hari ini kita hidup dalam gelembung kecil ... di rumah kita sendiri, di tempat kerja, dan di depan umum, dan mungkin dalam pikiran kita sendiri dan dengan emosi kita sendiri. Namun, hidup dalam gelembung, atau merasa seperti kita…
Newsletter InnerSelf: Oktober 11, 2020
by Innerself Staf
Hidup adalah sebuah perjalanan dan, seperti kebanyakan perjalanan, datang dengan pasang surutnya. Dan seperti siang selalu mengikuti malam, begitu pula pengalaman pribadi kita sehari-hari berubah dari gelap menjadi terang, dan bolak-balik. Namun,…
Newsletter InnerSelf: Oktober 4, 2020
by Innerself Staf
Apapun yang kita alami, baik secara individu maupun kolektif, kita harus ingat bahwa kita bukanlah korban yang tidak berdaya. Kita dapat memperoleh kembali kekuatan kita untuk mengukir jalan kita sendiri dan untuk menyembuhkan hidup kita, secara spiritual…
InnerSelf Newsletter: September 27, 2020
by Innerself Staf
Salah satu kekuatan terbesar umat manusia adalah kemampuan kita untuk menjadi fleksibel, menjadi kreatif, dan berpikir di luar kotak. Menjadi orang lain selain kita kemarin atau sehari sebelumnya. Kita bisa berubah...…
Yang Cocok Untuk Saya: "Untuk Kebaikan Tertinggi"
by Marie T. Russell, InnerSelf
Alasan saya membagikan "apa yang berhasil untuk saya" adalah karena hal itu mungkin berhasil untuk Anda juga. Jika tidak persis seperti yang saya lakukan, karena kita semua unik, beberapa variasi sikap atau metode mungkin saja sesuatu ...