Bagaimana Algoritma Bisa Lebih Adil dari Manusia

Amazon baru saja mulai menawarkan pengiriman hari yang sama di wilayah metropolitan yang dipilih. Ini mungkin bagus untuk banyak pelanggan, namun peluncuran tersebut menunjukkan bagaimana pengambilan keputusan terkomputerisasi juga dapat memberikan diskriminasi dosis yang kuat.

Dengan masuk akal, perusahaan memulai pelayanannya di daerah-daerah di mana biaya pengiriman akan menjadi yang terendah, dengan mengidentifikasi kode pos tempat tinggal padat yang menampung banyak pelanggan Amazon yang ada dengan tingkat pendapatan yang cukup tinggi untuk melakukan pembelian produk yang tersedia untuk pengiriman yang sama. Perusahaan menyediakan halaman web yang memungkinkan pelanggan memasukkan kode pos mereka untuk melihat apakah pengiriman hari yang sama menayangkannya. Wartawan investigatif di Bloomberg News menggunakan halaman tersebut buatlah peta area layanan Amazon untuk pengiriman hari yang sama.

Analisis Bloomberg menunjukkan bahwa banyak daerah perkotaan yang miskin dikeluarkan dari wilayah layanan, sementara daerah-daerah tetangga yang lebih makmur disertakan. Banyak daerah miskin yang dikecualikan ini didominasi oleh kaum minoritas. Misalnya, semua Boston ditutup kecuali Roxbury; Cakupan New York City mencakup hampir semua dari empat distrik tapi sama sekali tidak termasuk Bronx; Cakupan Chicago meninggalkan Sisi Selatan yang miskin, sementara memperluas secara substansial ke pinggiran utara dan barat makmur.

Meskipun tergoda untuk percaya bahwa keputusan berbasis data tidak bias, penelitian dan diskusi ilmiah mulai menunjukkan hal itu ketidakadilan dan diskriminasi tetap ada. Di saya kursus online tentang etika data, siswa belajar itu Algoritma bisa membeda-bedakan. Tapi mungkin ada sedikit lapisan perak: Seperti yang disarankan oleh penelitian Bloomberg, mendasarkan keputusan pada data mungkin juga mempermudah pendeteksian saat terjadi bias.

Bias bisa tidak disengaja

Ketidakadilan seperti itu dalam kebijakan pengiriman Amazon bisa timbul karena berbagai alasan, termasuk bias tersembunyi - seperti asumsi bahwa populasi didistribusikan secara merata. Algoritma desainer mungkin tidak bermaksud untuk melakukan diskriminasi, dan mungkin bahkan tidak menyadari ada masalah yang merayap masuk.


grafis berlangganan batin


Amazon mengatakan kepada Bloomberg bahwa hal itu tidak memiliki maksud yang diskriminatif, dan ada banyak alasan untuk mempercayai klaim tersebut. Menanggapi laporan Bloomberg, kota pejabat dan politisi lainnya meminta Amazon untuk memperbaiki masalah ini Perusahaan bergerak cepat untuk menambahkan kode pos perkotaan miskin yang aslinya dikecualikan ke wilayah layanannya.

Pertanyaan serupa telah terjadi tanya Uber, yang tampaknya memberikan pelayanan yang lebih baik ke daerah-daerah yang dihuni oleh proporsi orang kulit putih yang lebih tinggi. Kemungkinan akan ada contoh industri ritel dan layanan yang lebih banyak mengenai diskriminasi algoritmik yang tidak disengaja yang ditemukan di masa depan.

Mengajukan terlalu banyak algoritma?

Kita harus berhenti sebentar untuk mempertimbangkan apakah kita terlalu menuntut keputusan algoritmik. Perusahaan yang mengoperasikan toko bata-dan-mortir membuat keputusan lokasi setiap saat, dengan mempertimbangkan kriteria yang tidak berbeda dengan Amazon. Toko mencoba untuk memiliki lokasi yang nyaman untuk kumpulan besar pelanggan potensial dengan uang untuk dibelanjakan.

Karena itu, beberapa toko memilih untuk mencari di lingkungan kota dalam yang miskin. Khususnya dalam konteks toko kelontong, fenomena ini telah dipelajari secara ekstensif, dan istilah "makanan gurun"Telah digunakan untuk menggambarkan daerah perkotaan yang penduduknya tidak memiliki akses mudah ke makanan segar. Ini bias lokasi kurang dipelajari untuk toko ritel secara keseluruhan.

Sebagai contoh indikatif, saya melihat lokasi 55 Michigan di Target, sebuah rantai ritel komprehensif yang besar. Ketika saya mengurutkan setiap kode ZIP Michigan berdasarkan pada apakah pendapatan rata-ratanya berada di setengah bagian atas atau setengah bagian di seluruh negara bagian, saya menemukan bahwa hanya 16 dari toko Target (29 persen) yang ada dalam kode pos dari kelompok berpenghasilan rendah. Lebih dari dua kali lipat, toko 39, ditempatkan dalam kode pos dari setengah lebih makmur.

Mengidentifikasi diskriminasi

Apalagi, tidak ada toko Target di kota Detroit, meski ada beberapa di pinggiran kotanya (makmur). Namun, tidak ada kecaman populer yang menuduh Target secara tidak adil mendiskriminasikan orang-orang miskin dalam keputusan lokasi tokonya. Ada dua alasan utama mengapa kekhawatiran Amazon dibenarkan: kekakuan dan dominasi.

Kekakuan berkaitan dengan proses pembuatan keputusan pengecer online dan hasilnya. Amazon menentukan kode pos mana yang berada di area layanannya. Jika pelanggan tinggal di seberang jalan dari batas yang ditetapkan oleh Amazon, dia berada di luar area layanan dan tidak dapat berbuat banyak tentang hal itu. Sebaliknya, seseorang yang tinggal di kode pos tanpa toko Target masih bisa berbelanja di Target - meskipun mungkin perlu waktu lebih lama untuk sampai ke sana.

Ini juga penting bagaimana dominan pengecer ada di benak konsumen. Sedangkan Target hanyalah satu dari sekian banyak rantai toko fisik, Amazon menikmati dominasi pasar sebagai pengecer web, dan karenanya menarik lebih banyak perhatian. Dominasi semacam itu merupakan ciri khas zaman sekarang pemenang-mengambil-semua bisnis web

Sementara kekakuan dan dominasi mereka dapat menyebabkan kekhawatiran lebih besar tentang bisnis online, kami juga lebih mampu mendeteksi diskriminasi mereka daripada toko batu bata dan mortir. Untuk toko rantai tradisional, kita perlu menebak seberapa jauh konsumen bersedia melakukan perjalanan. Kita mungkin juga perlu menyadari waktu: Lima mil ke jalan bebas hambatan berikutnya tidak sama dengan lima mil melalui jalan-jalan yang macet ke sisi lain kota. Selanjutnya, waktu tempuh sendiri bisa sangat bervariasi tergantung dari waktu. Setelah mengidentifikasi area yang mungkin dilayani toko, mereka mungkin tidak memetakan secara rapi ke dalam unit geografis yang memiliki statistik tentang ras atau pendapatan. Singkatnya, analisisnya berantakan dan membutuhkan banyak usaha.

Sebaliknya, dibutuhkan beberapa wartawan di Bloomberg hanya beberapa jam untuk mengembangkan peta area layanan Amazon dan menghubungkannya dengan pendapatan atau ras. Jika Amazon melakukan ini secara internal, mereka bisa melakukan analisis yang sama dalam beberapa menit saja - dan mungkin juga melihat masalah dan memperbaikinya sebelum layanan serupa juga dimulai.

Bagaimana perbandingan manusia?

Mari kita lihat contoh yang sangat berbeda untuk melihat bagaimana poin yang sama berlaku secara luas. Baru-baru ini, diterbitkan ProPublica sebuah analisis yang sangat bagus tentang diskriminasi rasial oleh sebuah algoritma yang memprediksi kemungkinan kejahatan menyinggung lagi. Algoritma mempertimbangkan lusinan faktor dan menghitung perkiraan probabilitas. Analisis ProPublica menemukan bias rasial sistematis yang signifikan, walaupun ras bukanlah faktor spesifik yang dipertimbangkan.

Tanpa algoritma, hakim manusia akan membuat perkiraan serupa, sebagai bagian dari keputusan hukuman atau pembebasan bersyarat. Keputusan manusia mungkin mempertimbangkan seperangkat faktor yang lebih kaya, seperti sikap ruang sidang kriminal. Tapi kita tahu, dari studi psikologi, Bahwa Pengambilan keputusan manusia penuh dengan bias, bahkan ketika kita mencoba sebaik mungkin untuk bersikap adil.

Namun, setiap kesalahan yang diakibatkan oleh bias keputusan hakim manusia cenderung berbeda di antara hakim, dan bahkan untuk keputusan berbeda yang dibuat oleh hakim yang sama. Secara keseluruhan, mungkin ada diskriminasi rasial karena bias bawah sadar, tapi membangun ini secara meyakinkan adalah rumit. Sebuah studi Departemen Kehakiman AS menemukan bukti kuat perbedaan dalam menghukum narapidana putih dan hitam, namun tidak dapat secara jelas menentukan apakah ras itu sendiri merupakan faktor dalam keputusan tersebut.

Sebaliknya, algoritma yang sama persis yang digunakan ProPublica digunakan dalam ribuan kasus di banyak negara bagian. Kekakuannya, dan volume yang besar, memudahkan pekerjaan untuk menentukan apakah diskriminasi - dan dapat menawarkan cara untuk memperbaiki masalah secara efisien.

Penggunaan teknologi informasi tampaknya membuat garis lebih terang, perbedaan starker dan data tentang semua ini jauh lebih mudah didapat. Apa yang bisa disikat di bawah karpet kemarin sekarang dicengkeram untuk diperhatikan. Karena kami menemukan lebih banyak dan lebih banyak penggunaan algoritma berbasis data, namun belum umum menganalisis keadilan mereka, terutama sebelum peluncuran layanan berbasis data baru. Pembuatannya jadi akan menempuh perjalanan panjang untuk mengukur, dan memperbaiki, kewajaran perhitungan terkomputerisasi yang semakin penting ini.

Tentang PenulisPercakapan

HV Jagadish, Bernard A Galler Collegiate Professor Teknik Elektro dan Ilmu Komputer, University of Michigan

Artikel ini awalnya diterbitkan pada Percakapan. Membaca Artikel asli.

Buku terkait

at Pasar InnerSelf dan Amazon