Orang yang mengajukan pinjaman dari bank atau perusahaan kartu kredit, dan ditolak, diberi tahu mengapa hal itu terjadi. Ini adalah ide bagus - karena bisa membantu mengajari orang bagaimana memperbaiki kredit mereka yang rusak - dan ini adalah undang-undang federal, Equal Credit Opportunity Act. Mendapatkan jawaban tidak banyak masalah di tahun-tahun yang lalu, ketika manusia membuat keputusan tersebut. Tapi hari ini, karena sistem kecerdasan buatan semakin membantu atau mengganti orang yang membuat keputusan kredit, mendapatkan penjelasan tersebut menjadi jauh lebih sulit.

Secara tradisional, petugas pinjaman yang menolak aplikasi dapat memberi tahu calon peminjam bahwa ada masalah dengan tingkat pendapatan mereka, atau riwayat pekerjaan mereka, atau apapun masalahnya. Tapi sistem komputerisasi yang menggunakan kompleks Mesin belajar Modelnya sulit dijelaskan, bahkan bagi para ahli.

Keputusan kredit konsumen hanyalah salah satu cara munculnya masalah ini. Kekhawatiran serupa ada di perawatan kesehatan, pemasaran online dan bahkan peradilan pidana. Kepentingan saya sendiri di bidang ini dimulai ketika sebuah kelompok penelitian saya menjadi bagian dari penemuan bias gender dalam cara iklan online ditargetkan, tapi tidak bisa menjelaskan mengapa hal itu terjadi.

Semua industri tersebut, dan banyak lainnya, yang menggunakan mesin belajar untuk menganalisis proses dan membuat keputusan memiliki waktu lebih dari satu tahun untuk mendapatkan hasil yang lebih baik dalam menjelaskan bagaimana sistem mereka bekerja. Di bulan Mei 2018, baru Peraturan Perlindungan Data Umum Uni Eropa berlaku, termasuk bagian yang memberi orang hak untuk mendapatkan penjelasan tentang keputusan otomatis yang mempengaruhi kehidupan mereka. Bentuk apa yang harus dijelaskan penjelasan ini, dan bisakah kita memberi mereka?

Mengidentifikasi alasan utama

Salah satu cara untuk menjelaskan mengapa keputusan otomatis keluar seperti yang dilakukannya adalah mengidentifikasi faktor-faktor yang paling berpengaruh dalam keputusan tersebut. Berapa banyak keputusan penolakan kredit karena pemohon tidak menghasilkan cukup uang, atau karena dia telah gagal melunasi pinjaman di masa lalu?

Kelompok penelitian saya di Carnegie Mellon University, termasuk mahasiswa PhD Shayak Sen dan kemudian-postdoc Yair Zick menciptakan sebuah cara untuk mengukur pengaruh relatif dari masing-masing faktor. Kami menyebutnya sebagai Input Masukan Kuantitatif.

Selain memberikan pemahaman yang lebih baik tentang keputusan individu, pengukuran juga dapat memberi penjelasan pada sekelompok keputusan: Apakah sebuah algoritma menolak kredit terutama karena masalah keuangan, seperti berapa banyak pemohon yang telah berutang pada hutang lain? Atau apakah kode pos pemohon lebih penting - menunjukkan demografi yang lebih mendasar seperti ras mungkin ikut bermain?

Menangkap sebab-akibat

Ketika sebuah sistem membuat keputusan berdasarkan beberapa faktor, penting untuk mengidentifikasi faktor mana yang menyebabkan keputusan dan kontribusi relatif mereka.

Misalnya, bayangkan sistem keputusan kredit yang hanya membutuhkan dua masukan, rasio hutang terhadap penghasilan dan rasnya, dan telah terbukti menyetujui pinjaman hanya untuk orang bule. Mengetahui berapa banyak faktor yang berkontribusi terhadap keputusan tersebut dapat membantu kita memahami apakah itu sistem yang sah atau apakah itu diskriminatif.

Penjelasan bisa melihat masukan dan hasilnya dan amati korelasi - orang-orang non-Kaukasia tidak mendapatkan pinjaman. Tapi penjelasan ini terlalu sederhana. Misalkan orang-orang non-Kaukasia yang ditolak, pinjamannya juga memiliki pendapatan jauh lebih rendah daripada orang Kaukasia yang aplikasinya berhasil. Maka penjelasan ini tidak bisa memberi tahu kita apakah rasio ras atau debt-to-income pemohon menyebabkan penolakan tersebut.

Metode kami bisa memberikan informasi ini. Menceritakan perbedaan berarti kita dapat menggoda apakah sistem tersebut secara tidak adil membeda-bedakan atau melihat kriteria yang sah, seperti keuangan pemohon.

Untuk mengukur pengaruh ras dalam keputusan kredit tertentu, kami mengulang proses aplikasi, menjaga rasio hutang terhadap pendapatan sama tapi mengubah ras pemohon. Jika mengubah ras memang mempengaruhi hasilnya, kita tahu ras merupakan faktor penentu. Jika tidak, kita bisa menyimpulkan bahwa algoritma hanya mencari informasi keuangan saja.

Selain mengidentifikasi faktor penyebab, kita dapat mengukur pengaruh relatif kausalnya pada keputusan. Kami melakukannya dengan secara acak memvariasikan faktor (misalnya ras) dan mengukur seberapa besar kemungkinan perubahan tersebut akan terjadi. Semakin tinggi kemungkinan, semakin besar pengaruh faktor tersebut.

Pengaruh agregat

Metode kami juga bisa menggabungkan beberapa faktor yang bekerja sama. Pertimbangkan sebuah sistem keputusan yang memberikan kredit kepada pelamar yang memenuhi dua dari tiga kriteria: nilai kredit di atas 600, kepemilikan mobil, dan apakah pemohon telah melunasi pinjaman rumah sepenuhnya. Misalnya pemohon, Alice, dengan nilai kredit 730 dan tidak ada mobil atau pinjaman rumah, ditolak kreditnya. Dia bertanya-tanya apakah status kepemilikan mobilnya atau riwayat pelunasan pinjaman rumah adalah alasan utama.

Sebuah analogi dapat membantu menjelaskan bagaimana kita menganalisis situasi ini. Pertimbangkan sebuah pengadilan di mana keputusan dibuat berdasarkan suara mayoritas panel tiga hakim, di mana seseorang konservatif, satu suara voting liberal dan yang ketiga, seseorang yang mungkin berpihak pada salah satu rekannya. Dalam keputusan konservatif 2-1, hakim ayunan memiliki pengaruh lebih besar terhadap hasilnya daripada hakim liberal.

Faktor-faktor dalam contoh kredit kita seperti tiga hakim. Hakim pertama biasanya memilih pinjaman, karena banyak pemohon memiliki nilai kredit yang cukup tinggi. Hakim kedua hampir selalu memberikan suara menentang pinjaman karena sangat sedikit pelamar yang pernah melunasi rumah. Jadi keputusan turun ke hakim ayunan, siapa di kasus Alice menolak pinjaman karena dia tidak memiliki mobil.

Kita bisa melakukan penalaran ini dengan tepat teori permainan kooperatif, sebuah sistem untuk menganalisis secara lebih spesifik bagaimana faktor yang berbeda berkontribusi terhadap satu hasil. Secara khusus, kami menggabungkan pengukuran pengaruh kausal relatif dengan Nilai shapley, yang merupakan cara untuk menghitung bagaimana atribut mempengaruhi beberapa faktor. Bersama-sama, ini membentuk pengukuran Input Kuantitatif kami.

Sejauh ini kami telah mengevaluasi metode kami pada sistem keputusan yang kami buat dengan melatih algoritma pembelajaran mesin umum dengan kumpulan data dunia nyata. Mengevaluasi algoritma yang bekerja di dunia nyata adalah topik untuk pekerjaan masa depan.

Tantangan terbuka

Metode analisis dan penjelasan kami tentang bagaimana algoritma membuat keputusan sangat berguna dalam pengaturan dimana faktor-faktor tersebut mudah dipahami oleh manusia - seperti rasio hutang terhadap pendapatan dan kriteria keuangan lainnya.

Namun, menjelaskan proses pengambilan keputusan algoritma yang lebih kompleks tetap menjadi tantangan yang signifikan. Ambil, misalnya, sistem pengenal gambar, seperti yang ada mendeteksi dan melacak tumor. Tidaklah berguna untuk menjelaskan evaluasi gambar tertentu berdasarkan piksel individual. Idealnya, kami ingin penjelasan yang memberikan wawasan tambahan mengenai keputusan - seperti mengidentifikasi karakteristik tumor spesifik pada gambar. Memang, merancang penjelasan untuk tugas pengambilan keputusan otomatis semacam itu membuat banyak peneliti tetap sibuk.

Tentang Penulis

Anupam Datta, Guru Besar Ilmu Komputer dan Teknik Elektro dan Komputer, Carnegie Mellon University

Artikel ini awalnya diterbitkan pada Percakapan. Membaca Artikel asli.

Buku terkait

at Pasar InnerSelf dan Amazon