Dalam sistem peradilan pidana, pasar kredit, arena pekerjaan, proses penerimaan pendidikan tinggi dan bahkan jaringan media sosial, algoritma yang digerakkan oleh data sekarang mendorong pengambilan keputusan dengan cara yang menyentuh kehidupan ekonomi, sosial dan sipil kita. Sistem perangkat lunak ini memberi peringkat, mengklasifikasikan, mengaitkan, atau menyaring informasi, menggunakan aturan yang dibuat oleh manusia atau yang diinduksi oleh data yang memungkinkan perlakuan yang konsisten di seluruh populasi besar.

Tetapi sementara mungkin ada keuntungan efisiensi dari teknik ini, mereka juga bisa menyembunyikan bias terhadap kelompok yang kurang beruntung or memperkuat diskriminasi struktural. Dalam hal peradilan pidana, misalnya, apakah adil untuk membuat penilaian terhadap pembebasan bersyarat individu berdasarkan pada kecenderungan statistik yang diukur pada sekelompok besar orang? Bisakah diskriminasi timbul dari penerapan model statistik dikembangkan untuk populasi satu negara ke negara lain, populasi demografis berbeda?

Masyarakat perlu memahami bias dan kekuatan algoritma yang digunakan dalam ruang publik, termasuk oleh lembaga pemerintah. Suatu usaha yang saya terlibat, disebut akuntabilitas algoritmik, berusaha membuat pengaruh dari sistem-sistem semacam itu lebih jelas dan lebih luas dipahami.

Teknik transparansi yang ada, ketika diterapkan pada algoritma, dapat memungkinkan orang untuk memantau, mengaudit, dan mengkritik bagaimana sistem-sistem itu berfungsi - atau tidak, sesuai kasusnya. Sayangnya, lembaga pemerintah tampaknya tidak siap untuk penyelidikan tentang algoritma dan penggunaannya dalam keputusan yang secara signifikan mempengaruhi individu dan masyarakat luas.

Membuka algoritma untuk pengawasan publik

Tahun lalu pemerintah federal mulai belajar pro dan kontra dalam menggunakan analisis data terkomputerisasi untuk membantu menentukan kemungkinan narapidana melakukan pengulangan setelah dibebaskan. Mencetak individu sebagai risiko rendah, sedang, atau berisiko tinggi dapat membantu dalam keputusan perumahan dan perawatan, mengidentifikasi orang-orang yang dapat dengan aman dikirim ke penjara keamanan minimum atau bahkan "rumah singgah," atau yang akan mendapat manfaat dari jenis tertentu perawatan psikologis.

Informasi itu dapat membuat proses peradilan lebih efisien dan lebih murah, dan bahkan mengurangi kepadatan penjara. Memperlakukan pelanggar berisiko rendah seperti pelanggar berisiko tinggi telah ditunjukkan dalam beberapa penelitian untuk menyebabkan mereka menginternalisasi menjadi penjahat "sakit" dan membutuhkan perawatan untuk perilaku menyimpang mereka. Memisahkan mereka dengan demikian dapat mengurangi perkembangan perilaku negatif yang akan mengarah pada residivisme pada saat dilepaskan.

Data dan algoritme untuk menilai risiko reoffending narapidana sudah tersedia digunakan secara luas oleh negara untuk mengelola penahanan praperadilan, masa percobaan, pembebasan bersyarat dan bahkan hukuman. Tetapi mudah bagi mereka untuk tidak diperhatikan - mereka sering terlihat seperti dokumen birokrasi yang sederhana.

Biasanya algoritma diringkas menjadi lembar skor yang disederhanakan yang diisi oleh pegawai negeri dengan sedikit pemahaman tentang perhitungan yang mendasarinya. Misalnya, seorang pekerja kasus dapat mengevaluasi seorang tahanan menggunakan formulir di mana pekerja kasus tersebut menyatakan bahwa tahanan tersebut telah dihukum karena kejahatan kekerasan, masih muda pada saat penangkapan pertama, dan belum lulus dari sekolah tinggi atau mendapatkan GED. Faktor-faktor dan karakteristik lain tentang orang tersebut dan kejahatan menghasilkan skor yang menunjukkan apakah narapidana mungkin memenuhi syarat untuk pemeriksaan pembebasan bersyarat.

Formulir itu sendiri, serta sistem penilaiannya, sering mengungkapkan fitur utama tentang algoritma, seperti variabel yang dipertimbangkan dan bagaimana mereka datang bersama untuk membentuk skor risiko keseluruhan. Tetapi yang juga penting untuk transparansi algoritmik adalah untuk mengetahui bagaimana bentuk-bentuk seperti itu dirancang, dikembangkan, dan dievaluasi. Hanya dengan begitu publik dapat mengetahui apakah faktor-faktor dan perhitungan yang terlibat dalam mencapai skor itu adil dan masuk akal, atau tidak mendapat informasi dan bias.

Menggunakan Undang-Undang Kebebasan Informasi

Alat utama kami untuk mendapatkan formulir-formulir itu, dan materi pendukungnya, adalah undang-undang, dan khususnya, undang-undang kebebasan informasi. Mereka adalah salah satu mekanisme paling kuat yang dimiliki masyarakat untuk memastikan transparansi dalam pemerintahan. Di tingkat federal, itu Undang-Undang Kebebasan Informasi (FOIA) memungkinkan publik untuk secara resmi meminta - dan berharap menerima sebagai imbalan - dokumen dari pemerintah federal. Statuta analog ada untuk setiap negara.

Diundangkan dalam 1966, FOIA dibuat sebelum meluasnya penggunaan komputasi, dan jauh sebelum rim data yang besar secara rutin digunakan dalam sistem perangkat lunak untuk mengelola individu dan membuat prediksi. Telah ada beberapa penelitian awal ke dalam apakah FOIA mampu memfasilitasi pengungkapan kode sumber perangkat lunak. Tetapi masih ada pertanyaan tentang apakah undang-undang saat ini responsif terhadap kebutuhan publik abad 21: bisakah kita algoritma FOIA?

Sebuah studi kasus dalam transparansi algoritma

Saya berangkat untuk menjawab pertanyaan ini di Sekolah Tinggi Jurnalisme Philip Merrill di Universitas Maryland, di mana saya adalah asisten profesor. Pada musim gugur 2015, bekerja dengan kolega kelas hukum media rekan saya, Sandy Banisky, kami membimbing siswa dalam mengirimkan permintaan FOIA ke masing-masing negara bagian 50. Kami meminta dokumen, deskripsi matematis, data, penilaian validasi, kontrak, dan kode sumber yang terkait dengan algoritma yang digunakan dalam peradilan pidana, seperti untuk pembebasan bersyarat dan masa percobaan, jaminan atau keputusan hukuman.

Sebagai proyek selama satu semester, upaya itu tentu dibatasi oleh waktu, dengan banyak rintangan dan keberhasilan yang relatif sedikit. Seperti banyak investigasi wartawan, bahkan mencari tahu siapa yang harus ditanyakan - dan bagaimana - adalah sebuah tantangan. Badan-badan yang berbeda mungkin bertanggung jawab untuk berbagai bidang sistem peradilan pidana (hukuman mungkin dilakukan oleh pengadilan, tetapi manajemen pembebasan bersyarat dilakukan oleh Departemen Pemasyarakatan).

Bahkan setelah mengidentifikasi orang yang tepat, siswa menemukan pejabat pemerintah menggunakan terminologi berbeda yang membuatnya sulit untuk mengomunikasikan informasi apa yang mereka inginkan. Kadang-kadang, siswa harus bekerja keras untuk menjelaskan "algoritma peradilan pidana" kepada pegawai negeri yang tidak begitu paham data. Dalam retrospeksi, mungkin lebih efektif untuk meminta "alat penilaian risiko," karena itu adalah istilah yang sering digunakan oleh pemerintah negara bagian.

Menangani jawabannya

Beberapa negara, seperti Colorado, langsung menolak permintaan kami, mengatakan bahwa algoritma tersebut terkandung dalam perangkat lunak, yang tidak dianggap sebagai "dokumen" yang mengharuskan undang-undang pemerintah terbuka membuat pejabat mengumumkannya. Negara bagian yang berbeda memiliki aturan berbeda tentang pengungkapan penggunaan perangkat lunak. Ini terkadang muncul di pengadilan, seperti 2004 cocok melawan kota Detroit tentang apakah formula untuk menghitung biaya air yang dibebankan ke kota yang berdekatan harus diumumkan kepada publik.

Dalam upaya kami sendiri, kami hanya menerima satu deskripsi matematis dari algoritma peradilan pidana: Oregon diungkapkan variabel 16 dan bobotnya dalam model yang digunakan di sana untuk memprediksi residivisme. Negara bagian North Dakota merilis lembar kerja Excel yang menunjukkan persamaan yang digunakan untuk menentukan tanggal kapan narapidana berhak dipertimbangkan untuk pembebasan bersyarat. Dari Idaho dan New Mexico kami menerima dokumen dengan beberapa deskripsi penilaian risiko residivisme yang digunakan oleh negara bagian tersebut, tetapi tidak ada rincian tentang bagaimana mereka dikembangkan atau divalidasi.

Sembilan negara mendasarkan penolakan mereka untuk mengungkapkan rincian tentang algoritma peradilan pidana mereka pada klaim bahwa informasi itu benar-benar dimiliki oleh sebuah perusahaan. Implikasinya adalah bahwa melepaskan algoritme akan membahayakan perusahaan yang mengembangkannya. Kuisioner risiko residivisme yang umum, disebut LSI-R, ternyata merupakan produk komersial, dilindungi oleh hak cipta. Negara-negara seperti Hawaii dan Maine mengklaim bahwa mencegah pengungkapannya kepada publik.

Louisiana mengatakan kontraknya dengan pengembang teknik penilaian risiko baru menghalangi rilis informasi yang diminta selama enam bulan. Negara bagian Kentucky mengutip kontraknya dengan a yayasan filantropi karena alasan itu tidak dapat mengungkapkan rincian lebih lanjut. Kekhawatiran tentang informasi hak milik mungkin sah, tetapi mengingat bahwa pemerintah secara rutin membuat kontrak dengan perusahaan swasta, bagaimana kita menyeimbangkan kekhawatiran tersebut dengan sistem peradilan yang jelas dan memang sah?

Membuat perbaikan

Reformasi FOIA yang sangat dibutuhkan adalah saat ini sedang dalam pembahasan oleh Kongres. Ini memberikan peluang bagi hukum untuk dimodernisasi, tetapi perubahan yang diusulkan masih sedikit membantu mengakomodasi meningkatnya penggunaan algoritma dalam pemerintahan. Informasi transparansi algoritma mungkin dikodifikasi menjadi laporan bahwa pemerintah menghasilkan dan membuat publik secara teratur, sebagai bagian dari bisnis seperti biasa.

Sebagai masyarakat kita harus meminta petugas informasi publik dilatih sehingga mereka bisa membaca dan memang fasih dalam terminologi yang mungkin mereka temui ketika publik meminta algoritma. Pemerintah federal bahkan mungkin menciptakan posisi baru untuk "algoritma czar," seorang ombudsman yang tugasnya adalah untuk berkomunikasi tentang dan mengajukan pertanyaan ke dalam otomatisasi pemerintah.

Tidak ada dokumen yang kami terima dalam penelitian kami yang memberi tahu kami bagaimana formulir penilaian risiko peradilan pidana dikembangkan atau dievaluasi. Ketika algoritma mengatur semakin banyak kehidupan kita, warga negara membutuhkan - dan harus menuntut - transparansi lebih banyak.

Tentang Penulis

Nicholas Diakopoulos, Tow Fellow, Pusat Tow untuk Jurnalisme Digital di Universitas Columbia; Asisten Profesor Jurnalisme, Universitas Maryland. Penelitiannya adalah dalam komputasi dan jurnalisme data dengan penekanan pada akuntabilitas algoritmik, visualisasi data naratif, dan komputasi sosial dalam berita.

Artikel ini awalnya diterbitkan pada Percakapan. Membaca Artikel asli.

Buku terkait

at Pasar InnerSelf dan Amazon