Apa itu adil?
Tampaknya ini pertanyaan yang sederhana, tetapi pertanyaan tanpa jawaban sederhana. Itu khususnya benar dalam dunia misterius kecerdasan buatan (AI), di mana gagasan tentang mesin pintar, tanpa emosi yang membuat keputusan yang benar-benar bebas dari bias memudar dengan cepat.
Mungkin noda paling umum dari persepsi itu datang dengan penyelidikan ProPublica 2016 yang menyimpulkan bahwa data yang menggerakkan sistem AI yang digunakan oleh hakim untuk menentukan apakah seorang terpidana kriminal kemungkinan akan melakukan lebih banyak kejahatan tampaknya bias terhadap minoritas. Northpointe, perusahaan yang menciptakan algoritma, yang dikenal sebagai COMPAS, membantah interpretasi hasil ProPublica, tetapi bentrokan telah memicu perdebatan dan analisis tentang berapa banyak bahkan mesin paling cerdas harus dipercaya.
“Ini adalah topik yang sangat panas — bagaimana Anda bisa membuat algoritma adil dan dapat dipercaya, ” kata Daniel Neill. "Ini masalah penting."
Neill sekarang menemukan dirinya di tengah-tengah diskusi itu. Seorang ilmuwan komputer di Carnegie Mellon University, ia dan peneliti lain, Will Gorr, mengembangkan alat perangkat lunak prediksi kejahatan yang disebut CrimeScan beberapa tahun yang lalu. Konsep awal mereka adalah bahwa dalam beberapa hal kejahatan dengan kekerasan seperti penyakit menular, yang cenderung pecah dalam kelompok geografis. Mereka juga meyakini bahwa kejahatan yang lebih ringan dapat menjadi pertanda kejahatan yang lebih kejam, sehingga mereka membangun algoritme dengan menggunakan beragam data “indikator utama”, termasuk laporan kejahatan, seperti serangan sederhana, vandalisme dan perilaku tidak tertib, dan 911 panggilan tentang hal-hal seperti tembakan yang ditembakkan atau orang yang terlihat dengan senjata. Program ini juga menggabungkan tren musiman dan hari dalam seminggu, ditambah tingkat kejahatan serius serius jangka pendek dan jangka panjang.
Idenya adalah untuk melacak bunga api sebelum kebakaran terjadi. "Kami melihat lebih banyak kejahatan ringan, " kata Neill. “Serangan sederhana bisa mengeraskan serangan yang diperburuk. Atau Anda mungkin memiliki pola kekerasan yang meningkat antara dua geng. ”
Memprediksi kapan dan di mana
CrimeScan bukan perangkat lunak pertama yang dirancang untuk apa yang dikenal sebagai kebijakan prediktif. Sebuah program yang disebut PredPol dibuat delapan tahun lalu oleh para ilmuwan UCLA yang bekerja dengan Departemen Kepolisian Los Angeles, dengan tujuan melihat bagaimana analisis ilmiah data kejahatan dapat membantu menemukan pola perilaku kriminal. Sekarang digunakan oleh lebih dari 60 departemen kepolisian di seluruh negeri, PredPol mengidentifikasi daerah-daerah di lingkungan tempat kejahatan berat lebih mungkin terjadi selama periode tertentu.
Perusahaan tersebut mengklaim penelitiannya telah menemukan perangkat lunak itu dua kali lebih akurat dari analis manusia dalam hal memprediksi di mana kejahatan akan terjadi. Namun, tidak ada penelitian independen yang mengkonfirmasi hasil tersebut.
PredPol dan CrimeScan membatasi proyeksi mereka ke tempat kejahatan dapat terjadi, dan menghindari mengambil langkah selanjutnya untuk memperkirakan siapa yang mungkin melakukan kejahatan itu — sebuah pendekatan kontroversial yang dibangun oleh kota Chicago di sekitar “Daftar Subjek Strategis” dari orang-orang yang kemungkinan besar terlibat. dalam penembakan di masa depan, baik sebagai penembak atau korban.
American Civil Liberties Union [ACLU], Pusat Keadilan Brennan dan berbagai organisasi hak-hak sipil semuanya telah mengajukan pertanyaan tentang risiko bias dimasukkan ke dalam perangkat lunak. Data historis dari praktik kepolisian, menurut para kritikus, dapat membuat lingkaran umpan balik di mana algoritma membuat keputusan yang mencerminkan dan memperkuat sikap tentang lingkungan mana yang “buruk” dan mana yang “baik.” Itulah sebabnya mengapa AI terutama yang didasarkan pada data penangkapan memiliki tingkat yang lebih tinggi. risiko bias — lebih mencerminkan keputusan polisi, bukan kejahatan yang dilaporkan sebenarnya. CrimeScan, misalnya, tidak mencoba meramalkan kejahatan yang, seperti dikatakan Neill, "Anda hanya akan menemukan jika Anda mencarinya."
"Saya tidak bisa mengatakan kita bebas dari bias, " kata Neill, "tapi itu pasti lebih berkurang daripada jika kita mencoba untuk memprediksi kepemilikan narkoba."
Lalu ada sisi lain dari loop umpan balik. Jika alat prediksi meningkatkan ekspektasi kejahatan di lingkungan tertentu, apakah polisi yang berpatroli di sana akan lebih agresif dalam melakukan penangkapan?
"Ada bahaya nyata, dengan segala jenis kebijakan yang didorong oleh data, untuk melupakan bahwa ada manusia di kedua sisi persamaan, " kata Andrew Ferguson, seorang profesor hukum di University of District of Columbia dan penulis dari buku, Bangkitnya Pemolisian Data Besar: Pengawasan, Ras, dan Masa Depan Penegakan Hukum. “Petugas harus dapat menerjemahkan ide-ide ini yang menyarankan lingkungan yang berbeda memiliki skor ancaman yang berbeda. Dan, berfokus pada angka alih-alih manusia di depan Anda mengubah hubungan Anda dengan mereka. "
Di dalam kotak hitam
Kenyataannya adalah bahwa kecerdasan buatan sekarang memainkan peran — walaupun sering di latar belakang — dalam banyak keputusan yang memengaruhi kehidupan sehari-hari — mulai dari membantu perusahaan memilih siapa yang akan direkrut hingga menetapkan skor kredit hingga mengevaluasi guru. Tidak mengherankan, yang telah mengintensifkan pengawasan publik tentang bagaimana algoritma pembelajaran mesin dibuat, apa konsekuensi yang tidak disengaja mereka menyebabkannya, dan mengapa mereka umumnya tidak mengalami banyak ulasan.
Sebagai permulaan, sebagian besar perangkat lunak adalah milik, jadi ada sedikit transparansi di balik bagaimana fungsi algoritma. Dan, ketika pembelajaran mesin menjadi lebih canggih, itu akan menjadi semakin sulit bahkan bagi para insinyur yang menciptakan sistem AI untuk menjelaskan pilihan yang dibuatnya. Pengambilan keputusan yang buram, dengan sedikit pertanggungjawaban, adalah konsekuensi dari apa yang kemudian dikenal sebagai algoritma "kotak hitam".
"Publik tidak pernah mendapat kesempatan untuk mengaudit atau memperdebatkan penggunaan sistem seperti itu, " kata Meredith Whittaker, salah satu pendiri AI Now Institute, sebuah organisasi penelitian di New York University yang berfokus pada dampak AI dalam masyarakat. "Dan, data dan logika yang mengatur prediksi yang dibuat seringkali tidak diketahui bahkan bagi mereka yang menggunakannya, apalagi kepada orang-orang yang hidupnya terpengaruh."
Dalam sebuah laporan yang dikeluarkan musim gugur yang lalu, AI Now merekomendasikan bahwa tidak ada lembaga publik yang bertanggung jawab atas masalah-masalah seperti peradilan pidana, perawatan kesehatan, kesejahteraan dan pendidikan harus menggunakan sistem AI kotak hitam. Menurut AI Now, jarang masalah hukum dan etika diberikan banyak pertimbangan ketika perangkat lunak dibuat.
"Sama seperti Anda tidak akan mempercayai hakim untuk membangun jaringan saraf yang dalam, kita harus berhenti berasumsi bahwa gelar insinyur cukup untuk membuat keputusan kompleks dalam domain seperti peradilan pidana, " kata Whittaker.
Organisasi lain, Pusat Demokrasi & Teknologi, telah menghasilkan alat "keputusan digital" untuk membantu insinyur dan ilmuwan komputer membuat algoritma yang menghasilkan hasil yang adil dan tidak memihak. Alat itu mengajukan banyak pertanyaan yang dimaksudkan untuk membuat mereka menimbang asumsi mereka dan mengidentifikasi efek riak yang tak terduga.
“Kami ingin memberi orang titik awal yang konkret untuk memikirkan isu-isu seperti seberapa representatif data mereka, kelompok orang mana yang mungkin ditinggalkan, dan apakah hasil model mereka akan memiliki konsekuensi negatif yang tidak diinginkan, ” kata Natasha Duarte, yang mengawasi proyek.
Siapa yang bertanggung jawab
Sementara ada dorongan untuk membuat pengembang lebih sadar akan kemungkinan akibat dari algoritma mereka, yang lain menunjukkan bahwa lembaga publik dan perusahaan yang bergantung pada AI juga harus bertanggung jawab.
“Ada penekanan pada desainer memahami suatu sistem. Tetapi ini juga tentang orang-orang yang mengelola dan mengimplementasikan sistem, ”kata Jason Schultz, seorang profesor hukum di New York University yang bekerja dengan AI Now Institute dalam masalah hukum dan kebijakan. "Di situlah karet memenuhi jalan dalam pertanggungjawaban. Lembaga pemerintah yang menggunakan AI memiliki tanggung jawab paling besar dan mereka juga perlu memahaminya. Jika Anda tidak dapat memahami teknologinya, Anda seharusnya tidak dapat menggunakannya."
Untuk itu, AI Now mempromosikan penggunaan "penilaian dampak algoritmik, " yang akan membutuhkan lembaga publik untuk mengungkapkan sistem yang mereka gunakan, dan memungkinkan peneliti luar untuk menganalisis mereka untuk masalah potensial. Ketika datang ke departemen kepolisian, beberapa ahli hukum berpikir itu juga penting bagi mereka untuk dengan jelas menguraikan bagaimana mereka menggunakan teknologi dan bersedia untuk berbagi dengan masyarakat setempat.
"Jika sistem ini dirancang dari sudut pandang akuntabilitas, keadilan dan proses hukum, orang yang menerapkan sistem harus memahami bahwa mereka memiliki tanggung jawab, " kata Schultz. “Dan ketika kita merancang bagaimana kita akan mengimplementasikan ini, salah satu pertanyaan pertama adalah 'Di mana ini masuk dalam manual polisi?' Jika Anda tidak akan memiliki ini di suatu tempat di manual polisi, mari kita mundur selangkah, orang-orang. ”
Andrew Ferguson melihat kebutuhan untuk apa yang disebutnya sebagai "pertemuan puncak pengawasan."
“Setidaknya setahun sekali, harus ada momen pertanggungjawaban untuk teknologi kepolisian di setiap yurisdiksi lokal, ” katanya. “Kepala polisi, walikota, atau mungkin kepala dewan kota harus menjelaskan kepada masyarakat tentang apa yang mereka gunakan sebagai uang pembayar pajak dalam hal pengawasan dan teknologi, mengapa mereka berpikir itu adalah penggunaan uang yang baik, apa yang mereka gunakan. Sedang dilakukan untuk mengaudit dan melindungi data, apa implikasi privasi. Dan komunitas akan ada di sana untuk mengajukan pertanyaan. "
Daniel Neill, pencipta CrimeScan, mengatakan ia tidak akan keberatan dengan gagasan audit rutin hasil AI, meskipun ia memiliki keraguan tentang hal itu dilakukan sebelum suatu algoritma diuji lapangan secara memadai. Dia saat ini bekerja dengan Biro Kepolisian Pittsburgh pada persidangan CrimeScan, dan setidaknya pada awalnya ada tantangan dengan "mendapatkan intensitas patroli yang tepat untuk prediksi hot spot."
Sudah menjadi proses pembelajaran, katanya, untuk mengadaptasi CrimeScan sehingga petugas polisi di tingkat jalan percaya itu membantu. “Kita perlu menunjukkan bahwa kita tidak hanya dapat memprediksi kejahatan, tetapi juga bahwa kita benar-benar dapat mencegahnya, ” kata Neill. "Jika Anda hanya melemparkan alat ke dinding dan berharap untuk yang terbaik, itu tidak akan berhasil dengan baik."
Dia juga mengakui risiko menunda terlalu banyak ke suatu algoritma.
"Sebuah alat dapat membantu petugas polisi membuat keputusan yang baik, " katanya. “Saya tidak percaya mesin harus membuat keputusan. Mereka harus digunakan untuk mendukung keputusan. "
Neill menambahkan, "Saya mengerti bahwa, dalam praktiknya, itu bukan sesuatu yang terjadi sepanjang waktu."
