Dasar Bias Algoritma

Solusi sains dan teknologi -- Facebook Twitter Google Pinterest Pagi ini, jutaan orang terbangun dan secara impulsif mengecek Facebook.Mereka disambut langsung oleh konten yang dikurasi oleh algoritma newsfeed Facebook.Sampai tingkat tertentu, berita ini mungkin telah mempengaruhi persepsi mereka tentang berita hari ini, prospek ekonomi, dan keadaan pemilihan.Setiap tahun, jutaan orang melamar pekerjaan.

Solusi sains dan teknologi -- Semakin banyak, kesuksesan mereka mungkin terletak sebagian di tangan program komputer yang ditugaskan dengan aplikasi yang sesuai dengan lowongan kerja.Dan setiap tahun, sekitar 12 juta orang ditangkap.Sepanjang sistem peradilan pidana, penilaian risiko yang dihasilkan komputer digunakan untuk menentukan tahanan mana yang harus dibebaskan.Dalam semua situasi ini, algoritma ditugaskan untuk membuat keputusan.

Solusi sains dan teknologi -- Pengambilan keputusan secara algoritmik semakin menengahi interaksi kita, mempengaruhi pengalaman sosial kita, berita yang kita lihat, keuangan kita, dan peluang karir kita.Kami mengerjakan program komputer dengan menyetujui jalur kredit, cmengotori berita, dan menyaring pelamar kerja.Pengadilan bahkan menerapkan algoritme terkomputerisasi untuk memprediksi "risiko residivisme", kemungkinan seseorang mengalami kambuh menjadi perilaku kriminal.Nampaknya tren ini hanya akan berakselerasi karena terobosan dalam kecerdasan buatan dengan cepat memperluas kemampuan perangkat lunak.

Solusi sains dan teknologi -- Mengubah pengambilan keputusan menjadi algoritma secara alami menimbulkan kekhawatiran tentang kemampuan kita untuk menilai dan memberlakukan netralitas pengambil keputusan baru ini.Bagaimana kita bisa yakin bahwa berita yang dikuratori secara algoritme tidak memiliki bias atau cantuman partai politik tidak mencerminkan jenis kelamin atau bias ras.Apa bias lain yang mungkin dilakukan proses otomatis kita sehingga kita tidak tahu harus mencarinya.Munculnya pembelajaran mesin mempersulit masalah ini.

Solusi sains dan teknologi -- Perangkat lunak tradisional biasanya terdiri dari aturan logika sederhana dan kode tangan.Jika kondisi X bertahan, maka lakukan tindakan Y.Tetapi pembelajaran mesin bergantung pada model statistik yang kompleks untuk menemukan poladalam dataset besar Ambil persetujuan pinjaman misalnya.Mengingat tahun sejarah kredit dan informasi sisi lainnya, algoritma pembelajaran mesin mungkin menghasilkan probabilitas pemohon akan gagal bayar.

Solusi sains dan teknologi -- Logika di balik penilaian ini tidak akan dikodekan dengan tangan.Sebagai gantinya, model tersebut akan melakukan ekstrapolasi dari catatan ribuan atau jutaan pelanggan lainnya.Pada masalah yang sangat khusus, dan dengan data yang cukup, algoritma pembelajaran mesin seringkali dapat membuat prediksi dengan akurasi manusia atau super manusia.Tapi seringkali sulit untuk mengatakan dengan tepat mengapa sebuah keputusan dibuat.

Solusi sains dan teknologi -- Jadi bagaimana kita bisa memastikan bahwa keputusan ini tidak mengkodekan bias.Bagaimana kita bisa memastikan bahwa memberi algoritma ini kekuatan pengambilan keputusan tidak sesuai dengan pelanggaran etika.Potensi prasangka belum berada di bawah radar.Pada tahun lalu saja, MIT Technology Review [1], the Guardian [2], dan New York Times [3], semua potongan pemikiran yang dipublikasikan memperingatkan terhadap bias algoritmik.

Solusi sains dan teknologi -- Beberapa cakupan terbaik telah datangdari ProPublica, yang secara kuantitatif mempelajari bias rasial dalam skor penilaian risiko kriminal yang banyak digunakan [4].Setiap artikel menyebutkan gagasan bahwa algoritme tentu objektif.Technology Review meminta pernyataan Fred Berenson bahwa kita rentan terhadap 'mathwashing'.Artinya, kita cenderung (salah kaprah) menganggap bahwa setiap sistem yang dibangun dengan matematika kompleks pada intinya entah bagaimana harus objektif, tanpa bias yang mengganggu pengambilan keputusan manusia.

Solusi sains dan teknologi -- Sayangnya, wacana publik jarang menyoroti mekanisme yang tepat dimana bias benar-benar memasuki proses pengambilan keputusan algoritmik.Tech Review misalnya, menunjukkan kelimpahan pria yang bekerja di bidang ilmu komputer tanpa menjelaskan bagaimana hal ini dapat mengubah perilaku algoritme mereka.Anda mungkin berpikir bahwa bias merembes melalui sistem filtrasi udara.The Guardian membuat argumen yang meyakinkan bahwa prediktor "residivisme" tersebut mengkodekan bias rasial, menghasilkan bukti untuk mendukung klaim tersebut.

Solusi sains dan teknologi -- Tapi mereka tidak pernah berdiskusibagaimana ini bisa terjadi, menggambarkan algoritme hanya sebagai kotak hitam.Demikian pula, bagian New York Times meminta perhatian pada bias dan keburaman algoritma FaceBook untuk kurasi baru, namun tidak menjelaskan mekanisme yang tepat dimana hasil yang tidak diinginkan muncul.Yang mengagumkan, di bagian ProPublica, penulis Julia Adwin mencari algoritma penilaian risiko itu sendiri, namun perusahaan perangkat lunak Northpointe tidak akan membagikan formula kepemilikan yang tepat.Ini mendorong bahwa potongan-potongan ini telah membantu memicu percakapan global tentang tanggung jawab para pengambil keputusan yang terprogram.

Solusi sains dan teknologi -- Namun, kualitas mistik dari diskusi tersebut mengancam stymie progress.Jika kita tidak tahu bagaimana algoritma bisa menjadi bias, bagaimana kita bisa tahu kapan harus mencurigai mereka.Apalagi tanpa pemahaman ini, bagaimana kita bisa berharap bisa melawan bias.Untuk membawa beberapa ketegasan pada dialog, pertama-tama kita lari melalui kursus kilat tentang algoritma apa, bagaimana mereka membuat keputusan, dan di mana pembelajaran mesin masuks gambarnya Dengan berbekal informasi ini, kami kemudian akan memperkenalkan katalog tentang cara-cara mendasar agar segala sesuatunya menjadi salah.

Solusi sains dan teknologi -- [ALGORITHMS] Untuk memulai, mari kita secara singkat menjelaskan algoritma.Algoritma adalah petunjuk yang memberitahu komputer Anda secara tepat bagaimana menyelesaikan beberapa tugas.Biasanya, ini berarti bagaimana mengambil beberapa input dan menghasilkan beberapa output.Perangkat lunak yang mengambil dua alamat pada peta dan mengembalikan rute terpendek di antara keduanya adalah sebuah algoritma.

Solusi sains dan teknologi -- Begitu juga metode yang dokter gunakan untuk menghitung risiko jantung.Algoritma khusus ini mengambil usia, tekanan darah, status merokok, dan beberapa masukan lainnya, menggabungkannya sesuai dengan formula yang tepat, dan mengeluarkan risiko kejadian kardiovaskular.Dibandingkan dengan contoh sederhana ini, banyak algoritma di jantung teknologi seperti mobil penggerak sendiri dan sistem Solusi sains dan teknologi jauh lebih kompleks, yang berisi banyak instruksi, operasi matematika lanjutan, dan logika yang rumit.Terkadang, garis antara sebuah algoritmadan apa yang mungkin lebih baik digambarkan sebagai sistem perangkat lunak yang kompleks dapat menjadi kabur.

Solusi sains dan teknologi -- Pertimbangkan algoritme di balik layanan pencarian Google.Dari luar mungkin tampak monolitik, tapi sebenarnya sistem perangkat lunak yang kompleks, mencakup beberapa sub-algoritma, yang masing-masing dapat dipertahankan oleh tim insinyur dan ilmuwan besar dan terdiri dari jutaan baris kode.Ada sedikit yang bisa dikatakan universal tentang algoritma.Secara kolektif, mereka tidak rasis atau netral, cepat atau lambat, tidak sadar atau tidak berperasaan.

Solusi sains dan teknologi -- Jika Anda bisa mensimulasikan otak Anda dengan program komputer, dengan sempurna menangkap perilaku setiap neuron, program itu akan menjadi algoritma.Jadi, dalam arti penting, tidak ada yang khusus mendasar tentang keputusan algoritmik.Dalam situasi di mana keputusan manusia mungkin menunjukkan bias, mungkin itulah yang dilakukan oleh algoritma komputerisasi.Salah satu perbedaan penting antara manusia dan bias algoritmik adalah bahwa bagi manusia, kita tahu subias bias, dan kita memiliki beberapa intuisi untuk jenis bias yang diharapkan.

Solusi sains dan teknologi -- Untuk menghilangkan keraguan bahwa algoritma mungkin mengkodekan bias, pertimbangkan aturan berikut untuk memperpanjang garis kredit: Jika ras = putih KEMUDIAN menyetujui pinjaman yang ditolak ELSE.Program ini, betapapun sederhananya, merupakan sebuah algoritma namun mencerminkan bias yang jelas.Tentu saja, rasisme eksplisit ini mungkin mudah dideteksi dan langsung menantang secara legal.Mengartikan logikanya tidak membutuhkan keahlian yang hebat.

Solusi sains dan teknologi -- Tapi software berskala besar dan sistem pembelajaran mesin saat ini bisa tumbuh buram.Bahkan programmer dari sebuah sistem mungkin berjuang untuk mengatakan mengapa justru membuat setiap sistem individu.Untuk algoritma yang kompleks, bias mungkin ada, namun mendeteksi bias, mengidentifikasi penyebabnya, dan koreksi mungkin tidak selalu mudah.Namun demikian, ada beberapa pola umum tentang bagaimana bias dapat masuk ke dalam sistem.

Solusi sains dan teknologi -- Memahami pola ini mungkin sangat penting untuk menjaga agar masalah yang tidak dapat dicegah.[MACHINE LEARNING] Sekarang mari'S review dasar - dasar mesin belajar.Pembelajaran mesin mengacu pada seperangkat teknik yang kuat untuk membangun algoritma yang memperbaiki fungsi dari pengalaman.Bidang pembelajaran mesin membahas kelas masalah dan solusi algoritmik yang luas namun kita akan fokus pada pembelajaran yang diawasi, jenis yang secara langsung berkaitan dengan pengenalan pola dan pemodelan prediktif.

Solusi sains dan teknologi -- Sebagian besar pembelajaran mesin di alam liar saat ini terdiri dari pembelajaran yang diawasi.Saat Facebook mengenali wajah Anda di foto, saat kotak surat Anda menyaring spam, dan saat bank Anda memprediksi risiko default - inilah contoh pembelajaran mesin yang diawasi dalam tindakan.Kami menggunakan mesin belajar karena terkadang tidak mungkin menentukan program yang cukup bagus secara apriori.Misalnya Anda ingin membuat filter spam.

Solusi sains dan teknologi -- Anda mungkin tergoda untuk menerapkan sistem berbasis aturan dengan daftar hitam kata-kata yang mengandung kata-kata berisi spam.Apakah ada email yang mengacu pada spam "Western Union".Mungkin.Tapi meski begitu, itu hanya menggambarkan sedikit persenusia spam Masih ada permintaan dari perusahaan obat terlarang, situs pornografi, dan pangeran Nigeria legendaris yang ingin mengirim jutaan dolar kepada Anda.

Solusi sains dan teknologi -- Misalkan sekarang melalui usaha mengerikan Anda menghasilkan filter spam yang sempurna, menggabungkan 1.000 aturan konsisten untuk mencakup semua kasus spam yang diketahui sambil membiarkan semua email yang sah lewat.Segera setelah Anda menyelesaikan prestasi yang tidak masuk akal ini dan mendapatkan tidur yang layak, Anda akan terbangun untuk menemukan bahwa filter spam tidak lagi bekerja dengan baik.Para spammer akan menemukan varietas spam baru, membatalkan semua kerja keras Anda.Pembelajaran mesin mengusulkan cara alternatif untuk mengatasi masalah ini.

Solusi sains dan teknologi -- Bahkan jika kita tidak bisa menentukan secara tepat apa yang dimaksud dengan spam, kita mungkin mengetahuinya saat kita melihatnya.Alih-alih datang dengan solusi yang tepat dari diri kita sendiri dengan menyebutkan peraturan, kita dapat mengumpulkan kumpulan data besar yang berisi email yang diketahui sebagai spam atau aman.Dataset mungkin terdiri dari jutaan emails, masing-masing akan ditandai oleh sejumlah besar atribut dan diberi catatan sesuai dengan apakah diyakini (oleh manusia) benar-benar spam atau tidak.Atribut umum mungkin termasuk kata-kata itu sendiri, saat email dikirim, alamat email, server, dan domain dari mana ia dikirim, dan statistik tentang korespondensi sebelumnya dengan alamat ini.

Solusi sains dan teknologi -- Sudah, Anda mungkin melihat masalah.Siapa yang memutuskan email mana yang spam dan bukan.Apa bias yang mungkin menjadi faktor dalam keputusan ini.Jika pelabelan menganggap semua email dari Nigeria merupakan spam, bagaimana kita bisa membenarkan penggunaan sistem yang akan memperlakukan jutaan orang secara tidak adil.

Solusi sains dan teknologi -- Setelah kita mendapatkan dataset, kita dapat menentukan keluarga model statistik yang fleksibel untuk pemetaan antara sebuah email dan kemungkinan bahwa itu adalah spam.Model sederhana mungkin untuk Solusi sains dan teknologi skor (bobot) untuk setiap kata dalam kosa kata.Jika bobot itu positif, maka akan meningkatkan probabilitas bahwa email tersebut adalah spam.Jika negatif itu menurunkan probabilitasnya.

Solusi sains dan teknologi -- Untukhitunglah skor akhir, kita bisa menghitung jumlah setiap kata, mengalikan masing-masing dengan bobot yang sesuai.Ini menggambarkan keluarga model linier, teknik klasik dari statistik.Praktisi belajar mesin juga memiliki banyak model yang lebih rumit, termasuk jaringan syaraf yang sangat populer (sebuah keluarga teknik yang sekarang disebut pembelajaran mendalam).Dalam diskusi kami saat ini, bentuk model yang tepat tidak menjadi masalah.

Solusi sains dan teknologi -- Ketika kita mengatakan mesin itu belajar, kita hanya bermaksud bahwa karena ia melihat lebih banyak data, ia memperbarui kepercayaannya, karena dengan menyesuaikan bobot, tentang model mana dalam keluarga yang terbaik.Jadi, daripada membangun filter spam dengan bank aturan seperti "JIKA berisi (" Western Union ") KEMUDIAN SPAM", kami akan membuat daftar ribuan atau jutaan email yang besar, yang mengindikasikan masing-masing apakah spam itu atau tidak.Label-label ini sering dikumpulkan secara aktif, seperti oleh banyak pekerja low-up melalui layanan seperti turkrip mekanis milik Amazon.Label bisa aJika dikumpulkan secara pasif, seperti dengan memanen informasi saat pengguna secara eksplisit menandai email sebagai spam atau menghapus email dari kotak spam mereka ke kotak masuk mereka.

Solusi sains dan teknologi -- Untuk semua model pembelajaran mesin yang diawasi, gambaran besar tetap sama.Kami memiliki kumpulan contoh data (semoga representatif).Kami juga memiliki koleksi label yang sesuai yang dikumpulkan secara aktif atau pasif (biasanya dari anotator manusia).Ini mencerminkan pilihan (sering subjektif) atas apa yang merupakan kebenaran dasar.

Solusi sains dan teknologi -- Melangkah mundur, kami juga membuat pilihan subjektif mengenai apa yang layak diprediksi di tempat pertama.Misalnya, apakah kami meminta anotasi kami memberi label spam, atau konten yang menyinggung atau konten yang tidak menarik.Dan kadang-kadang, praktisi pembelajaran mesin merumuskan masalah sedemikian rupa sehingga gagasan tentang kebenaran tanah tampaknya dipertanyakan.Dalam banyak aplikasi, peneliti mengklasifikasikan kalimat atau dokumen sesuai dengan salah satu dari beberapa sentimen.

Solusi sains dan teknologi -- Makalah lain memecah kelas emosionalication menjadi dua dimensi: skor gairah dan nilai valensi.Apakah nilai simplistik ini dapat menangkap sesuatu yang berhubungan dengan ide yang ditunjukkan oleh emosi atau sentimen tampaknya masih bisa diperdebatkan.[BIAS] Sekarang kita dapat mulai melakukan demistifikasi proses dimana bias yang tidak diinginkan dapat menyusup ke model pembelajaran mesin.[BIASED DATA] Mungkin cara yang paling jelas bahwa algoritma pembelajaran mesin dapat dikompromikan adalah jika data dasarnya sendiri mencerminkan bias.

Solusi sains dan teknologi -- Pertimbangkan, misalnya, sebuah model yang memprediksi risiko residivisme.Contoh pelatihan di sini akan terdiri dari catatan tahanan masa lalu.Label yang sesuai adalah nilai biner (1 jika mereka dinyatakan bersalah atas kejahatan lain, 0 jika tidak).Namun, label ini sendiri bisa mencerminkan bias yang mendalam.

Solusi sains dan teknologi -- Misalnya, seorang individu hanya dihukum karena melakukan kejahatan jika mereka pertama kali ditangkap dan ditangkap.Tapi tingkat penangkapan mencerminkan bias dokumen dengan baik.Dengan demikian, pria kulit hitam, selain menghadapi kemungkinan penahanan lebih tinggi di tTempat pertama, bisa melihat kemalangan mereka bertambah dengan menggunakan prediktor residivisme.Anda mungkin berharap bisa mengatasi masalah ini dengan menahan informasi demografis sensitif dari algoritma pembelajaran mesin.

Solusi sains dan teknologi -- Jika modelnya tidak tahu siapa yang hitam dan siapa yang berkulit putih, bagaimana bisa belajar membedakan keduanya.Sayangnya, itu tidak sesederhana itu.Dengan seperangkat fitur yang cukup kaya dan keluarga model yang cukup kaya, algoritma mesin menyimpulkan secara implisit, dan menggunakan informasi ini untuk memprediksi residivisme.Misalnya, kode pos, pekerjaan, bahkan tindak kejahatan sebelumnya yang dilakukan masing-masing bisa menjadi petunjuk bagi ras narapidana.

Solusi sains dan teknologi -- Bertindak atas prediksi model yang bias untuk membuat keputusan pembebasan bersyarat pada gilirannya dapat mengabadikan siklus penahanan.Pelajaran di sini adalah bahwa jika data dasar yang diklaim secara intrinsik bias, kita harus berharap bahwa algoritma pembelajaran mesin akan menghasilkan model yang bias secara komersil.Contoh lain dari pembelajaran mesinMenyerap bias dalam data pelatihan akhir-akhir ini mendapat perhatian saat para periset di Universitas Boston dan Microsoft Research yang dipimpin oleh Tolga Bolukbasi memeriksa sebuah teknik yang disebut embedding kata [5].Penyisipan kata adalah teknik di mana setiap kata dalam kosakata ditetapkan ke vektor.

Solusi sains dan teknologi -- Gagasan utamanya adalah bahwa arti setiap kata bisa ditangkap oleh sudut vektor.Vektor ini dapat digunakan untuk mewakili kata bila digunakan sebagai masukan untuk algoritma pembelajaran mesin.Periset membuat gelombang pada tahun 2013 dengan menunjukkan teknik untuk mempelajari vektor-vektor ini dengan memilih vektor yang paling memprediksi kata-kata tetangga di kumpulan data yang besar.Serendipit, para peneliti menemukan bahwa representasi ini mengakui beberapa sifat yang luar biasa.

Solusi sains dan teknologi -- Di antara mereka, vektor dapat digunakan dengan cara lurus ke depan untuk mengeksekusi penalaran analogis.Satu contoh yang terkenal sekarang menunjukkan bahwa di ruang vektor ini - kira-kira sama dengan - .Contoh serupa menunjukkan bahwa - kira-kira sama dengan - .Dan beberapa pekerjaan pendahuluan menunjukkan bahwa embeddings ini cukup berguna untuk melakukan penalaran analogis tingkat manusia pada tes standar seperti SAT.

Solusi sains dan teknologi -- Dalam tiga tahun terakhir, embeddings telah menjadi alat yang hampir ada di mana-mana di laboratorium pemrosesan mesin dan pengolahan alami di seluruh akademisi dan industri.Tapi Tolga Bolukbasi dan rekannya menunjukkan bahwa selain memahami hubungan semantik yang berarti, kata embeddings juga memilih bias umum yang diserap yang tercermin dalam teks dasar kargo.Dalam satu contoh, mereka menunjukkan bahwa embeddings belajar juga dikodekan untuk programmer komputer pria - wanita - ibu rumah tangga.Demikian pula, di ruang embedding yang dipelajari, pekerjaan yang paling dekat dengan "dia" adalah 1.

Solusi sains dan teknologi -- ibu rumah tangga 2.perawat 3.resepsionis 4.pustakawan 5.

Solusi sains dan teknologi -- sosialita 6.penata rambut.Sebaliknya, pekerjaan mendekati "dia" termasuk 1.maestro 2.

Solusi sains dan teknologi -- nakhoda 3.anak didik 4.filsuf 5.kapten 6.

Solusi sains dan teknologi -- arsitek.BolukbasSaya dan rekan mengusulkan sebuah metode untuk mengidentifikasi subruang dari embeddings yang dipelajari sesuai dengan jenis kelamin dan mengoreksinya.Namun, kita harus mencatat bahwa ini tidak benar untuk berbagai bias potensial lainnya yang mungkin mengintai di dalam kata embeddings.Hal yang sama bisa dikatakan manusia.

Solusi sains dan teknologi -- Kami meminta perhatian pada bias tertentu, menekankannya, menguji keberadaan mereka, dan memperbaikinya sebaik mungkin.Tapi hanya dengan mengidentifikasi masalah dan mengajukan tes untuk itu kita bisa mengatasinya.Sulit untuk menebak prasangka apa yang mungkin mempengaruhi pengambilan keputusan manusia yang tidak pernah kita pikirkan untuk diperiksa.[BIAS oleh OMISSION] Bahkan tanpa menyerap bias eksplisit dari kumpulan data, pembelajaran mesin dapat menghasilkan klasifikasi dan keputusan yang bias karena data tersebut secara implisit bias berdasarkan siapa yang terwakili dan siapa yang dihilangkan.

Solusi sains dan teknologi -- Sebagai contoh yang mencolok, Google tahun lalu menambahkan algoritma deteksi keberatan mutakhir ke aplikasi foto-nya.Algoritma anotasi fotSaya dan rekan mengusulkan sebuah metode untuk mengidentifikasi subruang dari embeddings yang dipelajari sesuai dengan jenis kelamin dan mengoreksinya.Namun, kita harus mencatat bahwa ini tidak benar untuk berbagai bias potensial lainnya yang mungkin mengintai di dalam kata embeddings.Hal yang sama bisa dikatakan manusia.

Solusi sains dan teknologi -- Kami meminta perhatian pada bias tertentu, menekankannya, menguji keberadaan mereka, dan memperbaikinya sebaik mungkin.Tapi hanya dengan mengidentifikasi masalah dan mengajukan tes untuk itu kita bisa mengatasinya.Sulit untuk menebak prasangka apa yang mungkin mempengaruhi pengambilan keputusan manusia yang tidak pernah kita pikirkan untuk diperiksa.[BIAS oleh OMISSION] Bahkan tanpa menyerap bias eksplisit dari kumpulan data, pembelajaran mesin dapat menghasilkan klasifikasi dan keputusan yang bias karena data tersebut secara implisit bias berdasarkan siapa yang terwakili dan siapa yang dihilangkan.

Solusi sains dan teknologi -- Sebagai contoh yang mencolok, Google tahun lalu menambahkan algoritma deteksi keberatan mutakhir ke aplikasi foto-nya.Algoritma anotasi fots dan gedung pencakar langit.Karena penasaran, saya membolak-balik penjelajah ImageNet, memilih gambar manusia dan melewati 500 pertama dengan mata.Dari 500 gambar manusia yang dipilih secara acak, hanya 2 orang kulit hitam yang digambarkan.

Solusi sains dan teknologi -- Keduanya terdiri dari satu gambar Gary Coleman, dan satu lagi pria kulit hitam berpakaian seret.Sebuah mesin yang dilatih tentang gambar-gambar ini mungkin tidak pernah melihat orang kulit hitam yang khas dan karenanya tidak akan tahu saat melihat seseorang apakah mengkategorikan berdasarkan warna atau fisiologi.Sekarang ImageNet dibangun oleh akademisi yang bermaksud baik.Tampaknya sangat tidak mungkin bahwa pencipta dataset ditujukan untuk model yang dilatih agar tidak berperilaku dengan cara ini.

Solusi sains dan teknologi -- Dirilis pada tahun 2009 oleh Dr.Fei Fei Li dan rekan-rekannya, kumpulan data terinspirasi bahwa manusia melihat banyak gambar per detik sambil membentuk kemampuan mereka untuk mengenali benda-benda, dan komputer mungkin memerlukan akses ke kumpulan data yang kaya.Sepengetahuan saya, dataset tidak mengkodekan bias manusia eksplisit.Tidak ada gambar orang kulit hitam ans dan gedung pencakar langit.

Solusi sains dan teknologi -- Karena penasaran, saya membolak-balik penjelajah ImageNet, memilih gambar manusia dan melewati 500 pertama dengan mata.Dari 500 gambar manusia yang dipilih secara acak, hanya 2 orang kulit hitam yang digambarkan.Keduanya terdiri dari satu gambar Gary Coleman, dan satu lagi pria kulit hitam berpakaian seret.Sebuah mesin yang dilatih tentang gambar-gambar ini mungkin tidak pernah melihat orang kulit hitam yang khas dan karenanya tidak akan tahu saat melihat seseorang apakah mengkategorikan berdasarkan warna atau fisiologi.

Solusi sains dan teknologi -- Sekarang ImageNet dibangun oleh akademisi yang bermaksud baik.Tampaknya sangat tidak mungkin bahwa pencipta dataset ditujukan untuk model yang dilatih agar tidak berperilaku dengan cara ini.Dirilis pada tahun 2009 oleh Dr.Fei Fei Li dan rekan-rekannya, kumpulan data terinspirasi bahwa manusia melihat banyak gambar per detik sambil membentuk kemampuan mereka untuk mengenali benda-benda, dan komputer mungkin memerlukan akses ke kumpulan data yang kaya.

Solusi sains dan teknologi -- Sepengetahuan saya, dataset tidak mengkodekan bias manusia eksplisit.Tidak ada gambar orang kulit hitam an, kita mungkin menemukan kesadaran ini memberdayakan karena memberikan resep langsung untuk bagaimana mendeteksi dan menghindari beberapa jenis bias yang tidak disengaja.Bertentangan dengan saran John Naughton dari Guardian bahwa keinginan kita untuk meneliti algoritme terhambat oleh sifat kotak hitam yang tak tertembus, jenis kesalahan tertentu dapat ditemukan hanya dengan memeriksa data pelatihan, sebuah tugas yang pastinya tidak memerlukan gelar PhD di pembelajaran mesin.[TUJUAN SURROGATE] Sejauh ini kita telah mempertimbangkan hanya cara-cara yang bias dapat menyusupi algoritma melalui dataset.

Solusi sains dan teknologi -- Tapi ini bukan satu-satunya cara agar perilaku etis meragukan memasuki pengambilan keputusan algoritmik.Sumber kesulitan lainnya bisa menjadi pilihan objektif: Apa yang kita pilih untuk diprediksi.Dan bagaimana kita bertindak atas informasi itu.Pertimbangkan, misalnya, sistem rekomendasi yang digunakan oleh layanan seperti Facebook untuk menyarankan barang berita dari seluruh dunia di media sosial.

Solusi sains dan teknologi -- Secara abstrak kita mungkin menyatakan tujuan sistem Solusi sains dan teknologi semacam ituadalah untuk menampilkan artikel yang membuat pengguna mengetahui kejadian penting.Kita mungkin berharap bahwa artikel yang muncul akan benar.Dan di tahun pemilihan, kami berharap kandidat yang berbeda memiliki kesempatan yang sama untuk menyampaikan pesan.Singkatnya, inilah tanggung jawab yang secara normatif kita harapkan manusia ambil saat membuat keputusan kuratorial seperti halnya dengan stasiun televisi besar dan surat kabar.

Solusi sains dan teknologi -- Tapi bukan bagaimana algoritma di balik sistem rekomendasi kehidupan nyata di Solusi sains dan teknologi bekerja hari ini.Biasanya, mereka tidak tahu atau peduli tentang kebenaran dan mereka tidak tahu tentang netralitas.Itu belum tentu karena raksasa Solusi sains dan teknologi tidak menyukai kebajikan ini - ini sering hanya karena sulit.Di mana kita bisa menemukan contoh jutaan artikel yang dinilai sesuai dengan kualitas jurnalistik atau konten kebenaran sebagaimana dinilai oleh pemeriksaan fakta yang tidak memihak.

Solusi sains dan teknologi -- Selain itu, memastikan netralitas mengharuskan kita tidak hanya memberi peringkat pada artikel individual (dan memberikan yang terbaik) namun kami memberi peringkat pada kumpulan saran yang direkomendasikanes menurut keragaman mereka, masalah optimasi yang jauh lebih sulit.Apalagi pemecahan masalah bisa sangat mahal.Google, Amazon, dan Facebook telah menginvestasikan miliaran dolar untuk menyediakan layanan pembelajaran mesin dalam skala besar.Dan layanan ini biasanya mengoptimalkan tujuan yang sangat sederhana.

Solusi sains dan teknologi -- Memecahkan masalah yang lebih sulit dengan prospek yang berpotensi kecil untuk mengurangi remunerasi tambahan terhadap insentif finansial dari sebuah perusahaan besar.Jadi, apa yang biasanya dioptimalkan oleh praktisi pembelajaran mesin.Klik Asumsi operasi adalah bahwa orang umumnya cenderung mengklik artikel yang lebih baik dan cenderung mengklik artikel yang lebih buruk.Selanjutnya, mudah bagi situs seperti Facebook, Google dan Amazon untuk mencatat setiap link yang Anda klik.

Solusi sains dan teknologi -- Data klik yang dikumpulkan secara kolektif ini kemudian dapat digunakan sebagai pengawasan terhadap algoritma pembelajaran mesin yang dilatih untuk mengoptimalkan hasil pencarian.Pada akhirnya orang melihat lebih banyak artikel yang cenderung mereka klik.Harapannya adalah thaIni berhubungan erat dengan apa yang benar-benar kita pedulikan - bahwa artikel itu menarik, atau berkualitas tinggi.Tapi tidak sulit membayangkan bagaimana tujuan ini bisa menyimpang.

Solusi sains dan teknologi -- Misalnya, headline sensasional mungkin lebih cenderung mendapatkan klik meskipun mereka cenderung mengarah ke kisah nyata.Hal ini umum terjadi pada pembelajaran mesin.Terkadang masalah sebenarnya sulit didefinisikan, atau kita tidak memiliki data yang solid.Jadi alih-alih kami mengoptimalkan masalah pengganti, berharap solusinya cukup serupa.

Solusi sains dan teknologi -- Dan memang banyak layanan, seperti pencarian Google, terlepas dari kekurangannya, ternyata menghasilkan hasil yang jauh lebih relevan daripada pilihan acak atau kronologis dari web secara keseluruhan.Namun keberhasilan sistem ini, dan ketergantungan kita pada hal itu, juga membuat kekurangan mereka menjadi lebih bermasalah.Setelah semua, tidak ada yang akan khawatir tentang kurungan berita dari FaceBook jika tidak ada yang menerima berita dari situs ini.Untuk melihat bagaimana segala sesuatunya bisa salah, kita bisa melihat pres yang ada saat inipemilihan idential Di media konvensional seperti radio dan TV, pemegang lisensi siaran diharuskan memberikan waktu yang sama untuk menentang calon presiden jika mereka memintanya.

Solusi sains dan teknologi -- Artinya, bahkan jika satu calon mungkin tampak lebih menghibur, atau mendapatkan peringkat yang lebih tinggi, kami percaya bahwa ini bias berpihak pada kandidat untuk mendapatkan liputan yang lebih banyak daripada yang lain.Sementara kepatuhan terhadap media konvensional terhadap prinsip ini mungkin bisa diperdebatkan, nampak jelas bahwa para penghuni media sosial diperlakukan sebagai omong kosong yang tidak proporsional tentang Donald Trump.Meskipun artikel ini mungkin benar-benar lebih cenderung menghasilkan klik, konten yang dikurangkan secara keseluruhan tidak memiliki keragaman yang kita harapkan dari cakupan pemilihan konvensional.Tentu saja, kurasi berita FaceBook adalah masalah yang serius.

Solusi sains dan teknologi -- Di satu sisi Facebook memiliki peran dalam mengurasi berita, meski tidak sepenuhnya merangkul peran organisasi berita.Di sisi lain, Facebook juga berfungsi sebagai lapangan umum, tempat orang-orang pergi ke sanaBerbicaralah dengan suara nyaring dan dengarlah.Dalam konteks itu, kita tidak akan mengharapkan adanya penegakan waktu yang sama, dan juga tidak akan kita harapkan semua pesan diberi kesempatan yang sama untuk didengar oleh semua orang dalam jarak pendengaran.Tapi, seperti kita semua tahu, Facebook tidak hanya menyampaikan semua informasi sama, jadi juga bukan lapangan umum.

Solusi sains dan teknologi -- Sulit untuk mengantisipasi efek mengoptimalkan tugas pengganti ini.Rich Caruana, seorang peneliti di Microsoft Research Redmond menyajikan sebuah kasus yang menarik dimana model pembelajaran mesin prediktif dilatih untuk memprediksi risiko kematian pada pasien pneumonia.Model tersebut akhirnya mengetahui bahwa pasien yang juga menderita asma karena kondisi komorbiditas diberi probabilitas kelangsungan hidup yang lebih baik.Anda mungkin bertanya-tanya mengapa model mencapai kesimpulan yang berlawanan dengan intuisi.

Solusi sains dan teknologi -- Model tidak membuat kesalahan.Asma memang prediktif untuk bertahan hidup, ini adalah asosiasi yang benar dalam data pelatihan.Namun, hubungan itu tidak kausal.Pasien asma lebih mungkin bertahan karena tBerbicaralah dengan suara nyaring dan dengarlah.

Solusi sains dan teknologi -- Dalam konteks itu, kita tidak akan mengharapkan adanya penegakan waktu yang sama, dan juga tidak akan kita harapkan semua pesan diberi kesempatan yang sama untuk didengar oleh semua orang dalam jarak pendengaran.Tapi, seperti kita semua tahu, Facebook tidak hanya menyampaikan semua informasi sama, jadi juga bukan lapangan umum.Sulit untuk mengantisipasi efek mengoptimalkan tugas pengganti ini.Rich Caruana, seorang peneliti di Microsoft Research Redmond menyajikan sebuah kasus yang menarik dimana model pembelajaran mesin prediktif dilatih untuk memprediksi risiko kematian pada pasien pneumonia.

Solusi sains dan teknologi -- Model tersebut akhirnya mengetahui bahwa pasien yang juga menderita asma karena kondisi komorbiditas diberi probabilitas kelangsungan hidup yang lebih baik.Anda mungkin bertanya-tanya mengapa model mencapai kesimpulan yang berlawanan dengan intuisi.Model tidak membuat kesalahan.Asma memang prediktif untuk bertahan hidup, ini adalah asosiasi yang benar dalam data pelatihan.

Solusi sains dan teknologi -- Namun, hubungan itu tidak kausal.Pasien asma lebih mungkin bertahan karena tsudah hidup Tapi ketika tujuan dunia nyata dan tujuan belajar mesin yang dioptimalkan menyimpang, segala sesuatunya akan berubah.Ambil newsfeed Facebook sebagai contoh.Tujuan sebenarnya dari dunia nyata adalah untuk menyajikan konten kurungan yang dipersonalisasi dan bermanfaat.

Solusi sains dan teknologi -- Tapi sepertinya, tujuan pembelajaran mesin hanya untuk memaksimalkan klik danMasalahnya mungkin lebih buruk sekarang karena pembelajaran mesin telah menjadi begitu kuat.Ambil contoh search engine.Ketika mesin pencari memprediksi total sampah, pertanyaan yang menonjol bukanlah apakah kita harus mengikuti sinyal klik atau tujuan yang lebih bermakna.Kami hanya bertanya-tanya apakah kita bisa membuat sistem yang berperilaku sama sekali.

Solusi sains dan teknologi -- Tapi sekarang teknologinya sedang jatuh tempo, kesenjangan antara tujuan nyata dan pengganti lebih terasa.Pertimbangkan sebuah pesawat ruang angkasa yang berasal dari galaksi lain dan bertujuan menuju bumi namun menunjuk (salah) ke Matahari.Cacat di lintasannya mungkin hanya menjadi jelas saat pesawat ruang angkasa memasuki tata surya.Tapi akhirnya, saat pesawat mendekat ke matahari, perbedaan lintasan akan menjadi lebih jelas.

Solusi sains dan teknologi -- Pada titik tertentu bahkan mungkin mengarah ke arah yang berlawanan.[DEFINING BIAS] Sejauh ini kami telah menemukan definisi bias yang tepat.Kami mengandalkan beberapa kasus contoh yang tampaknya berada di bawah arus utamakonsensus perilaku yang sangat bias.Dan dalam beberapa hal, kita menggunakan mesin belajar dengan tepat karena kita ingin membuat keputusan individual.

Solusi sains dan teknologi -- Dalam hal persetujuan pinjaman, misalnya, itu berarti berarti bahwa algoritma tersebut menguntungkan beberapa pengguna dan merugikan orang lain.Jadi apa artinya bagi sebuah algoritma agar adil.Satu rasa keadilan mungkin karena algoritma tersebut tidak memperhitungkan informasi tertentu yang dilindungi, seperti ras atau jenis kelamin.Rasa keadilan lainnya mungkin sama dengan algoritma yang sama akurat untuk kelompok yang berbeda.

Solusi sains dan teknologi -- Gagasan lain tentang keadilan mungkin karena algoritma dikalibrasi untuk semua kelompok.Dengan kata lain, ini tidak melebih-lebihkan atau meremehkan risiko kelompok mana pun.Menariknya, setiap pendekatan yang berharap bisa menjamin properti ini, mungkin harus melihat informasi yang terlindungi.Jadi, jelas ada beberapa kasus di mana memastikan satu gagasan tentang keadilan bisa terjadi dengan mengorbankan orang lain.

Solusi sains dan teknologi -- Dalam sebuah makalah baru-baru ini, Profesor Jon Kleinberg memberisebuah teori ketidakmungkinan untuk keadilan dalam menentukan skor risiko.Dia menunjukkan bahwa tiga gagasan intuitif tentang keadilan tidak dapat didamaikan kecuali dalam kasus yang tidak dapat diatasi secara fisik [8].Jadi mungkin tidak cukup hanya untuk menuntut agar algoritma itu adil.Kita mungkin perlu memikirkan secara kritis tentang setiap masalah dan menentukan gagasan keadilan mana yang paling relevan.

Solusi sains dan teknologi -- [TAKEAWAYS] Banyak masalah dengan bias dalam algoritma serupa dengan masalah dengan bias pada manusia.Beberapa artikel menunjukkan bahwa kita dapat mendeteksi bias kita sendiri dan karena itu benar untuk mereka, sementara untuk pembelajaran mesin kita tidak bisa.Tapi ini sepertinya tidak masuk akal.Kita tidak tahu bagaimana otak bekerja.

Solusi sains dan teknologi -- Dan banyak penelitian menunjukkan bahwa manusia secara terang-terangan bias dalam penerimaan perguruan tinggi, keputusan kerja, perilaku berpacaran, dan banyak lagi.Selain itu, kita biasanya mendeteksi bias dalam perilaku manusia pasca-hoc dengan mengevaluasi perilaku manusia, bukan melalui pemeriksaan apriori terhadap proses yang kita pikirkan.Mungkin perbedaan yang paling menonjoln bias manusia dan algoritmik mungkin dengan keputusan manusia, kita mengharapkan bias.Ambil contoh, bias rasial yang terdokumentasi dengan baik di kalangan pengusaha, lebih kecil kemungkinannya untuk memanggil kembali pekerja dengan lebih banyak nama hitam daripada nama putih tapi resume identik.

Solusi sains dan teknologi -- Kami mendeteksi bias ini karena kami menduga bahwa mereka ada dan telah memutuskan bahwa hal itu tidak diinginkan, dan oleh karena itu dengan waswas menguji keberadaan mereka.Sebagai pengambilan keputusan algoritmik perlahan bergerak dari sistem berbasis aturan sederhana menuju pengambilan keputusan tingkat-manusia yang lebih kompleks, wajar jika mengharapkan keputusan ini rentan terhadap bias.Mungkin, dengan memperlakukan bias ini sebagai milik keputusan itu sendiri dan tidak terlalu berfokus pada algoritma yang berhasil, kita dapat membawa alat dan institusi yang sama yang telah membantu memperkuat etika dan kesetaraan di tempat kerja, penerimaan perguruan tinggi, dll.selama abad yang lalu Ucapan Terima Kasih Terima kasih kepada Tobin Chodos, Dave Schneider, Victoria Krakovna, Chet Lipton, dan Zeynep Tufekci untuk umpan balik yang membangun dalam mempersiapkan draf ini.

Solusi sains dan teknologi -- Referensi Byrnes, Solusi sains dan teknologi Mengapa Kita Harus Mengharapkan Algoritma untuk Menjadi Bias 2016 https:retabilitas Mesin Belajar 2016) https: .