Bias AI dapat muncul dari instruksi anotasi – PunyaRakyat.com

Screenshot 2

Penelitian di bidang pembelajaran mesin dan AI, yang sekarang menjadi teknologi utama di hampir setiap industri dan perusahaan, terlalu banyak untuk dibaca semua orang. Kolom ini, Perceptron (sebelumnya Deep Science), bertujuan untuk mengumpulkan beberapa penemuan dan makalah terbaru yang paling relevan — khususnya dalam, tetapi tidak terbatas pada, kecerdasan buatan — dan menjelaskan mengapa itu penting.

Minggu ini di AI, sebuah studi baru mengungkapkan bagaimana bias, masalah umum dalam sistem AI, dapat dimulai dengan instruksi yang diberikan kepada orang-orang yang direkrut untuk membubuhi keterangan data dari mana sistem AI belajar membuat prediksi. Rekan penulis menemukan bahwa annotator mengambil pola dalam instruksi, yang mengkondisikan mereka untuk menyumbangkan anotasi yang kemudian menjadi terlalu terwakili dalam data, membuat sistem AI condong ke anotasi ini.

Banyak sistem AI saat ini “belajar” untuk memahami gambar, video, teks, dan audio dari contoh yang telah diberi label oleh annotator. Label memungkinkan sistem untuk memperkirakan hubungan antara contoh (misalnya, tautan antara keterangan “wastafel dapur” dan foto wastafel dapur) ke data yang belum pernah dilihat sistem sebelumnya (misalnya, foto wastafel dapur yang tidak termasuk dalam data yang digunakan untuk “mengajarkan” model).

Ini bekerja sangat baik. Tapi anotasi adalah pendekatan yang tidak sempurna — annotator membawa bias ke tabel yang dapat berdarah ke dalam sistem yang terlatih. Misalnya, penelitian telah menunjukkan bahwa rata-rata annotator lebih cenderung melabeli frasa dalam Bahasa Inggris Vernakular Afrika-Amerika (AAVE), tata bahasa informal yang digunakan oleh beberapa orang kulit hitam Amerika, sebagai racun, pendeteksi toksisitas AI terkemuka yang dilatih pada label untuk melihat AAVE sebagai beracun secara tidak proporsional.

Related Post :   Cara mengembangkan strategi data startup DTC Anda dan mengidentifikasi metrik penting – PunyaRakyat.com

Ternyata, kecenderungan annotator mungkin tidak sepenuhnya disalahkan atas adanya bias dalam label pelatihan. Dalam studi pracetak dari Arizona State University dan Allen Institute for AI, para peneliti menyelidiki apakah sumber bias mungkin terletak pada instruksi yang ditulis oleh pembuat kumpulan data untuk dijadikan panduan bagi annotator. Instruksi tersebut biasanya mencakup deskripsi singkat tentang tugas tersebut (misalnya “Beri label semua burung di foto ini”) bersama dengan beberapa contoh.

Kredit Gambar: Parmar dkk.

Para peneliti melihat 14 set data “benchmark” berbeda yang digunakan untuk mengukur kinerja sistem pemrosesan bahasa alami, atau sistem AI yang dapat mengklasifikasikan, meringkas, menerjemahkan, dan menganalisis atau memanipulasi teks. Dalam mempelajari instruksi tugas yang diberikan kepada annotator yang bekerja pada kumpulan data, mereka menemukan bukti bahwa instruksi mempengaruhi annotator untuk mengikuti pola tertentu, yang kemudian disebarkan ke kumpulan data. Misalnya, lebih dari setengah anotasi di Quoref, kumpulan data yang dirancang untuk menguji kemampuan sistem AI untuk memahami ketika dua atau lebih ekspresi merujuk ke orang (atau benda) yang sama, dimulai dengan frasa “Siapa namanya,” frase hadir dalam sepertiga dari instruksi untuk kumpulan data.

Fenomena, yang oleh para peneliti disebut “bias instruksi”, sangat meresahkan karena menunjukkan bahwa sistem yang dilatih pada data instruksi/anotasi yang bias mungkin tidak berfungsi sebaik yang diperkirakan semula. Memang, rekan penulis menemukan bahwa bias instruksi melebih-lebihkan kinerja sistem dan bahwa sistem ini sering gagal untuk menggeneralisasi di luar pola instruksi.

Sisi baiknya adalah bahwa sistem besar, seperti GPT-3 OpenAI, umumnya kurang sensitif terhadap bias instruksi. Tetapi penelitian ini berfungsi sebagai pengingat bahwa sistem AI, seperti halnya manusia, rentan terhadap berkembangnya bias dari sumber yang tidak selalu jelas. Tantangan berat adalah menemukan sumber-sumber ini dan mengurangi dampak hilir.

Dalam makalah yang kurang serius, para ilmuwan yang berasal dari Swiss menyimpulkan bahwa sistem pengenalan wajah tidak mudah tertipu oleh wajah yang diedit AI yang realistis. “Serangan morphing,” demikian sebutannya, melibatkan penggunaan AI untuk memodifikasi foto pada ID, paspor, atau bentuk dokumen identitas lainnya untuk tujuan melewati sistem keamanan. Rekan penulis menciptakan “morf” menggunakan AI (Nvidia’s StyleGAN 2) dan mengujinya terhadap empat sistem pengenalan wajah yang canggih. Morf tidak memposting ancaman yang signifikan, klaim mereka, meskipun penampilan mereka benar-benar hidup.

Di tempat lain dalam domain visi komputer, para peneliti di Meta mengembangkan “asisten” AI yang dapat mengingat karakteristik ruangan, termasuk lokasi dan konteks objek, untuk menjawab pertanyaan. Dirinci dalam makalah pracetak, pekerjaan tersebut kemungkinan merupakan bagian dari inisiatif Project Nazare Meta untuk mengembangkan kacamata augmented reality yang memanfaatkan AI untuk menganalisis lingkungan mereka.

AI meta egosentris

Kredit Gambar: meta

Sistem para peneliti, yang dirancang untuk digunakan pada perangkat apa pun yang dikenakan di tubuh yang dilengkapi dengan kamera, menganalisis rekaman untuk membangun “ingatan adegan yang kaya secara semantik dan efisien” yang “mengkodekan informasi spasial-temporal tentang objek.” Sistem mengingat di mana objek berada dan kapan muncul dalam rekaman video, dan terlebih lagi memberikan jawaban atas pertanyaan yang mungkin ditanyakan pengguna tentang objek ke dalam memorinya. Misalnya, ketika ditanya “Di mana terakhir kali Anda melihat kunci saya?”, sistem dapat menunjukkan bahwa kunci itu ada di meja samping di ruang tamu pagi itu.

Meta, yang dilaporkan berencana untuk merilis kacamata AR berfitur lengkap pada tahun 2024, mengirim telegram rencananya untuk AI “egosentris” Oktober lalu dengan peluncuran Ego4D, proyek penelitian AI “persepsi egosentris” jangka panjang. Perusahaan mengatakan pada saat itu bahwa tujuannya adalah untuk mengajarkan sistem AI untuk — di antara tugas-tugas lain — memahami isyarat sosial, bagaimana tindakan pemakai perangkat AR dapat memengaruhi lingkungan mereka, dan bagaimana tangan berinteraksi dengan objek.

Dari bahasa dan augmented reality hingga fenomena fisik: model AI telah berguna dalam studi MIT tentang gelombang — bagaimana mereka pecah dan kapan. Meskipun tampaknya sedikit misterius, kenyataannya adalah model gelombang diperlukan baik untuk membangun struktur di dalam dan di dekat air, dan untuk memodelkan bagaimana laut berinteraksi dengan atmosfer dalam model iklim.

MIT BreakingWaves 02 press

Kredit Gambar: MIT

Biasanya gelombang disimulasikan secara kasar oleh serangkaian persamaan, tetapi para peneliti melatih model pembelajaran mesin pada ratusan contoh gelombang dalam tangki air setinggi 40 kaki yang diisi dengan sensor. Dengan mengamati gelombang dan membuat prediksi berdasarkan bukti empiris, kemudian membandingkannya dengan model teoretis, AI membantu menunjukkan kekurangan model.

Sebuah startup sedang lahir dari penelitian di EPFL, di mana tesis PhD Thibault Asselborn tentang analisis tulisan tangan telah berubah menjadi aplikasi pendidikan yang lengkap. Menggunakan algoritme yang ia rancang, aplikasi (disebut School Rebound) dapat mengidentifikasi kebiasaan dan tindakan korektif hanya dengan 30 detik seorang anak menulis di iPad dengan stylus. Ini disajikan kepada anak dalam bentuk permainan yang membantu mereka menulis lebih jelas dengan memperkuat kebiasaan baik.

“Model dan ketelitian ilmiah kami penting, dan itulah yang membedakan kami dari aplikasi lain yang ada,” kata Asselborn dalam rilis berita. “Kami mendapat surat dari para guru yang melihat murid-muridnya berkembang pesat. Beberapa siswa bahkan datang sebelum kelas untuk berlatih.”

tympanometer

Kredit Gambar: Universitas Duke

Temuan baru lainnya di sekolah dasar berkaitan dengan mengidentifikasi masalah pendengaran selama pemeriksaan rutin. Pemutaran film ini, yang mungkin diingat oleh sebagian pembaca, sering menggunakan alat yang disebut tympanometer, yang harus dioperasikan oleh audiolog terlatih. Jika tidak tersedia, katakanlah di distrik sekolah terpencil, anak-anak dengan masalah pendengaran mungkin tidak akan pernah mendapatkan bantuan yang mereka butuhkan tepat waktu.

Samantha Robler dan Susan Emmett di Duke memutuskan untuk membangun tympanometer yang pada dasarnya beroperasi sendiri, mengirimkan data ke aplikasi smartphone yang diinterpretasikan oleh model AI. Apa pun yang mengkhawatirkan akan ditandai dan anak dapat menerima pemeriksaan lebih lanjut. Ini bukan pengganti ahli, tetapi jauh lebih baik daripada tidak sama sekali dan dapat membantu mengidentifikasi masalah pendengaran lebih awal di tempat-tempat tanpa sumber daya yang tepat.



Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan.