Ketika AI terdengar benar tetapi ternyata salah
Salah satu pengalaman yang membingungkan ketika menggunakan AI generatif adalah menerima jawaban yang sangat meyakinkan, kemudian menemukan bahwa sebagian informasinya tidak benar.
Model dapat menghasilkan:
- nama orang yang keliru,
- tanggal yang salah,
- angka yang tidak akurat,
- kutipan yang tidak pernah diucapkan,
- judul penelitian yang tidak ada,
- referensi yang tampak akademis tetapi fiktif,
- atau penjelasan yang mencampurkan fakta dengan informasi yang dibuat-buat.
Fenomena ini sering disebut AI hallucination.
Istilah tersebut hanyalah metafora teknis yang populer. AI tidak “berhalusinasi” dalam pengertian pengalaman mental manusia.
Yang sebenarnya terjadi adalah model menghasilkan keluaran yang tidak sesuai dengan fakta atau sumber yang seharusnya menjadi dasar jawaban.
Mengapa LLM dapat melakukan ini?
Untuk memahaminya, kita perlu kembali ke cara kerja LLM.
Seperti yang dibahas pada Lite sebelumnya, model bahasa menghasilkan teks melalui proses prediksi token berdasarkan konteks dan pola yang dipelajarinya.
Secara sederhana:
Konteks → kemungkinan token berikutnya → token dipilih → konteks bertambah → proses diulang.
Tujuan proses generasi tersebut bukanlah membuka sebuah “database kebenaran” untuk memeriksa setiap kalimat sebelum ditampilkan.
Model berusaha menghasilkan kelanjutan yang sesuai berdasarkan representasi dan konteks yang tersedia.
Dalam banyak kasus, hasilnya benar dan sangat berguna.
Tetapi terkadang pola yang paling sesuai secara linguistik tidak sama dengan fakta yang benar.
Bahasa yang lancar menciptakan ilusi kepastian
Manusia terbiasa menggunakan kualitas bahasa sebagai salah satu petunjuk kompetensi.
Jika seseorang menjelaskan sesuatu dengan runtut, menggunakan istilah yang tepat, dan terdengar percaya diri, kita cenderung lebih mudah mempercayainya.
LLM dapat menghasilkan karakteristik bahasa seperti itu dengan sangat baik.
Inilah yang membuat hallucination berbahaya.
Kesalahan AI tidak selalu terlihat seperti:
“&@#% informasi tidak diketahui.”
Sebaliknya, kesalahan bisa muncul seperti:
“Penelitian tersebut diterbitkan pada 2019 oleh Profesor X dalam Journal Y.”
Kalimatnya sempurna.
Strukturnya masuk akal.
Nama jurnalnya mungkin terdengar akademis.
Tetapi penelitian tersebut bisa saja tidak pernah ada.
Kerapian bahasa dapat menyamarkan ketidakakuratan informasi.
Model bukan database fakta
Salah satu kesalahpahaman umum adalah membayangkan LLM seperti database raksasa yang menyimpan fakta kemudian mengambilnya kembali ketika ditanya.
Cara kerjanya tidak sesederhana itu.
Model mempelajari representasi dan pola melalui training.
Banyak pengetahuan faktual memang dapat tercermin dalam parameter model, tetapi proses tersebut tidak sama dengan menyimpan setiap fakta sebagai sebuah baris database yang selalu dapat dipanggil secara tepat.
Karena itu, pertanyaan:
“Siapa presiden pertama Indonesia?”
dan pertanyaan:
“Apa nomor halaman dari sebuah kutipan dalam edisi tertentu buku yang sangat jarang?”
memberikan tantangan yang sangat berbeda.
Semakin spesifik, langka, ambigu, atau tidak tersedia informasinya, semakin penting untuk memeriksa sumber.
Informasi juga dapat berubah
Ada masalah lain: dunia terus berubah.
Harga, pejabat publik, regulasi, jadwal, penelitian terbaru, kondisi perusahaan, versi perangkat lunak, dan banyak informasi lainnya dapat berubah setelah proses training model.
Jika sistem AI tidak memiliki akses ke informasi terkini, jawabannya dapat menggunakan informasi lama.
Ini berbeda sedikit dari hallucination murni, tetapi bagi pengguna hasil akhirnya sama-sama berbahaya:
informasi yang diterima tidak sesuai dengan keadaan sebenarnya.
Karena itu untuk pertanyaan yang sensitif terhadap waktu, akses ke sumber terbaru menjadi penting.
Pertanyaan ambigu juga dapat memicu jawaban yang salah
Misalnya pengguna bertanya:
“Siapa pendiri Mercury?”
Mercury bisa berarti planet, perusahaan, merek, proyek teknologi, kendaraan, atau berbagai hal lainnya.
Jika konteks tidak cukup, model harus menentukan interpretasi.
Model mungkin memilih interpretasi yang berbeda dari maksud pengguna.
Akibatnya, jawaban dapat terlihat benar dalam konteks tertentu tetapi salah untuk pertanyaan yang sebenarnya dimaksud.
Karena itu konteks yang jelas membantu AI menghasilkan respons yang lebih relevan.
Mengapa AI tidak selalu mengatakan “Saya tidak tahu”?
Ini merupakan salah satu tantangan penting dalam pengembangan model.
Sistem yang berguna diharapkan mampu memberikan jawaban.
Tetapi model juga harus mampu mengenali ketika informasi tidak cukup atau tingkat kepastiannya rendah.
Membangun keseimbangan tersebut tidak sederhana.
Pengembang menggunakan berbagai teknik training, evaluasi, instruksi, retrieval, dan sistem pendukung untuk membuat model lebih baik dalam menangani ketidakpastian.
Namun tidak ada mekanisme universal yang menjamin bahwa model akan selalu mengetahui kapan ia salah.
Dengan kata lain:
Model dapat salah tanpa “menyadari” kesalahannya seperti manusia menyadari keraguan.
Apakah hallucination bisa dihilangkan?
Risikonya dapat dikurangi, tetapi menghilangkannya sepenuhnya dari sistem generatif merupakan tantangan yang jauh lebih sulit.
Beberapa pendekatan yang digunakan antara lain:
Retrieval
Model diberikan informasi dari sumber eksternal sebelum menjawab.
Misalnya sebuah sistem mencari dokumen perusahaan yang relevan lalu memasukkan bagian dokumen tersebut ke konteks model.
Pendekatan seperti ini sering menjadi bagian dari sistem yang disebut Retrieval-Augmented Generation (RAG).
Search
Model dapat dihubungkan dengan mesin pencari untuk memperoleh informasi terbaru atau menemukan sumber yang relevan.
Tools
Model dapat menggunakan alat eksternal seperti kalkulator, interpreter kode, database, atau API.
Daripada mencoba menghitung sesuatu hanya melalui pola bahasa, model dapat meminta alat yang lebih tepat melakukan pekerjaan tersebut.
Citations
Sistem dapat meminta model menunjukkan sumber yang digunakan sehingga pengguna mempunyai kesempatan untuk memeriksa dasar jawabannya.
Namun citation juga harus benar-benar terhubung dengan sumber yang relevan. Sekadar menghasilkan teks yang terlihat seperti referensi tidak cukup.
Human verification
Untuk keputusan penting, pemeriksaan manusia tetap sangat diperlukan.
AI dapat mempercepat analisis, tetapi manusia menentukan apakah informasi tersebut cukup dapat dipercaya untuk digunakan.
Tingkat risiko tidak sama untuk semua penggunaan
Kesalahan AI dalam membuat ide nama untuk kucing memiliki konsekuensi yang berbeda dari kesalahan dalam memberikan informasi medis, hukum, finansial, atau keselamatan.
Karena itu tingkat verifikasi sebaiknya mengikuti risiko keputusan.
Untuk tugas kreatif:
AI dapat digunakan secara relatif bebas sebagai alat eksplorasi.
Untuk informasi faktual:
periksa sumber jika ketepatan penting.
Untuk keputusan berisiko tinggi:
AI sebaiknya menjadi alat bantu, bukan satu-satunya dasar keputusan.
Prinsip ini jauh lebih berguna daripada sekadar mengatakan:
“Jangan percaya AI.”
Masalahnya bukan percaya atau tidak percaya secara absolut.
Masalahnya adalah menentukan tingkat verifikasi yang sesuai dengan konsekuensi kesalahan.
Bagaimana mengenali jawaban yang perlu diperiksa?
Ada beberapa tanda yang layak membuat kita lebih berhati-hati.
Misalnya AI memberikan:
- angka yang sangat spesifik,
- kutipan langsung,
- nama penelitian,
- DOI,
- URL,
- nama orang yang tidak dikenal,
- tanggal historis tertentu,
- klaim hukum,
- informasi kesehatan,
- statistik terbaru,
- atau informasi yang berubah cepat.
Semakin spesifik sebuah klaim, semakin mudah sebenarnya untuk melakukan verifikasi.
Tanyakan:
Dari mana informasi ini berasal?
Kemudian periksa sumber primernya jika tersedia.
AI yang baik bukan AI yang selalu menjawab
Ada satu konsekuensi menarik.
Kita mungkin menganggap AI semakin pintar jika semakin banyak pertanyaan yang dapat dijawab.
Tetapi sistem yang benar-benar berguna juga harus mampu menangani ketidakpastian dengan baik.
Kadang respons terbaik justru:
“Informasi yang tersedia belum cukup.”
atau:
“Saya perlu memeriksa sumber terbaru.”
atau:
“Saya tidak dapat memastikan klaim tersebut.”
Kemampuan mengelola ketidakpastian sama pentingnya dengan kemampuan menghasilkan jawaban.
Dari risiko menuju kolaborasi
Hallucination tidak berarti AI tidak berguna.
Justru memahami keterbatasan ini membantu kita menggunakan AI secara lebih baik.
AI sangat kuat untuk membantu:
- mengeksplorasi ide,
- merangkum informasi,
- menemukan pola,
- menyusun draft,
- membantu coding,
- membandingkan kemungkinan,
- dan mempercepat pekerjaan pengetahuan.
Tetapi manusia tetap perlu menentukan tujuan, menilai konteks, memeriksa informasi penting, dan mengambil tanggung jawab terhadap keputusan.
Hubungan yang lebih produktif bukan:
Manusia atau AI.
Melainkan:
Manusia + AI + sumber yang dapat diverifikasi.
Dan hubungan inilah yang mulai mengubah cara manusia bekerja.