AI disebut berhalusinasi ketika menghasilkan informasi yang terdengar masuk akal atau meyakinkan, tetapi ternyata salah, tidak didukung sumber, atau bahkan dibuat-buat.
Hal ini dapat terjadi karena model bahasa seperti LLM pada dasarnya menghasilkan respons berdasarkan pola yang dipelajari dan konteks yang tersedia, bukan dengan mekanisme universal yang selalu memeriksa kebenaran setiap pernyataan.
Akibatnya, AI dapat membuat nama, angka, kutipan, referensi, atau penjelasan yang terlihat benar padahal keliru.
Karena itu:
Kelancaran bahasa AI bukan jaminan kebenaran.