← Blog · Engineering · 9 min read
Halusinasi adalah alasan nomor satu produk AI kehilangan kepercayaan. Pelajari teknik konkret untuk menahan, mendeteksi, dan mengomunikasikan ketidakpastian model.
A 30-minute scoping call. We listen, ask three questions, tell you if we can help.
Book a callTanyakan kepada siapa pun yang pernah menghentikan produk AI sebelum diluncurkan apa alasannya, dan jawaban yang paling sering muncul adalah satu kata: halusinasi. Model bahasa besar dapat menghasilkan jawaban yang terdengar otoritatif, ditulis dengan tata bahasa sempurna, dan sepenuhnya keliru. Dalam konteks konsumen yang santai, ini mungkin lucu. Dalam konteks perbankan, asuransi, layanan kesehatan, atau hukum di Indonesia, satu jawaban salah yang disampaikan dengan percaya diri dapat memicu kerugian finansial, sanksi regulator, dan hilangnya kepercayaan yang sulit dipulihkan.
Penting untuk meluruskan satu hal sejak awal: halusinasi tidak dapat dihilangkan sepenuhnya. Ia adalah sifat bawaan dari cara model bahasa bekerja, yang memprediksi teks yang plausibel, bukan teks yang terverifikasi benar. Tetapi halusinasi dapat ditekan secara dramatis, dideteksi sebagian besar, dan dikomunikasikan dengan jujur kepada pengguna. Artikel ini membahas teknik konkret untuk ketiganya, sehingga produk AI Anda layak dipercaya di lingkungan yang taruhannya tinggi.
Sebelum memitigasi, pahami penyebabnya. Halusinasi muncul terutama dari tiga sumber.
Pertama, model menjawab dari memori parametriknya, yaitu pengetahuan yang terjahit dalam bobotnya saat pelatihan. Memori ini kabur, ketinggalan zaman, dan tidak dapat menyebut sumber. Ketika ditanya hal spesifik yang tidak diketahuinya dengan pasti, model cenderung menambal kekosongan dengan tebakan yang plausibel ketimbang mengaku tidak tahu.
Kedua, model dirancang untuk membantu dan kooperatif. Sifat ini membuatnya enggan menjawab "saya tidak tahu", sehingga ia lebih suka mengarang jawaban yang memuaskan secara permukaan.
Ketiga, konteks yang diberikan kepada model bisa ambigu, kontradiktif, atau tidak lengkap, dan model mencoba merekonsiliasinya dengan mengisi celah secara kreatif.
Memahami ini mengarahkan strategi mitigasi: kurangi ketergantungan pada memori parametrik, beri model izin untuk mengaku tidak tahu, dan pastikan konteks yang diberikan bersih.
Teknik paling efektif menekan halusinasi adalah grounding, yaitu memaksa model menjawab berdasarkan dokumen sumber yang Anda berikan, bukan dari memorinya. Inilah inti dari pola retrieval-augmented generation (RAG).
Alih-alih bertanya langsung ke model, sistem terlebih dahulu mengambil potongan dokumen relevan dari basis pengetahuan tepercaya, lalu memerintahkan model menjawab hanya berdasarkan potongan itu. Dengan begitu, jawaban berakar pada sumber yang dapat diaudit, bukan pada ingatan model yang kabur.
Grounding yang efektif menuntut beberapa hal:
Kualitas retrieval menentukan segalanya: jika potongan yang diambil tidak relevan atau tidak lengkap, model akan terpaksa berhalusinasi untuk mengisi celah. Investasi pada retrieval yang akurat, sering kombinasi pencarian semantik dan kata kunci, lebih berdampak daripada menyetel prompt.
Instruksi yang tegas: perintahkan model secara eksplisit untuk menjawab hanya dari konteks yang diberikan dan menolak menjawab jika informasi tidak ada di sana.
Basis pengetahuan yang bersih: dokumen sumber yang usang, kontradiktif, atau berkualitas buruk akan menularkan masalahnya ke jawaban. Knowledge base yang tertata adalah prasyarat, bukan pelengkap.
Grounding tidak menghilangkan halusinasi sepenuhnya, karena model masih bisa salah menafsirkan atau menyimpang dari sumber, tetapi ia memangkasnya secara dramatis dan, yang sama pentingnya, membuat jawaban dapat ditelusuri.
Grounding menjadi jauh lebih kuat ketika dipasangkan dengan citation. Wajibkan model menyertakan rujukan ke sumber untuk setiap klaim faktual yang dibuatnya, idealnya hingga ke tingkat kalimat atau paragraf dokumen asal.
Citation memberi dua manfaat besar. Bagi pengguna, ia mengubah jawaban dari pernyataan yang harus dipercaya secara buta menjadi klaim yang dapat diperiksa dengan satu klik ke sumber. Seorang petugas kepatuhan bank yang membaca jawaban dapat langsung memverifikasi apakah jawaban itu sesuai dengan kebijakan internal yang dirujuk.
Bagi sistem, citation menjadi alat deteksi otomatis. Anda dapat memeriksa secara terprogram apakah klaim dalam jawaban benar-benar didukung oleh teks yang dirujuk. Jika model merujuk dokumen yang tidak memuat klaim tersebut, itu sinyal kuat adanya halusinasi yang dapat ditandai sebelum sampai ke pengguna.
Jawaban tanpa sumber adalah opini. Jawaban dengan sumber yang dapat diperiksa adalah informasi.
Mitigasi tidak berhenti di pembangkitan. Lapisan verifikasi setelah model menjawab menangkap halusinasi yang lolos.
Beberapa teknik yang terbukti praktis:
Self-check terstruktur: minta model, dalam langkah terpisah, memeriksa apakah setiap klaim dalam jawabannya didukung oleh konteks. Pemisahan antara membangkitkan dan memverifikasi sering menangkap inkonsistensi yang luput pada satu langkah.
Validator deterministik: untuk klaim yang dapat dicek dengan aturan, seperti angka, tanggal, nomor rekening, atau format, gunakan validasi kode, bukan model. Jika model menyebut nominal yang tidak ada dalam dokumen sumber, validator menolaknya.
Pemeriksaan silang antar-model atau antar-jalur: pada kasus berisiko tinggi, bandingkan jawaban dari beberapa jalur. Ketidaksepakatan adalah sinyal untuk berhati-hati.
Cek konsistensi internal: jawaban yang mengandung kontradiksi internal sering merupakan tanda model sedang mengarang.
Lapisan verifikasi menambah latensi dan biaya, sehingga terapkan secara proporsional dengan risiko. Pertanyaan ringan mungkin tidak memerlukannya, sementara keputusan yang menyangkut uang atau kepatuhan layak melewati pemeriksaan ketat.
Salah satu perbaikan paling bernilai sekaligus paling sering diabaikan adalah memberi model izin dan dorongan untuk abstain, yaitu mengaku tidak tahu ketika memang tidak tahu.
Secara default, model cenderung selalu menjawab. Ubah perilaku ini melalui instruksi yang tegas: lebih baik menjawab "informasi tidak tersedia dalam dokumen yang ada" daripada mengarang. Pada konteks bertaruhan tinggi, jawaban yang jujur tentang ketidaktahuan jauh lebih bernilai daripada jawaban percaya diri yang salah.
Pasangkan ini dengan ambang keyakinan. Jika retrieval mengembalikan dokumen dengan relevansi rendah, atau jika model menyatakan keraguan, sistem sebaiknya tidak memaksakan jawaban definitif. Sebaliknya, ia dapat menyampaikan keterbatasan, menawarkan apa yang diketahui dengan pasti, dan mengarahkan ke jalur lain seperti eskalasi ke manusia.
Budaya produk juga harus mendukung ini. Tim yang mengukur keberhasilan dari seberapa sering model menjawab, alih-alih seberapa sering ia menjawab dengan benar, secara tidak sengaja mendorong halusinasi.
Teknik yang kurang dikenal namun ampuh adalah memecah tugas kompleks menjadi langkah-langkah kecil yang lebih mudah diverifikasi. Ketika model diminta menjawab pertanyaan rumit dalam satu lompatan, ia punya banyak ruang untuk menyelipkan klaim yang tidak berdasar di tengah penalaran yang panjang. Memecah tugas mempersempit ruang itu.
Alih-alih meminta jawaban akhir secara langsung, rancang alur bertahap: pertama, model mengidentifikasi informasi apa yang dibutuhkan; kedua, sistem mengambil informasi itu dari sumber tepercaya; ketiga, model menyusun jawaban hanya dari informasi yang terkumpul; keempat, lapisan verifikasi memeriksa kesesuaian. Setiap langkah lebih sederhana, lebih dapat diperiksa, dan lebih sulit untuk berhalusinasi tanpa ketahuan.
Pendekatan ini sangat berguna pada pertanyaan yang menuntut penalaran multi-langkah atau penggabungan beberapa sumber. Pada kasus penghitungan atau penalaran logis, memisahkan langkah pengambilan fakta dari langkah penalaran, lalu memvalidasi tiap fakta secara terpisah, menekan kesalahan yang sering muncul ketika model mencoba melakukan semuanya sekaligus. Trade-off-nya adalah latensi dan biaya yang lebih tinggi, sehingga, sekali lagi, terapkan secara proporsional dengan risiko.
Mitigasi teknis tidak lengkap tanpa desain antarmuka yang jujur tentang batas pengetahuan AI. Bagaimana jawaban disajikan sama pentingnya dengan isi jawaban itu.
Praktik UX yang membangun kepercayaan:
Tampilkan sumber secara menonjol, bukan disembunyikan, sehingga pengguna terdorong memverifikasi.
Komunikasikan tingkat keyakinan ketika sistem ragu, alih-alih menyajikan semua jawaban dengan nada yang sama meyakinkan.
Bedakan jelas antara jawaban yang berakar pada sumber dan respons yang bersifat umum.
Sediakan jalur eskalasi yang mudah ke manusia untuk kasus yang melampaui kapasitas sistem.
Mudahkan pengguna memberi umpan balik saat jawaban keliru, sehingga kesalahan menjadi data perbaikan.
Pengguna yang memahami bahwa AI bisa salah dan diberi alat untuk memeriksa akan jauh lebih toleran dan justru lebih percaya, dibanding pengguna yang disodori sistem yang berpura-pura selalu benar lalu mengkhianati kepercayaan itu pada kesalahan pertama.
Tidak semua kasus penggunaan menuntut pengendalian halusinasi yang sama ketat. Menerapkan verifikasi paling agresif pada setiap interaksi akan membuat sistem lambat dan mahal tanpa alasan. Kuncinya adalah memetakan tingkat pengendalian ke tingkat risiko.
Untuk kasus berisiko rendah, seperti asisten yang membantu menyusun draf email internal atau merangkum dokumen yang akan tetap diperiksa manusia, halusinasi sesekali dapat ditoleransi. Di sini grounding ringan dan citation sudah memadai, dan menambahkan lapisan verifikasi berat hanya membuang sumber daya.
Untuk kasus berisiko tinggi, di mana keluaran AI memengaruhi keputusan finansial, kesehatan, hukum, atau berhadapan langsung dengan nasabah dan regulator, pengendalian harus berlapis. Grounding ketat, citation wajib yang dapat diverifikasi otomatis, validator deterministik untuk angka dan fakta kunci, kecenderungan kuat untuk abstain, serta human-in-the-loop untuk keputusan paling sensitif, semuanya layak diterapkan meski menambah biaya dan latensi.
Pemetaan ini sebaiknya menjadi keputusan sadar yang didokumentasikan, bukan hasil kebetulan. Tetapkan untuk setiap fitur: seberapa buruk konsekuensi satu jawaban salah, dan berapa banyak pengendalian yang sepadan untuk mencegahnya. Pertimbangan ini juga penting dari sisi tata kelola. Regulator di sektor keuangan, misalnya, semakin menyoroti bagaimana keputusan berbasis AI dapat dijelaskan dan diaudit, sehingga jejak grounding dan citation bukan hanya alat teknis, melainkan bukti kepatuhan.
Untuk kategori paling kritis, otomasi penuh sering bukan jawabannya. Desain alur di mana AI menyiapkan jawaban lengkap dengan sumbernya, lalu manusia yang berwenang meninjau dan menyetujui sebelum jawaban itu berdampak. Pola ini memadukan kecepatan AI dengan penilaian dan akuntabilitas manusia. Seiring kepercayaan terhadap sistem tumbuh dan tingkat halusinasi terbukti rendah pada data, Anda dapat memperluas kewenangan otomatis secara bertahap pada kategori yang sudah terbukti aman, persis seperti mode bayangan yang dipakai di domain lain.
Apa yang tidak diukur tidak dapat diperbaiki. Bangun cara terstruktur untuk mengukur seberapa sering sistem berhalusinasi.
Mulailah dengan golden dataset, yaitu kumpulan pertanyaan dengan jawaban benar yang sudah diverifikasi manusia, mencakup kasus normal maupun kasus sulit yang memancing halusinasi. Jalankan sistem terhadap dataset ini secara berkala dan ukur metrik seperti faithfulness, yaitu seberapa setia jawaban pada sumber, serta tingkat klaim yang tidak didukung.
Pasangkan evaluasi offline ini dengan pemantauan online di produksi. Lacak seberapa sering pengguna menandai jawaban salah, seberapa sering mereka tidak menemukan sumber yang sesuai, dan seberapa sering kasus dieskalasi. Tetapkan ambang kualitas sebagai gerbang regresi, sehingga pembaruan model atau prompt yang memperburuk tingkat halusinasi tertangkap sebelum sampai ke pengguna. Halusinasi yang diukur menjadi masalah rekayasa yang dapat dikelola, bukan momok yang tak terlihat.
Halusinasi adalah alasan nomor satu produk AI kehilangan kepercayaan, dan di sektor bertaruhan tinggi di Indonesia seperti perbankan, asuransi, dan layanan publik, kepercayaan yang hilang sulit dipulihkan. Menekan halusinasi bukan soal satu trik ajaib, melainkan rangkaian disiplin: grounding yang kuat, citation wajib, verifikasi otomatis, izin untuk abstain, UX yang jujur, dan pengukuran yang konsisten.
Sainskerta Solusi Nusantara membangun sistem AI yang dirancang untuk keandalan sejak fondasi, bukan ditambal setelah masalah muncul. Kami mendampingi dari strategi hingga operasi, merancang arsitektur RAG, harness evaluasi, dan lapisan verifikasi yang membuat produk AI Anda layak dipercaya di lingkungan yang menuntut akurasi tinggi. Jika tim Anda khawatir produk AI berhalusinasi di hadapan nasabah atau regulator, jadwalkan sesi konsultasi dengan tim kami melalui halaman Kontak untuk membahas cara menekan tingkat halusinasi ke level yang dapat dipertanggungjawabkan.
