← Blog · Strategy · 9 min read
Akurasi 95% tidak berarti apa-apa bagi CFO. Artikel ini menunjukkan cara menerjemahkan metrik teknis AI menjadi dampak bisnis yang bisa dipertanggungjawabkan.
A 30-minute scoping call. We listen, ask three questions, tell you if we can help.
Book a callAda momen yang sering terjadi di ruang rapat eksekutif: tim AI mempresentasikan hasil dengan bangga—"model kami mencapai akurasi 95%"—dan disambut anggukan sopan dari CFO yang sebenarnya sedang berpikir, "lalu kenapa?" Akurasi 95% adalah pencapaian teknis yang nyata. Tetapi bagi pemegang anggaran, angka itu tidak menjawab satu-satunya pertanyaan yang penting baginya: apakah rupiah yang kita keluarkan menghasilkan rupiah yang lebih banyak, atau setidaknya nilai yang dapat dipertanggungjawabkan?
Kegagalan menjembatani jurang antara metrik model dan dampak bisnis adalah salah satu alasan terbesar inisiatif AI kehilangan dukungan setelah tahun pertama. Bukan karena teknologinya buruk, tetapi karena nilainya tidak pernah diterjemahkan ke bahasa yang dimengerti—dan dipercaya—oleh para pengambil keputusan finansial. Artikel ini membahas cara mengukur ROI proyek AI secara jujur: menghubungkan metrik teknis ke dampak nyata, membangun baseline yang valid, dan menghindari jebakan metrik vanity yang terlihat mengesankan tetapi tidak berarti apa-apa.
Metrik vanity adalah angka yang naik dan membuat semua orang merasa baik, tetapi tidak terhubung ke keputusan atau hasil bisnis apa pun. Dalam dunia AI, ia menyamar dengan sangat meyakinkan karena berselimut istilah teknis.
Akurasi model yang berdiri sendiri. Akurasi 95% pada dataset uji tidak berarti apa-apa jika 5% kesalahan itu jatuh pada kasus paling mahal, atau jika model hanya dipakai pada 10% kasus nyata.
Jumlah panggilan API atau token yang diproses. Ini mengukur aktivitas, bukan nilai. Sistem yang memproses sejuta permintaan tapi tidak mengubah satu pun keputusan bisnis hanyalah pusat biaya yang sibuk.
Jumlah pengguna yang "mencoba" fitur AI. Adopsi awal yang tinggi sering kali rasa ingin tahu, bukan nilai. Yang penting adalah penggunaan berulang dan retensi.
Tingkat penyelesaian chatbot tanpa konteks. "Chatbot menyelesaikan 80% percakapan" tidak berarti apa-apa jika pelanggan yang ditolak handoff justru pergi dengan kesal dan tidak kembali.
Benang merahnya: metrik vanity mengukur apa yang dilakukan sistem, bukan apa yang berubah karena sistem itu ada. ROI yang jujur selalu tentang perubahan—delta antara dunia dengan AI dan dunia tanpanya.
Penyebab metrik vanity begitu tahan banting di dunia AI adalah karena ia melayani kebutuhan psikologis yang nyata. Tim yang baru saja menghabiskan berbulan-bulan membangun ingin menunjukkan bahwa kerja keras mereka berhasil, dan metrik teknis yang naik memberi rasa pencapaian. Sponsor proyek ingin membenarkan keputusan investasi mereka. Vendor ingin memperpanjang kontrak. Semua insentif ini mendorong ke arah angka yang terlihat baik, bukan angka yang benar. Justru karena itu, disiplin untuk kembali ke pertanyaan keras—"apa yang berubah dalam bisnis?"—harus dibangun sebagai praktik, bukan diandalkan muncul dengan sendirinya.
Cara paling andal menghubungkan AI ke bisnis adalah membangun rantai sebab-akibat yang eksplisit dari metrik teknis hingga metrik finansial. Setiap proyek AI seharusnya bisa menjelaskan rantainya dalam satu tarikan napas.
Ambil contoh sistem ekstraksi dokumen klaim. Rantainya bisa terbaca seperti ini: akurasi ekstraksi yang tinggi → mengurangi jam kerja entri manual → memangkas waktu pemrosesan klaim → menurunkan biaya operasional per klaim sekaligus meningkatkan kepuasan dan retensi nasabah → berdampak pada pendapatan dan margin. Setiap mata rantai harus bisa diukur, dan yang paling penting, mata rantai paling kanan—yang berbicara rupiah—adalah yang Anda laporkan ke eksekutif.
Metrik model adalah leading indicator; metrik bisnis adalah lagging indicator. Tim yang sehat memantau keduanya, tetapi hanya menjanjikan yang kedua.
Yang sering keliru: tim memamerkan metrik leading (akurasi, latensi, faithfulness) seolah itu hasil akhir. Padahal metrik leading hanya berharga sejauh ia menggerakkan metrik lagging. Jika akurasi naik 5% tetapi waktu pemrosesan dan biaya tidak bergerak, rantainya putus di suatu tempat—dan itu pertanda ada masalah, bukan keberhasilan.
Hampir semua nilai AI bisa dipetakan ke tiga kategori. Memilah dampak Anda ke dalamnya membantu memilih metrik yang tepat dan menetapkan ekspektasi yang jujur.
Ini yang paling mudah diukur dan paling sering jadi titik awal. Otomasi tugas manual, pengurangan jam kerja repetitif, penurunan biaya kesalahan. Untuk mengukurnya jujur: hitung biaya proses sebelum dan sesudah, termasuk biaya tersembunyi seperti pengerjaan ulang dan eskalasi. Hati-hati dengan jebakan "penghematan teoretis"—membebaskan 30% waktu seorang staf hanya menjadi penghematan nyata jika waktu itu benar-benar dialihkan ke pekerjaan bernilai atau jika kapasitas itu menyerap pertumbuhan tanpa rekrutmen baru.
Lebih sulit diatribusikan tetapi sering lebih bernilai. Mesin rekomendasi yang menaikkan nilai keranjang, deteksi fraud yang menahan kebocoran, personalisasi yang meningkatkan konversi. Atribusi di sini menuntut disiplin eksperimen—idealnya A/B test—karena banyak faktor lain memengaruhi pendapatan secara bersamaan.
Kategori yang paling sering diabaikan dalam perhitungan ROI, padahal kerap paling besar. Deteksi fraud mencegah kerugian. Sistem kepatuhan menghindari sanksi OJK atau denda UU PDP. Kemampuan menyerap lonjakan volume musiman tanpa krisis adalah nilai opsi yang nyata. Nilai ini sulit dikuantifikasi tetapi tidak boleh dihilangkan—cukup nyatakan sebagai estimasi dengan asumsi yang transparan.
Cara jujur menangani nilai yang sulit diukur ini adalah dengan teknik yang sering dipakai dalam analisis investasi: nyatakan secara eksplisit nilai apa yang diukur langsung, dan nilai apa yang diestimasi. Untuk mitigasi risiko, alih-alih mengarang angka presisi, sajikan dalam kerangka "nilai yang dihindari": berapa kerugian yang historisnya terjadi akibat fraud atau kesalahan kepatuhan, dan berapa besar sistem AI menurunkannya. Bahkan estimasi konservatif dengan asumsi terbuka jauh lebih berguna bagi pengambil keputusan daripada menghilangkan kategori ini sama sekali—yang justru membuat ROI proyek terlihat lebih kecil dari nilai sebenarnya dan bisa berujung pada keputusan investasi yang keliru.
Tanpa baseline, klaim ROI apa pun hanyalah dugaan berbalut angka. Inilah bagian yang paling sering dipotong karena dianggap merepotkan, padahal ia yang menentukan kredibilitas seluruh perhitungan.
Ukur dunia sebelum AI. Sebelum meluncurkan, dokumentasikan keadaan saat ini: berapa lama proses berjalan, berapa biayanya, berapa tingkat kesalahan, berapa konversi. Tanpa angka "sebelum", Anda tidak punya pembanding yang sah.
Gunakan kelompok kontrol bila mungkin. Cara terkuat membuktikan kausalitas adalah A/B test: sebagian populasi mendapat perlakuan AI, sebagian tidak. Selisihnya adalah dampak bersih yang sulit dibantah. Banyak tim melewatkan ini karena terburu-buru meluncurkan ke 100% pengguna—dan kehilangan kemampuan membuktikan nilainya selamanya.
Waspadai faktor pengganggu. Penjualan naik 15% setelah peluncuran AI—tetapi apakah karena AI, karena kampanye marketing yang bersamaan, atau karena musim Ramadan dan Lebaran? Atribusi yang jujur mengakui dan, sebisa mungkin, mengisolasi faktor-faktor ini.
Hitung biaya total, bukan biaya model. ROI yang jujur memasukkan seluruh biaya: API atau GPU, rekayasa, pemeliharaan, anotasi data, dan waktu tim. Membandingkan manfaat penuh dengan biaya separuh menghasilkan angka yang akan runtuh saat diaudit.
ROI bukan hanya soal besar manfaat, tetapi juga kapan manfaat itu datang. Sebuah proyek yang menjanjikan penghematan besar dalam tiga tahun mungkin kalah strategis dari proyek yang memberi kemenangan lebih kecil dalam tiga bulan—terutama untuk membangun kepercayaan dan momentum organisasi.
Karena itu, dalam menyusun portofolio AI, pertimbangkan kurva nilai sepanjang waktu, bukan hanya nilai puncaknya. Quick win yang cepat terbukti sering kali lebih bernilai secara politis daripada proyek ambisius yang ROI-nya baru muncul jauh di kemudian hari. Time-to-value yang pendek mengamankan dukungan untuk inisiatif yang lebih besar dan lebih berisiko berikutnya.
Bagaimana Anda menyajikan ROI sama pentingnya dengan angkanya. Beberapa prinsip yang membuat laporan dipercaya, bukan dicurigai.
Pimpin dengan metrik bisnis, sembunyikan yang teknis. Eksekutif ingin tahu dampak pada biaya, pendapatan, atau risiko. Sajikan metrik model sebagai pendukung di lampiran, bukan di halaman depan.
Bersikap transparan soal asumsi. Nyatakan dengan jelas apa yang diukur langsung versus diestimasi. Angka konservatif yang jujur jauh lebih kredibel—dan bertahan lebih lama—daripada angka optimis yang runtuh saat ditanya.
Sajikan rentang, bukan titik tunggal. ROI yang dinyatakan sebagai rentang ("penghematan Rp 2–3 miliar per tahun, tergantung volume") terasa lebih jujur dan lebih sulit dipatahkan daripada angka presisi palsu.
Akui apa yang belum terbukti. Mengakui ketidakpastian membangun kredibilitas. Tim yang mengklaim segalanya pasti adalah tim yang paling cepat kehilangan kepercayaan saat satu klaim meleset.
Mari turunkan ini ke angka konkret pada satu contoh ilustratif—sebuah sistem otomasi pemrosesan dokumen di perusahaan jasa keuangan menengah Indonesia.
Mulai dari baseline. Sebelum AI, tim 20 orang memproses sekitar 40.000 dokumen per bulan secara manual, dengan waktu rata-rata 12 menit per dokumen dan tingkat kesalahan yang memicu pengerjaan ulang pada sekitar 8% kasus. Biaya tenaga kerja langsung, ditambah biaya pengerjaan ulang dan eskalasi, menjadi angka dasar yang terdokumentasi—bukan dikira-kira.
Setelah AI, 65% dokumen mengalir otomatis tanpa sentuhan manusia, sementara sisanya ditangani tim yang sama dengan beban jauh lebih ringan karena hanya menangani pengecualian. Di sinilah kejujuran diuji. Penghematan tidak boleh dihitung sebagai "65% dari biaya tenaga kerja lenyap", karena timnya tidak dibubarkan—mereka dialihkan. ROI yang jujur menghitung dua hal: kapasitas yang terbebas yang menyerap pertumbuhan volume tanpa rekrutmen baru (penghematan biaya yang dihindari), dan penurunan tingkat kesalahan yang memangkas pengerjaan ulang dan kebocoran finansial.
Lalu masukkan seluruh biaya: lisensi atau biaya API, infrastruktur, rekayasa pembangunan dan pemeliharaan, anotasi data, serta waktu tim selama implementasi. Bandingkan manfaat penuh dengan biaya penuh sepanjang horizon waktu yang sama—misalnya proyeksi tiga tahun. Hasilnya bukan satu angka ajaib, melainkan rentang dengan asumsi eksplisit: "penghematan dan biaya yang dihindari berkisar Rp X–Y miliar per tahun pada volume saat ini, dengan asumsi pertumbuhan volume Z%." Inilah bentuk laporan ROI yang bertahan saat ditanya, bukan runtuh.
Yang penting diperhatikan dari contoh ini: metrik teknis (akurasi ekstraksi, tingkat straight-through processing) muncul hanya sebagai penjelas mengapa rantai nilainya berfungsi—bukan sebagai bintang utama laporan. Bintang utamanya selalu rupiah, kapasitas, dan risiko.
Penutup yang jujur: tidak semua proyek AI layak dinilai murni dengan ROI jangka pendek. Investasi fondasi—membangun data platform, menyiapkan knowledge base, membentuk kapabilitas tim—sering tidak memberi ROI langsung tetapi memungkinkan semua proyek berikutnya. Memaksakan metrik ROI sempit pada investasi fondasi bisa membunuh hal-hal yang justru paling penting untuk jangka panjang.
Kuncinya adalah kejujuran kategori: sebut proyek fondasi sebagai apa adanya—pemampu (enabler), bukan penghasil ROI langsung—dan ukur dengan kriteria yang sesuai. Mencampuradukkan keduanya adalah cara tercepat membuat keputusan investasi yang salah.
Cara praktis menangani ini adalah memisahkan portofolio AI Anda ke dalam dua kategori dengan kriteria evaluasi berbeda. Proyek nilai langsung dinilai dengan ROI dan time-to-value yang ketat. Proyek fondasi dinilai dengan kriteria pemampu: apakah ia membuka kelas use case baru, mempercepat proyek berikutnya, atau menurunkan biaya marjinal inisiatif masa depan. Dewan investasi yang memahami perbedaan ini membuat keputusan yang jauh lebih sehat daripada yang menuntut setiap baris anggaran membuktikan ROI tiga bulan—sebuah tuntutan yang, jika diterapkan kaku, akan memastikan organisasi tidak pernah membangun fondasi apa pun dan terus-menerus terjebak di proyek-proyek kecil yang rapuh.
Banyak tim memiliki model yang bekerja baik secara teknis tetapi gagal membuktikan nilainya ke pemegang anggaran—dan kehilangan dukungan justru saat momentum mulai terbentuk. Menerjemahkan metrik model menjadi dampak bisnis yang dapat dipertanggungjawabkan membutuhkan disiplin baseline, atribusi, dan pelaporan yang sering tidak terbangun sejak awal proyek.
Sainskerta Solusi Nusantara mendampingi perusahaan Indonesia merancang inisiatif AI dengan kerangka pengukuran nilai sejak hari pertama—dari pemilihan use case berdampak, penyusunan baseline, hingga pelaporan ROI yang kredibel ke jajaran eksekutif. Jadwalkan sesi konsultasi melalui halaman Kontak kami untuk meninjau portofolio AI Anda, dan kami akan bantu menyusun kerangka pengukuran yang membuat nilai investasi Anda terlihat jelas dan dapat dipertahankan.
