← Blog · Tutorial · 9 min read
Ribuan jam panggilan call center menyimpan wawasan yang tak tersentuh. Speech-to-text Bahasa Indonesia membukanya untuk QA, analitik, dan pelatihan otomatis.
A 30-minute scoping call. We listen, ask three questions, tell you if we can help.
Book a callSetiap call center besar di Indonesia duduk di atas tambang data yang nyaris tak tersentuh: ribuan jam rekaman panggilan setiap hari. Di dalamnya ada keluhan produk yang berulang, alasan churn yang tak pernah masuk survei, skrip agen yang gagal, dan momen-momen ketika pelanggan hampir membatalkan langganan lalu diselamatkan—atau tidak. Selama ini wawasan itu hanya bisa diakses lewat sampling manual: seorang supervisor mendengarkan 2 persen panggilan dan menebak sisanya.
Speech-to-text (ASR, *automatic speech recognition*) Bahasa Indonesia mengubah persamaan itu. Begitu setiap panggilan menjadi teks, Anda bisa mencari, mengukur, dan menganalisis 100 persen percakapan, bukan 2 persen. Tapi ASR Bahasa Indonesia punya jebakan teknis yang spesifik—dialek, *code-switching*, audio telepon berkualitas rendah, dan istilah produk lokal—yang membuat solusi generik sering mengecewakan. Tutorial ini memetakan cara membangun pipeline ASR call center yang akurat, hemat, dan patuh privasi, dari pemilihan model hingga analitik percakapan.
Vendor ASR global biasanya melatih model utama mereka pada Bahasa Inggris, lalu Bahasa Indonesia ditambahkan sebagai bahasa sekunder dengan data yang jauh lebih sedikit. Akibatnya, akurasi di luar kalimat formal bisa anjlok. Beberapa tantangan khas yang harus Anda antisipasi sejak awal:
Code-switching. Pelanggan dan agen sering berpindah-pindah Indonesia–Inggris dalam satu kalimat: "Tadi saya sudah *transfer*, tapi *statusnya* masih *pending*." Model yang tak terlatih untuk ini akan salah mentranskripsi istilah Inggris atau memotong kalimat.
Dialek dan logat daerah. Aksen Medan, Jawa, Sulawesi, dan bahasa campur daerah menggeser pelafalan secara signifikan. Model yang bagus di Jakarta bisa buruk di Makassar.
Audio telepon. Kanal telepon umumnya 8 kHz, terkompresi, dengan latar belakang bising. Kualitasnya jauh di bawah rekaman podcast yang biasa dipakai untuk benchmark vendor.
Istilah produk dan singkatan. "QRIS", "VA BCA", "OVO", "cashback", nama paket, dan nomor seri sering ditranskripsi salah karena tidak ada dalam kosakata umum model.
Konsekuensinya: Anda tidak bisa percaya pada angka WER (*word error rate*) yang diiklankan vendor. WER 8 persen pada audio bersih bisa menjadi 25 persen pada audio call center nyata. Selalu ukur pada data Anda sendiri.
Keputusan pertama yang menentukan arsitektur, biaya, dan kepatuhan adalah: API cloud terkelola atau model open-source yang Anda host sendiri.
Layanan ASR dari penyedia cloud besar dan beberapa vendor lokal menawarkan endpoint siap pakai dengan dukungan Bahasa Indonesia. Kelebihannya jelas: tidak perlu mengelola GPU, skala otomatis, dan akurasi yang umumnya solid untuk audio standar. Cocok untuk tim yang ingin cepat memvalidasi nilai bisnis sebelum berinvestasi besar.
Kekurangannya juga nyata. Pertama, biaya per menit menumpuk cepat di skala call center—pada volume jutaan menit per bulan, tagihan bisa mencapai ratusan juta Rupiah. Kedua, dan lebih kritis, data percakapan keluar dari kendali Anda. Rekaman call center penuh dengan data pribadi: nama, NIK, nomor rekening, keluhan kesehatan untuk asuransi. Mengirimnya ke API pihak ketiga membuka pertanyaan kepatuhan UU PDP No. 27/2022 dan, untuk sektor keuangan, ekspektasi OJK soal kedaulatan data.
Model open-source seperti keluarga Whisper dan varian yang di-*fine-tune* untuk Bahasa Indonesia bisa di-host di infrastruktur Anda sendiri. Whisper-large memberi akurasi multibahasa yang kuat termasuk code-switching, dan dapat di-fine-tune lebih lanjut dengan data internal Anda.
Untuk call center bervolume tinggi dengan data sensitif, self-hosting bukan sekadar pilihan teknis—sering kali itu satu-satunya jalur yang memenuhi kepatuhan sekaligus masuk akal secara ekonomi pada skala.
Kelebihan: kendali penuh atas data, biaya marginal mendekati nol setelah investasi GPU, dan kemampuan fine-tuning pada kosakata serta logat spesifik Anda. Kekurangan: Anda perlu kapabilitas MLOps untuk men-deploy, memantau, dan menskalakan inferensi. Untuk batch processing (menganalisis rekaman semalam), kebutuhan GPU jauh lebih ringan daripada transkripsi real-time.
Rekomendasi praktis: mulai dengan API cloud untuk membuktikan nilai pada 2–4 minggu, ukur WER nyata, lalu putuskan migrasi ke self-hosting begitu volume dan sensitivitas data membenarkan investasinya.
Satu keputusan yang sering disamaratakan padahal sangat berbeda biayanya: apakah Anda butuh transkripsi *real-time* (saat panggilan berlangsung) atau *batch* (memproses rekaman setelah panggilan selesai)?
Transkripsi real-time membuka kasus penggunaan kelas tinggi—*agent assist* yang menyodorkan jawaban ke agen saat pelanggan bicara, deteksi eskalasi langsung, atau peringatan kepatuhan seketika. Tetapi harganya mahal: butuh infrastruktur streaming, latensi rendah yang ketat, dan GPU yang siap setiap saat dengan utilisasi yang sulit dioptimalkan. Transkripsi batch jauh lebih sederhana dan murah—Anda mengumpulkan rekaman semalam lalu memprosesnya saat trafik sepi, sehingga GPU bekerja pada utilisasi tinggi yang ekonomis.
Mayoritas nilai analitik (QA, penemuan wawasan, kepatuhan skrip) bisa dipenuhi dengan batch. Mulailah dari batch, dan tambahkan real-time hanya untuk kasus penggunaan yang benar-benar membenarkan biayanya. Banyak tim membakar anggaran membangun pipeline real-time padahal kebutuhan mereka sepenuhnya bisa dilayani secara batch dengan sepersekian biaya.
Sebuah pipeline ASR call center yang matang bukan sekadar "audio masuk, teks keluar". Berikut tahapannya:
Rekaman biasanya datang sebagai file stereo dengan agen di satu kanal dan pelanggan di kanal lain. Manfaatkan ini: pisahkan kanal (*channel separation*) agar Anda tahu siapa berbicara tanpa perlu *speaker diarization* yang rawan salah. Lakukan normalisasi volume, resampling ke format yang diharapkan model, dan deteksi segmen hening untuk dibuang.
Jalankan ASR per kanal, hasilkan teks dengan timestamp per kata atau per segmen. Timestamp ini penting untuk analitik nanti—misalnya menghitung *talk-to-listen ratio* atau menemukan momen tepat ketika pelanggan menyebut kata "batal".
Di sinilah banyak pipeline gagal. Output ASR mentah penuh istilah salah. Tambahkan lapisan koreksi:
**Kamus domain (*custom vocabulary*).** Daftarkan nama produk, singkatan, dan istilah pembayaran agar model memprioritaskannya.
Koreksi berbasis LLM. Lewatkan transkrip melalui LLM dengan prompt yang memperbaiki ejaan istilah teknis dan menambah tanda baca, sambil dilarang mengubah makna. Ini meningkatkan keterbacaan drastis tanpa melatih ulang model ASR.
Normalisasi entitas. Standarkan format nomor, tanggal, dan nominal Rupiah.
Simpan transkrip terstruktur (teks, timestamp, ID panggilan, metadata agen) di penyimpanan yang bisa dicari. Untuk pencarian semantik—"temukan semua panggilan tentang gagal top-up"—indeks transkrip ke vector database agar tim QA bisa menelusuri tema, bukan hanya kata kunci.
Jangan pernah menerima klaim WER tanpa verifikasi pada data Anda. Bangun *golden set*: 100–200 panggilan yang ditranskripsi manual oleh manusia sebagai *ground truth*, mewakili keragaman nyata—logat berbeda, kualitas audio buruk, code-switching berat.
Hitung WER terhadap golden set ini secara berkala. Tapi WER saja menyesatkan. Untuk call center, yang lebih penting adalah akurasi pada kata-kata bernilai tinggi: apakah model menangkap "batal", "komplain", "pindah ke kompetitor", nama produk, dan nominal dengan benar? Sebuah transkrip dengan WER 15 persen tapi menangkap semua kata sinyal bisnis jauh lebih berguna daripada WER 10 persen yang melewatkan momen kritis.
Definisikan metrik turunan bisnis sejak awal: berapa persen panggilan yang transkripnya cukup baik untuk analitik otomatis tanpa intervensi manusia? Itulah angka yang menentukan ROI.
Transkripsi hanyalah bahan baku. Nilai sesungguhnya muncul ketika Anda menambang teks tersebut secara otomatis. Beberapa kasus penggunaan yang langsung memberi dampak:
Klasifikasi alasan kontak. Kategorikan setiap panggilan secara otomatis (penagihan, gangguan teknis, permintaan refund) untuk melihat distribusi dan tren—tanpa agen mengisi formulir manual.
Deteksi sentimen dan eskalasi. Tandai panggilan dengan frustrasi tinggi atau ancaman churn agar supervisor bisa menindaklanjuti.
Kepatuhan skrip. Verifikasi apakah agen menyampaikan disклосur wajib (misalnya pernyataan syarat dan ketentuan di telesales asuransi atau pinjaman), kebutuhan kepatuhan nyata di sektor keuangan Indonesia.
QA otomatis pada 100 persen panggilan. Gantikan sampling manual 2 persen dengan penilaian otomatis seluruh panggilan terhadap rubrik QA, lalu fokuskan supervisor pada kasus yang ditandai.
Penemuan wawasan produk. Agregasikan keluhan untuk menemukan cacat produk atau celah dokumentasi sebelum membengkak menjadi gelombang komplain.
LLM modern sangat cocok untuk lapisan analitik ini: berikan transkrip, minta klasifikasi terstruktur dan ringkasan, dan Anda mendapat sinyal bisnis yang sebelumnya butuh tim analis penuh waktu.
Bayangkan sebuah penyelenggara dompet digital dengan lima juta menit panggilan per bulan. Sebelum ASR, tim produk hanya tahu "banyak keluhan top-up" secara anekdotal. Setelah seluruh panggilan ditranskripsi dan diklasifikasi otomatis, mereka menemukan bahwa 23 persen panggilan terkait gagal top-up berasal dari satu bank mitra tertentu pada rentang jam tertentu—pola yang mustahil terlihat lewat sampling manual 2 persen. Sinyal itu memicu perbaikan integrasi yang menurunkan volume panggilan secara nyata.
Inilah lompatan sesungguhnya: bukan sekadar mengubah suara menjadi teks, tetapi mengubah keluhan yang berserak menjadi prioritas teknik dan produk yang terukur. Nilai bisnisnya berlipat ketika analitik percakapan ditautkan ke sistem tiket, dashboard produk, dan rapat prioritisasi mingguan—bukan berhenti sebagai laporan PDF yang tak dibaca.
Rekaman call center adalah salah satu kumpulan data pribadi paling sensitif yang dimiliki perusahaan. Mengabaikan tata kelolanya bukan hanya berisiko denda UU PDP, tapi merusak kepercayaan pelanggan. Beberapa kontrol yang wajib:
Redaksi PII. Setelah transkripsi, jalankan deteksi dan masking otomatis terhadap NIK, nomor rekening, nomor kartu, dan data sensitif lain sebelum transkrip masuk ke sistem analitik yang diakses lebih banyak orang.
Dasar hukum dan persetujuan. Pastikan pemberitahuan "panggilan ini direkam untuk tujuan kualitas" konsisten dengan dasar pemrosesan yang Anda klaim di bawah UU PDP.
Retensi dan minimisasi. Tetapkan kebijakan retensi yang jelas; jangan menyimpan audio mentah selamanya tanpa alasan.
Lokalisasi pemrosesan. Untuk perbankan dan sektor diatur, pertimbangkan self-hosting agar audio dan transkrip tidak pernah meninggalkan yurisdiksi atau lingkungan yang Anda kendalikan.
Membangun privasi sejak desain (*privacy by design*) jauh lebih murah daripada menambalnya setelah audit regulator menemukan masalah.
Pertanyaan yang sering muncul: haruskah kami melatih ulang (*fine-tune*) model ASR pada data sendiri? Jawabannya bergantung pada seberapa jauh akurasi model dasar dari kebutuhan Anda setelah lapisan koreksi domain diterapkan.
Untuk banyak kasus, kombinasi model dasar yang kuat plus kamus domain plus koreksi LLM sudah cukup—tanpa repot fine-tuning. Tetapi jika call center Anda punya karakteristik ekstrem—logat daerah yang dominan, jargon industri tebal (misalnya istilah medis untuk asuransi kesehatan, atau istilah teknis untuk telekomunikasi), atau kualitas audio yang konsisten buruk—fine-tuning pada beberapa ratus hingga ribuan jam audio berlabel dapat menurunkan WER secara berarti.
Pertimbangan ekonomi: fine-tuning butuh data berlabel (audio + transkrip manual) yang mahal dibuat, dan keahlian untuk melakukannya dengan benar. Hitung apakah penurunan WER yang dihasilkan benar-benar membuka nilai bisnis—misalnya menaikkan persentase panggilan yang layak dianalisis otomatis—sebelum berinvestasi. Sering kali, memperbaiki preprocessing audio dan kamus domain memberi hasil lebih besar per Rupiah daripada fine-tuning penuh.
Ribuan jam percakapan pelanggan Anda saat ini hilang setiap minggu—wawasan yang seharusnya memandu keputusan produk, melatih agen, dan mencegah churn. Speech-to-text Bahasa Indonesia yang dibangun benar mengubahnya menjadi aset strategis, tapi keberhasilannya bergantung pada pemilihan model yang tepat, pipeline yang tahan kondisi nyata, dan tata kelola data yang patuh sejak hari pertama.
Sainskerta Solusi Nusantara membangun pipeline ASR dan analitik percakapan Bahasa Indonesia untuk call center enterprise—dari pilot pembuktian nilai hingga sistem self-hosted yang patuh UU PDP dan ekspektasi OJK. Jika Anda ingin memetakan WER nyata pada data Anda dan menghitung ROI sebelum berinvestasi besar, jadwalkan sesi konsultasi dengan tim kami melalui halaman Kontak. Kami akan membantu Anda menentukan jalur tercepat dari rekaman yang menumpuk menjadi keputusan yang lebih baik.
