← Blog · Engineering · 10 min read
Model hebat lahir dari label berkualitas. Sayangnya labeling sering diburu-buru. Artikel ini menunjukkan cara membangun proses anotasi yang konsisten dan terukur.
A 30-minute scoping call. We listen, ask three questions, tell you if we can help.
Book a callAda satu kalimat yang sering terdengar di ruang rapat tim AI: "Modelnya kurang pintar." Padahal sembilan dari sepuluh kali, masalahnya bukan di model. Masalahnya ada di data yang dipakai untuk melatih model itu — lebih spesifik lagi, di label yang menempel pada data tersebut. Label yang tidak konsisten, pedoman anotasi yang ambigu, dan annotator yang tidak terlatih menghasilkan dataset yang secara diam-diam membatasi langit-langit performa sistem Anda. Tidak peduli seberapa canggih arsitektur model atau seberapa besar anggaran GPU, model tidak akan pernah belajar membedakan sesuatu yang manusianya sendiri tidak konsisten dalam memberi label.
Data labeling dan anotasi adalah pekerjaan yang tidak seksi. Ia tidak masuk slide presentasi ke direksi, tidak menghasilkan demo yang memukau, dan jarang mendapat tepuk tangan. Tetapi ia adalah fondasi yang menentukan apakah proyek AI Anda berdiri kokoh atau ambruk di produksi. Artikel ini membahas cara membangun proses anotasi yang konsisten, terukur, dan ekonomis — dengan konteks nyata tim Indonesia yang sering kali harus melabeli data berbahasa Indonesia, campur kode, dan dokumen lokal yang tidak ada padanannya di dataset internasional.
Bayangkan Anda melatih model klasifikasi untuk memilah keluhan pelanggan menjadi kategori "penagihan", "teknis", dan "umum". Jika lima annotator memberi label berbeda untuk keluhan yang sama "saldo saya kepotong tapi transaksi gagal" — sebagian menandai "penagihan", sebagian "teknis" — maka model akan belajar dari sinyal yang saling bertentangan. Hasilnya bukan model yang bingung sedikit, melainkan model yang batas keputusannya kabur secara sistematis.
Prinsip yang harus dipegang: garbage in, garbage out tidak berlaku linear, ia berlaku eksponensial. Sedikit kebisingan label di training set bisa menggandakan kebutuhan data untuk mencapai akurasi yang sama. Penelitian dan pengalaman lapangan konsisten menunjukkan bahwa membersihkan 5% label yang salah sering memberi peningkatan akurasi lebih besar daripada menambah 20% data baru yang berlabel asal-asalan.
Investasi terbesar dalam proyek AI Anda bukan pada model atau infrastruktur, melainkan pada disiplin orang-orang yang menentukan apa arti "benar" bagi sistem Anda.
Untuk tim Indonesia, taruhannya lebih tinggi. Dataset publik berbahasa Indonesia langka. Anda hampir pasti harus membangun dataset sendiri dari nol — transkrip call center, dokumen KTP dan NPWP, ulasan produk di marketplace, percakapan WhatsApp customer service. Tidak ada jalan pintas mengunduh dataset siap pakai. Itu berarti kualitas anotasi sepenuhnya ada di tangan Anda, dan kesalahan di tahap ini akan menghantui Anda sampai produksi.
Proses anotasi yang baik dimulai bukan dari merekrut annotator, melainkan dari menulis pedoman anotasi (annotation guidelines). Ini adalah dokumen hidup yang mendefinisikan secara presisi apa arti setiap label, bagaimana menangani kasus ambigu, dan contoh konkret untuk setiap keputusan.
Pedoman yang buruk terdengar seperti: "Tandai sentimen sebagai positif, negatif, atau netral." Pedoman yang baik mengantisipasi pertanyaan sebelum annotator menanyakannya:
Definisi operasional yang tajam. Bukan "tandai keluhan", tetapi "tandai sebagai keluhan jika pelanggan mengungkapkan ketidakpuasan terhadap produk, layanan, atau pengalaman — termasuk sarkasme. Pertanyaan netral seperti 'jam buka kapan?' bukan keluhan."
Aturan untuk kasus batas. Bagaimana melabeli "barangnya oke sih, tapi kurirnya nyebelin"? Apakah satu unit teks bisa punya dua label? Apakah sentimen dinilai per kalimat atau per dokumen?
Contoh positif dan negatif berdampingan. Untuk setiap kategori, sediakan 3-5 contoh nyata yang ditandai benar, dan contoh "mirip tapi salah" yang sering membingungkan.
Pohon keputusan. Untuk tugas kompleks, alur "jika X maka Y, jika tidak periksa Z" jauh lebih andal daripada paragraf prosa.
Dalam konteks Bahasa Indonesia, pedoman harus secara eksplisit menangani slang ("gabut", "auto", "gercep"), campur kode Indonesia-Inggris-daerah, sarkasme yang nyaris tak terdeteksi tanpa konteks budaya, dan singkatan informal. Annotator dari latar belakang berbeda akan menafsirkan "yha" atau "wkwk" secara berbeda jika pedoman tidak menetapkannya.
Aturan praktis: jika Anda menemukan annotator sering bertanya hal yang sama, itu bukan kesalahan mereka — itu lubang di pedoman Anda. Setiap pertanyaan berulang harus berakhir sebagai aturan baru di dokumen.
Anda tidak bisa memperbaiki apa yang tidak Anda ukur. Metrik kunci dalam anotasi adalah inter-annotator agreement (IAA) — seberapa sering dua atau lebih annotator independen memberi label yang sama pada data yang sama.
Jangan gunakan persentase kesepakatan mentah, karena angka itu menyesatkan. Jika 90% data Anda jelas-jelas "netral", dua annotator yang menebak acak pun akan terlihat sangat sepakat. Gunakan metrik yang mengoreksi kesepakatan kebetulan:
Cohen's Kappa untuk dua annotator. Nilai di atas 0,8 umumnya dianggap sangat baik; 0,6–0,8 cukup; di bawah 0,4 menandakan tugas atau pedoman bermasalah.
Fleiss' Kappa untuk lebih dari dua annotator.
Krippendorff's Alpha ketika Anda punya data hilang atau skema label kompleks.
Praktik yang disarankan: ambil 10–15% data sebagai "overlap set" yang dilabeli oleh beberapa annotator sekaligus. Hitung IAA secara berkala — bukan sekali di awal lalu dilupakan. Jika IAA turun di tengah proyek, itu sinyal annotator mulai lelah, atau muncul jenis data baru yang tidak tercakup pedoman.
IAA rendah bukan selalu salah annotator. Sering kali ia mengungkap bahwa tugasnya sendiri terlalu subjektif atau definisi labelnya tumpang tindih. Dalam kasus itu, solusinya adalah menyederhanakan skema label, bukan memaksa annotator sepakat soal sesuatu yang memang ambigu.
Annotator bukan tenaga kerja yang bisa dilempar pekerjaan lalu ditinggal. Mereka perlu dilatih, dikalibrasi, dan diberi umpan balik.
Sebelum annotator menyentuh data nyata, beri mereka batch latihan 50–100 contoh yang sudah Anda labeli sendiri sebagai "kunci jawaban". Bandingkan hasil mereka, diskusikan ketidaksepakatan, perbarui pedoman. Ulangi sampai annotator mencapai kesepakatan memadai dengan gold standard. Tahap ini terasa lambat tetapi mencegah Anda membuang ribuan label buruk.
Sediakan kanal di mana annotator melaporkan kasus yang membingungkan. Tinjau sampel hasil mereka secara berkala — bukan untuk menghakimi, tetapi untuk menangkap pergeseran interpretasi sejak dini. Annotator yang merasa pekerjaannya diperhatikan menghasilkan label jauh lebih baik daripada yang merasa seperti mesin.
Anotasi adalah pekerjaan kognitif yang melelahkan. Kualitas menurun drastis setelah beberapa jam fokus. Batasi sesi, rotasi jenis tugas, dan jangan menetapkan kuota volume yang mendorong annotator mengorbankan ketelitian demi kecepatan. Insentif yang salah menghasilkan label yang salah.
Pertanyaan klasik: melabeli sendiri atau menyewa vendor anotasi? Jawabannya bergantung pada sensitivitas data, kompleksitas tugas, dan skala.
Pertimbangkan in-house ketika:
Data sangat sensitif (data nasabah, rekam medis, dokumen identitas) di mana UU PDP No. 27/2022 dan kewajiban kerahasiaan membatasi siapa yang boleh mengaksesnya. Mengirim data KTP nasabah ke vendor luar negeri bisa menjadi pelanggaran serius.
Tugas butuh keahlian domain mendalam — anotasi dokumen hukum, klasifikasi diagnosis medis, atau penilaian risiko kredit.
Pedoman masih berevolusi cepat dan butuh iterasi rapat dengan tim engineering.
Pertimbangkan vendor ketika:
Volume besar dengan tugas relatif standar (bounding box objek, transkripsi, klasifikasi sederhana).
Anda butuh skala cepat tanpa membangun operasi internal.
Data bisa dianonimkan atau tidak sensitif.
Jika memakai vendor, perlakukan mereka sebagai perpanjangan tim, bukan kotak hitam. Berikan pedoman yang sama detailnya, lakukan kalibrasi, audit IAA mereka, dan minta sampel untuk diverifikasi sendiri. Banyak proyek gagal karena menyerahkan anotasi ke vendor dengan brief satu paragraf lalu kaget hasilnya berantakan. Untuk data sensitif yang harus tetap di Indonesia, pastikan klausul lokasi pemrosesan data dan perjanjian kerahasiaan tertuang jelas dalam kontrak.
Tidak semua data layak dilabeli. Melabeli 100.000 contoh yang 90% di antaranya membosankan dan mudah adalah pemborosan. Active learning adalah strategi untuk memilih contoh paling informatif untuk dilabeli berikutnya.
Polanya sederhana: latih model awal pada sejumlah kecil data berlabel, lalu jalankan pada data tak berlabel. Contoh di mana model paling tidak yakin — skor confidence rendah, atau prediksi yang berubah-ubah — adalah kandidat terbaik untuk dilabeli manusia. Dengan begitu, setiap jam kerja annotator memberi dampak maksimal pada perbaikan model.
Strategi terkait yang sangat hemat biaya: pre-labeling dengan LLM. Gunakan model bahasa besar untuk memberi label awal pada data, lalu minta annotator manusia hanya memverifikasi dan mengoreksi, bukan melabeli dari nol. Memverifikasi label jauh lebih cepat daripada membuatnya. Hati-hati: ini efektif untuk tugas di mana LLM sudah cukup baik, tetapi berbahaya jika Anda menerima label LLM tanpa pengecekan — model akan mewarisi bias dan kesalahan LLM tersebut.
Anotasi hampir selalu lebih mahal dan lebih lama daripada perkiraan awal tim. Beberapa angka kasar untuk perencanaan:
Tugas klasifikasi teks sederhana: seorang annotator terlatih mungkin menyelesaikan beberapa ratus hingga seribu contoh per hari, tergantung panjang teks.
Tugas kompleks (anotasi entitas, segmentasi gambar, penilaian multi-aspek): bisa puluhan hingga ratusan contoh per hari.
Tambahkan overhead: kalibrasi, overlap set untuk IAA, review, dan perbaikan label biasanya menambah 20–40% di atas waktu anotasi murni.
Dalam Rupiah, biaya bervariasi luas. Annotator domain umum jauh lebih murah daripada annotator dengan keahlian khusus seperti hukum atau medis. Jangan tergoda menekan biaya hingga mengorbankan kualitas — label murah yang buruk akhirnya lebih mahal karena Anda harus mengulang seluruh proses.
Rencanakan anotasi sebagai aktivitas berkelanjutan, bukan proyek sekali jadi. Data produksi berubah, distribusi bergeser, kategori baru muncul. Dataset yang dilabeli setahun lalu mulai usang. Sisihkan kapasitas anotasi berkelanjutan dalam anggaran operasional, bukan hanya di fase pembangunan awal.
Proses anotasi yang baik butuh perkakas yang tepat. Memaksa annotator bekerja di spreadsheet untuk tugas kompleks adalah resep inkonsistensi dan kelelahan. Ekosistem tooling cukup matang, dari yang open-source hingga komersial.
Untuk anotasi teks, platform seperti Label Studio, Doccano, atau Argilla menyediakan antarmuka yang dirancang untuk klasifikasi, named-entity recognition, dan tugas berbasis teks lainnya. Untuk anotasi gambar dan video — bounding box, segmentasi, keypoint — ada CVAT, Label Studio, dan berbagai platform komersial yang menyederhanakan pekerjaan visual yang melelahkan.
Apa pun perkakas yang dipilih, beberapa kemampuan penting harus ada:
Antarmuka yang efisien. Setiap klik dan perpindahan layar yang tidak perlu mengalikan biaya di ribuan contoh. Pintasan keyboard, pre-loading, dan tata letak yang ringkas berdampak besar pada throughput.
Manajemen alur kerja. Kemampuan menugaskan pekerjaan, melacak progres, mengelola overlap set, dan merutekan kasus sulit ke reviewer senior.
Penegakan skema. Sistem yang mencegah label tidak valid sejak input, alih-alih menangkapnya setelah fakta.
Integrasi ke pipeline. Ekspor yang bersih ke format yang langsung bisa dipakai pelatihan, serta kemampuan menutup loop active learning.
Untuk data sensitif, perhatikan di mana platform anotasi menyimpan data. Solusi self-hosted atau on-premise sering wajib bagi data nasabah atau identitas, sementara platform cloud asing bisa melanggar ketentuan lokalisasi data. Pertimbangan ini harus masuk keputusan tooling sejak awal, bukan dipikirkan belakangan ketika data sudah terlanjur mengalir keluar.
Pengalaman lapangan menunjukkan beberapa kesalahan yang berulang dan mahal. Mengenalinya lebih awal menghemat banyak penderitaan.
Melabeli sebelum mendefinisikan masalah. Tim sering bersemangat mengumpulkan label sebelum jelas apa yang sebenarnya ingin diprediksi model. Hasilnya: ribuan label yang harus dibuang ketika definisi tugas akhirnya matang. Habiskan waktu di awal untuk menajamkan definisi, bahkan dengan melabeli sampel kecil sebagai uji coba.
Mengejar volume di atas kualitas. Godaan untuk membanggakan "kami punya satu juta label" sering mengorbankan konsistensi. Sepuluh ribu label berkualitas tinggi hampir selalu mengalahkan satu juta label berisik untuk melatih model yang andal.
Mengabaikan kasus langka. Distribusi data nyata sering condong; kelas minoritas yang penting (fraud, cacat, keluhan serius) jarang muncul. Membiarkan anotasi mengikuti distribusi alami berarti model kekurangan contoh dari kelas yang justru paling penting. Pertimbangkan oversampling kasus langka secara sengaja.
Memperlakukan label sebagai kebenaran mutlak. Bahkan annotator terbaik salah. Pertahankan kesadaran bahwa label adalah perkiraan kebenaran, bukan kebenaran itu sendiri, dan bangun proses untuk menemukan serta memperbaiki label keliru bahkan setelah pelatihan.
Banyak proyek AI yang mahal dan ambisius akhirnya tersandung pada hal paling mendasar: kualitas data yang dipakai untuk melatihnya. Membangun proses anotasi yang konsisten — dengan pedoman tajam, metrik IAA yang dipantau, annotator terlatih, dan strategi active learning — adalah pekerjaan yang membedakan model yang sekadar demo dari model yang dipercaya di produksi.
Sainskerta Solusi Nusantara mendampingi perusahaan Indonesia dari fase strategi hingga operasi, termasuk merancang pipeline data dan anotasi yang patuh UU PDP serta menghasilkan dataset berkualitas tinggi untuk model kustom Anda. Jika tim Anda sedang berjuang dengan label yang tidak konsisten, atau merencanakan proyek AI yang bergantung pada data berbahasa Indonesia, jadwalkan sesi konsultasi dengan tim kami melalui halaman Kontak. Kami akan membantu memetakan strategi anotasi yang realistis sesuai sensitivitas data, anggaran, dan target kualitas Anda — sehingga fondasi sistem AI Anda kokoh sejak awal.
