← Blog · Engineering · 10 min read
Tanpa fondasi data yang rapi, inisiatif AI akan rapuh. Artikel ini memetakan arsitektur data platform modern yang siap mendukung analitik dan AI sekaligus.
A 30-minute scoping call. We listen, ask three questions, tell you if we can help.
Book a callSetiap perusahaan yang serius mengejar AI cepat atau lambat menabrak tembok yang sama, dan tembok itu jarang soal model. Ia soal data. Tim mencoba membangun sistem rekomendasi tetapi data transaksi tersebar di lima sistem yang tidak saling bicara. Tim ingin melatih model prediksi churn tetapi tidak ada yang tahu definisi "pelanggan aktif" yang disepakati bersama. Tim membangun dashboard eksekutif yang menunjukkan angka penjualan berbeda dari yang dilihat tim finance. Semua masalah ini berakar pada satu hal: ketiadaan fondasi data yang rapi. AI yang dibangun di atas data berantakan akan rapuh, dan tidak ada kecanggihan model yang bisa menebusnya.
Artikel ini memetakan blueprint data platform modern untuk perusahaan Indonesia—arsitektur yang melayani analitik bisnis hari ini sekaligus menyiapkan fondasi untuk beban kerja AI esok. Fokusnya pada pilihan yang realistis dan bertahap, bukan menara gading arsitektur yang sempurna di atas kertas tapi tak pernah selesai dibangun.
Ada urutan logis yang sering dilanggar perusahaan dalam ambisi AI mereka. Mereka melompat ke proyek AI yang mencolok sebelum data mereka tertata, lalu menghabiskan 80% waktu proyek hanya untuk mengumpulkan, membersihkan, dan menyelaraskan data—pekerjaan yang seharusnya sudah selesai oleh platform data yang matang. Investasi pada fondasi data bukan penundaan terhadap AI; ia adalah percepatan.
Platform data modern memberi beberapa hal yang menjadi prasyarat AI yang sehat:
Sumber kebenaran tunggal. Definisi metrik yang konsisten, sehingga "pendapatan" berarti hal yang sama di setiap laporan dan setiap model.
Data yang dapat diakses. Tim analitik dan AI bisa menemukan dan memakai data tanpa memohon ekspor manual dari tim lain.
Kualitas yang terjaga. Data tervalidasi dan terpantau, sehingga model tidak belajar dari data sampah.
Jejak dan tata kelola. Asal-usul data terlacak, akses terkontrol, dan kepatuhan terhadap UU PDP No. 27/2022 terjaga.
Aturan yang berulang terbukti: kualitas output AI Anda dibatasi oleh kualitas data yang menopangnya. Perusahaan yang menang di AI hampir selalu memenangkan permainan data lebih dulu.
Lapisan pertama platform data adalah ingestion—proses membawa data dari berbagai sumber ke dalam platform. Sumber data perusahaan Indonesia biasanya beragam: database transaksional (sistem core, ERP, point of sale), aplikasi SaaS (CRM, alat marketing), log aplikasi dan situs, file dari mitra, serta data dari gateway pembayaran seperti Midtrans atau Xendit.
Dua pola ingestion yang dominan:
Batch. Data ditarik secara terjadwal (harian, per jam). Cocok untuk mayoritas kebutuhan analitik dan paling sederhana dioperasikan.
Streaming. Data mengalir mendekati real-time. Diperlukan untuk kasus seperti deteksi fraud atau personalisasi seketika, tetapi lebih kompleks dan mahal—jangan dipakai kecuali use case benar-benar menuntut.
Prinsip kunci di lapisan ini adalah memilih pendekatan ELT (Extract, Load, Transform) ketimbang ETL klasik untuk sebagian besar kasus. Artinya, muat data mentah ke platform dulu, baru transformasikan di dalamnya. Ini memberi fleksibilitas: data mentah selalu tersedia untuk dimodelkan ulang ketika kebutuhan berubah, dan transformasi bisa diversi dan diuji seperti kode.
Di jantung platform data modern ada keputusan tentang penyimpanan. Selama bertahun-tahun perusahaan terbelah antara data warehouse (terstruktur, cepat untuk analitik, tapi kaku dan mahal untuk data besar tak terstruktur) dan data lake (murah dan fleksibel, tapi sering berubah menjadi "data swamp" yang berantakan dan sulit diandalkan).
Arsitektur lakehouse menyatukan keunggulan keduanya: fleksibilitas dan biaya rendah data lake, dengan keterstrukturan, keandalan transaksi, dan kinerja kueri data warehouse. Ia menjadi pusat gravitasi tempat semua data—terstruktur maupun tidak—hidup, dan dari sana melayani baik analitik bisnis maupun pelatihan model AI.
Pola lapisan data yang umum dan terbukti adalah arsitektur berlapis:
Lapisan mentah (raw). Data persis seperti diterima dari sumber, tak tersentuh. Ini cadangan dan sumber kebenaran terakhir Anda.
Lapisan bersih (staging). Data yang sudah dibersihkan, dibakukan format dan tipenya, dideduplikasi.
Lapisan bisnis (mart). Data yang sudah dimodelkan sesuai konsep bisnis—pelanggan, pesanan, produk—siap dikonsumsi analitik dan AI.
Struktur berlapis ini membuat data dapat ditelusuri, kesalahan dapat diisolasi, dan transformasi dapat diuji ulang tanpa kehilangan sumber asli.
Transformasi adalah tempat data mentah berubah menjadi aset bisnis yang berarti, dan di sinilah disiplin rekayasa paling membuahkan hasil. Pendekatan modern memperlakukan transformasi data sebagai kode—berversi, diuji, didokumentasikan, dan ditinjau seperti perangkat lunak lainnya.
Alat seperti dbt telah menjadi standar de facto untuk lapisan ini karena membawa praktik rekayasa perangkat lunak ke transformasi data:
Transformasi sebagai kode SQL yang berversi di kontrol versi, bukan kueri ad-hoc yang tersembunyi di sana-sini.
Pengujian data otomatis—memastikan tidak ada nilai null di kolom kritis, tidak ada duplikat kunci, nilai berada dalam rentang yang masuk akal.
Dokumentasi dan lineage—siapa pun bisa menelusuri dari mana sebuah metrik berasal dan bagaimana ia dihitung.
Definisi metrik terpusat—"pelanggan aktif" didefinisikan sekali, dipakai di mana-mana, mengakhiri perdebatan angka antar tim.
Disiplin di lapisan ini adalah yang membedakan platform data yang dipercaya dari yang terus-menerus dipertanyakan kebenarannya.
Sebuah platform data terdiri dari banyak pekerjaan yang harus berjalan dalam urutan dan jadwal yang benar: tarik data, bersihkan, transformasikan, perbarui mart, segarkan dashboard. Orchestration adalah lapisan yang mengelola alur kerja ini—menentukan ketergantungan antar tugas, menjadwalkan eksekusi, menangani kegagalan, dan memberi tahu ketika ada yang rusak.
Alat orchestration modern memberi Anda visibilitas atas kesehatan pipeline data dan kemampuan memulihkan diri dari kegagalan tanpa intervensi manual yang panik. Tanpa orchestration yang baik, platform data menjadi tumpukan skrip rapuh yang gagal diam-diam, dan tim baru menyadarinya ketika eksekutif bertanya mengapa angka di dashboard tidak masuk akal.
Prinsip yang sehat: pipeline harus idempoten (bisa dijalankan ulang dengan aman), dapat diamati (Anda tahu saat ada yang gagal), dan dapat dipulihkan (kegagalan satu tugas tidak meruntuhkan segalanya).
Tata kelola sering dianggap birokrasi yang memperlambat, padahal ia justru yang memungkinkan platform data dipakai dengan percaya diri dan aman dalam skala. Dalam konteks Indonesia, governance juga merupakan kewajiban hukum—data pribadi tunduk pada UU PDP No. 27/2022, dan sektor tertentu seperti keuangan punya kewajiban tambahan dari OJK.
Komponen governance yang harus ada:
Katalog data. Inventaris semua data yang dimiliki: apa artinya, dari mana asalnya, siapa pemiliknya, seberapa sensitif. Anda tidak bisa melindungi atau memanfaatkan apa yang tidak Anda ketahui.
Kontrol akses. Siapa boleh melihat data apa, dengan prinsip akses paling minimal. Data sensitif seperti NIK, data finansial, dan data kesehatan butuh perlindungan ketat.
Klasifikasi dan masking. Data pribadi diidentifikasi dan, jika perlu, dianonimkan atau di-mask sebelum dipakai untuk analitik dan pelatihan model.
Lineage dan audit. Jejak dari mana data berasal dan ke mana ia mengalir, penting untuk kepercayaan, debugging, dan kepatuhan.
Governance yang dibangun sejak awal jauh lebih murah daripada yang ditambal setelah platform berjalan dan data sudah tersebar tanpa kontrol.
Platform data yang dirancang baik melayani analitik tradisional dan AI dari fondasi yang sama, tetapi AI menambah beberapa kebutuhan spesifik yang sebaiknya diantisipasi:
Feature store. Tempat terpusat untuk fitur yang dipakai model machine learning, memastikan konsistensi antara pelatihan dan inferensi—fitur yang dihitung saat melatih harus dihitung dengan cara sama saat memprediksi.
Akses ke data tak terstruktur. Lakehouse harus bisa menampung teks, gambar, dan dokumen yang menjadi bahan bakar AI generatif dan computer vision, bukan hanya tabel terstruktur.
Kualitas dan freshness yang terpantau. Model lebih sensitif terhadap pergeseran data (drift) daripada laporan; platform harus memantau kualitas dan kebaruan data yang memberi makan model.
Memikirkan kebutuhan ini sejak desain mencegah pembongkaran mahal ketika ambisi AI matang.
Platform data secanggih apa pun tidak ada artinya jika data yang mengalir melaluinya tidak dapat dipercaya. Kualitas data adalah masalah yang paling sering diremehkan dan paling sering merusak kepercayaan terhadap analitik maupun AI. Satu metrik yang salah di dashboard eksekutif, atau satu model yang dilatih dari data kotor, bisa menghancurkan kredibilitas seluruh inisiatif data dalam sekejap.
Kualitas data bukan kondisi yang dicapai sekali lalu dilupakan, melainkan disiplin yang harus tertanam di pipeline:
Pengujian otomatis di setiap tahap. Periksa null di kolom kritis, duplikat kunci, nilai di luar rentang wajar, dan keterlambatan data secara otomatis—sebelum data buruk sempat merambat ke konsumen hilir.
Validasi di titik masuk. Tangkap masalah sedekat mungkin dengan sumbernya, di mana ia paling murah diperbaiki, bukan setelah menyebar ke seluruh sistem.
Pemantauan freshness. Data yang basi sama berbahayanya dengan data yang salah. Pantau apakah data tiba tepat waktu dan beri alert ketika pipeline terlambat.
Kepemilikan yang jelas. Setiap kumpulan data harus punya pemilik yang bertanggung jawab atas kualitasnya, bukan menjadi tanah tak bertuan yang semua orang pakai tapi tak ada yang rawat.
Investasi pada kualitas data membayar dirinya berkali lipat: ia mencegah keputusan bisnis yang keliru, melindungi model AI dari belajar pola yang salah, dan—mungkin yang terpenting—menjaga kepercayaan organisasi terhadap data, yang sekali hilang sangat sulit dipulihkan.
Godaan terbesar dalam membangun platform data adalah mengejar tumpukan teknologi paling canggih yang dipakai perusahaan teknologi raksasa. Untuk mayoritas perusahaan Indonesia, ini jebakan. Platform yang terlalu kompleks butuh tim besar untuk mengoperasikannya dan sering tidak pernah selesai memberi nilai.
Pendekatan yang realistis: mulai dari kebutuhan bisnis konkret, pilih komponen yang dewasa dan dikelola (managed) bila memungkinkan untuk mengurangi beban operasional, dan tambahkan kompleksitas hanya ketika skala benar-benar menuntutnya. Banyak perusahaan menengah Indonesia terlayani sangat baik oleh kombinasi cloud data warehouse terkelola, dbt untuk transformasi, dan satu alat orchestration—tanpa perlu zoo teknologi yang sulit dirawat. Skala dan kompleksitas ditambahkan secara bertahap, didorong oleh kebutuhan nyata, bukan oleh tren.
Godaan terbesar kedua setelah over-engineering adalah mencoba membangun platform data lengkap sekaligus dalam satu proyek raksasa. Proyek "big bang" semacam ini terkenal rawan gagal—mereka berjalan berbulan-bulan tanpa memberi nilai, kehilangan dukungan eksekutif di tengah jalan, dan sering berakhir sebagai investasi mahal yang tak pernah sepenuhnya dipakai.
Pendekatan yang jauh lebih sehat adalah membangun secara bertahap, didorong oleh use case bisnis konkret yang memberi nilai cepat:
Mulai dari satu domain bernilai tinggi. Pilih satu area bisnis dengan kebutuhan data yang jelas—misalnya analitik penjualan atau pelaporan finance—dan bangun jalur lengkap dari sumber ke konsumsi untuk domain itu lebih dulu.
Tunjukkan nilai dalam hitungan minggu, bukan tahun. Kemenangan awal yang nyata membangun momentum dan kepercayaan eksekutif yang mendanai langkah berikutnya.
Perluas dengan pola yang terbukti. Setelah satu domain berjalan, domain berikutnya jauh lebih cepat karena pola, perkakas, dan praktik sudah mapan.
Refactor seiring jalan. Arsitektur akan berevolusi seiring pemahaman tumbuh. Itu sehat—platform data yang baik dibangun secara iteratif, bukan dirancang sempurna sekali jadi.
Perusahaan yang berhasil dengan data hampir selalu menempuh jalur evolusioner ini. Mereka menukar kesempurnaan arsitektur di atas kertas dengan nilai bisnis yang terus mengalir, dan justru karena itu platform mereka selesai dibangun dan benar-benar dipakai.
Mudah terjebak memandang platform data sebagai murni persoalan teknologi—pilih alat yang tepat, susun arsitektur, selesai. Kenyataannya, platform data yang sukses sama bergantung pada orang dan proses seperti pada teknologi. Platform tercanggih akan menjadi monumen yang terbengkalai jika tidak ada yang memiliki, merawat, dan mendorong adopsinya.
Pertimbangkan siapa yang akan mengoperasikan platform, siapa yang menjaga kualitas dan tata kelola data, dan bagaimana tim bisnis dilatih untuk memanfaatkannya. Budaya data—di mana keputusan didukung data dan orang percaya pada angka yang mereka lihat—adalah hasil dari investasi pada orang dan proses, bukan sekadar pemasangan perkakas. Platform data pada akhirnya hanyalah alat; nilainya terealisasi hanya ketika organisasi mengubah cara kerjanya untuk benar-benar menggunakannya.
Inisiatif AI yang ambisius akan terus-menerus tersandung jika fondasi datanya rapuh. Membangun platform data modern yang rapi—dengan ingestion yang andal, lakehouse sebagai pusat, transformasi yang berdisiplin, orchestration yang tangguh, dan governance yang kokoh—bukan pengalih perhatian dari AI, melainkan prasyaratnya. Perusahaan yang berinvestasi pada fondasi ini menemukan bahwa proyek AI mereka selanjutnya berjalan jauh lebih cepat, lebih andal, dan lebih murah.
Sainskerta Solusi Nusantara membantu perusahaan Indonesia merancang dan membangun platform data modern yang siap untuk analitik sekaligus AI—dari arsitektur lakehouse, pipeline transformasi, hingga governance yang patuh UU PDP. Jika inisiatif AI Anda terus tersandung masalah data, atau Anda ingin membangun fondasi yang benar sejak awal, hubungi tim kami melalui halaman Kontak untuk menjadwalkan sesi konsultasi. Kami akan membantu menilai kondisi data Anda saat ini dan menyusun peta jalan platform yang realistis dan bertahap.
