Tentang Sesi Ini
Ringkasan & metadata
Sesi ini membedah Amazon S3 Tables — penyimpanan tabel terkelola berbasis Apache Iceberg yang berjalan di atas Amazon S3. Tujuannya sederhana namun berdampak besar: mempercepat analitik data lake sekaligus menekan biaya dan beban operasional dibanding cara lama, yaitu mengelola tabel Iceberg sendiri di atas file mentah di S3.
Selama bertahun-tahun, data lake menjanjikan "simpan semua data di satu tempat murah". Kenyataannya, tumpukan file mentah (CSV, JSON, Parquet) cepat berubah menjadi rawa data (data swamp): kueri lambat, sulit dikelola, dan butuh perawatan manual yang tak ada habisnya. S3 Tables hadir sebagai jawaban: ia menjadikan "tabel" sebagai objek kelas satu di S3 — lengkap dengan skema, transaksi, dan pemeliharaan otomatis — sehingga tim data bisa fokus menganalisis, bukan merawat infrastruktur.
Kenapa penting untuk Anda? Jika data lake Anda sudah menampung terabyte hingga petabyte tetapi kuerinya makin lambat dan biaya komputasinya membengkak, sesi ini menunjukkan jalan menuju analitik yang lebih kilat dan lebih murah — dengan bukti nyata dari Kawan Lama Group.
Kawan Lama Group adalah salah satu grup ritel terbesar di Indonesia dengan sekitar 450 gerai di seluruh negeri, menaungi merek populer seperti ACE Hardware Indonesia (±145 gerai), Informa (±69 gerai), Krisbow, Toys Kingdom, Chatime, hingga platform e-commerce Ruparupa (PT Omni Digitama Internusa) yang terhubung ke 600+ jaringan toko grup. Jejak nyata mereka di analitik cloud sudah terdokumentasi: Ruparupa membangun data lake di atas Amazon S3 yang dilengkapi AWS Glue (ETL), AWS DMS (ingest/CDC), format tabel Apache Hudi, kueri Amazon Athena, dan dashboard Amazon QuickSight. Hasilnya konkret: pelaporan yang dulu mingguan kini diperbarui tiap jam (sekitar 168× lebih cepat), pengguna dashboard tumbuh dari 20 menjadi ±180 orang, tim analitik dari 1 menjadi 7 orang, dan jumlah dashboard mencapai ±70 — yang menurut mereka turut mendorong kenaikan pendapatan di berbagai unit bisnis Kawan Lama Group.
Sumber: AWS Big Data Blog, "How Ruparupa gained updated insights with an Amazon S3 data lake, AWS Glue, Apache Hudi, and Amazon QuickSight" (13 Feb 2024); profil grup & jumlah gerai dari kawanlamagroup.com, Kontan, dan SWA. Catatan: studi kasus publik tersebut memakai Apache Hudi, bukan Amazon S3 Tables/Iceberg; detail arsitektur spesifik sesi bersifat ilustratif kecuali disebutkan resmi.
Dari File Mentah ke Tabel Terkelola
Masalah data lake tradisional
Data lake klasik menyimpan data sebagai file mentah yang berserakan di banyak folder S3. Pendekatan ini fleksibel dan murah untuk menyimpan, tetapi menimbulkan beberapa nyeri klasik saat data tumbuh besar:
- Sulit dikelola. Tidak ada skema resmi. Perubahan struktur kolom bisa merusak kueri, dan tak ada jaminan konsistensi ketika banyak proses menulis bersamaan.
- Kueri lambat. Mesin kueri harus memindai ribuan file kecil (small files problem) untuk menjawab satu pertanyaan sederhana — boros waktu dan biaya komputasi.
- Perawatan manual. Tim harus rutin melakukan kompaksi (menggabungkan file kecil jadi besar), membersihkan berkas usang, dan mengelola metadata sendiri. Pekerjaan ini melelahkan dan mudah terlupa.
- Tanpa transaksi. Menulis dan membaca sekaligus berisiko menghasilkan data setengah jadi yang terbaca pengguna.
Singkatnya: data lake mentah gampang berubah menjadi data swamp — banyak data, tetapi sulit dipercaya dan lambat digali.
Apa itu Iceberg & S3 Tables
Apache Iceberg adalah format tabel terbuka untuk data lake. Alih-alih sekadar tumpukan file, Iceberg menambahkan lapisan metadata cerdas yang menjadikan kumpulan file itu sebuah tabel sungguhan, dengan kemampuan:
- Skema jelas. Kolom & tipe data terdefinisi, dan skema bisa berevolusi (menambah/mengubah kolom) tanpa menulis ulang seluruh data.
- Versi & time-travel. Setiap perubahan menghasilkan snapshot, sehingga Anda bisa mengkueri kondisi tabel "kemarin" atau memutar balik kesalahan.
- ACID. Transaksi yang atomik & konsisten — penulisan tak akan terbaca setengah jadi.
Amazon S3 Tables mengambil Iceberg dan menjadikannya layanan terkelola. Bukan lagi Anda yang mengurus kompaksi dan metadata; S3 melakukannya secara otomatis. Inilah keunggulan intinya:
Karena berbasis Iceberg terbuka, S3 Tables terintegrasi mulus dengan mesin analitik AWS — Athena, EMR/Spark, Redshift — dan dikatalogkan lewat AWS Glue. Hasilnya: performa kueri lebih tinggi, biaya lebih hemat, dan beban operasional yang jauh berkurang.
Analogi yang Mudah Dicerna
Gudang berantakan jadi rak berlabel
Ibaratnya, data lake tradisional adalah gudang penuh tumpukan kardus berserakan. Semua barang memang tersimpan di sana, tetapi tidak ada label, tidak ada rak, dan tidak ada petugas yang merapikan. Ketika Anda butuh satu barang tertentu, Anda harus membongkar ratusan kardus satu per satu — melelahkan dan lambat.
Amazon S3 Tables mengubah gudang itu menjadi gudang modern yang tertata. Barang-barang kini disusun di rak berlabel (tabel dengan skema), ada buku inventaris yang mencatat setiap perubahan (versi & time-travel), dan yang terpenting: ada petugas otomatis yang tanpa diminta terus merapikan rak, menggabungkan kotak-kotak kecil, dan membuang barang usang (kompaksi & pemeliharaan otomatis). Mencari barang pun jadi kilat — cukup lihat label rak, ambil, selesai.
- Kardus berserakan = file mentah tanpa struktur di S3.
- Rak berlabel = tabel Iceberg dengan skema yang jelas.
- Buku inventaris = metadata, versi, dan time-travel.
- Petugas otomatis = kompaksi & pemeliharaan yang dijalankan S3 Tables.
- Pencarian kilat = kueri yang jauh lebih cepat lewat Athena/Spark/Redshift.
High-Level Architecture & Alur
High-Level Architecture (HLA)
Secara garis besar, arsitektur analitik di atas S3 Tables terlihat seperti ini: data dari berbagai sumber diserap (ingest) ke dalam Amazon S3 Tables. Di sana data tersimpan sebagai tabel Iceberg, dikatalogkan oleh AWS Glue, sementara S3 menjalankan kompaksi & pemeliharaan otomatis di latar belakang. Mesin analitik — Athena, EMR/Spark, Redshift — lalu mengkueri tabel yang sama untuk BI, laporan, dan analisis.
Alur kerja satu kueri
Ketika seorang analis menjalankan "berapa total penjualan ACE bulan lalu per kota?", inilah yang terjadi di balik layar:
- Serap. Data transaksi ditulis ke tabel Iceberg di S3 Tables — dengan jaminan ACID, tak ada data setengah jadi.
- Rawat otomatis. Di latar belakang, S3 menggabungkan file kecil (kompaksi) dan membersihkan snapshot usang, tanpa campur tangan tim.
- Kueri. Analis menjalankan SQL lewat Athena; mesin membaca metadata Iceberg untuk tahu file mana saja yang relevan.
- Pangkas data. Berkat metadata & partisi, mesin hanya memindai file yang perlu — bukan seluruh tabel — sehingga kueri kilat & murah.
- Hasil. Jawaban muncul cepat untuk dashboard BI, laporan, atau analisis lanjutan.
Dari Konsep ke Bisnis Nyata
Contoh nyata (konteks Indonesia)
Agar tidak berhenti di teori, berikut tiga skenario penerapan — dibuka dengan pengalaman Kawan Lama Group, perusahaan ritel besar di Indonesia (mencakup merek seperti ACE dan Informa) yang menjadi pembicara di sesi ini.
Analitik penjualan & inventori
Sebagai peritel dengan banyak toko dan ribuan SKU, Kawan Lama Group mengumpulkan data penjualan dan stok dalam jumlah masif setiap hari. Dengan memindahkan data lake mereka ke S3 Tables, tim data tak lagi repot mengurus kompaksi manual atas jutaan file transaksi. Kueri "produk terlaris per wilayah" dan "stok menipis per toko" yang dulu memakan waktu lama kini berjalan jauh lebih cepat lewat Athena — memungkinkan keputusan restock & promosi yang lebih gesit, dengan biaya komputasi yang lebih hemat.
Satu sumber kebenaran untuk banyak tim
Sebuah perusahaan besar menyatukan data dari ERP, CRM, dan aplikasi operasional ke dalam lakehouse berbasis S3 Tables. Karena format Iceberg terbuka, tim rekayasa data memakai EMR/Spark untuk ETL berat, sementara tim analis memakai Redshift dan Athena membaca tabel yang sama tanpa menyalin data. Time-travel memudahkan audit dan reproduksi laporan pada tanggal tertentu, dan ACID menjaga konsistensi meski banyak proses menulis bersamaan.
Dashboard yang selalu segar
Tim BI membangun dashboard eksekutif yang menampilkan KPI harian. Dengan kompaksi otomatis menjaga tabel tetap ramping, kueri dashboard tetap kilat meski volume data terus bertambah. Pemangkasan berbasis partisi & metadata Iceberg berarti setiap refresh dashboard hanya memindai data yang relevan — laporan tampil cepat, dan tagihan komputasi tetap terkendali.
Ringkasan Visual (Geser)
Ringkasan visual
Enam kartu berikut merangkum inti sesi. Gunakan tombol atau tombol panah keyboard (← →) untuk berpindah.
Poin yang Bisa Dibawa Pulang
Poin yang bisa dibawa pulang
- Data lake mentah ≠ analitik cepat. Tanpa struktur, file berserakan membuat kueri lambat dan mahal.
- Iceberg menjadikannya tabel sungguhan — dengan skema, versi/time-travel, dan transaksi ACID.
- S3 Tables = Iceberg tanpa repot. Kompaksi & pemeliharaan otomatis menghapus beban operasional, mempercepat kueri, dan menekan biaya.
- Integrasi terbuka. Satu tabel dipakai bersama Athena, EMR/Spark, dan Redshift — dikatalog Glue — bukti nyata di Kawan Lama Group.