Tentang Sesi Ini
Ringkasan & metadata
Sesi sponsor oleh Snowflake. PRT105-S adalah sesi partner (sponsored session) yang dipaparkan oleh Snowflake pada AWS Summit Jakarta 2026. Buku ini merangkumnya secara edukatif dan independen.
Sesi ini membahas cara membangun lakehouse terbuka (open lakehouse) berbasis Apache Iceberg dengan memadukan Snowflake dan AWS, lalu menempatkan kemampuan AI di atas data yang sama. Selama bertahun-tahun perusahaan terjebak pada pilihan yang menyakitkan: menaruh data di data warehouse agar cepat dianalisis, atau di data lake agar murah dan fleksibel — sering kali harus menyalin data yang sama ke dua tempat. Lakehouse terbuka menyatukan keduanya: satu salinan data di penyimpanan objek, dengan format tabel terbuka yang bisa dibaca banyak mesin.
Kunci ceritanya adalah Apache Iceberg, sebuah format tabel terbuka yang berperan sebagai "bahasa standar" untuk menata file data di atas Amazon S3. Karena formatnya terbuka, data yang sama dapat dibaca dan diproses oleh banyak engine — Snowflake, Amazon Athena, Apache Spark, Amazon Redshift, dan lainnya — tanpa perlu menyalin ulang atau mengunci diri ke satu vendor. Di atas fondasi ini, kemampuan AI/ML dan GenAI (misalnya Snowflake Cortex) dapat bekerja langsung pada data tepercaya yang sama.
Kenapa penting untuk Anda? Jika organisasi Anda kerap menyalin data ke banyak sistem, membayar penyimpanan ganda, dan khawatir terkunci pada satu vendor, sesi ini menawarkan pola arsitektur yang membuat data tetap satu sumber kebenaran namun terbuka untuk banyak kebutuhan — termasuk AI.
Apa Itu & Bagaimana Bekerjanya
Apa itu Lakehouse Terbuka
Bayangkan data lake sebagai danau besar berisi file data mentah yang murah disimpan, dan data warehouse sebagai perpustakaan rapi yang cepat dicari tetapi mahal dan kaku. Lakehouse menggabungkan keduanya: menyimpan data di penyimpanan objek murah (seperti Amazon S3), tetapi memberinya struktur tabel, transaksi, dan tata kelola layaknya warehouse — sehingga bisa dianalisis dengan cepat tanpa memindahkan datanya.
Yang membuatnya terbuka adalah format tabel terbuka Apache Iceberg. Iceberg bukan mesin pengolah data, melainkan sebuah spesifikasi tentang cara menata file (biasanya Parquet) beserta metadata-nya: skema, partisi, snapshot, dan riwayat perubahan. Karena spesifikasi ini terbuka dan standar, siapa pun boleh membuat engine yang membacanya. Inilah inti interoperabilitas: satu tabel Iceberg, banyak engine.
Prinsip desainnya: satu salinan data, banyak engine. Data tidak perlu digandakan untuk tiap kebutuhan. Tim analitik bisa memakai Snowflake, tim data engineering memakai Spark, tim ad-hoc memakai Athena — semuanya membaca tabel Iceberg yang sama di S3, dengan tata kelola yang konsisten.
Komponen utama
Berikut komponen inti yang membentuk arsitektur pada sesi ini, dengan fungsi ringkasnya:
Keenam komponen ini saling melengkapi. Contohnya, sebuah tim data menyimpan tabel penjualan sebagai tabel Iceberg di Amazon S3; tim BI menganalisisnya lewat Snowflake, tim ad-hoc lewat Athena, dan tim data science memakai AI/ML (Cortex) untuk peramalan — semua atas satu salinan yang sama, dengan Observability menjaga kualitas dan jejaknya.
Analogi yang Mudah Dicerna
Ibarat gudang dengan rak standar terbuka
Ibaratnya, data Anda adalah barang-barang di sebuah gudang besar (Amazon S3). Persoalan lama: tiap departemen punya "mesin angkut" (forklift) yang berbeda, dan masing-masing menuntut barang disusun dengan sistem raknya sendiri. Akibatnya, barang yang sama harus disalin ke beberapa gudang agar bisa diambil tiap mesin — boros tempat, dan versi barang jadi tercecer.
Apache Iceberg adalah sistem rak standar terbuka. Begitu semua barang ditata dengan standar rak yang sama, mesin angkut mana pun — forklift Snowflake, forklift Athena, forklift Spark — bisa langsung mengambil barang yang sama tanpa perlu menyalin ulang isi gudang. Satu gudang, satu susunan, banyak mesin. Dan karena standarnya terbuka, Anda tak terkunci pada satu merek forklift.
- Gudang = Amazon S3 — tempat semua barang (data) disimpan sekali saja.
- Sistem rak standar = Apache Iceberg — cara baku menata & memberi label barang.
- Forklift beragam merek = engine (Snowflake, Athena, Spark, Redshift) yang membaca barang sama.
- Buku inventaris = metadata & snapshot Iceberg — tahu versi & riwayat tiap barang.
- Robot pintar = AI/ML (Cortex) — menganalisis & membuat wawasan dari barang yang ada.
High-Level Architecture & Alur
High-Level Architecture (HLA)
Secara garis besar, arsitektur lakehouse terbuka terlihat seperti ini: data disimpan sekali sebagai file di Amazon S3, ditata dengan format tabel terbuka Apache Iceberg (beserta katalog & metadata-nya). Di atas lapisan penyimpanan itu, banyak engine — Snowflake, Athena, Spark, Redshift — membaca tabel yang sama. Kemampuan AI/ML (Cortex) bekerja di atas data tepercaya yang sama, sementara tata kelola & observability menjaganya konsisten.
Alur kerja data lintas engine
Ketika sebuah data penjualan baru masuk lalu perlu dianalisis oleh beberapa tim, inilah yang terjadi:
- Simpan sekali. Data mentah ditulis ke Amazon S3 sebagai file (mis. Parquet).
- Tata sebagai tabel. Apache Iceberg mendaftarkan file itu menjadi tabel dengan skema, partisi, dan snapshot.
- Baca lintas engine. Snowflake, Athena, atau Spark membaca tabel yang sama — tanpa menyalin data.
- Olah dengan AI. Cortex menjalankan ML/GenAI (mis. ringkasan atau peramalan) di atas data itu.
- Perbarui aman. Perubahan menghasilkan snapshot baru; versi lama tetap tercatat (time travel).
- Tata kelola. Katalog & observability menjaga izin akses, kualitas, dan jejaknya.
Dari Konsep ke Bisnis Nyata
Contoh nyata (konteks Indonesia)
Agar tidak berhenti di teori, berikut tiga skenario penerapan yang khas di Indonesia.
Satu data penjualan, banyak tim
Sebuah grup ritel menyimpan data transaksi seluruh gerai sebagai tabel Apache Iceberg di Amazon S3. Tim keuangan menganalisisnya di Snowflake, tim operasional menjalankan kueri ad-hoc lewat Amazon Athena, dan tim data engineering memproses ETL harian dengan Apache Spark. Karena semua membaca satu salinan yang sama, tak ada lagi laporan yang berbeda-beda akibat data ganda, dan biaya penyimpanan turun drastis.
Bebas memilih engine tanpa migrasi data
Sebuah perusahaan telekomunikasi ingin tidak terkunci pada satu vendor. Dengan menaruh data di format terbuka Iceberg di atas S3, mereka bisa menambah atau mengganti engine (mis. mengadopsi Snowflake untuk analitik, tetap memakai Redshift untuk beban tertentu) tanpa memindahkan atau menyalin ulang data. Format terbuka menjadi jaminan bahwa data tetap milik mereka dan dapat diakses banyak alat di masa depan.
Peramalan & asisten data cerdas
Sebuah bank digital memanfaatkan AI/ML (Cortex) langsung di atas tabel Iceberg yang sama untuk meramalkan arus kas dan mendeteksi anomali transaksi, serta membangun asisten GenAI yang bisa menjawab pertanyaan bisnis dalam bahasa alami. Karena AI bekerja pada data tepercaya yang sudah tertata dan tergovernansi, hasilnya konsisten dengan laporan resmi — bukan dari salinan data terpisah yang bisa basi.
Ringkasan Visual (Geser)
Ringkasan visual
Enam kartu berikut merangkum inti sesi. Gunakan tombol atau tombol panah keyboard (← →) untuk berpindah.
Poin yang Bisa Dibawa Pulang
Poin yang bisa dibawa pulang
- Satu salinan data, banyak engine. Lakehouse terbuka menghapus keharusan menyalin data untuk tiap kebutuhan.
- Apache Iceberg adalah kuncinya. Format tabel terbuka yang dibaca Snowflake, Athena, Spark, dan Redshift — di atas Amazon S3.
- Interoperabilitas = anti lock-in. Data tetap milik Anda dan bisa diakses banyak alat, kini dan nanti.
- AI di atas data tepercaya. AI/ML & GenAI (Cortex) bekerja pada data yang sama dan tergovernansi — hasilnya konsisten.