Tentang Sesi Ini
Ringkasan & metadata
Sesi ini menjawab pertanyaan yang menghantui hampir setiap tim engineering: "bagaimana caranya memangkas tagihan cloud secara drastis tanpa membuat layanan jadi sering down?" Jawabannya berpusat pada dua pilar Amazon EC2: Spot Instances (kapasitas komputasi cadangan yang dijual sangat murah — bisa hemat hingga ~90% dibanding harga On-Demand) dan Auto Scaling (penyesuaian jumlah server secara otomatis mengikuti beban). Dipadukan dengan benar, keduanya dapat menopang SLA 99,95% sekaligus menekan biaya besar-besaran.
Kabar "hemat 90%" selalu ada tangkapannya: kapasitas Spot bisa diinterupsi (diambil kembali oleh AWS) kapan pun dengan peringatan hanya 2 menit. Kunci sesi ini adalah bagaimana mendesain sistem agar interupsi itu tidak pernah terasa oleh pengguna: diversifikasi tipe instance dan Availability Zone, mixed instances policy, strategi alokasi capacity-optimized, serta penanganan sinyal interupsi yang rapi. Semua dibawakan dengan pengalaman nyata Qiscus, penyedia SaaS chat/komunikasi real-time yang trafiknya berfluktuasi tajam.
Kenapa penting untuk Anda? Jika beban kerja Anda bersifat elastis — API yang naik-turun, batch processing, atau training model — Anda mungkin sedang membayar 5–10× lebih mahal dari yang diperlukan. Sesi ini adalah peta jalan menuju arsitektur yang murah dan tangguh.
Qiscus adalah platform komunikasi omnichannel dan chat SaaS asal Indonesia (berdiri 2013, beroperasi di Indonesia & Singapura) yang telah dipakai 2.000+ bisnis. Produk intinya menyatukan WhatsApp Business API dan 20+ kanal digital (Instagram, Facebook Messenger, Tokopedia, Shopee, live chat, email) ke dalam satu dasbor, ditambah Chat SDK real-time untuk web & mobile. Karena trafik percakapan berfluktuasi tajam dan menuntut konkurensi tinggi, beban kerja seperti ini adalah kandidat klasik untuk Auto Scaling. Dokumentasi teknis Qiscus yang terpublikasi mengonfirmasi pemakaian AWS: layanan unggah (uploader) Chat SDK memakai Amazon S3 yang dipasangkan dengan CloudFront, dan platform mendukung deployment Cloud/On-Premise/Hybrid.
Sumber: qiscus.com (profil produk & omnichannel), dokumentasi Qiscus Chat SDK (konfigurasi S3 + CloudFront untuk uploader), dan repositori GitHub qiscus (teks). Catatan: tidak ditemukan studi kasus AWS publik yang merinci penggunaan EC2 Spot / Auto Scaling oleh Qiscus; detail arsitektur spesifik sesi bersifat ilustratif kecuali disebutkan.
Apa Itu & Bagaimana Bekerjanya
Apa itu Spot & Auto Scaling
EC2 Spot Instances adalah kapasitas komputasi yang sedang menganggur di data center AWS, dijual dengan diskon besar. Anda memakai server yang persis sama dengan On-Demand, tetapi dengan satu syarat: jika AWS membutuhkan kembali kapasitas itu, ia akan menariknya — memberi Anda peringatan 2 menit lewat sinyal interruption notice sebelum instance dihentikan. Karena itu Spot cocok untuk beban kerja yang toleran terhadap gangguan atau yang bisa diatur agar toleran.
Auto Scaling Group (ASG) adalah pengelola armada server: ia menjaga jumlah instance sesuai target, mengganti instance yang mati, dan menambah/mengurangi kapasitas mengikuti metrik (mis. penggunaan CPU atau jumlah permintaan). Ketika ASG dikonfigurasi memakai mixed instances policy, satu grup bisa menampung campuran On-Demand (sebagai fondasi yang selalu ada) dan Spot (untuk kapasitas tambahan yang murah), dari berbagai tipe instance dan AZ sekaligus.
Prinsip desainnya sederhana namun kuat: jangan bergantung pada satu keranjang. Semakin beragam tipe instance dan zona yang bisa dipakai armada Anda, semakin kecil kemungkinan seluruh kapasitas Spot ditarik bersamaan.
Strategi & komponen
Berikut komponen dan strategi inti yang dibahas di sesi, dengan fungsi ringkasnya:
Kunci meraciknya: gunakan On-Demand sebagai baseline untuk kapasitas minimum yang harus selalu ada, lalu tumpuk Spot untuk lonjakan di atasnya. Aktifkan capacity-optimized allocation agar Auto Scaling memilih pool Spot yang paling kecil kemungkinan diinterupsi, dan pastikan diversifikasi mencakup banyak tipe instance dari beberapa AZ. Load Balancer serta health check memastikan trafik hanya mengalir ke instance yang sehat.
Analogi yang Mudah Dicerna
Ibarat memesan kursi kosong last-minute
Ibaratnya, Spot Instances adalah kursi pesawat kosong yang dijual last-minute. Menjelang keberangkatan, maskapai lebih baik menjual kursi sisa dengan harga sangat miring daripada menerbangkannya kosong. Anda bisa duduk di kelas yang sama, terbang di pesawat yang sama, tetapi bayar jauh lebih murah. Tangkapannya: jika ada penumpang berbayar penuh yang datang, Anda bisa "digeser" — persis seperti interupsi Spot.
Traveler yang cerdas tidak mempertaruhkan perjalanan penting pada satu kursi murah. Ia memesan beberapa cadangan: tiket last-minute di beberapa penerbangan berbeda, ditambah satu tiket reguler yang pasti berangkat sebagai jaminan. Kalau satu penerbangan penuh, ia pindah ke cadangan berikutnya — ia tidak pernah gagal berangkat. Inilah esensi diversifikasi Spot + baseline On-Demand.
- Kursi last-minute murah = Spot Instance — hemat drastis, tapi bisa ditarik.
- Peringatan sebelum digeser = interruption notice 2 menit — waktu untuk pindah dengan rapi.
- Memesan di banyak penerbangan = diversifikasi tipe instance & AZ.
- Satu tiket reguler pasti berangkat = baseline On-Demand yang selalu ada.
- Selalu tiba tepat waktu = SLA 99,95% terjaga meski harga ditekan.
High-Level Architecture & Alur
High-Level Architecture (HLA)
Secara garis besar, arsitektur beban kerja hemat-biaya di atas Spot + Auto Scaling terlihat seperti ini: trafik masuk melalui Load Balancer, disebar ke sebuah Auto Scaling Group yang berisi campuran On-Demand (baseline) dan Spot dari beberapa tipe instance & Availability Zone. CloudWatch memantau beban dan memicu penambahan/pengurangan kapasitas, sementara capacity-optimized allocation mengarahkan ASG memilih pool Spot yang paling stabil.
Alur penanganan interupsi Spot
Momen paling krusial adalah ketika AWS memutuskan menarik sebuah Spot Instance. Inilah yang terjadi — dan bagaimana desain yang baik membuatnya nyaris tak terasa:
- Peringatan 2 menit. AWS mengirim interruption notice; instance akan dihentikan dalam ~120 detik.
- Berhenti terima trafik baru. Instance ditandai draining di Load Balancer sehingga tidak lagi menerima permintaan baru.
- Selesaikan yang berjalan. Permintaan yang sedang diproses dituntaskan (graceful drain); simpan state bila perlu.
- Auto Scaling menambal. ASG langsung menyalakan kapasitas pengganti dari pool Spot lain atau On-Demand.
- Health check lulus. Instance baru bergabung, LB kembali mengalirkan trafik.
- Pengguna tak terganggu. Karena kapasitas selalu ada dari sumber yang beragam, SLA 99,95% tetap terjaga.
Dari Konsep ke Bisnis Nyata
Contoh nyata (konteks Indonesia)
Agar tidak berhenti di teori, berikut tiga skenario penerapan yang khas dan relevan.
Platform chat & komunikasi (pengalaman Qiscus)
Layanan chat menghadapi trafik yang naik-turun tajam — melonjak saat jam sibuk, promo, atau siaran langsung. Dengan baseline On-Demand menopang trafik minimum dan Spot menyerap lonjakan, biaya komputasi turun signifikan. Diversifikasi lintas tipe instance & AZ ditambah capacity-optimized allocation membuat interupsi Spot tertangani mulus lewat graceful drain — pengguna tetap mengobrol tanpa gangguan, dan SLA 99,95% terjaga. Ini pola yang dijalani Qiscus di produksi.
Pekerjaan besar yang murah
Tim data menjalankan pipeline batch dan pelatihan model yang berat namun tidak sensitif waktu. Karena pekerjaan bisa di-checkpoint dan dilanjutkan, ia sangat cocok untuk Spot 100%. Bila sebuah instance ditarik, job melanjutkan dari titik simpan terakhir di instance pengganti. Hasilnya: komputasi masif dengan biaya yang bisa ~90% lebih murah — ideal untuk eksperimen model yang biasanya mahal.
Menyambut lonjakan traffic musiman
Situs e-commerce atau media menghadapi lonjakan besar saat flash sale, Harbolnas, atau berita viral. Auto Scaling dengan mixed instances policy menambah kapasitas Spot secara cepat saat trafik meledak, lalu menyusutkannya kembali saat sepi — sehingga perusahaan hanya membayar kapasitas puncak selama benar-benar dibutuhkan. Baseline On-Demand menjaga situs tetap online bahkan bila pasar Spot ketat.
Ringkasan Visual (Geser)
Ringkasan visual
Enam kartu berikut merangkum inti sesi. Gunakan tombol atau tombol panah keyboard (← →) untuk berpindah.
Poin yang Bisa Dibawa Pulang
Poin yang bisa dibawa pulang
- Spot bukan "server murahan", tapi server sama dengan harga diskon. Diskon hingga ~90% dengan syarat toleran terhadap interupsi.
- Diversifikasi adalah kuncinya. Banyak tipe instance & AZ + capacity-optimized allocation menekan risiko interupsi serentak.
- On-Demand baseline + Spot untuk lonjakan. Fondasi selalu ada, kapasitas tambahan murah menyerap puncak beban.
- Tangani interupsi dengan rapi. Manfaatkan peringatan 2 menit untuk draining & graceful shutdown — SLA 99,95% tetap terjaga.