Tentang Sesi Ini
Ringkasan & metadata
Membuat prototipe agen AI yang mengesankan itu relatif mudah: beberapa baris kode, sebuah model bahasa, dan dalam sore hari Anda punya demo yang memukau. Tetapi jarak antara demo yang jalan sekali dan sistem yang melayani ribuan pengguna setiap hari tanpa drama ternyata sangat lebar. Sesi ini — dibawakan bersama PayMongo (platform pembayaran/fintech di Asia Tenggara) dan AWS — membedah persis jurang itu: apa yang membuat sebuah agen "layak produksi", dan praktik-praktik apa yang harus dipasang agar ia bisa dipercaya.
Fokusnya bukan "model mana yang terpintar", melainkan disiplin rekayasa: bagaimana mengukur mutu agen secara sistematis (evaluasi/eval), memasang guardrails agar ia tidak keluar jalur, memantau tiap langkah lewat observability, menjaga biaya & latensi tetap sehat, menyiapkan penanganan kegagalan dan human-in-the-loop, serta mengelola versioning prompt dan tool saat sistem terus berubah. Semua dikaitkan dengan komponen Amazon Bedrock AgentCore (Runtime, Memory, Gateway, Identity, Observability) yang menyediakan banyak fondasi ini sebagai layanan.
Kenapa penting untuk Anda? Jika tim Anda punya prototipe agen yang keren tapi ragu menekan tombol "rilis" — takut halusinasi, takut biaya membengkak, takut tak bisa mengaudit saat ada masalah — sesi ini adalah daftar periksa dan peta jalannya.
PayMongo adalah penyedia gerbang pembayaran (payment gateway) asal Filipina yang berbasis di Manila, didirikan pada Maret 2019. Perusahaan ini tercatat sebagai fintech Filipina pertama yang didanai Y Combinator (kohort musim panas 2019), lalu menghimpun pendanaan Seri A senilai US$12 juta yang dipimpin Stripe (2020) dan Seri B US$31 juta — total sekitar US$46 juta. Lewat API pembayarannya, ribuan merchant (dilaporkan 12.000+) dapat menerima pembayaran dari kartu bank dan dompet digital seperti GCash serta GrabPay hanya dalam hitungan menit. Yang relevan dengan sesi ini: PayMongo mengoperasikan mesin machine learning untuk deteksi fraud secara real-time — produk PayMongo Protect memberi skor risiko 0–1000 pada tiap transaksi berdasarkan puluhan sinyal (sidik jari perangkat, lokasi, kecepatan transaksi, pola perilaku) untuk otomatis menyetujui, meninjau, atau memblokir; mereka juga memanfaatkan ML pihak ketiga (Sift) dan memiliki tim Fraud & Risk khusus. Ini menunjukkan disiplin evaluasi, guardrails, dan audit yang menjadi inti sesi "dari prototipe ke produksi".
Sumber: profil PayMongo (situs resmi paymongo.com/about, TechCrunch, Forbes) dan halaman produk PayMongo Protect (paymongo.com), serta studi kasus Sift. Catatan: hingga tulisan ini disusun, tidak ditemukan dokumentasi publik yang menyatakan PayMongo memakai Amazon Bedrock/AgentCore atau agentic AI secara spesifik; deteksi fraud yang terpublikasi berbasis ML klasik, bukan agen. Detail arsitektur spesifik sesi bersifat ilustratif kecuali disebutkan.
Jurang Antara Demo dan Produksi
Jurang prototipe→produksi
Sebuah prototipe hanya perlu berhasil sekali, di tangan pembuatnya, dengan data bersih. Produksi harus berhasil ribuan kali, di tangan orang asing, dengan masukan tak terduga — dan tetap aman, terjangkau, serta bisa dijelaskan ketika salah. Perbedaan itulah yang oleh PayMongo dan AWS disebut "jurang produksi".
Yang berubah bukan idenya, melainkan tuntutan non-fungsionalnya: keandalan, keamanan, keterukuran, dan tata kelola. Prototipe menjawab "apakah ini mungkin?"; produksi menjawab "apakah ini bisa dipercaya, berulang, dan hemat?" Menutup jurang itu bukan soal satu fitur ajaib, melainkan memasang serangkaian praktik secara berlapis.
Tujuh pilar kesiapan produksi
Berikut pilar-pilar yang dibahas, lengkap dengan ikon layanan/kapabilitas yang menopangnya:
Kedelapan kapabilitas ini bekerja berlapis. Sebuah agen produksi khas: berjalan di AgentCore Runtime, memakai model Bedrock, dijaga Guardrails, diberi izin oleh Identity, diukur oleh Evaluasi, dipantau Observability, diawasi anggaran biaya & latensi-nya, dan tahu kapan harus menyerahkan kendali ke manusia.
Analogi yang Mudah Dicerna
Dari dapur rumah ke restoran bersertifikat
Ibaratnya, prototipe agen adalah masakan uji coba di dapur rumah. Sekali jadi, rasanya enak, teman-teman kagum. Tapi begitu Anda ingin menjual ke ratusan pelanggan tiap hari, dapur rumah tidak cukup — Anda butuh dapur restoran bersertifikat: ada SOP resep, kontrol mutu, catatan suhu, izin higiene, dan alur kerja yang bisa diulang siapa pun di shift mana pun. Membawa agen ke produksi adalah proses "naik kelas" yang sama.
- Resep tertulis & takaran (Versioning) — prompt dan tool didokumentasikan dan diberi versi, agar rasa konsisten dan bisa dikembalikan jika sebuah perubahan merusak.
- Cicip rasa sebelum disajikan (Evaluasi) — setiap perubahan diuji terhadap kumpulan kasus, bukan dikira-kira.
- Higiene & alergi (Guardrails) — pagar yang mencegah "bahan berbahaya" keluar: konten tak pantas, kebocoran data pribadi, tindakan berisiko.
- Buku suhu & log dapur (Observability) — catatan tiap langkah, agar bila ada keluhan bisa ditelusuri di mana masalahnya.
- Porsi & biaya bahan (Biaya & latensi) — mengatur porsi token dan memilih "kompor" (model) yang tepat agar tetap untung dan cepat.
- Chef kepala turun tangan (Human-in-the-loop) — untuk pesanan rumit atau komplain sensitif, manusia mengambil alih.
High-Level Architecture & Alur
High-Level Architecture (HLA)
Arsitektur agen produksi menambahkan lapisan tata kelola di sekeliling agen inti. Permintaan pengguna masuk lewat Identity (izin), melewati Guardrails masuk (filter input), lalu ke agen yang berjalan di AgentCore Runtime memakai model Bedrock serta Memory dan Gateway (alat). Sebelum jawaban keluar, ia melewati Guardrails keluar; sepanjang jalan Observability dan pengukur biaya/latensi merekam, dan jalur eskalasi ke manusia selalu tersedia.
Alur naik dari prototipe ke produksi
Membawa agen ke produksi bukan satu lompatan, melainkan siklus berulang. Inilah gerbang-gerbang yang khas dilalui tim seperti PayMongo:
- Prototipe. Buktikan idenya jalan pada kasus-kasus utama.
- Bangun set evaluasi. Kumpulkan kasus nyata (termasuk yang sulit) sebagai tolok ukur mutu.
- Pasang guardrails & identity. Filter konten/PII dan batasi izin sebelum menyentuh pengguna nyata.
- Nyalakan observability. Rekam tiap langkah agar bisa didiagnosis saat gagal.
- Rilis bertahap (canary). Lepas ke sebagian kecil trafik, pantau biaya, latensi, dan mutu.
- Iterasi & versioning. Perbaiki prompt/tool, uji ulang di set evaluasi, beri versi, ulangi.
Dari Konsep ke Bisnis Nyata
Contoh nyata (konteks Asia Tenggara)
Agar tidak berhenti di teori, berikut tiga skenario membawa agen ke produksi yang khas di Indonesia dan Asia Tenggara.
Agen operasional andal (pelajaran PayMongo)
Sebuah platform pembayaran membangun agen untuk membantu tim operasi menangani sengketa transaksi dan pertanyaan merchant. Karena menyentuh uang dan data sensitif, mereka memasang Evaluasi ketat (setiap perubahan prompt diuji terhadap ratusan kasus lampau), Guardrails untuk mencegah kebocoran data kartu/PII, Identity agar agen hanya melihat data merchant terkait, serta Observability penuh untuk audit. Untuk kasus bernilai tinggi, human-in-the-loop mewajibkan persetujuan analis sebelum tindakan dieksekusi. Hasilnya: waktu penanganan turun tanpa mengorbankan kepatuhan.
Agen CS naik dari pilot ke produksi
Sebuah marketplace punya agen customer service yang bagus di demo, tapi ragu melepasnya ke jutaan pengguna. Mereka menutup jurang dengan rilis canary (mulai 1% trafik), memantau biaya & latensi per percakapan, dan menyetel caching agar jawaban umum tidak memanggil model berulang. Versioning prompt memungkinkan mereka mengembalikan perubahan yang menurunkan kepuasan, terukur lewat set evaluasi. Dalam beberapa minggu, agen naik dari 1% ke 100% trafik dengan biaya terkendali.
Fitur AI untuk jutaan pengguna
Sebuah penyedia SaaS regional menanam fitur asisten AI di dalam produknya. Tantangannya: skala multi-tenant. Mereka memakai AgentCore Runtime untuk isolasi sesi per pelanggan, Identity agar tiap tenant hanya mengakses datanya, dan Observability per-tenant untuk menagih dan mendiagnosis. Dengan pemilihan model tepat guna (model kecil untuk tugas ringan, besar untuk penalaran berat), mereka menjaga margin sambil melayani jutaan permintaan.
Ringkasan Visual (Geser)
Ringkasan visual
Enam kartu berikut merangkum inti sesi. Gunakan tombol atau tombol panah keyboard (← →) untuk berpindah.
Poin yang Bisa Dibawa Pulang
Poin yang bisa dibawa pulang
- Produksi bukan model yang lebih pintar, melainkan disiplin rekayasa: eval, guardrails, observability, biaya, versioning, dan eskalasi manusia.
- Ukur sebelum memperbaiki. Set evaluasi adalah fondasi; tanpa itu iterasi hanya menebak.
- Rilis bertahap. Canary + observability + kemampuan rollback (versioning) membuat rilis aman dan bisa dibalik.
- Manfaatkan layanan terkelola. Amazon Bedrock AgentCore (Runtime, Memory, Gateway, Identity, Observability) menyediakan banyak fondasi ini, jadi tim fokus pada nilai bisnis.
- Pelajaran fintech (PayMongo): di domain sensitif, tata kelola sejak awal justru mempercepat, bukan memperlambat, jalan ke produksi.