Pengantar dan cara menggunakan buku
Buku ajar ini disusun oleh Dr. Nur Azizah, S.Kom., M.Akt., M.Kom. untuk mata kuliah MT421 Data Warehouse & Big Data pada program Magister Teknik Informatika (kata pengantar bertanggal November 2026). Buku dirancang untuk jenjang magister dan mengikuti 14 pertemuan perkuliahan pada Rencana Pembelajaran Semester program studi.
- Bagian I – Fondasi Data Warehouse (Bab 1–4): konsep, arsitektur, pemodelan dimensional, dan perancangan skema fisik.
- Bagian II – Integrasi dan Pemanfaatan (Bab 5–7): ETL/ELT, kualitas dan tata kelola data, serta Business Intelligence dan OLAP.
- Bagian III – Ekosistem Big Data (Bab 8–11): arsitektur Big Data, teknologi ekosistem, sistem terdistribusi, dan pengolahan data skala besar.
- Bagian IV – Analitik dan Implementasi (Bab 12–14): analitik dan visualisasi, implementasi bisnis, serta perancangan solusi arsitektur sebagai capstone.
Setiap bab diawali Tujuan Pembelajaran dan CPMK serta Peta Konsep. Kotak Catatan Kritis S2 menyoroti isu riset dan perdebatan, bagian Studi Kasus Nyata Industri membedah keberhasilan dan kegagalan sistem besar, Analisis Pemecahan Masalah melatih berpikir sebagai Lead Data Architect, dan tiap bab ditutup dengan contoh soal, isu riset dan bacaan lanjutan, rangkuman, serta latihan soal evaluasi.
Bab 1 Pengantar Data Warehouse dan Big Data
Bab ini meletakkan fondasi seluruh mata kuliah. Pembahasan dimulai dari pertanyaan paling mendasar: mengapa organisasi membutuhkan sistem analitik yang terpisah dari sistem transaksinya? Dari sana kita menelusuri definisi formal Data Warehouse menurut Inmon, kemunculan fenomena Big Data beserta model 5V, perbedaan beban kerja OLTP dan OLAP, hingga konvergensi keduanya dalam arsitektur Data Lakehouse yang menjadi standar industri saat ini.
Subjudul bab ini:
- 1.1 Evolusi Manajemen Data: Dari Operasional ke Analitikal
- 1.2 Definisi dan Karakteristik Fundamental Data Warehouse
- 1.3 Kelahiran Paradigma Big Data
- 1.4 OLTP versus OLAP: Analisis Beban Kerja
- 1.5 Konvergensi: Data Lake dan Data Lakehouse
- 1.6 Peran dan Kompetensi Profesional Data
- 1.7 Paradigma Arsitektur Data Modern: Data Fabric dan Data Mesh
- 1.8 Tantangan Implementasi Data Warehouse dan Big Data di Indonesia
- 1.9 Studi Kasus Nyata Industri: Migrasi Arsitektur Data Netflix
- 1.10 Analisis Pemecahan Masalah (Skenario S2)
- 1.11 Contoh Soal dan Pembahasan
- 1.12 Isu Riset dan Bacaan Lanjutan
- 1.13 Rangkuman
- 1.14 Latihan Soal Evaluasi
Bab 2 Konsep dan Arsitektur Data Warehouse
Bab ini mendalami struktur tulang punggung Data Warehouse, membedah komponen lapisan data mulai dari sumber operasional, Staging Area, Data Warehouse utama, hingga Data Mart. Pembahasan kritis ditekankan pada dualisme mazhab Inmon dan Kimball, alternatif Data Vault 2.0, serta transisinya menuju komputasi awan dengan arsitektur MPP dan decoupled storage-compute.
Subjudul bab ini:
- 2.1 Arsitektur Multi-Tier pada Data Warehouse
- 2.2 Mazhab Perancangan: Inmon versus Kimball
- 2.3 Arsitektur Fisik: SMP, MPP, dan Columnar Engine
- 2.4 Transformasi menuju Cloud Data Warehouse (CDW)
- 2.5 Siklus Hidup Proyek Data Warehouse
- 2.6 Enterprise Data Warehouse Bus Matrix
- 2.7 Studi Kasus Nyata Industri: Migrasi Data Warehouse Amazon dari Oracle ke AWS
- 2.8 Analisis Pemecahan Masalah (Skenario S2)
- 2.9 Contoh Soal dan Pembahasan
- 2.10 Isu Riset dan Bacaan Lanjutan
- 2.11 Rangkuman
- 2.12 Latihan Soal Evaluasi
Bab 3 Data Mart dan Dimensional Modeling
Bab ini berfokus pada penyajian data analitik kepada pengguna akhir melalui Data Mart. Inti pembahasan adalah transisi dari model ERD konvensional menuju Dimensional Modeling yang diperkenalkan Ralph Kimball, dengan pemahaman mendalam tentang anatomi tabel fakta, tabel dimensi, pola dimensi lanjutan, dan penanganan perubahan historis atribut data (SCD).
Subjudul bab ini:
- 3.1 Konsep Fundamental Data Mart
- 3.2 Paradigma Dimensional Modeling
- 3.3 Anatomi dan Klasifikasi Tabel Fakta
- 3.4 Pola Dimensi Lanjutan
- 3.5 Penanganan Slowly Changing Dimensions (SCD)
- 3.6 Hierarki Dimensi dan Penanganannya
- 3.7 Studi Desain: Data Mart Akademik Perguruan Tinggi
- 3.8 Studi Kasus Nyata Industri: Inisiatif Kualitas Data dan Model Data Inti Airbnb
- 3.9 Analisis Pemecahan Masalah (Skenario S2)
- 3.10 Contoh Soal dan Pembahasan
- 3.11 Isu Riset dan Bacaan Lanjutan
- 3.12 Rangkuman
- 3.13 Latihan Soal Evaluasi
Bab 4 Perancangan Skema Data Warehouse
Bab ini melanjutkan konsep dimensional modeling dengan membawa bentuk logisnya ke dalam implementasi fisik. Pembahasan mencakup topologi relasi dimensi-fakta (Star, Snowflake, Constellation), teknik optimasi kueri seperti star join, partisi, indeks bitmap, klasterisasi, serta strategi agregasi pada lingkungan skala enterprise.
Subjudul bab ini:
- 4.1 Star Schema (Skema Bintang)
- 4.2 Snowflake Schema (Skema Kepingan Salju)
- 4.3 Fact Constellation Schema (Galaxy Schema)
- 4.4 Optimasi Kinerja Fisik
- 4.5 Penyimpanan Kolumnar dan Teknik Kompresi
- 4.6 Manajemen Beban Kerja dan Konkurensi
- 4.7 Studi Kasus Nyata Industri: Kueri BigQuery Shopify Senilai Hampir US$1 Juta
- 4.8 Analisis Pemecahan Masalah (Skenario S2)
- 4.9 Contoh Soal dan Pembahasan
- 4.10 Isu Riset dan Bacaan Lanjutan
- 4.11 Rangkuman
- 4.12 Latihan Soal Evaluasi
Bab 5 Proses ETL (Extract, Transform, Load)
Bab ini mengupas fase paling krusial dan memakan waktu dalam proyek Data Warehouse, yakni ETL. Pembahasan dimulai dari teknik ekstraksi data dari sumber operasional, proses transformasi (pembersihan, standardisasi, pembentukan surrogate key), hingga strategi pemuatan ke dalam tabel dimensi dan fakta. Bab ini juga menyoroti evolusi menuju ELT, orkestrasi dengan Apache Airflow, serta prinsip rekayasa yang membuat pipeline andal.
Subjudul bab ini:
- 5.1 Anatomi Sistem ETL: Tulang Punggung Data Warehouse
- 5.2 Strategi Ekstraksi Data (Data Extraction)
- 5.3 Proses Transformasi Data Tingkat Lanjut
- 5.4 Strategi Pemuatan (Data Loading)
- 5.5 Pergeseran Paradigma: Dari ETL ke ELT
- 5.6 Orkestrasi, Idempotensi, dan Penanganan Kesalahan
- 5.7 Audit Dimension dan Data Quality Firewall
- 5.8 Metadata dan Data Lineage dalam Pipeline
- 5.9 Integrasi Data Streaming: Dari ETL Batch ke Pipeline Berkelanjutan
- 5.10 Studi Kasus Nyata Industri: Kegagalan Migrasi Data TSB Bank (2018)
- 5.11 Analisis Pemecahan Masalah (Skenario S2)
- 5.12 Contoh Soal dan Pembahasan
- 5.13 Isu Riset dan Bacaan Lanjutan
- 5.14 Rangkuman
- 5.15 Latihan Soal Evaluasi
Bab 6 Integrasi dan Kualitas Data
Bab ini beralih dari aspek teknis pergerakan data ke aspek manajerial dan semantik data. Data yang cepat tidak ada gunanya jika tidak akurat. Oleh karena itu, bab ini membahas Data Quality Dimensions beserta cara mengukurnya, konsolidasi entitas master melalui MDM, alternatif integrasi logis, serta penerapan kebijakan tata kelola (Data Governance) lintas departemen.
Subjudul bab ini:
- 6.1 Kompleksitas Integrasi Data Enterprise
- 6.2 Dimensi Kualitas Data (Data Quality Dimensions)
- 6.3 Master Data Management (MDM)
- 6.4 Pendekatan Integrasi Alternatif: ESB dan Data Virtualization
- 6.5 Data Governance dan Tata Kelola
- 6.6 Teknik Profiling Data
- 6.7 Manajemen Metadata dan Katalog Data
- 6.8 Standar Interoperabilitas dan Data Referensi
- 6.9 Studi Kasus Nyata Industri: Hilangnya 15.841 Kasus COVID-19 di Inggris (2020)
- 6.10 Analisis Pemecahan Masalah (Skenario S2)
- 6.11 Contoh Soal dan Pembahasan
- 6.12 Isu Riset dan Bacaan Lanjutan
- 6.13 Rangkuman
- 6.14 Latihan Soal Evaluasi
Bab 7 Business Intelligence dan Data Warehouse
Bab ini menjembatani repositori data di back-end (Data Warehouse) dengan pengguna akhir di front-end (eksekutif dan manajerial). Pembahasan mencakup arsitektur dan operasi pemrosesan analitikal (OLAP), lapisan semantik, perancangan metrik kinerja (KPI), desain dasbor strategis, serta studi kasus penerapan analitik untuk memecahkan masalah retensi pelanggan.
Subjudul bab ini:
- 7.1 Filosofi dan Ekosistem Business Intelligence
- 7.2 Anatomi Pemrosesan OLAP (Online Analytical Processing)
- 7.3 Perancangan Key Performance Indicator (KPI) dan Dasbor
- 7.4 Integrasi Data Mining dan Machine Learning ke dalam BI
- 7.5 Self-Service BI dan Tata Kelola Metrik
- 7.6 Bahasa Kueri Analitik: MDX dan DAX
- 7.7 Embedded Analytics dan Operational BI
- 7.8 Studi Kasus Nyata Industri: Walmart, Data Warehouse, dan Badai Frances (2004)
- 7.9 Analisis Pemecahan Masalah (Skenario S2)
- 7.10 Contoh Soal dan Pembahasan
- 7.11 Isu Riset dan Bacaan Lanjutan
- 7.12 Rangkuman
- 7.13 Latihan Soal Evaluasi
Bab 8 Konsep, Karakteristik, dan Arsitektur Big Data
Bab ini menandai titik transisi kritis dari pemrosesan data relasional yang berstruktur ketat menuju ekosistem Big Data yang fleksibel, masif, dan terdistribusi. Bab ini membahas prinsip data locality, dekonstruksi HDFS, model pemrograman MapReduce, pergeseran ke komputasi in-memory (Spark), format penyimpanan kolumnar, serta kerangka arsitektur tingkat lanjut (Lambda dan Kappa Architecture).
Subjudul bab ini:
- 8.1 Disrupsi Big Data: Batasan Skalabilitas Tradisional
- 8.2 Dekonstruksi HDFS (Hadoop Distributed File System)
- 8.3 Evolusi Pemrosesan: Dari MapReduce ke In-Memory Computing
- 8.4 Arsitektur Tingkat Lanjut: Lambda versus Kappa
- 8.5 Format Tabel Terbuka: Delta Lake, Apache Iceberg, dan Apache Hudi
- 8.6 Evolusi Platform Big Data: Dari Hadoop ke Cloud
- 8.7 Studi Kasus Nyata Industri: Evolusi Platform Big Data Uber
- 8.8 Analisis Pemecahan Masalah (Skenario S2)
- 8.9 Contoh Soal dan Pembahasan
- 8.10 Isu Riset dan Bacaan Lanjutan
- 8.11 Rangkuman
- 8.12 Latihan Soal Evaluasi
Bab 9 Teknologi dan Ekosistem Big Data
Bab ini memperluas wawasan mengenai alat dan teknologi spesifik yang membentuk ekosistem Big Data. Kita akan memetakan komponen ekosistem Hadoop, membedah berbagai tipe basis data NoSQL sebagai alternatif RDBMS termasuk teknik pemodelannya, memahami mekanisme penyerapan data menggunakan Apache Kafka, dan melihat bagaimana teknologi sumber terbuka ini dikelola di dalam komputasi awan.
Subjudul bab ini:
- 9.1 Ekosistem Apache Hadoop yang Diperluas
- 9.2 Evolusi Basis Data NoSQL (Not Only SQL)
- 9.3 Data Ingestion & Message Brokering
- 9.4 Cloud-Native Big Data Services
- 9.5 Basis Data Khusus: Mesin Pencarian dan Time-Series
- 9.6 Polyglot Persistence dan Pemilihan Teknologi Penyimpanan
- 9.7 Orkestrasi Alur Kerja Data
- 9.8 Studi Kasus Nyata Industri: Apache Kafka di LinkedIn
- 9.9 Analisis Pemecahan Masalah (Skenario S2)
- 9.10 Contoh Soal dan Pembahasan
- 9.11 Isu Riset dan Bacaan Lanjutan
- 9.12 Rangkuman
- 9.13 Latihan Soal Evaluasi
Bab 10 Distributed Storage dan Distributed Computing
Bab ini mendalami fondasi teoretis komputasi terdistribusi. Kita memulai dari batasan fundamental sistem tersebar (Teorema CAP dan PACELC), lalu mengeksplorasi mekanisme penyimpanan terdistribusi (partisi, replikasi, quorum, konsensus), paradigma eksekusi tugas paralel berbasis DAG, serta persaingan teknologi orkestrasi sumber daya antara Hadoop YARN dan Kubernetes.
Subjudul bab ini:
- 10.1 Teorema CAP (Consistency, Availability, Partition Tolerance)
- 10.2 Arsitektur Penyimpanan Terdistribusi
- 10.3 Paradigma Komputasi Terdistribusi
- 10.4 Manajemen Sumber Daya Kluster (YARN versus Kubernetes)
- 10.5 Toleransi Kesalahan dan Pemulihan dalam Sistem Terdistribusi
- 10.6 Object Storage: Konsistensi, Kinerja, dan Desain Tata Letak Data
- 10.7 Studi Kasus Nyata Industri: Partisi Jaringan 43 Detik di GitHub (2018)
- 10.8 Analisis Pemecahan Masalah (Skenario S2)
- 10.9 Contoh Soal dan Pembahasan
- 10.10 Isu Riset dan Bacaan Lanjutan
- 10.11 Rangkuman
- 10.12 Latihan Soal Evaluasi
Bab 11 Pengolahan dan Analisis Data Skala Besar
Bab ini beralih dari fase penyimpanan menuju fase pemrosesan komputasi analitik tingkat lanjut. Mahasiswa akan menyelami mesin inti pemrosesan batch dan streaming, memahami bagaimana Catalyst dan Adaptive Query Execution mengoptimalkan kueri, bagaimana teknik windowing dan watermarking mengatasi keterlambatan data, serta strategi teknis menyelesaikan kebuntuan eksekusi akibat data yang condong (skewed).
Subjudul bab ini:
- 11.1 Arsitektur Internal Apache Spark: Catalyst Optimizer
- 11.2 Analisis Data Streaming Tingkat Lanjut (Windowing & Watermarking)
- 11.3 Distribusi Algoritma Machine Learning
- 11.4 Mengatasi Bottleneck: Data Skewness dan Shuffling
- 11.5 Penyetelan Kinerja Apache Spark
- 11.6 Pemrosesan Stream Stateful dengan Apache Flink
- 11.7 Machine Learning Pipeline pada Skala Besar
- 11.8 Studi Kasus Nyata Industri: Migrasi Pipeline 60 TB Facebook dari Hive ke Spark
- 11.9 Analisis Pemecahan Masalah (Skenario S2)
- 11.10 Contoh Soal dan Pembahasan
- 11.11 Isu Riset dan Bacaan Lanjutan
- 11.12 Rangkuman
- 11.13 Latihan Soal Evaluasi
Bab 12 Data Analytics dan Visualisasi Data
Bab ini membawa data yang telah diproses kembali ke ranah kognitif manusia. Mahasiswa akan mengeksplorasi spektrum kematangan analitik, merancang visualisasi tingkat korporat yang memperhitungkan psikologi persepsi (Gestalt), memahami taksonomi pemilihan grafik, serta implikasi arsitektur back-end perangkat lunak BI (Tableau, Power BI, Looker) terhadap kinerja dan biaya Cloud Data Warehouse.
Subjudul bab ini:
- 12.1 Spektrum Kematangan Analitik Bisnis (Analytics Maturity Model)
- 12.2 Psikologi Visualisasi dan Teori Gestalt
- 12.3 Arsitektur Perangkat Visualisasi: Live Query versus In-Memory
- 12.4 Augmented Analytics & Masa Depan BI
- 12.5 Storytelling dengan Data
- 12.6 Teknik Analitik Diagnostik: Kohort, Funnel, dan Eksperimen
- 12.7 Visualisasi Data Geospasial dan Data Berdimensi Tinggi
- 12.8 Studi Kasus Nyata Industri: Kegagalan Google Flu Trends
- 12.9 Analisis Pemecahan Masalah (Skenario S2)
- 12.10 Contoh Soal dan Pembahasan
- 12.11 Isu Riset dan Bacaan Lanjutan
- 12.12 Rangkuman
- 12.13 Latihan Soal Evaluasi
Bab 13 Implementasi Data Warehouse dan Big Data dalam Bisnis
Bab ini membawa seluruh teori arsitektur dan komputasi pada bab-bab sebelumnya ke dalam domain bisnis nyata. Kita membedah kasus penggunaan enterprise paling populer: analisis sentimen pelanggan, integrasi profil pelanggan 360 derajat, deteksi penipuan transaksi, optimalisasi rantai pasok, serta implementasi di sektor publik. Setiap kasus dianalisis dari sisi kebutuhan bisnis, arsitektur data, teknik analitik, dan ukuran keberhasilannya.
Subjudul bab ini:
- 13.1 Analisis Sentimen dan Social Media Analytics
- 13.2 Customer 360-Degree View
- 13.3 Deteksi Penipuan (Fraud Detection) Waktu-Nyata
- 13.4 Analisis Rantai Pasok (Supply Chain Analytics)
- 13.5 Implementasi di Sektor Publik dan Kesehatan
- 13.6 Penerapan Lintas Sektor Industri
- 13.7 Etika Data dan Bias Algoritmik
- 13.8 Mengukur Nilai Bisnis Inisiatif Data
- 13.9 Studi Kasus Nyata Industri: Prediksi Kehamilan Pelanggan oleh Target
- 13.10 Analisis Pemecahan Masalah (Skenario S2)
- 13.11 Contoh Soal dan Pembahasan
- 13.12 Isu Riset dan Bacaan Lanjutan
- 13.13 Rangkuman
- 13.14 Latihan Soal Evaluasi
Bab 14 Studi Kasus dan Perancangan Solusi Data Warehouse & Big Data
Bab penutup ini menjadi capstone yang menyatukan seluruh materi. Pembahasan mencakup kerangka kerja arsitektur enterprise (TOGAF), evaluasi ekonomi berbasis Total Cost of Ownership, keamanan, privasi, dan kepatuhan data, perancangan arsitektur end-to-end, DataOps dan MLOps, observabilitas data dengan kesepakatan tingkat layanan, serta evaluasi arsitektur berbasis skenario, lengkap dengan panduan penugasan capstone project.
Subjudul bab ini:
- 14.1 Kerangka Kerja Arsitektur Enterprise (TOGAF)
- 14.2 Evaluasi Ekonomi: Total Cost of Ownership (TCO)
- 14.3 Keamanan Data, Privasi, dan Kepatuhan
- 14.4 Desain Arsitektur End-to-End (Capstone)
- 14.5 DataOps dan MLOps
- 14.6 Observabilitas Data dan Kesepakatan Tingkat Layanan
- 14.7 Evaluasi Arsitektur Berbasis Skenario
- 14.8 Studi Kasus Nyata Industri: Transformasi Cloud dan Insiden Keamanan Capital One
- 14.9 Analisis Pemecahan Masalah (Skenario S2)
- 14.10 Panduan Penugasan Capstone Project
- 14.11 Contoh Soal dan Pembahasan
- 14.12 Isu Riset dan Bacaan Lanjutan
- 14.13 Rangkuman
- 14.14 Latihan Soal Evaluasi
Lampiran dan bagian pendukung
Buku dilengkapi glosarium, daftar pustaka, dan lampiran: (A) Rencana Pembelajaran Semester ringkas, (B) Panduan praktikum enam modul (implementasi star schema dan optimasi fisik, pipeline ELT dengan dbt dan uji kualitas data, pemrosesan batch dengan PySpark, ingestion streaming dengan Apache Kafka, streaming analytics dan penanganan skew, dasbor KPI dan dokumentasi arsitektur), (C) Rubrik penilaian soal analisis dan perancangan, dan (D) Spesifikasi visual gambar untuk desainer, serta indeks subjek dan profil penulis.