Masalah dengan Pendekatan Terpusat
Data warehouse dan data lake terpusat telah berjasa besar, namun memiliki kelemahan struktural yang semakin terasa seiring pertumbuhan organisasi. Bottleneck: satu tim data engineering tidak bisa memenuhi permintaan dari puluhan domain bisnis yang terus bertambah. Data quality: tim sentral tidak memiliki konteks domain yang cukup untuk memastikan kualitas data dari setiap sumber. Agility: setiap perubahan skema memerlukan koordinasi antar banyak tim.
Akibatnya, perusahaan besar sering menghadami 'data swamp' — lake yang penuh data namun sulit ditemukan, dipahami, dan dipercaya.
Empat Prinsip Data Mesh
Zhamak Dehghani mendefinisikan data mesh melalui empat prinsip: Domain Ownership (setiap domain bisnis memiliki dan bertanggung jawab atas data product mereka), Data as a Product (data diperlakukan sebagai produk dengan SLA, dokumentasi, dan kualitas yang terukur), Self-serve Data Platform (platform terpusat yang menyediakan infrastruktur bagi setiap domain untuk publish dan consume data), dan Federated Computational Governance (standar dan kebijakan yang diterapkan secara terpusat namun dieeksekusi secara terdistribusi).
Ini bukan hanya perubahan teknis — ini adalah transformasi organisasi yang memerlukan perubahan ownership, incentive, dan skill set yang signifikan.