Coba bayangin zaman dulu, sebelum semuanya jadi digital. Data yang dihasilkan tuh dikit banget, bentuknya pun rapi kayak tabel—baris dan kolom. Satu komputer aja udah cukup buat nyimpen dan ngolah semua itu. Tapi semua berubah sejak internet menyerang! Sekarang, tiap detik kita bikin data terus, dari email, foto, suara, sampe video TikTok yang gak ada habisnya. Data ini nggak lagi rapi kayak dulu—sekarang bentuknya campur aduk, gak beraturan. Inilah yang akhirnya disebut Big Data.
Masalahnya, dengan data sebanyak dan sebebas itu, sistem penyimpanan dan prosesor biasa udah gak kuat nanggung. Solusinya? Ya nggak bisa lagi ngandelin satu mesin doang. Kita butuh banyak komputer yang kerja barengan. Dan di sinilah si jagoan muncul: Hadoop.
Hadoop Itu Apa Sih?
Hadoop itu semacam “keroyokan” komputer buat nyimpen dan ngolah data dalam jumlah besar banget. Bukan cuma besar ya, tapi juga beragam format. Nah, Hadoop ini dibekali tiga komponen utama yang bikin dia bisa kerja super efisien. Yuk, kita kulik satu per satu.
- HDFS: Tempat Nyimpen Data Super Gede
Yang pertama adalah HDFS alias Hadoop Distributed File System. Karena data yang dihadapi gede-gede banget, gak mungkin disimpen di satu komputer aja. Jadi, sistem ini nyebar data ke banyak komputer dalam bentuk potongan-potongan kecil yang disebut block. Misalnya kamu punya data 600MB, HDFS akan bagi jadi beberapa blok—tiap blok default-nya 128MB. Jadi bisa aja kepecah jadi 4 blok penuh dan satu sisaan.
“Lah, kalau salah satu komputer rusak gimana? Hilang dong datanya?” Nggak! HDFS pinter. Dia nyimpen salinan dari tiap blok di beberapa tempat sekaligus. Biasanya sih tiga salinan per blok. Jadi kalau satu rusak, dua lainnya masih aman. Sistem ini bikin Hadoop jadi tahan banting alias fault tolerant.
- MapReduce: Mesin Pengolah Data Raksasa
Setelah data tersimpan rapi, waktunya ngolah! Nah, ini tugasnya MapReduce. Bayangin kamu punya tugas ngitung berapa kali kata “data” muncul di artikel panjang. MapReduce bakal bagi artikel itu jadi beberapa bagian kecil dulu. Terus tiap bagian dihitung kata-katanya satu per satu. Setelah itu, hasilnya dikumpulin dan dijumlahin. Semua ini dikerjain bareng-bareng di banyak komputer. Hasilnya? Lebih cepat, lebih efisien, dan lebih hemat tenaga.
Cara kerjanya pun mirip banget sama kerja kelompok:
- Mapper hitung kata di tiap bagian,
- Shuffle & Sort ngelompokkin kata yang sama,
- Reducer jumlahin semua,
- Terus ditampilin deh hasil akhirnya.
- YARN: Si Manajer Proyeknya Hadoop
Kalau HDFS itu gudangnya dan MapReduce itu mesin ngolahnya, maka YARN adalah si manajer proyek yang ngatur semuanya. YARN alias Yet Another Resource Negotiator ini tugasnya ngatur sumber daya kayak RAM, CPU, dan bandwidth biar semua job yang jalan bisa kebagian.
Komponen YARN ada banyak:
- Resource Manager yang bagi-bagi sumber daya,
- Node Manager yang ngawasin tiap komputer,
- Application Master yang ngatur satu job tertentu,
- Dan Containers tempat kerja tiap job.
Jadi kalau kamu punya tugas olah data, si application master bakal minta “tempat” ke node manager, dan node manager bakal minta sumber daya ke resource manager. Semua proses ini dijalanin otomatis biar lancar jaya.
Ekosistem Hadoop: Gak Cuma Tiga Itu Aja
Hadoop bukan cuma terdiri dari tiga komponen tadi. Di sekitarnya ada banyak tools pendukung yang bikin kerjaan makin mantap. Ada Hive buat query data, Pig buat scripting, Apache Spark buat pemrosesan cepat, Flume buat ngambil data dari sumber eksternal, dan Sqoop buat transfer data antara Hadoop dan database relasional.
Hadoop Di Dunia Nyata
Hadoop bukan cuma teori doang, tapi udah dipake perusahaan besar kayak Facebook, IBM, Amazon, dan eBay. Penggunaannya juga beragam banget—mulai dari sistem rekomendasi, deteksi penipuan, sampe gudang data perusahaan. Intinya, kalau kamu pengen kerja di bidang data, ngerti Hadoop tuh wajib hukumnya.
