Belajar Big Data - Evolusi Big Data Sesi 3

Data di Flat File

Pada hari-hari sebelumnya data disimpan dalam file datar dan tidak ada struktur dalam flat file. Jika data harus diambil dari flat file itu adalah proyek dengan sendirinya. Tidak ada kemungkinan mengambil data secara efisien dan integritas data telah hanya istilah dibahas tanpa modeling atau struktur di sekitar. Database yang berada di flat file memiliki masalah lebih dari yang kita ingin mendiskusikan di dunia saat ini. Itu lebih seperti mimpi buruk ketika ada setiap pengolahan data yang terlibat dalam aplikasi. Padahal, aplikasi yang dikembangkan pada saat itu juga tidak maju kebutuhan data itu selalu ada dan ada selalu membutuhkan manajemen data yang tepat.

Edgar F Codd dan 12 Aturan

EFCodd Edgar Frank Codd adalah seorang ilmuwan komputer Inggris yang pada saat bekerja untuk IBM menciptakan model relasional untuk manajemen database, dasar teoritis untuk database relasional. Dia memberikan 12 aturan untuk Database Relational dan tiba-tiba dunia menjadi kacau dengan aturan tersebut. Relational Database adalah lahan yang menjanjikan untuk semua pengguna database terstruktur. Database relasional dibawa ke hubungan antara data serta meningkatkan kinerja pengambilan data. Database yang ada dunia telah melihat transformasi besar dan setiap vendor dan pengguna database yang tiba-tiba mulai mengadopsi model database relasional.

Sesi Sebelumnya : Big Data - Volume, Velocity dan Variety

Sistem Manajemen Relational Database

Sejak Edgar F Codd mengusulkan 12 aturan untuk RBDMS ada banyak vendor yang berbeda yang mulai mereka untuk membangun aplikasi dan alat untuk mendukung hubungan antara basis data. Ini memang kurva belajar bagi banyak pengembang yang belum pernah bekerja sebelumnya dengan pemodelan database. Namun, seperti waktu berlalu cukup banyak orang menerima hubungan database dan mulai berkembang produk yang melakukan yang terbaik dengan batas-batas konsep RDBMS. Ini adalah era terbaik untuk database dan itu memberi para ahli ekstrim dunia serta beberapa produk terbaik. Model Entity Relationship juga berkembang pada waktu yang sama. Dalam rekayasa perangkat lunak, model Entity-relationship (model ER) merupakan model data untuk menggambarkan database dengan cara yang abstrak.

Pertumbuhan data yang sangat besar

Nah, semuanya akan baik-baik saja dengan RDBMS di dunia database. Karena tidak ada tantangan besar adopsi dari aplikasi RDBMS dan alat-alat itu cukup banyak universal. Ada perlombaan di kali untuk membuat hidup pengembang lebih mudah dengan alat manajemen RDBMS. Karena popularitas ekstrim dan mudah untuk menggunakan sistem cukup banyak setiap data yang disimpan dalam sistem RDBMS. Aplikasi zaman baru dibangun dan media sosial mengambil dunia oleh badai. Setiap organisasi merasa tekanan untuk memberikan pengalaman terbaik bagi pengguna mereka berdasarkan data yang mereka punya dengan mereka. Sementara ini semua terjadi pada saat data yang sama adalah tumbuh cukup banyak setiap organisasi dan aplikasi.

Data Warehousing

Pertumbuhan data yang besar sekarang menghadirkan tantangan besar bagi organisasi yang ingin membangun sistem cerdas berdasarkan data dan memberikan dekat real time pengalaman pengguna yang superior kepada pelanggan mereka. Berbagai organisasi segera mulai membangun solusi data warehousing di mana data disimpan dan diolah. Tren intelijen bisnis menjadi kebutuhan sehari-hari. Data yang diterima dari sistem transaksi dan bermalam diproses untuk membangun laporan cerdas dari itu. Meskipun ini adalah solusi yang bagus memiliki menetapkan sendiri tantangan. Relasional database model dan data pergudangan konsep semua dibangun dengan menjaga pemodelan database relasional tradisional dalam pikiran dan masih memiliki banyak tantangan ketika data tidak terstruktur hadir.

Tantangan yang menarik

Tantangan setiap organisasi harus memiliki keahlian untuk mengelola data terstruktur tapi dunia sudah berubah menjadi data tidak terstruktur. Ada intelijen di video, foto, SMS, teks, pesan media sosial dan berbagai sumber data lainnya. Semua ini diperlukan untuk sekarang membawa ke satu platform dan membangun sistem yang seragam yang melakukan apa yang perlu bisnis. Cara kita melakukan bisnis juga telah berubah. Ada suatu masa ketika pengguna hanya punya fitur apa yang didukung teknologi, namun, sekarang pengguna meminta fitur dan teknologi dibangun untuk mendukung sama. Kebutuhan real time intelijen dari aliran data serba cepat sekarang menjadi sebuah kebutuhan.

jumlah besar (Volume) perbedaan (Variety) data kecepatan tinggi (Velocity) adalah sifat dari data. Sistem database tradisional memiliki batas untuk mengatasi tantangan ini jenis baru hadiah data. Oleh karena itu kebutuhan Science Big Data. Kita perlu inovasi dalam bagaimana kita menangani dan mengelola data. Kita perlu cara-cara kreatif untuk menangkap data dan hadir untuk pengguna.

Big Data adalah Reality!

Sesi Berikutnya : Big Data - Arsitektur Big Data Dasar