Pengertian Dan Fungsi Cluster Database

Pengertian Dan Fungsi Cluster Database

Clustering adalah proses mengelompokkan objek berdasarkan informasi yang diperoleh dari data yang menjelaskan hubungan antar objek dengan prinsip untuk memaksimalkan kesamaan antar anggota satu kelas dan meminimumkan kesamaan antar kelas/cluster. Tujuannya menemukan cluster yang berkualitas dalam waktu yang layak. Clustering dalam data mining berguna untuk menemukan pola distribusi di dalam sebuah data set yang berguna untuk proses analisa data. Kesamaan objek biasanya diperoleh dari kedekatan nilai-nilai atribut yang menjelaskan objek-objek data, sedangkan objek-objek data biasanya direpresentasikan sebagai sebuah titik dalam ruang multidimensi. 

Clustering merupakan suatu alat untuk analisa data, yang memecahkan permasalahan penggolongan.

Obyek nya adalah untuk kasus pendistribusian (orang-orang, objek, peristiwa dll.) ke dalam kelompok, sedemikian sehingga derajat tingkat keterhubungan antar anggota cluster yang sama adalah kuat dan lemah antar anggota dari cluster yang berbeda. Dengan Cara ini masing-masing cluster menguraikan, dalam kaitan dengan kumpulan/koleksi data, class dimana milik anggota-anggotanya. 

Cluster : Data item dikelompokkan menurut pilihan konsumen atau hubungan logis. Sebagai contoh, data dapat dimaknakan untuk mengidentifikasi segmen pasar atau ketertarikan konsumen. 

Hasil dari analisis cluster mungkin berperan untuk definisi dari suatu rencana penggolongan yang formal, seperti suatu taksonomi untuk binatang yang terkait, serangga atau tumbuhan; atau menyarankan model statistik yang menguraikan populasi; atau menandai aturan untuk menugaskan kasus yang baru ke class untuk identifikasi dan tujuan yang diagnostik; atau menyediakan ukuran dari definisi, ukuran dan perubahan dalam konsep sebelumnya yang tidak hanya luas. Bisnis apapun yang sedang anda lakukan, cepat atau lambat anda akan berhadapan dengan suatu masalah penggolongan. 

Dengan menggunakan clustering, dapat diidentifikasi daerah yang padat, pola-pola distribusi secara keseluruhan dan keterkaitan yang menarik antara atribut-atribut data. Dalam data mining usaha difokuskan pada metode-metode penemuan untuk cluster pada basisdata berukuran besar secara efektif dan efisien. Banyaknya pendekatan clustering menyulitkan dalam menentukan ukuran kualitas yang universal. Namun, beberapa hal yang perlu diperhatikan adalah input parameter yang tidak menyulitkan user, cluster hasil yang dapat dianalisa, dan skalabilitas terhadap penambahan ukuran dimensi dan record dataset. Secara garis besar ada beberapa kategori algoritma clustering yang dikenal yaitu:

• Metode Partisi, dimana pemakai harus menentukan jumlah k partisi yang diinginkan lalu setiap data dites untuk dimasukkan pada salah satu partisi sehingga tidak ada data yang overlap dan satu data hanya memiliki satu cluster. Contohnya: algoritma K-Means. 
• Metode Hierarki, yang menghasilkan cluster yang bersarang artinya suatu data dapat memiliki cluster lebih dari satu. Metode ini terbagi menjadi dua yaitu buttom-up yang menggabungkan cluster kecil menjadi cluster lebih besar dan top-down yang memecah cluster besar menjadi cluster yang lebih kecil. Kelemahan metode ini adalah bila salah satu penggabungan/pemecahan dilakukan pada tempat yang salah, tidak akan didapatkan cluster yang optimal. Contohnya: Agglomerative (FINDIT, PROCLUS), Divisive Hierarchical Clustering (CLIQUE, MAFIA, ENCLUE). 

Subspace Clustering

Subspace clustering adalah suatu teknik clustering yang mencoba menemukan cluster pada dataset multidimensi dengan pemilihan dimensi yang paling relevan untuk setiap cluster, karena pada data multidimensi kemungkinan terdapat dimensi-dimensi yang tidak relevan yang dapat membingungkan algoritma clustering sehingga bisa mengaburkan cluster sebenarnya yang seharusnya dapat ditemukan.

Masalah lainnya, cluster dapat saja berada dalam subspace yang berbeda, dimana setiap subspace dibentuk dari kombinasi dimensi yang berbeda-beda. Akibatnya, semakin banyak dimensi yang digunakan, cluster akan sulit ditemukan. Subspace clustering secara otomatis akan menemukan unit-unit yang padat pada tiap subspace. Pada Gambar diatas, mengilustrasikan bagaimana peningkatan jumlah dimensi mengakibatkan terpecahnya titik pada dataset. 

Cara yang sudah dikenal untuk mengatasi peningkatan jumlah dimensi adalah menggunakan teknik reduksi dimensi atau feature selection. Dengan cara ini, dimensionalitas dataset dikurangi dengan menghilangkan beberapa dimensi, pendekatan ini berakibat pada hilangnya beberapa informasi dan sekaligus mengurangi efektifitas penemuan cluster yang mungkin melibatkan dimensi yang dihilangkan tersebut. Jika konsep ini diterapkan dalam kasus di Gambar di bawah, berakibat hilangnya satu atau dua cluster yang seharusnya ada, karena masingmasing dimensi menjadi bagian dari satu buah cluster. 

Misalnya ada suatu dataset 3-dimensi yang mempunyai 2 cluster, satu cluster berada di bidang (x, y) dan (x, z). Untuk dataset seperti ini, metode reduksi dimensi dan feature selection tidak mampu memperoleh kembali semua struktur cluster, karena setiap dimensi merupakan salah satu subspace cluster yang terbentuk. Dengan menggunakan metode subspace clustering, dua cluster yang terbentuk pada Gambar 2-3 diharapkan dapat diperoleh karena teknik clustering ini dapat menemukan cluster dengan subspace yang berbeda dalam dataset. Berdasarkan strategi pencariannya algoritma susbsapce clustering dapat dikatagorikan ke dalam dua kategori yaitu metode top down search iterative dan metode bottom up search grid based. Algoritma MAFIA termasuk algoritma yang menggunakan strategi metode bottom up search grid based.

Lemma 1 (monotonicity): 

Jika kumpulan titik S merupakan cluster dalam ruang dimensi–k maka S juga merupakan bagian suatu cluster dalam ruang proyeksi dimensi-(k-1) Penjelasan:

Suatu cluster C yang berdimensi-k memasukkan titik yang jatuh di dalam gabungan dense unit berdimensi-k yang masing-masing memiliki selectivity minimal. Proyeksi setiap unit u dalam C harus memiliki selectivity minimal agar bersifat padat. Karena semua unit dalam cluster terhubung, maka proyeksinya juga terhubung. Artinya, proyeksi titik dalam cluster C yang berdimensi-k juga berada dalam cluster yang sama pada proyeksi dimensi (k-1). Algoritma diproses level demi level. Pertama-tama, menentukan calon dense unit berdimensi 1 dengan melakukan pass over data. Setelah menentukan dense unit berdimensi-k-1, calon dense unit berdimensi-k ditentukan dengan menggunakan prosedur candidate generation. Algoritma berhenti jika tidak ada dense unit yang dibangkitkan. Prosedur candidat generation menyatakan Dk-1 sebagai kumpulan dense unit berdimensi (k-1). Prosedur ini mengembalikan superset kumpulan calon dense unit berdimensi-k yang akan di bandingkan dengan density treshold apakah layak atau tidak digunakan sebagai penentu cluster.

Berbeda dengan association rule mining dan classification dimana kelas data telah ditentukan sebelumnya, clustering melakukan penge-lompokan data tanpa berdasarkan kelas data tertentu. Bahkan clustering dapat dipakai untuk memberikan label pada kelas data yang belum diketahui itu. Karena itu clustering sering digolongkan sebagai metode unsupervised learning. Prinsip dari clustering adalah memaksimalkan kesamaan antar anggota satu kelas dan meminimumkan kesamaan antar kelas/cluster. 

Clustering dapat dilakukan pada data yan memiliki beberapa atribut yang dipetakan sebagai ruang multidimensi. Banyak algoritma clustering memerlukan fungsi jarak untuk mengukur kemiripan antar data, diperlukan juga metode untuk normalisasi bermacam atribut yang dimiliki data. Beberapa kategori algoritma clustering yang banyak dikenal adalah metode partisi dimana pemakai harus menentukan jumlah k partisi yang diinginkan lalu setiap data dites untuk dimasukkan pada salah satu partisi, metode lain yang telah lama dikenal adalah metode hierarki yang terbagi dua lagi : bottom-up yang menggabungkan cluster kecil menjadi cluster lebih besar dan top-down yang memecah cluster besar menjadi cluster yang lebih kecil.

Kelemahan 3 metode ini adalah bila bila salah satu penggabungan/pemecahan dilakukan pada tempat yang salah, tidak dapat didapatkan cluster yang optimal. Pendekatan yang banyak diambil adalah menggabungkan metode hierarki dengan metode clustering lainnya seperti yang dilakukan oleh Chameleon. Akhir-akhir ini dikembangkan juga metode berdasar kepadatan data, yaitu jumlah data yang ada di sekitar suatu data yang sudah teridentifikasi dalam suatu cluster. Bila jumlah data dalam jangkauan tertentu lebih besar dari nilai ambang batas, data-data tsb dimasukkan dalam cluster. Kelebihan metode ini adalah bentuk cluster yang lebih fleksibel. Algoritma yang terkenal adalah DBSCAN.

Cluster digunakan untuk mendapatkan high availability dan scalability.

Pada high available cluster, dapat digunakan failover database cluster, dimana hanya ada satu node yang aktif melayani user, sedangkan node lainnya standby. Storage yang digunakan mempunyai koneksi ke setiap node pada cluster, sehingga jika primary node mati, database engine, listener process, dan logical host ip address akan dijalankan pada secondary node tanpa perlu menunggu operating system boot, sehingga downtime dapat diminimalisasi. High availability mempunyai standard uptime 99.999 persen, atau hanya boleh mati selama 5 menit dalam setahun. Beberapa contoh software yang dapat digunakan untuk membuat HA cluster adalah Sun Cluster dan Veritas Cluster.

Pada scalable cluster, digunakan produk Oracle RAC, dimana setiap node aktif melayani user, sehingga diperoleh performa yang semakin baik dengan menggunakan lebih banyak node. Sun cluster dapat digunakan sampai 16 node, sedangkan Veritas Storage Foundation for Oracle RAC bisa sampai 32 node. Jika ada node yang mati, tentu akan menurunkan performa, namun tidak terjadi down time. Pada scalable cluster, seluruh node dapat terhubung secara langsung ke shared storage, namun dapat juga tidak mempunyai koneksi fisik ke storage, melainkan melalui private cluster transport.

Teknologi Cluster

Kebutuhan akan komunikasi data dewasa ini sangat penting seiring dengan kemajuan dan perkembangan teknologi komunikasi data yang semakin canggih. Hal yang sangat penting bagi Teknologi komunikasi data adalah database sebagai penyedia data. Aplikasi-aplikasi database dituntut untuk mampu melayani banyak akses data. Hal ini dapat dimaklumi karena database server telah di rancang untuk dapat melayani beragam jenis akses data. Saat ini aplikasi databse semakin berkembang, baik dalam hal kegunaan, ukuran, maupun kompleksitas. Hal ini secara langsung akan berdampak pada server database sebagai penyedia layanan terhadap akses databse, konsekuensi dari semua itu adalah beban databse server akan semakin bertambah berat dan mengakibatkan kurang optimalnya kinerja dari server tersebut. Oleh sebab itu, diperlukan perancangan yang tepat dan handal dalam membangun databse server. Solusi praktis dan tepat yang dapat diterapkan untuk mengatasi permasalahan diatas antara lain dengan penerapan Teknologi Cluster. 

Banyak sekali manfaat yang diperoleh dari teknologi cluster diantaranya meningkatkan ketersediaan dan performansi system. Pada server database yang besar dalam pelayanannya tidak menggunakan server databse tunggal, tetapi dilayani oleh sekelompok server database, beberapa buah server databse dihubungkan menjadi satu pada lingkungan yang sangat kompleks. Arsitektur yang digunakan harus menjamin bahwa sistem bekerja dengan baik, setiap server mengerjakan beban semestinya, dan tidak ada bottleneck. Berbagai jenis server diikat menjadi satu untuk menjadikan suatu pelayanan tunggal (one stop shopping). Database tercluster tersebut dapat dianggap personal desktop atau database tunggal bagi penggunanya. 

Database pada masa sekarang ini dituntut agar dapat berjalan dengan cepat dan mempunyai kehandalan yang tinggi, Dengan clustering ini database yang disimpan dapat terbagi ke beberapa mesin dan pada saat aplikasi berjalan, semua mesin yang menyimpan data tersebut dianggap sebagai satu kesatuan. Metode clustering seperti ini sangat baik untuk load balancing dan penanganan system failure karena kemampuan tiap mesin akan digunakan dan jika ada salah satu mesin yang mengalami failure maka sistem tidak akan langsung terganggu karena mesin lain akan tetap berfungsi. Kemampuan clustering memungkinkan sebuah database tetap hidup dalam waktu yang lama. MySQL berani menjanjikan angka 99.999 persen ketersediaan databasenya. Sederhananya, dalam satu tahun kira-kira hanya lima menit waktu database itu tidak hidup.

MySQL Cluster

MySQL Cluster menggunakan mesin penyimpanan cluster NDB baru yang mampu menjalankan beberapa MySQL Server di dalam sebuah cluster. Mesin penyimpanan cluster NDB tersedia di dalam BitKepper dari MySQL release 4.1.2 dan di dalam binary releases dari MySQL-Max 4.1.3. System operasi yang didukung adalah Linux, Mac OS X, dan Solaris, pihak MySQL sedang membuat/mengembangkan agar cluster NDBdapat berjalan pada semua system operasi yang didukung oleh MySQL termasuk Windows.

Overview

MySQL Cluster adalah sebuah teknologi baru untuk memungkinkan clustering di dalam memory database dalam sebuah sistem share-nothing. Arsitektur share-nothing mengijinkan sistem dapat bekerja dengan hardware/perangkat keras yang sangat murah, dan tidak membutuhkan perangkat keras dan lunak dengan spesifikasi khusus. Arsitektur tersebut juga handal karena masing-masing komponen mempunyai memory dan disk tersendiri. MySQL Cluster menggabungkan MySQL Server biasa dengan sebuah mesin penyimpanan in-memory tercluster yang dinamakan NDB. NDB berarti bagian dari suatu rangkaian yang dikhususkan sebagai mesin penyimpanan, sedangkan MySQL Cluster diartikan sebagai kombinasi atau gabungan dari MySQL dan mesin penyimpanan yang baru tersebut.

Sebuah MySQL Cluster terdiri dari sekumpulan komputer, masing-masing menjalankan sejumlah proses mencakup beberapa MySQL server, node-node penyimpanan untuk cluster NDB, server-server manajemen dan program-program pengakses data yang khusus. Semua program-program tersebut bekerja bersama-sama untuk membentuk MySQL Cluster. Ketika data disimpan di dalam mesin penyimpan media NDB cluster, tabel-tabel disimpan didalam node-node penyimpanan pada NDB Cluster. Tabel-tabel seperti itu dapat diakses secara langsung dari semua MySQL server yang lain di dalam cluster tersebut. Dengan cara demikian, sebuah aplikasi daftargaji menyimpan data di dalam sebuah cluster, jika sebuah aplikasi mengupdate/memperbaharui gaji seorang karyawan, semua MySQL server yang lain yang meminta data ini dapat melihat perubahannya dengan seketika.

Data yang disimpan di dalam node-node penyimpanan pada MySQL Cluster dapat di mirror (dicerminkan), cluster tersebut dapat menangani kegagalan dari node-node penyimpanan individual dengan tidak ada dampak lain dari sejumlah transaksi dihentikan karena kegagalan proses transaksi. Sejak aplikasi untuk proses-proses transaksi diharapkan mampu menangani kegagalan transaksi, ini semua tidak seharusnya menjadi sumber permasalahan. Dengan memperkenalkan MySQL Cluster pada dunia open source, MySQL membuat manajemen data cluster dengan ketersediaan yang tinggi, perfomance yang tinggi dan skalabilitas ketersediaan untuk siapa saja yang memerlukannya.

Dasar konsep-konsep MySQL Cluster

NDB adalah sebuah mesin penyimpanan memory yang menawarkan ketersediaan yang tinngi dan fitur-fitur persistensi data. Mesin penyimpanan NDB dapat diatur dengan sebuah bidang failover dan pilihan-pilhan load-balancing, tetapi untuk memulai paling mudah dengan mesin penyimpanan pada level cluster. Mesin penyimpanan NDB pada MySQL Cluster berisi sebuah kumpulan lengkap dari data, bergantung hanya pada data lainnya di dalam cluster itu sendiri. Sekarang akan diuraikan bagaimana mengatur sebuah MySQL Cluster yang terdiri dari sebuah mesin penyimpanan NDB dan beberapa MySQL server. Sebagian dari MySQL Cluster dikonfigurasi tidak tergantung/bebas dari server-server MySQL yang lain. Di dalam MySQL Cluster, masing-masing bagian dari cluster dianggap sebagai sebuah node.

Analisis Cluster (Lanjutan)

Clustering dan segmentasi sebenarnya mempartisi database, karena itu setiap partisi atau group adalah sama menurut kriteria atau metrik tertentu. Jika pengukuran kesamaan tersedia, maka terdapat sejumlah teknik untuk membentuk cluster. Kebanyakan aplikasi2 data mining menggunakan clusteing menurut similarity (kesamaan), contohnya segmentasi basis klien. Clustering menurut optimasi dari sekumpulan fungsi-fungsi digunakan pada analisis data, misalnya ketika mensetting tarif asuransi klien dapat disegmentasi menurut sejumlah parameter. Contoh aplikasi :

• Perangkat ‘stand-alone’ : explore data distribution
• Langkah preprocessing untuk algoritma lain
• Pengenalan pola, analisis data spasial, pengenalan citra, market research, WWW, …
• clustering dokumen
• clustering data log web untuk mendapatkan group dengan pola akses yang sama

Penggelompokkan data ke cluster

• Data yang sama satu sama lain berada pada cluster yang sama
• Yang tidak sama berada pada cluster lain
• ‘Unsupervised learning’: klas yang belum ditentukan

Clustering Yang Baik

Intraclass similarity (Kesamaan di dalam klas) yang tinggi dan interclass similarity (kesamaan antar klas) yang rendah bergantung pada pengukuran kesamaan 

Kemampuan untuk mendapatkan beberapa atau semua pola yang tersembunyi 

Kebutuhan Clustering

Scalability : Kemampuan mengerjakan atribut2 dari berbagai tipe 

Penemuan clusters dengan bentuk yang tidak tentu 

Kebutuhan minimal untuk pengetahuan domain untuk menentukan parameter input 

Dapat menerima noise dan outlier 

Tidak mengindahkan susunan record dari input 

Dimensi yang tinggi 

Menyatu dengan batasan yang dispesifikasikan oleh user 

Interpretability and usability 

Tipe-tipe Data pada Clustering

Variabel berskala interval 

Variabel biner 

Variabel nominal, ordinal dan rasio 

Variable dari berbagai tipe variable 

Kategori Pendekatan Clustering

Algoritma Partisi 

Mempartisi objek2 ke dalam k cluster 

Realokasi objek2 secara iteratif untuk memperbaiki clustering 

Algoritma Hirarkis

• Agglomerative: setiap objek merupakan cluster, gabungan dari cluster-cluster membentuk cluster yang besar
• Divisive: semua objek berada dalam suatu cluster, pembagian cluster tersebut membentuk cluster2 yang kecil

Metode berbasis densitas

• Berbasis koneksitas dan fungsi densitas
• Noise disaring, kemudian temukan cluster dalam bentuk sembarang
• Metode berbasis grid
• Kuantisasi ruang objek ke dalam struktur grid

Berbasis Model

• Gunakan model untuk menemukan keadaan data yang baik.