KDD lwn Perlombongan data
KDD (Penemuan Pengetahuan dalam Pangkalan Data) ialah satu bidang sains komputer, yang merangkumi alatan dan teori untuk membantu manusia dalam mengekstrak maklumat yang berguna dan sebelum ini tidak diketahui (iaitu pengetahuan) daripada koleksi besar data digital. KDD terdiri daripada beberapa langkah, dan Perlombongan Data adalah salah satu daripadanya. Perlombongan Data ialah aplikasi algoritma khusus untuk mengekstrak corak daripada data. Namun begitu, KDD dan Data Mining digunakan secara bergantian.
Apakah itu KDD?
Seperti yang dinyatakan di atas, KDD ialah bidang sains komputer, yang memperkatakan pengekstrakan maklumat yang tidak diketahui dan menarik sebelum ini daripada data mentah. KDD ialah keseluruhan proses cuba memahami data dengan membangunkan kaedah atau teknik yang sesuai. Proses ini berurusan dengan pemetaan data peringkat rendah ke dalam bentuk lain yang lebih padat, abstrak dan berguna. Ini dicapai dengan membuat laporan ringkas, memodelkan proses penjanaan data dan membangunkan model ramalan yang boleh meramalkan kes masa hadapan. Disebabkan oleh pertumbuhan data yang eksponen, terutamanya dalam bidang seperti perniagaan, KDD telah menjadi proses yang sangat penting untuk menukar kekayaan data yang besar ini kepada risikan perniagaan, kerana pengekstrakan corak secara manual telah menjadi kelihatan mustahil dalam beberapa dekad yang lalu. Sebagai contoh, pada masa ini ia digunakan untuk pelbagai aplikasi seperti analisis rangkaian sosial, pengesanan penipuan, sains, pelaburan, pembuatan, telekomunikasi, pembersihan data, sukan, mendapatkan maklumat dan sebahagian besarnya untuk pemasaran. KDD biasanya digunakan untuk menjawab soalan seperti apakah produk utama yang mungkin membantu memperoleh keuntungan yang tinggi pada tahun hadapan dalam Wal-Mart?. Proses ini mempunyai beberapa langkah. Ia bermula dengan membangunkan pemahaman tentang domain aplikasi dan matlamat dan kemudian mencipta set data sasaran. Ini diikuti dengan pembersihan, prapemprosesan, pengurangan dan unjuran data. Langkah seterusnya ialah menggunakan Data Mining (diterangkan di bawah) untuk mengenal pasti corak. Akhirnya, pengetahuan yang ditemui disatukan dengan menggambarkan dan/atau mentafsir.
Apakah Perlombongan Data?
Seperti yang dinyatakan di atas, Perlombongan Data hanyalah satu langkah dalam keseluruhan proses KDD. Terdapat dua matlamat Perlombongan Data utama seperti yang ditakrifkan oleh matlamat aplikasi, dan ia adalah pengesahan atau penemuan. Pengesahan ialah mengesahkan hipotesis pengguna tentang data, manakala penemuan secara automatik mencari corak yang menarik. Terdapat empat tugas perlombongan data utama: pengelompokan, pengelasan, regresi, dan perkaitan (ringkasan). Pengelompokan ialah mengenal pasti kumpulan yang serupa daripada data tidak berstruktur. Pengelasan ialah peraturan pembelajaran yang boleh digunakan pada data baharu. Regresi ialah mencari fungsi dengan ralat minimum untuk memodelkan data. Dan persatuan mencari hubungan antara pembolehubah. Kemudian, algoritma perlombongan data khusus perlu dipilih. Bergantung pada matlamat, algoritma berbeza seperti regresi linear, regresi logistik, pepohon keputusan dan Naïve Bayes boleh dipilih. Kemudian corak minat dalam satu atau lebih borang perwakilan dicari. Akhir sekali, model dinilai sama ada menggunakan ketepatan ramalan atau kebolehfahaman.
Apakah perbezaan antara KDD dan Perlombongan data?
Walaupun, kedua-dua istilah KDD dan Perlombongan Data banyak digunakan secara bergantian, ia merujuk kepada dua konsep yang berkaitan namun berbeza sedikit. KDD ialah keseluruhan proses mengekstrak pengetahuan daripada data manakala Perlombongan Data ialah satu langkah dalam proses KDD, yang berkaitan dengan mengenal pasti corak dalam data. Dalam erti kata lain, Perlombongan Data hanyalah aplikasi algoritma tertentu berdasarkan matlamat keseluruhan proses KDD.
