Pertemuan 3
Pertemuan 3
Pertemuan 3
Evaluatio
Input Metode Output n
(Algoritma (Pola/Model/ (Akurasi,
(Data)
Data Mining) Knowledge) AUC, RMSE,
etc)
1. Input (Dataset)
Jenis dataset ada dua: Private dan Public
Private Dataset: data set dapat diambil dari organisasi
yang kita jadikan obyek penelitian
• Bank, Rumah Sakit, Industri, Pabrik, Perusahaan Jasa, etc
Public Dataset: data set dapat diambil dari repositori
pubik yang disepakati oleh para peneliti data mining
• UCI Repository (http://www.ics.uci.edu/~mlearn/MLRepository.html)
• ACM KDD Cup (http://www.sigkdd.org/kddcup/)
Trend penelitian data mining saat ini adalah menguji
metode yang dikembangkan oleh peneliti dengan
public dataset, sehingga penelitian dapat bersifat:
comparable, repeatable dan verifiable
Atribut, Class dan Tipe Data
Atribut adalah faktor atau parameter yang
menyebabkan class/label/target terjadi
Class adalah atribut yang akan dijadikan target,
sering juga disebut dengan label
Tipe data untuk variabel pada statistik terbagi
menjadi empat: nominal, ordinal, interval, ratio
Tapi secara praktis, tipe data untuk atribut pada
data mining hanya menggunakan dua:
1. Nominal (Diskrit)
2. Numeric (Kontinyu atau Ordinal)
2. Metode (Algoritma Data Mining)
1. Estimation (Estimasi):
• Linear Regression, Neural Network, Support Vector Machine, etc
2. Prediction/Forecasting (Prediksi/Peramalan):
• Linear Regression, Neural Network, Support Vector Machine, etc
3. Classification (Klasifikasi):
• Naive Bayes, K-Nearest Neighbor, C4.5, ID3, CART, Random Forest, Linear
Discriminant Analysis, Neural Network, etc
4. Clustering (Klastering):
• K-Means, K-Medoids, Self-Organizing Map (SOM), Fuzzy C-Means, etc
5. Association (Asosiasi):
• FP-Growth, A Priori, etc
3. Output/Pola/Model/Knowledge
1. Formula/Function (Rumus atau Fungsi Regresi)
• WAKTU TEMPUH = 0.48 + 0.6 JARAK + 0.34 LAMPU + 0.2 PESANAN
3. Rule (Aturan)
• IF ips3=2.8 THEN lulustepatwaktu
4. Cluster (Klaster)
Cluster
Simple 2-D representation Venn diagram
4. Evaluasi (Akurasi, Error, etc)
1. Estimation:
• Error: Root Mean Square Error (RMSE), MSE, MAPE, etc
2. Prediction/Forecasting (Prediksi/Peramalan):
• Error: Root Mean Square Error (RMSE) , MSE, MAPE, etc
3. Classification:
• Confusion Matrix: Accuracy
• ROC Curve: Area Under Curve (AUC)
4. Clustering:
• Internal Evaluation: Davies–Bouldin index, Dunn index,
• External Evaluation: Rand measure, F-measure, Jaccard index, Fowlkes–Mallows
index, Confusion matrix
5. Association:
• Lift Charts: Lift Ratio
• Precision and Recall (F-measure)
Guide for Classifying the AUC
(Gorunescu, 2011)
Kriteria Evaluasi dan Validasi Model
Secara umum pengukuran model data mining
mengacu kepada tiga kriteria: Akurasi (Accuracy),
Kehandalan(Reliability) dan Kegunaan (Usefulness)
Keseimbangan diantaranya ketiganya diperlukan
karena belum tentu model yang akurat adalah
handal, dan yang handal atau akurat belum tentu
berguna
Kriteria Evaluasi dan Validasi Model
1. Akurasi adalah ukuran dari seberapa baik model
mengkorelasikan antara hasil dengan atribut dalam
data yang telah disediakan. Terdapat berbagai model
akurasi, tetapi semua model akurasi tergantung pada
data yang digunakan
2. Kehandalan adalah ukuran di mana model data mining
diterapkan pada dataset yang berbeda akan
menghasilkan sebuah model data mining dapat
diandalkan jika menghasilkan pola umum sama
terlepas dari data testing yang disediakan
3. Kegunaan mencakup berbagai metrik yang mengukur
apakah model tersebut memberikan informasi yang
berguna.
Pengujian Model Data Mining
Pembagian dataset:
• Dua subset: data training dan data testing
• Tiga subset: data training, data validation dan data testing
Data training untuk pembentukan model, dan
data testing digunakan untuk pengujian model
Data validation untuk memvalidasi model kita
valid atau tidak
Cross-Validation
Metode cross-validation digunakan untuk
menghindari overlapping pada data testing
Tahapan cross-validation:
1. Bagi data menjadi k subset yg berukuran sama
2. Gunakan setiap subset untuk data testing dan sisanya
untuk data training
Disebut juga dengan k-fold cross-validation
Seringkali subset dibuat stratified (bertingkat)
sebelum cross-validation dilakukan, karena
stratifikasi akan mengurangi variansi dari estimasi
Cross-Validation
Metode evaluasi standard: stratified 10-fold
cross-validation
Mengapa 10? Hasil dari berbagai percobaan
yang ekstensif dan pembuktian teoritis,
menunjukkan bahwa 10-fold cross-validation
adalah pilihan terbaik untuk mendapatkan hasil
validasi yang akurat
10-fold cross-validation akan mengulang
pengujian sebanyak 10 kali dan hasil
pengukuran adalah nilai rata-rata dari 10 kali
pengujian
10-Fold Cross-Validation
Merah: k-subset (data testing)
Pengujian ke Dataset
1
2
3
4
5
6
7
8
9
10
Penerapan Proses Data
Mining dan Tool Aplikasi
Tool Software Data Mining
WEKA
RapidMiner
DTREG
Clementine
Matlab
R
SPSS
Sejarah Rapidminer
Pengembangan dimulai pada 2001 oleh Ralf
Klinkenberg, Ingo Mierswa, dan Simon
Fischer di Artificial Intelligence Unit dari
University of Dortmund, ditulis dalam bahasa
Java
Open source berlisensi AGPL (GNU Affero
General Public License) versi 3
Software data mining peringkat pertama
pada polling oleh KDnuggets, sebuah portal
data-mining pada 2010-2011
Fitur Rapidminer
Menyediakan prosedur data mining dan
machine learning termasuk: ETL (extraction,
transformation, loading), data preprocessing,
visualisasi, modelling dan evaluasi
Proses data mining tersusun atas operator-
operator yang nestable, dideskripsikan dengan
XML, dan dibuat dengan GUI
Mengintegrasikan proyek data mining Weka dan
statistika R
Atribut Pada Rapidminer
Atribut dan Atribut Target
• Atribut: karakteristik atau fitur dari data yang
menggambarkan sebuah proses atau situasi
ID, atribut biasa
• Atribut target: atribut yang menjadi tujuan untuk diisi
oleh proses data mining
Label, cluster, weight
Peran atribut (attribute role)
• Label, cluster, weight, ID, biasa
Tipe Nilai (Value Type) pada Rapidminer
1. nominal: nilai secara kategori
2. binominal: nominal dua nilai
3. polynominal: nominal lebih dari dua nilai
4. numeric: nilai numerik secara umum
5. integer: bilangan bulat
6. real: bilangan nyata
7. text: teks bebas tanpa struktur
8. date_time: tanggal dan waktu
9. date: hanya tanggal
10. time: hanya waktu
Data dan Format Data
Data dan metadata
• Data menyebutkan obyek-obyek dari sebuah konsep
Ditunjukkan sebagai baris dari tabel
• Metadata menggambarkan karakteristik dari konsep
tersebut
Ditunjukkan sebagai kolom dari tabel
Dukungan Format data
• Oracle, IBM DB2, Microsoft SQL Server, MySQL,
PostgreSQL, Ingres, Excel, Access, SPSS, CSV files dan
berbagai format lain.
Repositori
Menjalankan RapidMiner untuk pertama kali, akan
menanyakan pembuatan repositori baru
Repositori ini berfungsi sebagai lokasi penyimpanan
terpusat untuk data dan proses analisa kita
Perspektif dan View
Sebuah perspektif berisi pilihan elemen-elemen
GUI yang disebut view, yang dapat dikonfigurasi
secara bebas
• Elemen-elemen ini dapat diatur bagaimanapun juga
sesuka kita
Tiga perspektif:
1. Perspektif Selamat Datang (Welcome perspective)
2. Perspektif Desain (Design perspective)
3. Perspektif Hasil (Result perspective)
Perspektif dan View
Perspektif Desain
Perspektif pusat di mana semua proses analisa
dibuat dan dimanage
Pindah ke Perspektif Desain dengan:
• Klik tombol paling kiri
• Atau gunakan menu View → Perspectives → Design
View:
• Operators, Repositories, Process, Parameters, Help,
Comment, Overview, Problems, Log
Perspektif Desain
View Operator
Semua tahapan kerja (operator) ditampilkan dalam
kelompok
Setiap operator bisa diikutsertakan di dalam proses
analisa
View Operator
Process Control
• Untuk mengontrol aliran proses, seperti loop atau
conditional branch
Utility
• Untuk mengelompokkan subprocess, juga macro dan
logger
Repository Access
• Untuk membaca dan menulis repositori
View Operator
Import
• Untuk membaca data dari berbagai format eksternal
Export
• Untuk menulis data ke berbagai format eksternal
Data Transformation
• Untuk transformasi data dan metadata
Modelling
• Untuk proses data mining yang sesungguhnya seperti
klasifikasi, regresi, clustering, aturan asosiasi dll
Evaluation
• Untuk menghitung kualitas dan perfomansi dari model
View Operator
View Repositori
Layanan untuk manajemen proses analisa, baik
data, metadata, proses maupun hasil
View Proses
Menampilkan proses analisa yang berisi berbagai
operator dengan alur koneksi diantara mereka
View Proses
View Parameter
Operator kadang memerlukan parameter untuk
bisa berfungsi
Setelah operator dipilih di view Proses,
parameternya ditampilkan di view ini
View Parameter
View Help dan View Comment
View Help menampilkan deskripsi dari operator
View Comment menampilkan komentar yang dapat
diedit terhadap operator
View Help dan View Comment
View Overview
Menampilkan seluruh area kerja dan menyorot
seksi yang ditampilkan saat ini dengan sebuah kotak
kecil
View Overview
View Problems
Menampilkan setiap pesan warning dan error
View Log
Menampilkan pesan log selama melakukan desain
dan eksekusi proses
View Problems and View Log
Operator dan Proses
Proses data mining pada dasarnya adalah proses
analisa yang berisi alur kerja dari komponen data
mining
Komponen dari proses ini disebut operator, yang
didefinisikan dengan:
1. Deskripsi input
2. Deskripsi output
3. Aksi yang dilakukan
4. Parameter yang diperlukan
Operator dan Proses
Sebuah operator bisa disambungkan melalui port
masukan (kiri) dan port keluaran (kanan)
Metode
Input Output
(Algoritma
(Data) (Pola/Model)
Data Mining)
Contoh: Rekomendasi Main Golf
1. Lakukan training pada data golf (ambil dari
repositories rapidminer) dengan
menggunakan algoritma decision tree (C4.5)
2. Tampilkan data (input) dan model tree
(output) yang terbentuk
Psychomotor Test: Penentuan Jenis Bunga Iris
1. Lakukan training pada data bunga Iris (ambil
dari repositories rapidminer) dengan
menggunakan algoritma decision tree (C4.5)
2. Tampilkan data (input) dan model tree (output)
yang terbentuk
Psychomotor Test: Penentuan Mine/Rock
1. Lakukan training pada data Sonar (ambil dari
repositories rapidminer) dengan menggunakan
algoritma decision tree (C4.5)
2. Tampilkan data (input) dan model tree (output)
yang terbentuk
Contoh: Rekomendasi Contact Lenses
1. Lakukan training pada data contact lenses (contact-
lenses.arff) dengan menggunakan algoritma C4.5
2. Pilih label dari data (set role)
3. Tampilkan data (input) dan model tree (output)
yang terbentuk
Psychomotor Test: Estimasi Performance CPU
1. Lakukan training pada data CPU (cpu.arff)
dengan menggunakan algoritma linear
regression
2. Tampilkan data (input) dan model tree (output)
yang terbentuk
Psychomotor Test: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu
(datapemilukpu.xls) dengan
menggunakan algoritma C4.5
2. Pilih label dari data (set role)
3. Tampilkan data (input) dan model tree
(output) yang terbentuk
Evaluasi dan Validasi terhadap
Model (Output) yang Terbentuk
Input – Metode – Output – Evaluation
Evaluatio
Input Metode Output n
(Algoritma (Akurasi,
(Data) (Pola/Model)
Data Mining) AUC, RMSE,
etc)
Psychomotor Test: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu
(datapemilukpu.xls) dengan menggunakan
algoritma C4.5, NB dan K-NN
2. Lakukan pengujian dengan menggunakan 10-fold
X Validation
3. Ukur performance-nya dengan confusion matrix
dan ROC Curve
C4.5 NB K-NN
Accuracy 92.45% 77.46% 88.72%
AUC 0.851 0.840 0.5
Psychomotor Test: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu
(datapemilukpu.xls) dengan menggunakan
algoritma C4.5, NB dan K-NN
2. Lakukan pengujian dengan menggunakan 10-fold
X Validation
3. Ukur performance-nya dengan confusion matrix
dan ROC Curve
4. Uji beda dengan t-Test untuk mendapatkan model
terbaik
Prediksi Elektabilitas Caleg: Result
Komparasi Accuracy dan AUC
C4.5 NB K-NN
Accuracy 92.45% 77.46% 88.72%
AUC 0.851 0.840 0.5
DT NB K-NN RF LR LDA
Accuracy 92.21% 76.89% 89.63%
AUC 0.851 0.826 0.5
Psychomotor Test: Prediksi Harga Saham
1. Lakukan training pada data harga saham (hargasaham-
training.xls) dengan menggunakan neural network
2. Lakukan pengujian dengan numerical XValidation
3. Lakukan Ploting data testing
4. Ukur performance-nya dengan menggunakan: RMSE
Psychomotor Test: Prediksi Harga Saham
1. Lakukan training pada data harga saham (hargasaham-
training.xls) dengan menggunakan neural network
2. Lakukan pengujian dengan data uji (hargasaham-testing.xls)
3. Lakukan Ploting data testing
4. Ukur performance-nya dengan menggunakan: RMSE
5. Ubah metode ke linear regression dan support vector
machine
Psychomotor Test: Klastering Jenis Bunga Iris
1. Lakukan training pada data iris (ambil dari repositories
rapidminer) dengan menggunakan algoritma
clustering k-means
2. Set k=3
3. Tampilkan data (input) dan cluster (output) yang
terbentuk
4. Ukur performance-nya
Psychomotor-Cognitive Assignment I
1. Lakukan ujicoba terhadap semua dataset yang ada di folder
datasets, dengan menggunakan berbagai metode data mining
yang sesuai (estimasi, prediksi, klasifikasi, clustering,
association)
2. Kombinasikan pengujian dengan pemecahan data training-
testing, dan pengujian dengan menggunakan metode X
validation
3. Ukur performance dari model yang terbentuk dengan
menggunakan metode pengukuran sesuai dengan metode data
mining yang dipilih
4. Jelaskan secara mendetail tahapan ujicoba yang dilakukan,
kemudian lakukan analisis dan sintesis, dan buat laporan dalam
bentuk slide
5. Kirimkan ke [email protected], deadline sehari sebelum
kuliah pertemuan berikutnya, presentasikan di depan kelas
Referensi
1. Ian H. Witten, Frank Eibe, Mark A. Hall, Data mining: Practical
Machine Learning Tools and Techniques 3rd Edition, Elsevier,
2011
2. Daniel T. Larose, Discovering Knowledge in Data: an
Introduction to Data Mining, John Wiley & Sons, 2005
3. Florin Gorunescu, Data Mining: Concepts, Models and
Techniques, Springer, 2011
4. Jiawei Han and Micheline Kamber, Data Mining: Concepts and
Techniques Second Edition, Elsevier, 2006
5. Oded Maimon and Lior Rokach, Data Mining and Knowledge
Discovery Handbook Second Edition, Springer, 2010
6. Warren Liao and Evangelos Triantaphyllou (eds.), Recent
Advances in Data Mining of Enterprise Data: Algorithms and
Applications, World Scientific, 2007