Coh Jurnal
Coh Jurnal
Coh Jurnal
Riwayat artikel:
Received: 18-20-2022 Revised: 08-11-2022 Accepted: 11-11-2022
Abstract
Artificial Neural Network is a supervised learning method for various classification
problems. Artificial Neural Network uses training data to identify patterns in the data;
therefore, training phase is crucial. During this stage, the network weight is adjusted so
that they can recognize patterns in the data. In this research, a neuroevolution approach
is proposed to optimize artificial neural network parameters (weight) Neuroevolution is a
combination of evolutionary algorithms, including various metaheuristics algorithms, to
optimize neural network parameters and configuration. In particular, this research
implemented particle swarm optimization as the artificial neural network optimizer. The
performance of the proposed model was compared to backpropagation, which uses
gradient information to adjust the neural network parameter. There are five datasets used
as the benchmark problems. The datasets are iris, wine, breast cancer, ecoli, and wheat
seeds. The experiment results show that the proposed method has better accuracy than the
backpropagation in three out of five problems and has the same accuracy in two problems.
The proposed method is also faster than the backpropagation method in all problems.
These results reveal that neuroevolution is a promising approach to improving the
performance of artificial neural networks. Further studies are needed to explore more
benefits of this approach.
Keywords: Neuroevolution, Particle swarm optimization, Neural Network, Tuning
Abstrak
Jaringan saraf tiruan merupakan metode supervised learning yang telah diterapkan untuk
menyelesaikan berbagai permasalahan klasifikasi. Sebagai metode supervised learning,
jaringan saraf tiruan memerlukan data training untuk mengidentifikasi pola dalam data
sehingga fase learning menjadi penting. Pada fase learning, konfigurasi bobot pada
jaringan saraf tiruan diatur sehingga jaringan saraf tiruan tersebut bisa mengenali pola di
dalam data. Pada penelitian ini diusulkan metode untuk mengoptimalkan nilai bobot pada
konfigurasi jaringan saraf tiruan menggunakan pendekatan neuroevolution.
Neuroevolution adalah pengintegrasian metode evolutionary algorithm; termasuk di
126 Neuroevolution untuk optimalisasi parameter jaringan saraf tiruan (Purnomo, dkk)
dalamnya adalah berbagai metode metaheuristik; dengan jaringan saraf tiruan. Secara
khusus, penelitian ini menggunakan metode particle swarm optimization untuk
mengoptimalkan bobot pada jaringan saraf tiruan. Kinerja model yang diusulkan
dibandingkan dengan metode backpropagation dengan stochastic gradient descent
menggunakan lima dataset: iris, wine, breast cancer, ecoli, dan wheat seeds. Hasil
eksperimen menunjukkan bahwa model yang diusulkan memiliki akurasi yang lebih baik
di tiga dataset dari lima dataset dan memiliki kinerja yang sama di dua dataset. Hasil
penelitian ini mengindikasikan bahwa pendekatan neuroevolution memiliki potensi sebagai
metode optimalisasi parameter pada jaringan saraf tiruan. Penelitian ini bisa dikembangkan
dengan mengidentifikasi karakteristik konvergensi dari pendekatan neuroevolution
maupun menerapkan berbagai metode evolutionary algorithm untuk mengoptimalkan nilai
bobot pada jaringan saraf tiruan.
Kata kunci: neuroevolution, particle swarm optimization, jaringan saraf tiruan, tuning
Pendahuluan
Jaringan saraf tiruan merupakan metode klasifikasi yang mengimitasi cara
kerja sel saraf. jaringan ini memiliki beberapa lapisan sel saraf, yaitu lapisan input,
lapisan tersembunyi dan lapisan output. Jaringan saraf tiruan banyak dipergunakan
untuk menyelesaikan berbagai permasalahan klasifikasi [1], [2]. Jaringan saraf
tiruan merupakan metode supervised learning yang memerlukan pembelajaran
untuk bisa mengenali pola yang terdapat di dalam dataset. Metode learning yang
banyak dipergunakan adalah metode backpropagation. Metode backpropagation
memanfaatkan gradient dari fungsi error (loss function) untuk meminimalkan error
dengan cara melakukan penyesuaian nilai bobot pada koneksi antar node (neuron)
di dalam jaringan saraf tiruan [3].
Fase training pada jaringan saraf tiruan merupakan proses yang kompleks
dan panjang karena distribusi lapisan input berubah oleh perubahan parameter input
dari lapisan sebelumnya [4]–[6]. Fase training merupakan fase yang sangat krusial
dalam jaringan saraf tiruan karena fase ini yang akan menghasilkan konfigurasi
bobot antar sel saraf. Jika proses training berjalan dengan baik, maka akan
didapatkan konfigurasi bobot yang baik, sehingga performa jaringan saraf tiruan
akan tinggi. Sebaliknya, jika proses training yang kurang baik, maka akan
menyebabkan performa jaringan saraf tiruan menjadi tidak baik. Ada dua faktor
penting yang mempengaruhi keberhasilan proses training, yaitu dataset dan metode
learning. Jumlah data yang terlalu banyak dan proses training yang berlebihan akan
menyebabkan terjadinya overfitting, di mana model yang dihasilkan akan
merepresentasikan setiap data training tetapi kurang mencerminkan generalisasi
dari data training. Sebaliknya, jika jumlah data terlalu sedikit dan proses training
tidak banyak akan menyebabkan underfitting, di mana model tidak dapat
merepresentasikan informasi penting di dalam data training.
Implementasi metode berbasis jaringan saraf tiruan yang semakin masif
menghadirkan berbagai tantangan baru. Volume data yang terus meningkat
AITI: Jurnal Teknologi Informasi
Volume 20 No. 2 Agustus 2023, 125-134 127
memerlukan sumber daya yang besar untuk mengolahnya. Hal ini menyebabkan
metode training yang cepat dan efisien menjadi sangat penting dalam
pengembangan dan penerapan jaringan saraf tiruan. Salah satu metode yang
dipergunakan secara luas adalah metode backpropagation yang menggunakan
metode learning stochastic gradient descent (SGD). Metode ini memiliki
keterbatasan antara lain; sulitnya untuk mencapai konvergensi ketika jumlah
lapisan dalam jaringan saraf tiruan cukup banyak [7], proses training yang lama,
serta resiko terjadinya vanishing gradient. Hal tersebut akan mempengaruhi
performa dari jaringan saraf tiruan secara keseluruhan. Ada beberapa
pengembangan metode SGD yang sudah dilakukan, antara lain metode Adagrad
[8], Root Mean Square Propagation, RMSProp [9], dan adaptive momentum
estimation, Adam [10]. Meskipun pengembangan ini mampu meningkatkan SGD
sampai pada batas tertentu, proses training pada jaringan saraf tiruan masih menjadi
sebuah tantangan. Oleh karena itu, para peneliti berusaha mencari terobosan baru
untuk mengatasi permasalahan tersebut. Salah satu pendekatan yang dilakukan
adalah dengan neuroevolution. Neuroevolution adalah sebuah pendekatan yang
mengkombinasikan antara evolutionary algorithm dengan jaringan saraf tiruan.
Neuroevolution menjadi salah satu alternatif yang menjanjikan untuk melakukan
training pada jaringan saraf tiruan [11].
Evolutionary algorithm merupakan metode optimalisasi yang terinspirasi
dari proses evolusi makhluk hidup. Metode ini didesain untuk menemukan nilai
optimal global atau local dalam waktu yang cepat (acceptable search time) dengan
sumber daya komputasi yang kecil atau reasonable computational cost [5]. Secara
umum, yang termasuk dalam metode evolutionary algorithm ini adalah berbagai
metode metaheuristik, yang dapat dipakai untuk permasalahan diskrit maupun
kontinyu. Beberapa metode metaheurisitk yang popular antara lain Algoritma
Genetik (AG), Particle Swarm Optimization (PSO) dan Ant Colony Optimization
(ACO). Metode metaheuristik merupakan metode yang handal untuk mengatasi
berbagai permasalahan optimalisasi. Metaheuristik sudah banyak diterapkan pada
berbagai permasalahan optimalisasai, antara lain untuk penjadwalan [12], vehicle
routing problem [13] dan optimalisasi assembly line [14].
Integrasi evolutionary algorithm dan deep neural network, yang sering
disebut dengan neuroevolution, semakin menarik para peneliti karena berbagai
penelitian awal yang mengindikasikan potensi neuroevolution yang sangat
menjanjikan. Beberapa penelitian yang sudah dilakukan terkait integrasi antara
evolutionary algorithm dan artificial neural network antara lain Leung, dkk [15]
mengembangkan modifikasi algoritma genetik untuk melakukan tuning struktur
dan parameter jaringan saraf tiruan. Juang [16] menggabungkan PSO dan AG untuk
melakukan training recurrent neural network dan fuzzy neural network. Rere [17]
menerapkan simulated annealing untuk mempercepat proses training pada deep
learning. Neuroevolution memiliki kemampuan untuk bisa mengoptimalkan
128 Neuroevolution untuk optimalisasi parameter jaringan saraf tiruan (Purnomo, dkk)
parameter serta mempelajari building blok solusi dan hiper parameter. Hal inilah
yang kemudian menyebabkan neuroevolution lebih banyak dipergunakan untuk
mengoptimalisasi bobot neural network [18], mengoptimalkan konfigurasi neural
network [9], [19] dan mengoptimalkan hyperparameter [20].
Hasil-hasil penelitian awal terkait neuroevolution ini tentunya perlu untuk
terus dilakukan, sehingga potensi neuroevolution bisa lebih dieksplorasi dan
dimanfaatkan. Dalam penelitian ini dilakukan eksplorasi neuroevolution untuk
mengoptimalkan parameter pada deep neural network. Secara khusus, penelitian
difokuskan pada penerapan particle swarm optimisation untuk mengoptimalkan
parameter bobot pada jaringan saraf tiruan. Performa model yang dihasilkan
kemudian diuji pada permasalahan klasifikasi menggunakan lima dataset yaitu
dataset iris, wine, breast cancer, pima-indiana-diabetes dan wheat-seeds [21].
Metode Penelitian
Model yang diusulkan dalam penelitian berfokus pada optimalisasi
paramater bobot (weight) jaringan saraf tiruan. Oleh karena itu, konfigurasi jaringan
saraf tiruan ditentukan di awal, yaitu neural network yang terdiri dari lapisan input,
satu lapisan tersembunyi, dan lapisan output. Jumlah node di lapisan input
disesuaikan dengan jumlah fitur dari permasalahan yang akan diselesaikan dan
node bias. Jumlah node di lapisan tersembunyi dipengaruhi oleh jumlah node di
layer input sedangkan jumlah node di lapisan output disesuaikan dengan jumlah
kelas target dari permasalahan yang akan diselesaikan.
di mana :
𝐷 : panjang vektor solusi/dimensi permasalahan
𝑛_𝑖 : jumlah node dilapisan input
𝑛_ℎ : jumlah node di lapisan tersembunyi
𝑛_𝑜 : jumlah node di lapisan output
Dalam PSO, pencarian solusi menggunakan analogi pergerakan partikel di
dalam ruang solusi. Posisi partikel dinyatakan dengan Persamaan (2) dan (3) [22].
𝑥 𝑡 1 𝑥 𝑡 𝑣 𝑡 1 2
𝑣 𝑡 1 𝑖 𝑣 𝑡 𝑐 𝑟 𝑝 𝑥 𝑡 𝑐 𝑟 𝑔 𝑥 𝑡 3
di mana:
t : waktu
𝑥 : posisi partikel 𝑖 pada dimensi ke- 𝑑
𝑣 , : kecepatan partikel 𝑖 pada dimensi ke- 𝑑
𝑖 : bobot inersia
𝑐 : koefisisen kognitif
𝑐 : koefisien sosial
𝑝 : posisi terbaik partikel 𝑖 pada dimensi ke- 𝑑
𝑔 : posisi pertikel terbaik (global best) pada dimensi ke- 𝑑
𝑟 ,𝑟 : nilai random
Pada saat mencari solusi terbaik, kumpulan partikel ini akan terus bergerak
dalam kelompoknya (swarm). Mekanisme pergerakan partikel-partikel dalam
mencari solusi terbaik dapat dideskripsikan pada Kode Program 1.
Kode Program 1 Pseudocode PSO
Inisialisasi_posisi_partikel ()
evaluasi_partikel()
menentukan_posisi_terbaik_partikel_i
menentukan_posisi_global_best
Hasil dari fungsi agregasi ini kemudian dipetakan ke nilai output oleh fungsi
aktivasi. Fungsi aktivasi dari lapisan tersembunyi menggunakan fungsi sigmoid,
yang dirumuskan dengan Persamaan (5).
1
𝑍 𝑆 5
1 𝑒
Nilai aktivasi dari lapisan tersembunyi akan menjadi nilai input bagi lapisan
output dan dirumuskan dengan Persamaan (6).
𝑆 𝑊 𝑍 𝐵 6
Fungsi aktivasi untuk lapisan output adalah fungsi softmax karena output-nya
menggunakan one hot encoding. Fungsi softmax diformulasikan dengan Persamaan (7).
𝑒
𝜎 𝑆 7
∑ 𝑒
di mana :
𝑆 : fungsi agregasi di lapisan tersembunyi
𝑆 : fungsi agregasi di lapisan output
𝐼 : vektor input
𝑊 : matrik bobot antara lapisan input dengan lapisan tersembunyi
𝑊 : matrik bobot antara lapisan tersembunyi dengan lapisan output
𝐵 : vektor bias input
𝐵𝑜 : vektor bias lapisan tersembunyi
𝑍 : fungsi aktivasi di layer tersembunyi
𝜎 : vektor luaran di layer output
𝐾 : jumlah kelas output
AITI: Jurnal Teknologi Informasi
Volume 20 No. 2 Agustus 2023, 125-134 131
Karena bobot pada jaringan saraf tiruan didapatkan dari partikel dalam PSO, maka
nilai 𝑊 dan 𝑊 didapatkan dari nilai x pada PSO sesuai dengan pemetaannya.
Simpulan
Jaringan saraf tiruan merupakan salah satu metode klasifikasi yang banyak
diimplementasikan untuk menangani berbagai permasalahan. Salah satu fase
krusial dalam jaringan saraf tiruan adalah fase tuning parameter. Pendekatan
backpropagation dengan memanfaatkan gradient yang selama ini dipergunakan
memiliki berbagai keterbatasan, sehingga diperlukan terobosan baru untuk
meningkatkan proses tuning parameter pada jaringan saraf tiruan. Salah satu
pendekatan yang dilakukan adalah dengan neuroevolution, yang
mengkombinasikan antara metode evolutionary algorithm dengan artificial neural
network. Dalam penelitian ini dilakukan pemodelan tuning parameter jaringan
saraf tiruan menggunakan metode particle swarm optimization. Model yang
diusulkan dibandingkan dengan metode backpropagation-SGD dan diterapkan
pada lima benchmark problems.
Hasil penelitian menunjukkan bahwa tuning parameter jaringan saraf tiruan
menggunakan metode particle swarm optimization memiliki akurasi yang lebih
baik di tiga dari lima benchmark problems serta memiliki akurasi yang setara
AITI: Jurnal Teknologi Informasi
Volume 20 No. 2 Agustus 2023, 125-134 133
Acknowledgements
Penelitian ini didanai oleh Hibah Riset UKSW tahun 2022 no
190/Pen./Rek./6/V/2022.
Daftar Pustaka
[1] O. Kwon, et al., "A deep neural network for classification of melt-pool images in metal
additive manufacturing", Journal of Intelligent Manufacturing, vol 31, pp. 375-389,
2020
[2] H. H. Sultan, et al., "Multi-classification of Brain Tumor Images using Deep Neural
Network", IEEE Access, vol 7, pp. 69215-69225, May 2019
[5] S. Fong, et al., "How Metaheuristics Algorithm Contribute to Deep Learning in the
Hype of Big Data Analytics", in Proceeding in Intelligent Computing Techniques:
Theory, Practice and Applications, Advances in Intelligent System and Computing,
vol 518, pp. 3-25, 2017
[7] Q. Meng, et al., "Convergence analysis of distributued stochastic gradient descent with
shuffling", Neurocomputing, vol 337, pp. 46-57, April 2019
[8] J. Duchi, et al., "Adaptive Subgradient Methods for Online Learning and Stochastic
Optimization", Journal of Machine Learning Research, vol 12, pp. 2121-2159, July
2011
[9] E. Real, et al., "Regularized Evolution for Image Classifier Architecture Search",
Proceeding of the AAAI Conference on Artificial Intelligence, vol 33, no 1, pp. 4780-
4789, 2019
134 Neuroevolution untuk optimalisasi parameter jaringan saraf tiruan (Purnomo, dkk)
[11] K.O. Stanley, et al., "Designing neural networks through neuroevolution", Nature
Machine Learning, vol 1, pp 24-35, Jan 2019
[12] R. Pellerin, et al., "A survey of hybrid metaheuristics for the resource-constrained
project scheduling problem", European Journal of Operation Research, vol 280, no
2, pp. 395-416, Jan 2020
[13] R. Elshaer and H. Awad, "A taxonomy review of metaheuristics algorithms for
solving the vehicle routing problem and its variants", Computer & Industrial
Engineering, vol 140, pp. 106242, Feb 2020
[14] H. D. Purnomo and H. M. Wee., "Maximizing production rate and workload balancing
in two-sided assembly line using harmony search", Computer & Industrial
Engineering, vol 76, 222-230, Oct 2014
[15] F.H.F. Leung, et al., "Tuning of the structure and parameters of a neural network using
an improved genetic algorithm", IEEE Transactions on Neural Network, vol 14, no 1,
pp. 79-88, Jan 2003
[16] C. F. Juang., "A Hybrid of Genetic Algorithm and Particle Swarm Optimization for
Recurrent Network Desing", IEEE Transactions on System, Man and Cybernetics, vol
34, no 2, pp. 997-1006 April 2004
[17] L. M. R. Rere, et al., "Simulated Annealing Algorithm for Deep Learning", Procedia
Computer Science, vol 72, pp. 137-144, 2015
[19] C. Liu, et al., "Auto-Deeplab: Hierarchical Neural Architecture Search for Semantic
Image Segmentation", Proceeding of the IEEE conference on computer vision and
pattern recognition, pp. 82-92, June 2019
[22] Y. Shi and R. Eberhart, "A modified particle swarm optimization", IEEE International
Conference on Evolutionary Computation Proceeding. IEEE World Congress on
Computational Intelligence, 1998