Damascus University Journal Vol. (25) - No.

(2) 2009

Mrabti - Seridi

Comparaison de mthodes de classification

rseau RBF, MLP et RVFLNN1

Mrabti Fatima2

Seridi Hamid3

Rsum
Dans ce papier, nous prsentons une tude comparative de trois modles
neuronaux, comme tant des outils de dcision dstins la classification
dobjets dans le domaine de la reconnaissance des formes, tels que : le rseau
RBF (Radial Basis Functions), le MLP (Multi Layer Perceptron) et le
RVFLNN (Random Vector Functional Link Neural Network). Le but de ce
travail est d'tudier leurs architectures, leurs algorithmes d'apprentissage et
dapercevoir leurs performances de capacit de classification. Pour comparer
leurs performances, nous utilisons deux bases de donnes : Iris et texture. La
qualit de dcision de chaque classifieur dpend du choix de son architecture
et de sa mise en uvre.
Mots cls -- Apprentissage supervis, apprentissage
non
supervis,
classification, reconnaissance des formes, le rseau RBF, le MLP, le
RVFLNN.

For the paper in Arabic see pages (351-352).

Facult de Sciences et d'ingnierie, Dpartement de Gnie lectrique,
Universit de Guelma
3
Matre de confrence universit de Guelma, Facult de Sciences et
d'ingnierie, Dpartement d'informatique, Universit de Guelma
2

119

Comparaison de mthodes de classification rseau RBF, MLP et RVFLNN

Introduction
Au cours de ces dernires dcennies est apparu un ensemble de disciplines
fortement interdpendantes, portant sur le traitement de linformation, la
thorie de la dcision et les mthodes de reconnaissances des formes en
loccurrence les rseaux de neurones. Ces modles constituent une
mthode connexionniste intressante pour l'analyse et la synthse des
systmes demandant un traitement parallle et un processus d'adaptation
un environnement changeant. Leurs champs d'applications est beaucoup
largi et tendu plusieurs domaines, en particulier dans: la reconnaissance
des formes, lapproximation des fonctions, le traitement d'image, la
reconnaissance de la parole, la classification Ainsi ils reprsentent des
outils de calcul trs puissants mais avec quelques inconvnients aviser
comme: la mauvaise matrise de leur fonctionnement en particulier au
niveau de l'initialisation o il n'existe pas de mthodologie pour le choix
d'une topologie de rseau adquate au problme donn. Dautre part, ils
sont incapables expliquer les rsultats qu'ils fournissent o ils sont
considrs comme des boites noires. Lobjectif de cet article est de
prsenter trois architectures des rseaux de neurones et de comparer leurs
performances dans le domaine de la classification supervise.
1. Classification par le rseau RBF
1.1. Architecture
Introduit par Powell et Broomhead [1], le rseau RBF (Radial Basis
Functions) fait partie des rseaux de neurones superviss. Il est constitu de
trois couches (figure 1): une couche d'entre qui retransmet les entres sans
distorsion, une seule couche cache qui contient les neurones RBF qui sont
gnralement des gaussiennes [1] [2] [3] et une couche de sortie dont les
neurones sont gnralement anims par une fonction d'activation linaire.
Chaque couche est compltement connecte la suivante et il n'y a pas de
connexions l'intrieur d'une mme couche.

120

Damascus University Journal Vol. (25) - No. (2) 2009

Vecteur
dentre

Mrabti - Seridi

Vecteur de sortie
dsire

Vecteur de sortie
calcule

x1

u11

v11

x2

.
.
.

xN

.
.

.
.
uMJ
vNM

Couche
dentre

z1

t1

z2

t2

.
.
zJ .

tJ

.
.
.

Couche
de sortie

Couche
cache

Figure 1. Prsentation schmatique d'un rseau RBF

Ce rseau est constitu de N neurones d'entre, M neurones cachs et J

neurones de sortie.
La sortie du mime neurone de la couche cache est donne par :

ym

(q )

= exp

x (q )

2
m

(2 )
2

(1)

ime
neurone de la couche cache o du mime
v m est le centre du m

neurone gaussien et

est la largeur du mime gaussienne.

La sortie du jime neurone de la couche de sortie est donne par:

zj

(q )

1
(q )
.
wmj y m
M (m=1,M )

(2)

m =1,.., M et j=1,, J.

wmj

121

sont les poids reliant la couche cache celle de la sortie.

Comparaison de mthodes de classification rseau RBF, MLP et RVFLNN

1.2. Algorithme d'apprentissage du rseau RBF

L'apprentissage du rseau RBF a t prsent la premire fois par Moody et
Darken [2]. Il consiste rgler quatre paramtres principaux: le nombre de
neurones dans lunique couche cache ou le nombre des gaussiennes, la
position des centres de ces gaussiennes, la largeur de ces gaussiennes et les
poids de connexions entre les neurones cachs et le(s) neurone(s) de sortie.
Le rseau RBF consiste minimiser l'erreur quadratique totale E calcule
entre les sorties obtenues du rseau et celles dsires :

E=

q =1 j =1

(t

(q )
j

zj

(q )

Pour le rseau RBF, lajustement des poids

(3)

wmj reliant la couche cache

celle de la sortie est ralis par la rgle de Widrow-Hoff. Il se fait

comme suit :

(i+1)

wmj

= wmj + .(t j z j ).ym

(i )

t j est la sortie du j

ime

(4)
neurone dsire, z j est la sortie du jime neurone

calcule, y m est la sortie du mime neurone de la couche cache et est le

pas d'apprentissage dont sa valeur est comprise entre 0 et 1.
Dans les taches de classification, le nombre et les centres des gaussiennes
sont choisis par des techniques de regroupement de donnes de type Kmeans [4]. Les largeurs des gaussiennes sont calcules par la valeur
moyenne des distances sparant tous les exemples au centre correspondant.
Les K-means [4] [5] sont des mthodes itratives permettant de sparer une
srie de vecteurs en diffrents clusters et chaque cluster est reprsent par
un centre.
1.3. Algorithme des K-means
Lalgorithme des K-means se prsente comme suit [4] :
Choisir au hasard le centre de chacun des K clusters.
Attribuer chaque objet au cluster dont le centre lui est le plus proche.
Recalculer les positions des nouveaux centres.
Rpter les tapes 2 et 3 jusqu convergence, cest--dire jusqu ce
qu'un nombre d'itrations maximal soit atteint.
Lalgorithme des K-means prsente des avantages tels que : la convergence
rapide, la facilit de mise en uvre et la possibilit de traiter des grandes

122

Damascus University Journal Vol. (25) - No. (2) 2009

Mrabti - Seridi

bases de donnes. Son inconvnient rside dans la ncessit de la

connaissance priori du nombre de clusters.
2. Classification par le MLP
2.1. Architecture
Un MLP (Multi Layer Perceptron) est compos d'une couche d'entre, une
couche de sortie et une ou plusieurs couches caches [6] [7]. Les lments
de deux couches adjacentes sont interconnects par des poids assurant la
liaison des diffrentes couches comme indiqu sur la figure 2.

w11

x1

y1 u11

x2

xN

.
.
.

.
.
wNM

Couche dentre

t1

z2

t2
.
.
t .

.
.
zJ .

.
yM
u MJ

z1

Couche de sortie

Couche cache

Figure 2. Prsentation schmatique d'un MLP

wnm

reprsente les poids reliant la couche d'entre avec la couche

cache ;
u mj reprsente les poids reliant la couche cache avec celle de la sortie.
Les composants du vecteur d'entre X du MLP seront pondrs par les
poids

wnm

et ensuite transmis la couche cache selon les quations

suivantes :

cm =

N
n =1

x n w nm

ym = f (cm )

123

(5)
(6)

Comparaison de mthodes de classification rseau RBF, MLP et RVFLNN

Les sorties de la couche cache seront aussi pondrs par les poids

u mj et

transmis ensuite la couche de sortie selon les quations suivantes :

oj =

M
m =1

y m u mj

(7)

t j = g (o j )

(8)
f et g reprsentent respectivement les fonctions d'activations des
neurones de la couche cache et celle de la de sortie. Pour notre cas elles
sont des sigmodes.
La fonction sigmode est : f ( x ) =
'

1
1+ e

( )[

( )

(9)

( )]

Sa drive est : f x = . f x 1 f x
(10)
2.2. Algorithme d'apprentissage
L'apprentissage consiste adapter les valeurs des poids afin d'obtenir le
comportement dsir du MLP. Pour cela, on se cre une base d'exemples o
chaque exemple est constitu d'un vecteur d'entre et d'un vecteur de sortie
appropri. Un algorithme d'apprentissage connu sous le nom d'algorithme
de rtropropagation du gradient a t mis en place en 1985 par Rumelhart
et Al. [6].

u mj qui relient la couche cache celle de la

Ainsi l'adaptation des poids

sortie est comme suite :
(i+1)
(i )

= umj + 1.(t j z j )g ' (o j )ym

umj

La mise jour des poids

wnm

(11)

reliant la couche d'entre celle cache est

comme suite :

wnm
1

124

(i+1)

et

(i )

= wnm + 2 .
2

(t

j =1,i =1

z j )g ' (o j ).umj f ' (cm ) (xn )

sont les pas d'apprentissage.

(12)

Damascus University Journal Vol. (25) - No. (2) 2009

Mrabti - Seridi

3. Classification par le RVFLNN

3.1. Architecture
Le RVFLNN (Random Vector Functional Link Neural Network) est un
modle du perceptron [8] dvelopp par Pao et al [9]. Il consiste comme un
rseau ayant les sorties de la couche cache du MLP comme des entres
supplmentaires (figure 3). Le rseau possde donc (N+M) entres, selon
Pao les (M) entres fournies par la couche cache forme
un ensemble d'entres optimises.

v11

x1

z1

z2
t2
. .
.
.
zJ .
. tJ

x2

.
.
xN .

v NM
Couche
dentre

t1

u11

Couche
de sortie

u MJ
Couche
cache

Figure 3. Prsentation schmatique dun RVFLNN

La fonction d'activation utilise pour chaque neurone cache et de sortie est

une sigmode.
3.2. Algorithme d'apprentissage du RVFLNN
L'apprentissage du RVFLNN consiste ajuster seulement les poids
reliant la couche d'entre avec celle de la sortie et les poids

125

u mj

v nj

reliant la

Comparaison de mthodes de classification rseau RBF, MLP et RVFLNN

couche cache avec celle de la sortie. Les poids

wnm

reliant la couche

d'entre avec la couche cache sont non ajustables [9].

La jime sortie du rseau est donne par:

z j = g (o j ) = g

N
n =1

x n v nj +

M
m =1

(13)

y m u mj

Ainsi la mise jour des poids de connexions l'itration (i+1) reliant la

couche cache avec celle de la sortie est comme suite:

u mj

(i +1)

= u mj

(i )

Q
q =1

(t ( )
q

zj

(q )

)g (o )y
'

(14)

L'adaptation des poids de connexions reliant la couche d'entre avec celle

de la sortie est :

v nj

(i +1)

= v nj

(i )

Q
q =1

(t ( )
q

zj

(q )

)g (o )x
'

(15)

est le pas d'apprentissage.

4. Tests et rsultats
Notre travail est ralis sur un ordinateur de type Pentium 4 et de vitesse de
2.4 GHZ. Les programmes utiliss pour la comparaison de la performance
et la capacit de classification des trois modles neuronaux prsents
prcdemment: le rseau RBF, le MLP et le RVFLNN sont excuts en
MATLAB en utilisant
deux bases de donnes : Iris
(http://mlearn.ics.uci.edu/databases/iris) et texture (ralis par le professeur
Noel Bonnet de Leri [10]). L'architecture de chaque rseau neuronal est
caractrise par: une couche d'entre ayant un nombre de neurone gal au
nombre des caractristiques; une couche cache dont le nombre de neurone
est dtermine exprimentalement et une couche de sortie ayant un nombre
de neurone gal au nombre des classes discriminer et chaque sortie tant
ddi une classe donne. Pour valider la cohrence et la stabilit des
rsultats, nous utilisons la mthode de validation croise (cross-validation).
La premire base de donnes utilise est iris .Elle est constitue de 150
chantillons de fleurs: 135 chantillons pour l'apprentissage et 15 pour le
test. Elle est rpartie en trois classes. Chaque vecteur est dcrit par 4
caractristiques.
Dans le tableau 1, nous donnons les moyennes statistiques
dapprentissages, de tests et les temps d'apprentissage pour les modles

126

Damascus University Journal Vol. (25) - No. (2) 2009

Mrabti - Seridi

neuronaux : rseau RBF, MLP et RVFLNN sur la base de donnes Iris

aprs l'utilisation de la validation croise d'ordre 10.
Rseaux
Apprentissage
Utilis

RBF

MLP

RVFLNN

Non supervis
+ supervis

Supervis

Supervis

Taux
d'apprentissage
97.48
99.18
95.41
moyens (%)
Taux de test
98
95.33
94.67
moyens (%)
Temps
1.2016
dapprentissage
9.30
6.130
+ 0.3320
moyens (s)
Tableau 1: Taux et temps de classification moyens obtenus par les rseaux
RBF, MLP et RVFLNN

La deuxime base de donnes utilise est la texture. Elle est constitue de

800 pixels: 600 pixels pour l'apprentissage et 200 pour le test. Elle est
rpartie en deux classes. Chaque vecteur est dcrit par 8 caractristiques.
Le tableau 2 reprsente les moyennes statistiques dapprentissages, de tests
et le nombre d'itrations moyens pour les modles neuronaux : rseau RBF,
MLP et RVFLNN sur la base de donnes texture aprs l'utilisation de la
validation croise d'ordre 4.
Rseaux

RBF

MLP

RVFLNN

Apprentissage
Utilis
Taux
d'apprentissage
moyens (%)
Taux de test moyens
(%)

Non supervis +
supervis

Supervis

Supervis

99.95

100

99.62

99.37

99.25

99.12

30+50

700

2500

Nombre d'itrations
moyen

Tableau 2. Rsultats de la classification obtenus par les rseaux RBF,

RVFLNN et le MLP

127

Comparaison de mthodes de classification rseau RBF, MLP et RVFLNN

5. Conclusion
Les tests exprimentaux raliss sur les bases de donnes : Iris et texture,
avec le rseau RBF , le MLP et le RVFLNN, nous permettent de dgager
les points suivants : les rsultats obtenus par lensemble des modles sont
satisfaisants; les taux d'apprentissage fournis par le MLP sont souvent les
meilleurs mais ses performances dpendent de l'initialisation des poids;
tandis que les taux de test du rseau RBF sont les meilleurs de ceux des
autres rseaux neuronaux , d'o le rseau RBF a bien gnralis les
nouvelles donnes. La phase d'apprentissage du rseau RBF est plus rapide
que celle des deux autres modles neuronaux et il converge pour un
nombre rduit ditrations par rapport aux rseaux MLP et RVFLNN par
contre l'apprentissage du rseau RVFLNN est simple. L'utilisation de ces
modles neuronaux dans le domaine de la classification s'est avre
intressante et encourageante, pour cela nous envisageons l'application
d'une autre base de donne plus largie et aussi l'utilisation d'autres
techniques surtout pour amliorer mieux le taux d'apprentissage du rseau
RBF.

128

Damascus University Journal Vol. (25) - No. (2) 2009

Mrabti - Seridi

References
[1] Broomhead, D.S., Lowe, D. (1988), Multivariate functional
interpolation and adaptive networks, Complex Systems, vol 2, p.321-355.
[2] J.Moody and C.J Darken (1989). Fast Learning in Network for Locally
Tuned Processing Units, Neural Computation, vol.1, p.281-294.
[3] T.Poggio and F., Girosi (1990),"Network for approximation and
learning, "Proc. IEEE, vol 78, no. 9, pp. 1481 -1497.
[4] E.Forgy (1965). Cluster Analysis of multivariate data: effeciency versus
interpretability of classifications, Biometric, 21, 768-776.
[5]
Kohonen, T.K., Self Organization and Associative memory.Berlin:
Springer -Verlag (1989).
[6]
Rumelhart D.E. McClelland, J.L. (1986), Parallel Distributed
Processing, Explorations in the Microstructure of cognition. I & II,
Cambridge: MIT Press.
[7] Bishop C.M., Neural Networks for Pattern Recognition, Clarendon
Press OXFORD 1995.
[8] Rosenblatt F., The perceptron : a probabilistic model for information
storage and organization in the brain , Psycho.Review,vol.654,386408,1958.
[9]Pao, Y.H., Adaptive Pattern Recognition and Neural Network, Addison
Wesley, Reading, MA, 1989.
[10]Borgi, A., Apprentissage supervise par gnration de rgles:le systme
SUCRAGE, Thse de l'universit de Paris 6 ,1999.

Received, 30-3-2009.

129