Appunti Di Machine Learning

Appunti di Machine Learning
Maurizio Dimatteo
[email protected]
30 maggio 2014
Indice
1 Introduzione 5
1.1 Ragionamento deduttivo e induttivo . . . . . . . . . . . . . . 5
Esempio . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Apprendimento supervisionato e non supervisionato . . . . . 5
1.2.1 Supervisionato . . . . . . . . . . . . . . . . . . . . . . 5
Algoritmi di regressione . . . . . . . . . . . . . . . . . 6
Algoritmi di classicazione . . . . . . . . . . . . . . . 6
1.2.2 Non supervisionato . . . . . . . . . . . . . . . . . . . . 6
Clusterizzazione . . . . . . . . . . . . . . . . . . . . . 6
Dimensionality reduction . . . . . . . . . . . . . . . . 6
1.3 Scelta della migliore ipotesi . . . . . . . . . . . . . . . . . . . 6
1.3.1 Rasoio di Occam . . . . . . . . . . . . . . . . . . . . . 7
1.4 Modelli discriminativi e generativi . . . . . . . . . . . . . . . 7
1.4.1 Discriminativi . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2 Generativi . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Algoritmi di regressione lineari 8
2.1 Regressione semplice lineare . . . . . . . . . . . . . . . . . . . 8
2.2 Regressione multipla lineare . . . . . . . . . . . . . . . . . . . 8
2.2.1 Funzione costo . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Metodo delle equazioni normali . . . . . . . . . . . . . . . . . 9
2.3.1 Dimostrazione . . . . . . . . . . . . . . . . . . . . . . 10
2.4 Metodo della discesa del gradiente . . . . . . . . . . . . . . . 12
2.4.1 Batch gradient descent . . . . . . . . . . . . . . . . . . 15
2.4.2 Stochastic gradient descent . . . . . . . . . . . . . . . 16
2.4.3 Nota sullaggiornamento dei coecienti . . . . . . . . 17
1
2.5 Interpretazione probabilistica della regressione lineare . . . . 18
2.6 Modelli lineari generalizzati (GLM) . . . . . . . . . . . . . . . 20
2.6.1 Funzioni base . . . . . . . . . . . . . . . . . . . . . . . 20
3 Algoritmi di classicazione lineari 21
3.1 Regressione logistica . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.1 Funzione costo . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Metodo della discesa del gradiente . . . . . . . . . . . . . . . 24
3.2.1 Derivazione della regola di aggiornamento dei pesi . . 24
3.3 Regressione logistica: caso multiclasse . . . . . . . . . . . . . 25
3.4 Regolarizzazione . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.4.1 Regolarizzazione con norma
2
. . . . . . . . . . . . . 26
1
. . . . . . . . . . . . . 27
3.4.3
2
vs
1
. . . . . . . . . . . . . . . . . . . . . . . . . . 28
4 Progettazione di un sistema di ML 30
4.1 Analisi e pre-processing dei dati . . . . . . . . . . . . . . . . . 30
4.1.1 Pulizia dei dati . . . . . . . . . . . . . . . . . . . . . . 30
Quantili e quartili . . . . . . . . . . . . . . . . . . . . 31
4.1.2 Pre-processing . . . . . . . . . . . . . . . . . . . . . . 31
Normalizzazione e re-scaling . . . . . . . . . . . . . . . 31
4.2 Feature selection . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.3 Scelta del modello . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3.1 Overtting ed undertting . . . . . . . . . . . . . . . . 33
4.3.2 Trade-o tra bias e varianza . . . . . . . . . . . . . . . 34
Formulazione del problema . . . . . . . . . . . . . . . 34
Decomposizione . . . . . . . . . . . . . . . . . . . . . . 35
Commento dei risultati . . . . . . . . . . . . . . . . . 36
4.3.3 Cross-validation . . . . . . . . . . . . . . . . . . . . . 37
4.3.4 Holdout cross validation . . . . . . . . . . . . . . . . . 37
4.3.5 K-folds cross validation . . . . . . . . . . . . . . . . . 38
4.4 Valutazione del modello . . . . . . . . . . . . . . . . . . . . . 38
4.4.1 Matrice di confusione e metriche . . . . . . . . . . . . 39
4.4.2 Curve ROC . . . . . . . . . . . . . . . . . . . . . . . . 41
5 Algoritmi di classicazione non lineari 44
5.1 Reti neurali articiali . . . . . . . . . . . . . . . . . . . . . . . 44
5.2 Support Vector Machine . . . . . . . . . . . . . . . . . . . . . 44
5.2.1 Dati linearmente separabili . . . . . . . . . . . . . . . 44
5.2.2 Soft margin SVM . . . . . . . . . . . . . . . . . . . . . 47
2
5.2.3 Metodi kernel . . . . . . . . . . . . . . . . . . . . . . . 48
5.3 K-nearest neighbors . . . . . . . . . . . . . . . . . . . . . . . 49
6 Apprendimento statistico 50
6.1 Regola di Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.2 Classicatore bayesano naive . . . . . . . . . . . . . . . . . . 52
6.2.1 Classicatore di testi basato su naive bayes . . . . . . 53
Pre-processing . . . . . . . . . . . . . . . . . . . . . . 53
Modellazione del problema . . . . . . . . . . . . . . . 54
Stima delle probabilità . . . . . . . . . . . . . . . . . . 55
Laplace smoothing . . . . . . . . . . . . . . . . 55
7 Algoritmi non supervisionati 56
7.1 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
7.1.1 K-means . . . . . . . . . . . . . . . . . . . . . . . . . . 56
7.2 Principal Component Analysis . . . . . . . . . . . . . . . . . 59
7.2.1 In sintesi . . . . . . . . . . . . . . . . . . . . . . . . . 59
7.2.2 Passi necessari per la PCA . . . . . . . . . . . . . . . 60
7.2.3 Scelta del numero di componenti principali . . . . . . 66
7.3 Soft clustering tramite GMM . . . . . . . . . . . . . . . . . . 68
7.3.1 Lidea in sintesi . . . . . . . . . . . . . . . . . . . . . . 68
7.3.2 Dettagli matematici . . . . . . . . . . . . . . . . . . . 70
Mixture model in formule . . . . . . . . . . . . . . . . 70
Parametri di un GMM . . . . . . . . . . . . . . . . . . 72
Algoritmo EM per GMM . . . . . . . . . . . . . . . . 73
7.4 Outlier detection tramite densità di probabilità . . . . . . . . 74
Riferimenti bibliograci 75
3
Premesse
Ho scritto questi appunti (non sono sbobinature) durante le lezioni di
Machine Learning tenute dalling. Ostuni nella.a. 2013/2014.
Ho fatto del mio meglio, ma non posso garantire che siano privi di
imprecisioni teoriche e strafalcioni. Se ne trovi scrivimi allindirizzo
email in copertina.
Il loro scopo principale è coprire gli argomenti che non sono trattati
sul libro di riferimento del corso [3] o che sono trattati diversamente da
come ci sono stati esposti a lezione. Per questo motivo gli appunti non
sono esaustivi e per alcuni argomenti rimando direttamente al libro.
Se hai voglia di completare le parti mancanti scrivimi tramite email o
inviami una richiesta di pull su github.
Questa dispensa è complementare alle lezioni in aula ed alle slide del-
ling. Ostuni. Studiarla non è condizione suciente (e tantomeno
necessaria) per il superamento dellesame.
Ne ling. Ostuni, ne il prof. Di Noia hanno rivisto, corretto o autoriz-
zato ucialmente questi appunti.
Changelog
2014/05/30
Aggiunto: Scelta del numero di componenti principali;
Modicato: K-means;
Sorgenti L
A
T
E
X disponibili su github.
2014/04/19
Modicato: Funzione costo.
2014/04/15
Aggiunto: Derivazione della regola di aggiornamento dei pesi;
Ampliato: Regolarizzazione con norma
2
;
Altre correzioni minori.
2014/03/17: Prima pubblicazione.
4
1 Introduzione
1.1 Ragionamento deduttivo e induttivo
Si dice ragionamento deduttivo il processo per cui, partendo dalla conoscen-
za generale del fenomeno, si arriva a conclusioni speciche. Con riferimento
ad una blackbox è come conoscere la funzione di trasferimento ed applicarla
agli ingressi per ricavarne le uscite.
Il ragionamento induttivo, invece, si basa sullosservazione di esempi spe-
cici per ricavare una regola generale che giustichi gli esempi visti.
`
E equi-
valente ad osservare ingressi ed uscite di una blackbox ed individuare la
migliore approssimazione della funziona di trasferimento.
Esempio
Ragionamento deduttivo:
assioma generale: tutti i cani hanno quattro zampe, una coda ed
abbaiano;
conclusione specica: questo che ho davanti è un cane (perche ha
quattro zampe, una coda ed abbaia).
Ragionamento induttivo:
esempio specico: questi animali hanno quattro zampe, una coda
ed abbaiano;
descrizione generale: deve esistere una categoria di animali con
queste caratteristiche (chiamati cani).
1.2 Apprendimento supervisionato e non supervisionato
1.2.1 Supervisionato
Dato un traininig set in cui ciascuna istanza è costituita da un vettore di
feature (x) ed il corrispondente output (y), lapprendimento supervisiona-
to consiste nellindividuare la migliore funzione h(x) (detta ipotesi) che
approssima la funzione target f(x) (sconosciuta) tale che y = f(x)

= h(x)
anche per valori esterni al training set.
Si possono individuare due categorie di algoritmi supervisionati:
algoritmi di regressione;
algoritmi di classicazione.
5
Algoritmi di regressione Forniscono un output numerico e tentano di
approssimare una funzione non nota. Ad esempio potremmo istruire una
macchina per emulare il comportamento di una funzione matematica f(x).
Loutput y = h(x) sarà numerico e rappresenterà una stima di f(x).
Algoritmi di classicazione Forniscono un output qualitativo, speci-
cano cioè la classe di appartenenza di ciascun campione in ingresso. Ad
esempio un classicatore binario potrebbe essere addestrato con dati rela-
tivi ad altezza e peso di un certo numero di uomini e di donne. In fase di
predizione, ricevuti in ingresso altezza e peso di una persona, luscita del
classicatore sarà 1 o 0 a seconda che altezza e peso siano pi` u consoni ad
una donna o ad un uomo.
1.2.2 Non supervisionato
In questa categoria di algoritmi non abbiamo a disposizione le uscite corri-
spondenti a ciascun vettore di feature. Lo scopo della macchina è estrapola-
re delle informazioni signicative dagli ingressi. A tal proposito si possono
perseguire i seguenti due scopi principali.
Clusterizzazione Consiste nellindividuare gruppi di vettori di input con
caratteristiche comuni. Ad esempio fornendo altezza e peso di 100 persone,
tramite un algoritmo di clusterizzazione potremmo individuare una suddi-
visione dellinsieme dei campioni in due cluster: adulti e bambini, oppure
uomini e donne. A priori, però, non conosciamo per ciascun vettore di
feature la corrispondente classe di appartenenza.
Dimensionality reduction Consiste nellindividuare quali feature sono
poco rilevanti ai ni della classicazione in modo tale da poterle trascurare
e ridurre le dimensioni del problema.
1.3 Scelta della migliore ipotesi
Essa idealmente dovrebbe:
minimizzare lerrore commesso sul training set;
essere capace di generalizzare landamento del fenomeno, ovvero pre-
dire correttamente anche output non noti relativi ad ingressi mai visti
durante laddestramento.
6
I due obiettivi sono spesso incompatibili, per cui occorre trovare il giusto
compromesso ed evitare undertting ed overtting (sottosezione 4.3).
1.3.1 Rasoio di Occam
Quella del Rasoio di Occam è una regola di massima che ci suggerisce co-
me scegliere lipotesi pi` u opportuna. Preso un insieme di ipotesi di grado
massimo k, assumendo che rappresentino tutte adeguatamente il modello, il
principio del Rasoio di Occam (che ha origini lontane dallAI e dalla scien-
za) ci suggerisce di optare per quella pi` u semplice.
`
E ragionevole pensare
che lipotesi pi` u semplice sia quella di grado minore. Specichiamo che
unipotesi rappresenta adeguatamente un modello quando è consistente con
linsieme di esempi forniti, cioè quando si accorda con tutti i dati osservati
1
.
Quindi nella scelta del modello occorre cercare un buon compromesso tra
consistenza e bassa complessità dellipotesi.
1.4 Modelli discriminativi e generativi
Unulteriore classicazione dei modelli è tra discriminativi e generativi.
1.4.1 Discriminativi
Si tratta di modelli che, in seguito alladdestramento su un training set,
quando ricevono in ingresso un vettore x, sono in grado di valutare quale
tra le possibili uscite è quella pi` u probabile (ad esempio qual è la classe
di appartenenza pi` u probabile del campione ricevuto). Hanno lo scopo di
stimare la probabilità condizionata p(y[x), cioè la probabilità che, dato lin-
gresso x, esso generi luscita y (dove y potrebbe rappresentare la possibile
classe del campione).
1.4.2 Generativi
Contrariamente ai precedenti, stimano la probabilità congiunta p(x, y). A
partire da ciascun possibile output viene generato un modello probabilistico
degli input ad esso associato. Ciò consente di generare, dato un possibile
output, un input che con buona probabilità potrà essere associato ad esso.
1
AIMA - Paragrafo 18.2
7
2 Algoritmi di regressione lineari
2.1 Regressione semplice lineare
Si chiama semplice perche prevede ingressi scalari (e non vettori di feature).
`
E lineare perche, dato un training set di coppie (x
i
, y
i
), cerca la miglior retta
che ne approssima landamento.
La generica ipotesi ha espressione:
h(x) =
0
+
1
x
dove:

0
prende il nome di bias e rappresenta lintercetta con lasse delle y;

1
è il coeciente angolare della retta desiderata.
Lo scopo della fase di training è individuare i valori ottimi dei parametri
i
(vedremo a breve cosa si intende per valori ottimi).
2.2 Regressione multipla lineare
`
E simile alla regressione semplice lineare, ma gli ingressi sono vettori di
feature. Dunque non cerchiamo una retta, ma un iperpiano separatore, dalla
generica espressione:
h(x) =
0
+
n
i=1
i
x
i
.
Introducendo x
0
= 1 possiamo riscrivere la precedente come segue
h(x) =
n
i=0
i
x
i
=
T
x
dove
= (
0
,
1
, . . . ,
n
)
T
rappresenta il vettore dei parametri da apprende-
re durante la fase di addestramento;
n rappresenta la dimensione degli ingressi, cioè il numero di feature.
Notiamo che per n ingressi occorre apprendere n + 1 parametri
i
.
8
2.2.1 Funzione costo
Per individuare i valori ottimi dei
i
costruiamo una funzione costo J().
Essa deve tener conto della dierenza tra i valori di output forniti dal training
set e gli stessi valori calcolati tramite lipotesi h(x). Avrà quindi questa
espressione:
J() =
1
2m
m
i=1
(h
(x
(i)
) y
(i)
)
2
(1)
dove:
m è il numero di istanze del training set;
1
2m
è un fattore di normalizzazione, il coeciente 2 viene introdotto
per semplicare le derivate parziali (vedi sottosezione 2.4);
(h
(x
(i)
) y
(i)
) è lerrore di predizione sul campione i-esimo, calcolato
come dierenza tra loutput stimato dal modello e quello letto dal
training set.
Elevando al quadrato e sommando ciascun errore si ottiene una funzione
J() quadratica facilmente (e sicuramente) minimizzabile. Lo scopo della
fase di apprendimento è quindi individuare per quali la funzione costo è
minima:
min
= argmin
(J()).
2.3 Metodo delle equazioni normali
Un primo approccio alla minimizzazione della funzione costo è quello anali-
tico. Deniamo innanzitutto una matrice X di dimensioni m(n+1) in cui
ciascuna riga rappresenta un ingresso nel training set. Deniamo, inoltre,
un vettore colonna y di m elementi, ciascuno dei quali rappresenta luscita
associata allingresso i-esimo (nonche riga i-esima di X):
X =
_
_
x
(1)T
x
(2)T
.
.
.
x
(i)T
.
.
.
x
(m)T
_
_
y =
_
_
y
(1)
y
(2)
.
.
.
y
(i)
.
.
.
y
(m)
_
_
9
La funzione costo può essere riscritta sotto forma di prodotto tra matrici:
J() =
1
2
(X y)
T
(X y).
Cerchiamo il punto di minimo annullandone il gradiente:
J() = X
T
X X
T
y = 0
da cui si ricava che
= (X
T
X)
1
X
T
y.
Questo metodo richiede il calcolo dellinversa di (X
T
X), di dimensioni (n +
1) (n + 1). Quando il numero di feature è piuttosto grande, questo cal-
colo diventa troppo costoso: tipicamente la complessità computazionale del
calcolo dellinversa è O(n
3
) e questo può rendere il metodo delle equazioni
normali anche pi` u lento di metodi iterativi come la discesa a gradiente
2
.
Per tale motivo, quando il numero di feature è almeno nellordine di 10
5
,
si preferiscono metodi numerici come quello della discesa del gradiente che
analizzeremo in seguito. Il metodo delle equazioni normali, tuttavia, essendo
analitico non richiede la determinazione empirica di alcun parametro (con-
trariamente a quanto accade con il learning rate nella discesa a gradiente)
e non è necessario eettuare alcun tipo di feature scaling (di cui parleremo
in sezione 4.1.2).
In ultimo, consideriamo il caso in cui X
T
X non sia invertibile. Questo
si verica raramente, e se accade le cause pi` u probabili sono due
3
:
ci sono 2 o pi` u feature linearmente dipendenti, per cui è suciente
eliminarle tutte tranne una;
il numero di esempi di addestramento è troppo basso rispetto al nu-
mero di feature. Questo problema può essere risolto eliminando alcune
feature tramite tecniche di feature selection oppure adottando tecniche
di regolarizzazione.
2.3.1 Dimostrazione
Deriviamo ora le espressioni mostrate nel paragrafo precedente
4
. Innanzi-
tutto deniamo una funzione costo non normalizzata rispetto al numero di
2
Coursera, Machine Learning (Andrew Ng), Lezione 4.6
3
4
Questa parte non è stata trattata a lezione, chi si da dei risultati pu` o saltarla senza
problemi.
10
campioni, che useremo durante la dimostrazione
5
:
J() =
1
2
m
i=1
(h
(x
(i)
) y
(i)
)
2
. (2)
Si vede facilmente che la precedente è uguale a:
J() =
1
2
(X y)
T
(X y). (3)
Infatti è vero che:
X y =
_
_
1 x
(1)
1
. . . x
(1)
n
1 x
(2)
1
. . . x
(2)
n
.
.
.
.
.
.
.
.
.
.
.
.
1 x
(m)
1
. . . x
(m)
n
_
_
_
1
.
.
.
n
_
_
y
(1)
y
(2)
.
.
.
y
(m)
_
_
=
_
_
h
(x
(1)
) y
(1)
h
(x
(2)
) y
(2)
.
.
.
h
(x
(m)
) y
(m)
_
_
E quindi:
(X y)
T
(X y)
=
_
(h
(x
(1)
) y
(1)
) . . . (h
(x
(m)
) y
(m)
)
_
h
(x
(1)
) y
(1)
.
.
.
h
(x
(m)
) y
(m)
_
_
=
m
i=1
(h
(x
(i)
) y
(i)
)
2
.
Sostituendo la sommatoria in Equazione 2 con il prodotto tra matrici, si
ottiene lEquazione 3. A noi interessa trovare il minimo della funzione costo,
cioè il punto in cui si annulla il suo gradiente:
J() =
_
_
J()
0
.
.
.
J()
k
.
.
.
J()
n
_
_
= 0
5
Minimizzare questa funzione costo o la sua variante normalizzata porta allo stesso
risultato.
11
Similmente a quanto dimostreremo in seguito (sottosezione 2.4), si vede che
la k-esima derivata parziale del gradiente assume la seguente espressione:
J()
k
=
m
i=1
(h
(x
(i)
) y
(i)
)x
(i)
k
=
_
(h
(x
(1)
) y
(1)
) . . . (h
(x
(m)
) y
(m)
)
_
x
(1)
k
.
.
.
x
(m)
k
_
_.
A questo punto riscriviamo per esteso lespressione del gradiente
6
:
J() =
_
m
i=1
(h
(x
(i)
) y
(i)
)
m
i=1
(h
(x
(i)
) y
(i)
)x
(i)
1
.
.
.
m
i=1
(h
(x
(i)
) y
(i)
)x
(i)
n
_
_
Questa può essere riscritta come prodotto tra matrici:
J() =
_
_
1 1 . . . 1
x
(1)
1
x
(2)
1
. . . x
(m)
1
.
.
.
.
.
.
.
.
.
.
.
.
x
(1)
n
x
(2)
n
. . . x
(m)
n
_
_
_
_
h
(x
(1)
) y
(1)
h
(x
(2)
) y
(2)
.
.
.
h
(x
(m)
) y
(m)
_
_
= X
T
(X y)
= X
T
X X
T
y
Adesso risolviamo lequazione di annullamento del gradiente:
J() = X
T
X X
T
y = 0
dalla quale si ricava che
= (X
T
X)
1
X
T
y.
2.4 Metodo della discesa del gradiente
Come già accennato, il metodo della discesa del gradiente consente di tro-
vare il minimo di una funzione per via numerica. Noi lo applicheremo alla
funzione costo.
Data una funzione, sono note alcune proprietà del suo gradiente:
6
Ricordiamo che x
(i)
0
= 1 per i = 1, . . . , m.
12
1. esso è un vettore che punta sempre nel verso in cui la pendenza della
funzione aumenta;
2. è esso stesso un indicatore della pendenza della curva.
Dalle precedenti consegue che il gradiente è tanto pi` u grande quanto mag-
giore è la pendenza della curva e punta nel verso in cui aumenta la pendenza.
Esempio.
`
E facile riscontrare questo comportamento con un paraboloide:
y = f(x
1
, x
2
) = x
2
1
+x
2
2
Il gradiente è
(f(x
1
, x
2
)) = (2x
1
, 2x
2
)
Calcolando il gradiente in un punto P : (1, 2) otteniamo
(f(1, 2)) = (2, 4)
il quale è un vettore parallelo al piano su cui giace la curva di livello nel
punto P, ha direzione perpendicolare alla tangente a tale curva in P e punta
verso lesterno del paraboloide, l` dove la pendenza aumenta.
Sfruttando queste conoscenze possiamo elaborare un metodo per aggior-
nare i coecienti
i
no a raggiungere il minimo di J(). Lidea di base è
quella di partire da
i
casuali ed aggiornarli in maniera tale da spostarsi ver-
so il minimo, cioè in verso opposto rispetto a quello del gradiente nel punto
attuale (ricorda che ragioniamo su J(), quindi le x
(i)
sono solo coecienti
numerici, mentre le
i
sono le variabili del problema). Per fare ciò si adotta
la seguente regola di aggiornamento dei coecienti:
NEW
k
=
OLD
k

J()
k
dove

NEW
k
rappresenta il nuovo valore del k-esimo coeciente, cioè quello
che stiamo calcolando;

OLD
k
è il valore dello stesso coeciente alliterazione precedente;
rappresenta un parametro detto learning rate, il cui valore è positivo
e tipicamente minore di 1;
J()
k
rappresenta la derivata parziale della funzione costo rispetto al
coeciente k-esimo.
13
Osserviamo il segno negativo prima della derivata parziale, poiche, come
giusticato in precedenza, vogliamo spostarci nel verso opposto rispetto a
quello del gradiente. Notiamo, inoltre, che è un fattore moltiplicativo il
cui scopo è amplicare leetto del secondo addendo, esso inuisce dun-
que sullampiezza degli incrementi/decrementi dovuti alla derivata parziale.
Osserviamo però che:
un learning rate troppo basso può rallentare lagoritmo e portare a
lunghi tempi di convergenza;
un learning rate troppo alto rischia di non farci trovare il minimo,
poiche saltiamo da un lato allaltro della quadratica senza cadere
nel centro.
In ultimo notiamo che il gradiente diminuisce man mano che ci avviciniamo
al minimo, quindi allinizio i decrementi subiti dai
i
saranno pi` u ampi, per
poi diventare sempre pi` u piccoli (ciò accadrebbe anche in assenza di ).
Notiamo, in ultimo, che questo algoritmo funziona correttamente in as-
senza di minimi locali. Se questi ci fossero si potrebbe riavviare lalgorit-
mo pi` u volte, partendo da diversi
i
casuali, e vedere se il punto nale di
convergenza rimane pressoche invariato o se lalgoritmo è incappato in mi-
nimi locali. Ovviamente nel caso della funzione costo denita in precedenza
questo problema non si presenta.
In ultimo esplicitiamo le derivate parziali:
J()
k
=

k
_
1
2m
m
i=1
(h
(x
(i)
) y
(i)
)
2
_
=
1
2m
m
i=1
k
_
h
(x
(i)
) y
(i)
_
2
,
ricordandoci che h(x) =
T
x possiamo esaminare il singolo addendo della
precedente sommatoria
k
_
h
(x
(i)
) y
(i)
_
2
= 2
_
h
(x
(i)
) y
(i)
_

k
h
(x
(i)
)
dove
k
h
(x
(i)
) =

T
x
(i)
=

k
(
0
,
1
, . . . ,
k
, . . . ,
n
)(1, x
(i)
1
, x
(i)
2
, . . . , x
(i)
k
, . . . , x
(i)
n
)
T
= (0, 0, . . . , 1, . . . , 0)(1, x
(i)
1
, x
(i)
2
, . . . , x
(i)
k
, . . . , x
(i)
n
)
T
= x
(i)
k
.
14
Ricomponendo i passaggi otteniamo
k
_
h
(x
(i)
) y
(i)
_
2
= 2
_
h
(x
(i)
) y
(i)
_
x
(i)
k
e tornando alla derivata parziale
J()
k
=
1
2m
m
i=1
k
_
h
(x
(i)
) y
(i)
_
2
=
1
m
m
i=1
(h
(x
(i)
) y
(i)
)x
(i)
k
.
A questo punto possiamo esplicitare lequazione di aggiornamento dei coef-
cienti:
NEW
k
=
OLD
k

1
m
m
i=1
(h
(x
(i)
) y
(i)
)x
(i)
k
.
2.4.1 Batch gradient descent
`
E un algoritmo che utilizza la regola di aggiornamento dei coecienti pre-
cedentemente descritta e può essere sintetizzato cos`:
inizializza casualmente i
i
nche non raggiungi la condizione di convergenza aggiorna i coecien-
ti:
NEW
k
=
OLD
k

1
m
m
i=1
(h(x
(i)
) y
(i)
)x
(i)
k
k = 0, 1, . . . , n
La condizione di convergenza è tipicamente un valore massimo della funzio-
ne errore, al di sotto del quale ci accontentiamo del risultato ottenuto, o
un numero massimo di iterazioni (oppure entrambe, in maniera tale che la
seconda intervenga solo quando la prima non viene mai soddisfatta).
Lalgoritmo si chiama batch perche per aggiornare ciascun singolo
k
usa
tutte le istanze nel training set (una sua variante, chiamata mini batch, ne
usa solo una porzione). I limiti di questo approccio emergono quando il trai-
ning set è molto grade e lalgoritmo tende ad essere lento (oltre a ciò, occorre
caricare in memoria tutte le istanze per poter procedere nellalgoritmo, e ciò
potrebbe essere impossibile su calcolatori modesti).
15
2.4.2 Stochastic gradient descent
A dierenza dellalgoritmo batch, la versione stocastica
7
(anche detta in-
crementale) aggiorna tutti i coecienti dopo aver esaminato un singolo
campione, solo in seguito passa al campione successivo. Di conseguenza
occorre rivisitare leggermente la regola di aggiornamento dei pesi.
Lalgoritmo può essere sintetizzato come segue:
inizializza casualmente i
i
ripeti no a convergenza
per i = 1, . . . , m
per k=1, . . . , n
NEW
k
=
OLD
k
(h(x
(i)
) y
(i)
)x
(i)
k
Notiamo che allinterno del ciclo for pi` u interno ciascuna iterazione com-
porta laggiornamento di tutti i
i
in base allinformazione proveniente da un
singolo esempio. Questo implica che per ogni passo nel for, il punto attuale
viene leggermente modicato tenendo conto di un solo esempio, quindi lo
spostamento compiuto non va necessariamente nella direzione del minimo,
ma cerca solo di fare un tting migliore verso listanza attualmente analiz-
zata. A causa di ciò la traiettoria con cui lalgoritmo si sposta verso il
minimo non è diretta come per la versione batch, ma sembra pi` u casuale. Per
lo stesso motivo lalgoritmo potrebbe ritrovarsi a girare attorno al minimo
senza raggiungerlo, pur restando in un intorno ragionevole. Tuttavia, poiche
ciascun aggiornamento dei
i
non implica la scansione di tutto il training
set, lalgoritmo converge pi` u velocemente (quando il set è grande).
La dierenza sostanziale è questa: mentre nella versione batch occorre
analizzare tutto il training set per compiere un piccolo passo, con quella
stochastic si aggiorna leggermente il punto per ogni singola istanza che si
analizza ed al termine dellintero ciclo for lo spostamento verso il minimo
potrebbe essere pi` u signicativo di quanto accadrebbe con una singola ite-
razione di algoritmo batch. Inoltre, nella variante stocastica la condizione
di convergenza può essere vericata dopo ogni piccolo aggiornamento e non
necessariamente dopo un intero ciclo.
7
16
2.4.3 Nota sullaggiornamento dei coecienti
Riprendiamo la formula di aggiornamento dei coecienti:
NEW
k
=
OLD
k

J()
k
`
E importante notare che la derivata parziale dipende, ovviamente, da
h
(x), la quale cambia al variare dei

i
. Quando implementiamo concre-
tamente questa regola, occorre calcolare prima tutte le derivate parziali,
mantenendo invariati i coecienti
i
, memorizzare i nuovi coecienti in va-
riabili temporanee e poi aggiornare contemporaneamente tutti i coecienti
8
,
ovvero:
temp1 :=
1
J()
1
;
temp2 :=
2
J()
2
;
. . .
1
:= temp1;
2
:= temp2;
La maniera sbagliata di fare ciò è la seguente:
1
:=
1
J()
1
;
2
:=
2
J()
2
;
. . .
Cos` facendo, infatti, abbiamo aggiornato
1
e per aggiornare
2
calcoliamo la
derivata di J() con il nuovo valore di
1
, che è diverso da ciò che dovremmo
fare. Questa variante, che abbiamo etichettato come errata, potrebbe fun-
zionare, ma non è il gradient descent e potrebbe comportarsi diversamente
da come ci aspettiamo.
8
17
2.5 Interpretazione probabilistica della regressione lineare
Siano (x
(i)
, y
(i)
) le m istanze di un training set. Quando applichiamo la
regressione lineare cerchiamo unipotesi h(x) =
T
x che approssimi la rela-
zione tra vettori di feature ed output. Nel fare ciò, ciascun valore di output
del training set potrà essere espresso come somma di un valore calcolato
tramite lipotesi ed un errore:
y
(i)
=
T
x
(i)
+e
(i)
. (4)
Assumiamo che i campioni siano indipendenti, e dunque lo saranno an-
che gli errori e
(i)
che assumiamo essere anche identicamente distribuiti con
distribuzione normale, a valor medio nullo e varianza
2
:
p(e
(i)
) = A(0,
2
) =
1
2
e
(e
(i)
)
2
2
2
i = 1 . . . m. (5)
Fissato un modello, e dunque i parametri , la probabilità che lingresso x
(i)
generi luscita y
(i)
avrà la stessa distribuzione dellerrore e
(i)
. Sostituendo
e
(i)
= y
(i)
T
x
(i)
(dallEquazione 4) nellEquazione 5 otteniamo:
p(y
(i)
[x
(i)
; ) =
1
2
e
(y
(i)
T
x
(i)
)
2
2
2
i = 1 . . . m.
A questo punto vogliamo trovare unespressione della probabilità che,
ssati i parametri , al set di ingressi x
(i)
corrispondano le uscite y
(i)
per
ogni i = 1, . . . , m. Questa probabilità viene chiamata verosimiglianza
(likelihood) ed è cos` espressa:
L() = L(; X; y) = p(y[X; )
dove
X rappresenta linsieme degli input (possiamo vederlo come una ma-
trice m(n + 1)),
y rappresenta il vettore delle uscite (di dimensioni m1).
Avendo ipotizzato che tutti i campioni siano indipendenti, la probabilità
dellevento congiunto è la seguente:
L() = p(y[X; ) =
m
i=1
p(y
(i)
[x
(i)
; ) =
m
i=1
1
2
e
(y
(i)
T
x
(i)
)
2
2
2
18
Adottando il criterio di massima verosimiglianza siamo interessati al vet-
tore che massimizza la funzione L(). Cos` facendo stiamo cercando i
i
che danno vita allipotesi che ha maggior probabilità di restituire le uscite
note quando si inseriscono i corrispondenti dati in input. Cerchiamo quindi
= argmax
L(),
e poiche la funzione logaritmo è monotona crescente e non altera il punto di
massimo, possiamo riformulare il problema come segue:
= argmax
L() = argmax
log L() = argmax
l()
dove log L() = l(). Questa formulazione consente di trasformare la
produttoria in una sommatoria, pi` u facile da gestire da un punto di vista
computazionale:
l() = log
m
i=1
p(y
(i)
[x
(i)
; )
=
m
i=1
log
1
2
e
(y
(i)
T
x
(i)
)
2
2
2
=
m
i=1
_
log
1
2
+ log e
(y
(i)
T
x
(i)
)
2
2
2
_
= mlog
1
i=1
(y
(i)
T
x
(i)
)
2
2
2
= mlog
1
1
2
2
m
i=1
(y
(i)
T
x
(i)
)
2
Ritorniamo al problema di massimizzazione:
max
l() = max
_
mlog
1
1
2
2
m
i=1
(y
(i)
T
x
(i)
)
2
_
= max
1
2
2
m
i=1
(y
(i)
T
x
(i)
)
2
_
= max
1
2
m
i=1
(y
(i)
T
x
(i)
)
2
_
= min
_
1
2
m
i=1
(y
(i)
T
x
(i)
)
2
_
.
19
Confrontando lultima espressione con lerrore J() (Equazione 1) e notia-
mo che il problema è identico, dato che lunica dierenza tra le due mi-
nimizzazioni è una costante di normalizzazione non inuente ai ni del
risultato.
(6) min
_
1
2m
m
i=1
(h(x
(i)
) y
(i)
)
2
_
= min
_
1
2
m
i=1
(y
(i)
T
x
(i)
)
2
_
2.6 Modelli lineari generalizzati (GLM)
A volte la linearità dei modelli esaminati può essere limitante. Ad esempio,
quando i dati del training set non sono linearmente separabili, un modello
lineare è del tutto inecace. In tal caso, prima di passare a modelli non
lineari, potrebbe essere interessante utilizzare delle funzioni base.
2.6.1 Funzioni base
Le funzioni base rappresentano trasformazioni non lineari che applichiamo
a ciascun vettore di ingresso. Esse, tipicamente, aumentano il numero di
feature e, tramite lintroduzione di non-linearità nei dati stessi, consentono
di usare semplici modelli lineari per la classicazione.
Con riferimento alla regressione lineare, in condizioni normali lipotesi
applicata ad un singolo ingresso è:
h(x
(i)
) =
m
j=1
j
x
(i)
j
=
T
x
(i)
.
Per introdurre una non-linearità possiamo avvalerci di una funzione base
(x) che applichiamo allingresso x
(i)
. Il risultato ((x
(i)
)) sarà un vettore
con pi` u di n componenti, ottenute tramite combinazione non lineare delle n
di partenza. Applichiamo quindi lipotesi (lineare) a tali vettori:
h(x
(i)
) =
m
j=1
j
(x
(i)
)
j
=
T
(x
(i)
).
Esempio. Una possibile funzione di base potrebbe associare ad un ingresso
a 3 dimensioni < x
1
, x
2
, x
3
> un vettore a 9 dimensioni, cos` formato:
< x
1
, x
2
, x
3
, x
1
x
2
, x
2
x
3
, x
1
x
3
, x
2
1
, x
2
2
, x
2
3
> .
20
3 Algoritmi di classicazione lineari
3.1 Regressione logistica
Il modello è nella forma:
h
(x) =
1
1 +e
T
x
Poiche la funzione logistica varia tra 0 ed 1, possiamo dare uninterpretazione
probabilistica alla sua uscita. Fissata una soglia (threshold) ssiamo la classe
di appartenenza a seconda che h
(x) sia maggiore o uguale alla soglia (classe

1) o minore (classe 0).
y =
_
1 se h
(x) threshold
0 se h
(x) < threshold

3.1.1 Funzione costo
Similmente a quanto fatto per la regressione lineare, individuiamo unespres-
sione della funzione costo che tenga conto della dierenza tra le uscite reali
e quelle predette tramite il modello. Per trovare tale espressione calcolia-
mo direttamente la funzione likelihood ed applichiamo lipotesi di massima
verosimiglianza (cioè massimiziamo la funzione di verosimiglianza).
Ricordiamo che L() rappresenta la probabilità che, ssati i parametri
, agli ingressi x
(i)
corrispondano le uscite y
(i)
note, ed assumiamo che i
campioni di addestramento siano indipendenti ed identicamente distribuiti:
L() = L(; X; y) = p(y[X; ) =
m
i=1
p(y
(i)
[x
(i)
; ). (7)
Resta da capire quale sia la distribuzione di ciascun campione. Notiamo
che luscita y
(i)
è binaria, quindi abbiamo due soli possibili eventi (y
(i)
= 1 e
y
(i)
= 0), siamo quindi di fronte ad una distribuzione di Bernoulli B(p), dove
p rappresenta la probabilità dellevento y
(i)
= 1 che ci apprestiamo a deter-
minare. Abbiamo già detto che luscita della funzione logistica è compresa
tra 0 ed 1, possiamo quindi interpretarla come la probabilità che allingresso
x
(i)
corrisponda y
(i)
= 1. Ad esempio, data una x in ingresso ad un modello
perfetto la sua uscita dovrebbe essere 0 o 1, ma il nostro modello ci resti-
tuisce h
(x) = 0.7; dovendo decidere se y sia 0 o 1, concludiamo che cè il

21
70% di probabilità che sia 1. Riepiloghiamo dicendo che:
_
p(y
(i)
= 1[x
(i)
; ) = h
(x
(i)
)
p(y
(i)
= 0[x
(i)
; ) = 1 h
(x
(i)
)
che può essere scritto in maniera compatta come segue:
p(y
(i)
[x
(i)
; ) = h
(x
(i)
)
y
(i)
(1 h
(x
(i)
))
1y
(i)
.
Sostituiamo questultima nellEquazione 7:
L() =
m
i=1
h
(x
(i)
)
y
(i)
(1 h
(x
(i)
))
1y
(i)
e, come già fatto nella regressione lineare, passiamo al logaritmo:
l() = log
m
i=1
h
(x
(i)
)
y
(i)
(1 h
(x
(i)
))
1y
(i)
=
m
i=1
_
y
(i)
log h
(x
(i)
) + (1 y
(i)
) log (1 h
(x
(i)
))
_
.
Questa è la funzione che ci interessa massimizzare, nel dettaglio, però, mi-
nimizziamo il suo opposto normalizzato rispetto al numero di campioni di
addestramento (che prende il nome di cross entropy error function):
J() =
1
m
m
i=1
_
y
(i)
log h
(x
(i)
) + (1 y
(i)
) log (1 h
(x
(i)
))
_
.
In conclusione, quindi, ci interessa il ottimo che minimizzi la precedente:
= argmin
J().
La funzione costo appena denita non può essere studiata da un punto
di vista analitico, ma possiamo vedere quale contributo fornisce allerrore
ciascun addendo:
e
(i)
= y
(i)
log h
(x
(i)
) + (1 y
(i)
) log (1 h
(x
(i)
))
dove e
(i)
rappresenta il contributo allerrore apportato da un i-esimo cam-
pione di addestramento. Distinguamo due casi:
22
0.0 0.2 0.4 0.6 0.8 1.0
0
1
2
3
4
5
h (x
(i)
)
e
(
i
)
y
(i)
= 1 y
(i)
= 0
Figura 1: Contributi allerrore nella regressione logistica
il campione appartiene alla classe 1 (y
(i)
= 1);
il campione appartiene alla classe 0 (y
(i)
= 0).
Nel primo caso il singolo addendo assume lespressione:
e
(i)
= log h
(x
(i)
)
In Figura 1 (linea rossa) è mostrato il suo andamento, concludiamo che:
se il campione è di classe 1, ma il classicatore restituisce un valore
basso, lerrore commesso è alto. Al limite accade che:
h
(x
(i)
) = 0 e
(i)
se il campione è di classe 1 ed il classicatore restituisce un valore alto,

lerrore commesso è basso. Al limite accade che:
h
(x
(i)
) = 1 e
(i)
0
Nel secondo caso (y
(i)
= 0), il contributo del singolo campione sarà:
e
(i)
= log (1 h
(x
(i)
))
In Figura 1 (linea blu) è mostrato il suo andamento, concludiamo che:
se il campione è di classe 0 ed il classicatore restituisce un valore
basso, lerrore commesso è basso. Al limite accade che:
h
(x
(i)
) = 0 e
(i)
0
23
se il campione è di classe 0, ma il classicatore restituisce un valore
alto, lerrore commesso è alto. Al limite accade che:
h
(x
(i)
) = 1 e
(i)
3.2 Metodo della discesa del gradiente

Poiche non esiste un metodo analitico per minimizzare la funzione costo,
lunica lalternativa è un metodo numerico, come quello basato sulla discesa
del gradiente. Come già visto, questo metodo si basa sulla seguente regola
di aggiornamento dei pesi:
NEW
k
=
OLD
k

J()
k
.
Si vede facilmente che per la derivata della funzione logistica vale la seguente
proprietà:
g
(z) =

z
_
1
1 +e
z
_
= g(z)(1 g(z)).
Sfruttando la precedente nel calcolo delle derivate di J() si vede che la
regola di aggiornamento dei pesi è identica a quella della regressione lineare,
cioè:
NEW
k
=
OLD
k

1
m
m
i=1
(h(x
(i)
) y
(i)
)x
(i)
k
.
Essa può essere applicata sia per il batch gradient descent che per le sue
varianti stocastiche.
3.2.1 Derivazione della regola di aggiornamento dei pesi
Vediamo ora quali sono i passaggi che portano allespressione della regola di
aggiornamento dei pesi
9
. Come già detto, la derivata della funzione logistica
gode della seguente proprietà:
g
(z) = g(z)(1 g(z)).

Partendo da essa, calcoliamo la derivata parziale di h
(x), che tornerà utile

in seguito:
h
(x)
k
= h
(x)(1 h
(x))
(
T
x)
k
9
Approfondimento non trattato a lezione
24
dove, come già visto in sottosezione 2.4, risulta che:
(
T
x)
k
= x
k
e quindi
h
(x)
k
= h
(x)(1 h
(x))x
k
.
Passiamo ora al calcolo della derivata parziale di J():
J()
k
=
1
m
m
i=1
_
y
(i)

k
(log h
(x
(i)
)) + (1 y
(i)
)

k
(log (1 h
(x
(i)
)))
_
.
(8)
Esaminiamo separatamente le due derivate:
k
log h
(x
(i)
) =
1
h
(x
(i)
)
h
(x
(i)
)(1 h
(x
(i)
))x
(i)
k
= (1 h
(x
(i)
))x
(i)
k
k
log (1 h
(x
(i)
)) =
1
1 h
(x
(i)
)
(h
(x
(i)
))(1h
(x
(i)
))x
(i)
k
= h
(x
(i)
)x
(i)
k
Sostituiamo le precedenti nellEquazione 8, raccogliamo x
k
e sviluppiamo il
prodotto per ottenere la derivata nale:
J()
k
=
1
m
m
i=1
_
y
(i)
(1 h
(x
(i)
))x
(i)
k
+ (1 y
(i)
)(h
(x
(i)
))x
(i)
k
_
=
1
m
m
i=1
_
y
(i)
(1 h
(x
(i)
)) + (1 y
(i)
)(h
(x
(i)
))
_
x
(i)
k
=
1
m
m
i=1
_
h
(x
(i)
) y
(i)
_
x
(i)
k
3.3 Regressione logistica: caso multiclasse
Con la regressione logistica siamo in grado di realizzare un classicatore
binario. Se le classi sono pi` u di due, si possono adottare due approcci:
1. usare una funzione logistica a pi` u livelli (che non approfondiremo);
2. usare pi` u funzioni logistiche in un approccio one-vs-all, che ci appre-
stiamo ad approfondire.
25
Supponiamo di dover distinguere k classi. Per fare ciò addestreremo k classi-
catori (quindi avremo k funzioni logistiche) ciascuno dei quali sarà in grado
di identicare come classe 1 una classe desiderata, e tutte le altre k 1 sa-
ranno riconosciute come classe 0. Una volta addestrati i k classicatori, per
classicare un nuovo ingresso lo diamo in input a tutte le funzioni logistiche,
ciascuna restituirà un valore tra 0 ed 1, quello pi` u alto determinerà la clas-
se di appartenenza dellingresso (cioè ci dirà quale classicatore ha dato la
risposta pi` u alta, presumibilmente quello specializzato sulla reale classe di
appartenenza dellingresso). Di fatto in questo approccio interpretiamo lu-
scita delli-esimo classicatore come la probabilità che lingresso appartenga
alla classe i-esima.
3.4 Regolarizzazione
Uno dei problemi in cui è possibile incorrere è lovertting e tramite la
regolarizzazione possiamo evitarlo.
Lidea di base è che, ssato il grado di un modello, il suo andamento sarà
tanto pi` u oscillatorio quanto pi` u grandi saranno i
i
. La regolarizzazione,
quindi, si propone di prevenire lovertting penalizzando i
i
grandi, senza
agire direttamente sul grado del modello.
2
Il concetto di base è molto semplice: sommiamo alla funzione costo un qual-
cosa che penalizzi i
i
grandi, nella fattispecie il nostro qualcosa è il qua-
drato della norma in modulo 2 del vettore (escluso
0
poiche è lintercetta
e non contribuisce allandamento della funzione).
Nel caso della regressione lineare, la funzione costo regolarizzata prende
il nome di Ridge Regression ed è la seguente:
J() =
1
2m
_
_
m
i=1
(h(x
(i)
) y
(i)
)
2
+
n
j=1
2
j
_
_
(9)
dove:

n
j=1
2
j
= [[[[
2
2
; sommare questo contributo è equivalente a mini-
mizzare J() originale ponendo un vincolo sul valore massimo della
norma;
è detto parametro di regolarizzazione e determina linuenza del
fattore di regolarizzazione: pi` u è grande, pi` u piccoli saranno i e pi` u
smussata sarà lipotesi.
26
Nel caso della regressione logistica, questo approccio porta a riformulare la
funzione costo come segue:
J() =
1
m
m
i=1
_
y
(i)
log h
(x
(i)
) + (1 y
(i)
) log (1 h
(x
(i)
))
_
+

2m
n
j=1
2
j
.
In maniera simile a quanto già fatto, possiamo calcolare le derivate delle
funzioni costo regolarizzate e dedurre la regola di aggiornamento dei pesi.
Si vede facilmente che, sia nel caso di regressione lineare che logistica, essa
diventa:
_
NEW
0
=
OLD
0

1
m
m
i=1
_
h
(x
(i)
) y
(i)
_
x
(i)
0
NEW
k
=
OLD
k

_
1
m
m
i=1
_
h
(x
(i)
) y
(i)
_
x
(i)
k
+

m
k
_
k = 1, 2, . . . , n
La regola di aggiornamento di
0
rimane invariata, come ci aspetteremmo
sapendo che esso non è coinvolto nella regolarizzazione. Per tutti gli altri
coecienti possiamo riscrivere la regola come segue:
NEW
k
=
OLD
k
_
1

m
_
1
m
m
i=1
_
h
(x
(i)
) y
(i)
_
x
(i)
k
k = 1, 2, . . . , n
Notiamo che la seconda parte della regola è identica alla versione senza
regolarizzazione. In condizioni tipiche accade che < 1, > 0 ed m è
piuttosto grande. Questo fa s` che il termine
_
1

m
_
sia minore di 1. Ciò ci
fornisce uninteressante interpretazione della nuova regola di aggiornamento.
Infatti è come se lalgoritmo aggiornasse
k
applicando la classica regola
(senza regolarizzazione) a partire da una versione scalata del precedente
valore di
k
(poiche viene moltiplicato per una quantità minore di 1).
1
Unulteriore tecnica di regolarizzazione (detta lasso) prevede di usare la
norma
1
piuttosto che il quadrato della norma
2
. Le espressioni prece-
denti rimangono invariate, ad eccezione dellultima sommatoria che viene
sostituita da:
1
=
n
j=1
[
j
[.
Questo tipo di sostituzione, però, implica che la nuova funzione costo J()
non sia pi` u derivabile con continuità (a causa di
1
).
Ma allora perche preferire
1
ad
2
?
27
!
1
!
1
!
2
!
2
L2
L1
Figura 2: Regolarizzazione con norma
1
ed
2
3.4.3
2
vs
1
Le persone serie (non noi) hanno dimostrato le seguenti conclusioni.
Come già detto, lintroduzione della norma nella funzione costo equiva-
le ad imporre un limite al suo valor massimo. Possiamo quindi riscrivere
i due problemi come segue (ignoriamo i fattori di normalizzazione m al
denominatore, senza che ci` o cambi i risultati):
Norma
2
: min
m
i=1
(. . . )
2
(10)
s.t. [[[[
2
2
< t (11)
Norma
1
: min
m
i=1
(. . . )
2
(12)
s.t. [[[[
1
< t (13)
Per capire i risultati ottenuti dalla gente seria, riconduciamoci al caso n = 2,
per cui le precedenti diventano:
Norma
2
: min
m
i=1
(. . . )
2
(14)
s.t.
2
1
+
2
2
< t (15)
28
Norma
1
: min
m
i=1
(. . . )
2
(16)
s.t. [
1
[+[
2
[< t (17)
Sappiamo che:

(. . . )
2
rappresenta un paraboloide (il cui contour plot è tratteggiato
in Figura 2);

2
1
+
2
2
< t delimita larea interna ad una circonferenza centrata
nellorigine e di raggio
t (vedi Figura 2);

[
1
[+[
2
[< t delimita larea interna di un rombo di diagonale 2t (vedi
Figura 2).
Lo scopo della minimizzazione è trovare
1
e
2
che minimizzano il parabo-
loide e ricadano nelle aree delimitate dal dominio.
Si vede che, se questi punti ricadono nelle intersezioni tra il perimetro
del dominio ed uno dei due assi, uno dei due
i
sarà nullo (punti rossi in
Figura 2). Se
i
= 0 signica che lattributo x
i
non comparirà nellespres-
sione del modello, ed avremo operato una feature selection naturale. Il
motivo per cui la norma
1
viene usata è perche si dimostra che compor-
ta una maggiore probabilit` a di ricadere nelle intersezioni appena descritte,
e quindi è molto utile per problemi con un gran numero di attributi (per
contro occorre trovare un metodo alternativo alla discesa del gradiente che
richiede la derivabilità della funzione costo).
29
4 Progettazione di un sistema di ML
La progettazione di un sitema di machine learning può essere sintetizzata
nelle seguenti fasi:
1. analisi e pre-processing dei dati;
2. feature selection;
3. scelta del modello ed addestramento;
4. validazione del modello sul validation set ed eventualmente si ritorna
al passo precedente;
5. valutazione delle prestazioni su un test set;
6. adozione del modello nel contesto nale.
Analizziamo di seguito le singole fasi.
4.1 Analisi e pre-processing dei dati
4.1.1 Pulizia dei dati
I dati ricevuti e provenienti dal mondo reale potrebbero essere sporchi,
ovvero:
potrebbero essere incompleti, ad esempio quando alcuni valori di un
attributo sono mancanti;
potrebbero essere inaccurati o discostarsi molto da quanto ci si aspet-
terebbe (ad esempio a causa di una digitazione errata da parte di un
operatore umano).
Poiche vale la regola GIGO (Garbage In - Garbage Out) secondo cui un mo-
dello addestrato con dati sporchi produrrà risultati non adabili, è neces-
sario individuare tutte queste anomalie e ripulire i dati. Per quanto questa
operazione non segua sempre un usso standard, ma dipende dai particolari
dati e dalle proprietà che possiamo osservare, si possono distinguere alcune
operazioni comuni:
rimozione degli outlier: per outlier si intendono gli esempi il cui valore
duscita supera il terzo quartile (sezione 4.1.1);
rimozione dei duplicati: un campione daddestramento duplicato non
aggiunge alcuna informazione utile;
30
rimozione del rumore: cioè delle informazioni inutili (ad esempio lID
utente è tipicamente un valore non signicativo ai ni della classica-
zione).
Quantili e quartili L-quantile, con [0, 1], identica quel valore x
tale che una quota della popolazione delle x sia x
. Esistono diversi
quantili tipicamente utilizzati, e sono:
quartili, dividono la distribuzione in 4 parti uguali. Ciascun quartile
rappresenta il 25% della popolazione (quindi il terzo quartile è quel
valore di x di cui il 75% della popolazione è pi` u piccolo);
decili, dividono la popolazione in 10 parti uguali (ciascun decile rap-
presenta il 10% della popolazione);
percentili, dividono la popolazione in 100 parti uguali (ciascuna parte
rappresenta l1% della popolazione).
4.1.2 Pre-processing
Oltre ad aver pulito i dati è necessario pre-elaborarli prima di darli in pasto
al classicatore, alcune operazioni comuni sono:
discretizzazione ed aggregazione, ad esempio potremmo raggruppare
gli ingressi in base allattributo età in adulti, ragazzi e bambi-
ni;
normalizzazione e re-scaling (trattate nel paragrafo successivo);
creazione di nuovi attributi, ad esempio quando adottiamo un GLM
stiamo aumentando il numero di feature. Ciò è utile a patto che
consenta una separazione pi` u netta delle classi, se ciò non accade
introduciamo una complicazione supera al problema.
Normalizzazione e re-scaling La normalizzazione consiste nel restrin-
gere lintervallo di variabilit` a di un attributo preservando le distanze relative
tra i suoi valori. Il re-scaling è un semplice cambio di scala, cioè divisione o
moltiplicazione per uno stesso valore.
Queste operazioni si rendono necessarie perche ciascun attributo può
variare in un intervallo pi` u o meno ampio rispetto agli altri (ad esempio
laltezza ed il peso espressi in cm e kg hanno intervalli di variabilità molto
diversi). Molti algoritmi di classicazione non riescono ad operare su dati
31
cos` fatti, ad esempio la funzione logistica satura ad 1 quando lingresso è
troppo grande. Anche l` dove questo problema non si presenta, come nella
regressione lineare, si vede che lalgoritmo di discesa a gradiente converge
pi` u velocemente quando i dati sono normalizzati
10
. Ribadiamo ulterior-
mente che ciascun attributo viene normalizzato separatamente dagli altri e
lo scopo della normalizzazione è far s` che tutti gli attributi varino in uno
stesso intervallo. Una volta normalizzati gli ingressi, occorre memorizzare
i parametri usati per la normalizzazione, in maniera tale che questa possa
essere riapplicata invariata agli ingressi incontrati in fase di predizione. Le
tecniche principali sono:
min-max normalization, si scalano i valori dellattributo in funzione
del minimo e del massimo per farli rientrare in un intervallo [a,b]
desiderato (tipicamente [0,1]).
x
i

x
i
min
i
(x
i
)
max
i
(x
i
) min
i
(x
i
)
(b a) +a
Svantaggi:
1. gli outlier inuiscono molto su min e max, e quindi sulla norma-
lizzazione;
2. in fase di predizione potrebbe arrivare un ingresso al di fuori del-
lintervallo [min, max] per cui la normalizzazione sarebbe errata
(in risultato sarebbe pi` u piccolo di a o pi` u grande di b).
z-score normalization, normalizza i valori nellintervallo [-1,1] e si basa
su valor medio e deviazione standard, quindi non subisce linuenza
degli outlier.
x
i

x
i
x
x
4.2 Feature selection
Possono capitare spesso due scenari:
nel dataset sono presenti attributi superui. Ad esempio in una base
di dati che contiene ID, altezza, peso, sesso, lID è superuo ai ni
della classicazione;
10
32
alcuni attributi sono linearmente dipendenti e quindi mantenerne uno
solo è suciente, dato che tutti gli altri non aggiungi informazione. Ad
esempio se il dataset prevede sesso, peso (kg), peso (lb) è evidente
che uno dei due pesi è eliminabile.
Ridurre le dimensioni dei vettori delle feature consente di semplicare il
problema e ciò si traduce in tempi di addestramento pi` u brevi e modelli meno
complessi (di grado inferiore, riducendo dunque il rischio di overtting).
Le tecniche adottate per individuare gli attributi superui sono:
1. Filtri: grazie ai quali è possibile stabilire un ranking degli attributi in
cui gli ultimi sono quelli che discriminano meno la classe di apparte-
nenza dellesempio (misure tipiche: information gain, entropy, mutual
information);
2. Wrappers: si suddivide il set di dati di addestramento in due parti.
La prima parte viene utilizzata per addestrare il modello, selezionando
però solo un sottoinsieme di attributi per volta. Per ciascuno di questi
sottoinsiemi si valutano le prestazioni sulla seconda parte (validation
set) per capire quali attributi hanno inuenza maggiore;
3. Algoritmi di riduzione della dimensionalità (PCA, trattata in seguito).
4.3 Scelta del modello
4.3.1 Overtting ed undertting
Nella scelta del modello è importante evitare due situazioni:
overtting: si verica quando il modello si comporta molto bene sul
training set, ma non è in grado di prevedere correttamente le classi dei
campioni nel validation set. Signica che il modello non è in grado di
generalizzare ed è quindi troppo complesso (ad esempio un polinomio
di grado troppo elevato). Un modello troppo complesso oscillerà molto
e sarà caratterizzato da una forte varianza.
undertting: il modello è troppo semplice e genera errori troppo grandi
sia sui dati di addestramento che su quelli di validazione. Ciò si traduce
in un errore medio di predizione elevato (bias);
33
4.3.2 Trade-o tra bias e varianza
Cerchiamo di capire qual è linuenza di bias e varianza sullerrore media-
mente commesso da un modello
11
.
Formulazione del problema Ipotizziamo di avere a disposizione inniti
dataset D
i
la cui unione costutuisce lintera popolazione di campioni che il
nostro modello potrà mai incontrare nella sua esistenza.
Ipotizziamo di ssare il tipo di modello da usare e di addestrarlo ogni
volta con un diverso D
i
, otterremo quindi innite ipotesi h
(D
i
)
(x).
Ciascun campione del dataset è nella forma < x
(i)
, y
(i)
> dove y
(i)
è
somma di un valore vero (a noi sconosciuto) e di un errore gaussiano a
media nulla e varianza
e
:
y
(i)
= f(x
(i)
) +e
(i)
Ciascuna delle ipotesi h
(D
i
)
commetterà un errore nel predire i campioni
rispetto al loro valore vero, e lo possiamo esprimere sotto forma di errore
quadratico medio (MSE):
MSE
_
h
(D
i
)
(x)
_
= E
x
_
(h
(D
i
)
(x) f(x))
2
_
A noi interessa valutare laspettazione (valore atteso) di questultima
quantità rispetto ai D
i
. In pratica è come se misurassimo lerrore quadra-
tico medio commesso da ciascun singolo modello su tutti i possibili ingressi
e mediassimo a loro volta questi risultati; ovviamente il calcolo di questo
valor medio richiederebbe la conoscenza di tutti gli inniti D
i
, per cui ci
accontentiamo del valore atteso (che chiameremo Generalization Error o
GER):
GER = E
D
[MSE]
= E
D
_
E
x
_
_
h
(D
i
)
(x) f(x)
_
2
__
= E
x
_
E
D
_
_
h
(D)
(x
(i)
) f(x
(i)
)
_
2
__
Lultimo passaggio è possibile perche loperatore E è lineare (si tratta
di una sommatoria nel caso discreto). Essendo tutti gli addendi di E
x
non
negativi, per ottenere un GER piccolo non ci resta che minimizzare E
D
. La
presenza degli apici (i) nella formula pi` u interna, ci ricorda che laspettazione
11
Questa parte è stata scritta partendo dagli appunti ed integrandoli con il libro e con
quanto letto qui.
34
E
D
che desideriamo conoscere è calcolata ssato un singolo campione x
(i)
e
facendo variare il modello usato.
Decomposizione Studiamo ora come è fatto il seguente termine
12
:
E
D
_
_
h
(D)
(x
(i)
) f(x
(i)
)
_
2
_
. (18)
Introduciamo la grandezza:
h(x
(i)
) = E
D
_
h
(D)
(x
(i)
)
_
che rappresenta la media statistica dei valori restituiti in uscita da ciascun
modello h
(D
i
)
quando tutti ricevono in ingresso uno stesso x
(i)
. In altre
parole ssiamo x
(i)
, lo diamo in pasto a tutti i modelli addestrati e calcoliamo
la media delle uscite. Questa quantità rappresenterà la miglior stima di
f(x
(i)
).
A questo punto sommiamo e sottraiamo h(x
(i)
) nellEquazione 18:
E
D
_
_
h
(D)
(x
(i)
) h(x
(i)
) +h(x
(i)
) f(x
(i)
)
_
2
_
sviluppiamo il quadrato raggruppando gli addendi 2 per volta e sfruttiamo
la linearità di E:
E
D
_
_
h
(D)
(x
(i)
) h(x
(i)
)
_
2
_
+E
D
_
_
h(x
(i)
) f(x
(i)
)
_
2
_
+E
D
_
2
_
h
(D)
(x
(i)
) h(x
(i)
)
__
h(x
(i)
) f(x
(i)
)
__
Analizziamo ora i singoli addendi. Il primo rappresenta, per denizione, la
varianza:
E
D
_
_
h
(D)
(x
(i)
) h(x
(i)
)
_
2
_
= V ar
_
h
(D)
(x
(i)
)
_
.
Nel secondo termine entrambi gli addendi non dipendono pi` u da D, ssato
un x
(i)
rappresentano dei numeri, per cui:
E
D
_
_
h(x
(i)
) f(x
(i)
)
_
2
_
= (h(x
(i)
) f(x
(i)
))
2
12
La decomposizione del MSE in bias e varianza è valida in generale. Qui riporto la
dimostrazione usando la notazione del contesto in analisi.
35
e questa quantità rappresenta per denizione il Bias
2
_
h
(D)
(x
(i)
)
_
. Lo stesso
discorso può essere fatto per il terzo fattore del terzo addendo:
2
_
h(x
(i)
) f(x
(i)
)
_
E
D
_
h
(D)
(x
(i)
) h(x
(i)
)
_
= 2
_
h(x
(i)
) f(x
(i)
)
__
E
D
_
h
(D)
(x
(i)
)
_
E
D
_
h(x
(i)
)
__
= 2
_
h(x
(i)
) f(x
(i)
)
__
h(x
(i)
) h(x
(i)
)
_
= 0
In denitiva:
MSE(h
(D)
(x
(i)
)) = Bias
2
_
h
(D)
(x
(i)
)
_
+V ar
_
h
(D)
(x
(i)
)
_
.
Commento dei risultati Lerrore di generalizzazione di un modello è
laspettazione del MSE appena denito, abbiamo quindi interesse a rendere
lMSE piccolo. Ciò può essere ottenuto riducendo il bias o la varianza:
il bias tiene conto di quanto la migliore stima (cioè la media delle
stime) sia in grado di avvicinarsi al valore vero. Un bias alto è in-
dice di un modello troppo semplice che, a prescindere dal dataset D
i
di addestramento, non ha una buona capacità predittiva. Questo è
riconducibile, ad esempio, un polinomio di grado troppo basso;
la varianza tiene conto di quanto ciascuna ipotesi si discosta dal ri-
sultato dellipotesi media. Una varianza alta è indice del fatto che,
addestrando uno stesso modello con D
i
diversi, si possono ottenere
ipotesi molto diverse. Ciò signica che il modello è troppo complesso,
tende ad andare in overtting e manca di capacità di generalizzazione.
Lideale sarebbe avere sia bias che varianza piccoli, ciò garantisce che
il modello approssimi bene i risultati reali pur rimanendo stabile, cioè non
subisce fortemente linuenza del particolare training set utilizzato (a patto
che questo sia ben costruito). In Figura 3 è mostrato il tipico andamento di
bias e varianza in funzione della complessità del modello. Notiamo che le due
componenti hanno un andamento opposto (al diminuire delluna, aumenta
laltra), il miglior compromesso è rappresentato dal punto in cui la loro
somma è minima.
36
Figura 3: Bias e varianza in funzione della complessità del modello.
4.3.3 Cross-validation
Non sapendo quale modello scegliere, lidea della cross-validation è quella di
addestrarne alcuni su un sottoinsieme del training set a disposizione e poi
valutarne le prestazioni sulla restante parte (validation set).
La scelta del modello nale va fatta sulla base delle misure di prestazione
calcolate sul validation set e non sul training set. Questo ha senso perche il
modello è stato addestrato per minimizzare lerrore quadratico sul training
set ed in virt` u di ciò ci aspettiamo che lerrore commesso su di esso sia
basso. In particolare, si dimostra che lerrore commesso su training set è
una sottostima dellerrore di generalizzazione, mentre quello sul validation
set lo approssima in maniera migliore.
Dopo aver scelto quale modello usare, questo può essere riaddestrato
utilizzando tutto il training set iniziale.
Questo stesso approccio può essere sfruttato per determinare metapara-
metri (ad esempio il coeciente di penalizzazione del fattore di regolarizza-
zione) oppure per capire quali siano le feature meno signicative.
Due tecniche comunemente usate per eettuare cross-validation prendo-
no il nome di holdout e k-folds
4.3.4 Holdout cross validation
La holdout cross validation prevede che il training set su cui addestrare i
modelli in prova sia costituito dai due terzi di quello iniziale, il restante terzo
costituirà il validation set. Occorre prestare attenzione anche i campioni
scelti per laddestramento e per la valutazione siano rappresentativi di tutte
le classi presenti. Se ad esempio la classe 0 è completamente assente tra
37
High Bias
Low Variance
Low Bias
High Variance
P
r
e
d
i
c
t
i
o
n
E
r
r
o
r
Model Complexity
Training Sample
Test Sample
Low High
Figura 4: Errore di predizione su trainig set e validation set al variare della
complessità del modello
i dati di addestramento, e presente in quelli di validazione, il modello mo-
strerà una pessima capacit` a di riconoscere tali campioni e ciò si ripercuoterà
negativamente sulle misure di prestazione.
4.3.5 K-folds cross validation
Questa tecnica prevede che linsieme dei dati venga suddiviso in k sottoin-
siemi di uguali dimensioni (tipicamente k = 10). Durante ciascuna delle
k iterazioni dellalgoritmo ciascun modello viene addestrato sullunione di
k 1 sottoinsiemi e validato sul k esimo. Ad ogni iterazione si cambiano i
k 1 sottoinsiemi di addestramento e di conseguenza il k esimo. Lerrore
commesso da ciascun modello viene calcolato come media degli errori da
esso commessi in seguito a ciascuno dei k addestramenti.
4.4 Valutazione del modello
La valutazione nale del modello viene fatta dopo averlo scelto, e quindi
dopo averlo riaddestrato usando lunione di training set e validation set.
`
E
evidente, quindi, che il test set su cui valutiamo le prestazioni del modello
debba essere distinto dagli altri due.
Occorre, inoltre, evitare il peeking, cioè non usare i dati del test set
come se fossero parte del validation set. In questa maniera il test set viene
usato per guidare la scelta del modello (è grave quasi come usare il test set
per laddestramento), mentre per ottenere misure di prestazione credibili il
38
test set non deve avere alcuna inuenza su come il modello viene scelto ed
addestrato.
4.4.1 Matrice di confusione e metriche
La matrice di confusione consente di rappresentare in maniera compatta
alcune grandezze di interesse per il calcolo delle misure di prestazione di
un classicatore binario. Supponendo che luscita del classicatore sia yes
(y = 1) o no (y = 0), la matrice di confusione viene costruita indicando
sulle righe la classe reale dei campioni del test set, sulle colonne la classe
predetta dal classicatore per tali campioni (Figura 5). Allinterno della
matrice identichiamo 4 quantità:
TP (true positive), rappresenta il numero di veri positivi, cioè il nume-
ro di campioni classicati come positivi (classe 1) e che eettivamente
sono positivi;
TN (true negative), rappresenta il numero di veri negativi, cioè il nu-
mero di campioni classicati come negativi (classe 0) e che eettiva-
mente sono negativi;
FP (false positive), rappresenta il numero di falsi positivi, cioè il nu-
mero di campioni classicati come positivi (classe 1), ma che in realtà
sono negativi;
FN (false negative), rappresenta il numero di falsi negativi, cioè il
numero di campioni classicati come negativi (classe 0), ma che in
realtà sono positivi.
Osserviamo che:
TP+TN+FP+FN è il numero totale di campioni nel test set;
TP+FN è il numero di istanze positive nel test set;
TN+FP è il numero di istanze negative nel test set;
TP+FP è il numero di predizioni positive a partire dal test set;
TN+FN è il numero di predizioni negative a partire dal test set.
Partendo da queste 4 quantità si deniscono alcune metriche di uso comune:
39
Figura 5: Matrice di confusione
Accuracy, rappresenta il tasso di predizioni corrette:
Accuracy =
TP +TN
TP +TN +FP +FN
Error rate, rappresenta il tassso di predizioni errate (complemento ad
1 dellaccuracy):
Error Rate = 1 Accuracy =
FP +FN
TP +TN +FP +FN
Le due metriche precedenti tengono conto delle prestazioni complessive
del classicatore. Non ci consentono di capire quanto sia buono nel discri-
minare casi positivi e casi negativi. A tal proposito vengono adottate le
seguenti misure:
Recall, detta anche Sensitivity o True Positive Rate, rappresenta la
percentuale di casi positivi correttamente calssicati:
Recall =
TP
TP +FN
Specicity, detta anche True Negative Rate, in maniera duale alla
precedente rappresenta la percentuale di casi negativi correttamente
calssicati:
Specificity =
TN
TN +FP
False Positive Rate, rappresenta il complemento ad uno della Speci-
city, cioè la percentuale di casi negativi erroneamente classicati:
False Positive Rate = 1 Specificity =
FP
TN +FP
40
Figura 6: Distribuzione delle uscite associate ai campioni positivi e negativi nel test
set
In ultimo può essere interessante valutare la Precision, cioè il tasso di pre-
dizioni vere che si rivelano corrette, ovvero il rapporto tra i veri positivi e
tutti i positivi:
Precision =
TP
TP +FP
.
Tipicamente vorremmo un classicatore con Recall e Precision alte, cioè un
classicatore con un alto numero di veri positivi e pochi falsi negativi e falsi
positivi. Per unire queste due esigenze in ununica metrica viene introdotta
la F-measure, calcolata come media armonica di Precision e Recall :
F-measure = 2
Precision Recall
Precision +Recall
.
4.4.2 Curve ROC
Vediamo ora come è possibile usare le informazioni provenienti dalle metriche
appena introdotte per eettuare il tuning di alcuni parametri del modello.
Ipotizziamo di lavorare con una regressione logistica. Come abbiamo
visto in precedenza, luscita della funzione ipotesi è numerica ed è compresa
tra 0 ed 1. La classe di appartenenza di ciascun campione viene calcolata in
base al fatto che tale uscita superi o meno un valore di soglia (threshold). In
precedenza, però, non abbiamo discusso su come debba essere scelta questa
soglia.
Supponiamo che le distribuzioni delle uscite che il classicatore asso-
cia ai campioni di classe 1 e 0 del test set siano gaussiane, rappresentate
rispettivamente in azzurro e rosso in Figura 6.
41
Figura 7: Curva ROC
Se B rappresenta il valore di soglia scelto, è facile vedere che:
i campioni negativi a sinistra di B rappresentano i veri negativi;
i campioni negativi a destra di B rappresentano i falsi positivi;
i campioni positivi a sinistra di B rappresentano i falsi negativi;
i campioni positivi a destra di B rappresentano i veri positivi.
Quindi la scelta della soglia inuisce direttamente sulla matrice di confusio-
ne, e quindi sulle metriche analizzate.
Tramite le curve ROC siamo in grado di vedere esattamente come il
valore della soglia inuisce sul True Positive Rate e sul False Positive Rate.
Per tracciare una curva ROC facciamo variare la soglia in un intervallo
di possibili valori, per ciascun valore calcoliamo True Positive Rate e False
Positive Rate e disegniamo il punto individuato da questa coppia di valori su
un sistema di assi cartesiani. La curva risultante rappresenterà landamento
di TPR e FPR al variare della soglia (Figura 7). A seconda di quali sono le
esigenze del caso specico, sceglieremo il valore di soglia pi` u opportuno.
Ad esempio, ipotizziamo che il sistema che stiamo addestrando consenta
di classicare un paziente come sano o malato. Ovviamente vorremmo che
esso fosse in grado di rivelare il 100% dei malati, ovvero ottenere un TPR
pari ad 1. Paradossalmente potremmo ottenere ciò impostando una soglia
nulla in maniera tale che tutti i pazienti vengano riconosciuti come malati,
a prescindere dalleettivo stato di salute. Da un punto di vista medico
questo implicherebbe ulteriori esami sui pazienti per vericare leettiva
presenza della malattia, e quindi un costo superiore da sostenere (per il
42
paziente o per la Sanità Pubblica). Quindi ciò che vorremmo fare è anche
minimizzare il FPR, ed ecco che la curva ROC ci consente di individuare il
giusto compromesso tra un TPR alto ed FPR basso. Nello stesso scenario,
però, potremmo ipotizzare che la malattia sia grave e quindi potrebbe essere
preferibile qualche falso positivo in pi` u pur di non abbassare il tasso di veri
positivi, evitando quindi che alcuni pazienti malati non vengano riconosciuti
come tali. Anche in questo caso lanalisi della curva ROC può farci capire
quale sia il miglior valore della soglia.
Le curve ROC possono essere usate anche per determinare i valori otti-
mali di altri metaparametri del modello, o per fare un confronto tra modelli
diversi. In particolare possiamo tracciare la curva ROC di uno stesso mo-
dello, addestrato sullo stesso training set, modicando di volta in volta il
valore un metaparametro. Dopo ciascun addestramento possiamo tracciare
la curva ROC e selezionare il modello la cui curva è migliore, cioè quella che
sottende larea maggiore, avvicinandosi maggiormente allandamento ideale
costante di una una retta passante per TPR=1.
43
5 Algoritmi di classicazione non lineari
5.1 Reti neurali articiali
Vedi AIMA, Volume 2, paragrafo 20.5.
5.2 Support Vector Machine
Lo scopo di questi modelli è la classicazione binaria. Analizzeremo ini-
zialmente il caso in cui i dati da classicare siano linearmente separabili, in
seguito estenderemo il discorso a dati non linearmente separabili
13
.
5.2.1 Dati linearmente separabili
Il modello che costruiamo è ancora una volta un iperpiano (come la regres-
sione lineare ed il perceptron), ma cambierà il modo in cui lo addestreremo,
ovvero cambierà lo scopo delladdestramento. Lespressione dellipotesi è
quindi:
h(x) = w
T
x +b.
Porre h(x) = 0 ci consente di denire lequazione delliperpiano separatore:
w
T
x +b = 0.
A questo punto, tutti i punti che si trovano al di sopra delliperpiano verrano
classicati come y = +1, quelli al di sotto del piano come y = 1. Fare ciò
è equivalente a porre luscita della funzione ipotesi in ingresso alla funzione
segno, ovvero:
y(x
(i)
) = sign(h(x
(i)
)) = sign(w
T
x
(i)
+b).
Possiamo esplicitare lespressione precedente come segue:
w
T
x
(i)
+b > 0 y
(i)
= +1
w
T
x
(i)
+b < 0 y
(i)
= 1
A questo punto vediamo come determinare il vettore dei parametri w e
b, cioè come determinare liperpiano separatore. Lo scopo della procedura di
ottimizzazione che vogliamo costruire è massimizzare il margine. Il margine
si ottiene sommando un contributo d
+
ed un contributo d
. d
+
rappresenta
13
Qualcosa su questo argomento si trova in AIMA, Volume 2, paragrafo 20.6. Per gli
amanti del brivido, questa dispensa sembra decisamente pi` u completa.
44
la minima distanza tra un punto di classe +1 e liperpiano separatore. d
èil corrispettivo per la classe 1, cioè la distanza minore tra un punto di

classe 1 e liperpiano. I punti che danno origine a tale distanza, cioè i pi` u
vicini alliperpiano, costituiscono i due vettori di supporto.
Prima di formalizzare il problema di ottimizzazione, imponiamo due vin-
coli che ci torneranno utili in seguito: per tutti i punti appartenenti ai vettori
di supporto lipotesi deve valere esattamente +1 o 1 (a seconda che il punto
appartenga al vettore di supporto positivo o negativo):
w
T
x
(i)
+b = +1 se x
(i)
s.v.
+
w
T
x
(i)
+b = 1 se x
(i)
s.v.
A questo punto possiamo sintetizzare i 4 vincoli imposti nellunica espres-

sione:
y
(i)
_
w
T
x
(i)
+b
_
1 0
vediamo perche questa ha senso:
se x
(i)
è di classe +1, risulta y
(i)
= +1 e quindi il vincolo precedente
impone che w
T
x
(i)
+b +1;
se x
(i)
è di classe 1, risulta y
(i)
= 1 e quindi il vincolo precedente
impone che w
T
x
(i)
+b 1.
Torniamo al problema di massimizzazione: è noto
14
che la distanza tra un
generico x
(i)
ed un iperpiano è pari a
15
:
[(w
T
x
(i)
+b)[
[[w[[
dove ricordiamo che:
[[w[[=
_
n
i=0
w
2
i
In base alle condizioni imposte, i punti dei vettori di supporto rendono
unitario il numeratore della precedente, per cui il margine (d
+
+d
) è proprio
2
||w||
.
14
Point-Plane Distance
15
Nelle slide del corso il numeratore è |(w
T
x
(i)
+b) y
(i)
|. Probabilmente questo è errato
e lintroduzione di y
(i)
serve ad eliminare il valore assoluto. Infatti, per come abbiamo
impostato il problema, risulta che |(w
T
x
(i)
+b)|= (w
T
x
(i)
+b) y
(i)
(cioè |x|= x sign(x)).
45
Il problema desiderato è quindi il seguente: vogliamo trovare w e b che
massimizzino
2
||w||
sotto i seguenti vincoli:
y
(i)
_
w
T
x
(i)
+b
_
1 0 i = 1, . . . , m.
Si vede che:
argmax
w,b
2
[[w[[
= argmin
w,b
[[w[[
2
2
.
Ciò ci consente di passare da una massimizzazione ad un problema di mi-
nimizzazione convesso e con vincoli di disuguaglianza lineari. In realtà a
partire da questultima formulazione (detta primale) si genera il problema
duale (facendo utilizzo della funzione di Lagrange) che è di pi` u semplice
risoluzione. La funzione obiettivo diventa quindi:
L(w, b, ) =
1
2
[[w[[
2
i=1
i
(y
(i)
(w
T
x
(i)
+b) 1).
Tramite una serie di passaggi ed osservazioni è possibile riformulare il
problema come segue
16
:
max
i=1
1
2
m
i,j=1
y
(i)
y
(j)
j
(x
(i)
x
(j)
)
s.t.
i
0 i = 1, . . . , m
m
i=1
i
y
(i)
= 0
dove
i
sono i coecienti di Lagrange introdotti dallomonima funzione ed
a partire dai loro valori ottimi è possibile ricavare w
e b
. Si vede che
i
è
non nullo per tutti e soli i punti appartenenti ai vettori di supporto.
Una volta individuati il vettore di coecienti ottimi
è possibile pas-
sare alla soluzione del problema primario tramite due relazioni:
la prima consente di trovare i coecienti ottimi delliperpiano (w
)
w
=
m
i=1
i
y
(i)
x
(i)
; (19)
16
Cè una dierenza tra il libro e le slide, qui ho riportato la versione del libro di pag.
440 del secondo volume (paragrafo 20.6).
Inoltre credo che per x
(i)
x
(j)
gli autori intendano il prodotto scalare tra due vettori di
ingressi. Se cos` fosse, per correttezza formale, il primo dovrebbe essere trasposto.
46
il secondo set di equazioni consente di trovare il valore ottimo dellin-
tercetta (b
i
(y
(i)
(w
T
x
(i)
+b
) 1) = 0 i = 1, . . . , m
In particolare, soluzione trovata gode di alcune proprietà:

i
= 0 per tutti i punti che non giacciono sui margini;

i
,= 0 per tutti i punti che giacciono sui margini, cioè per quei punti
facenti parte dei vettori di supporto.
Date le due precedenti conclusioni e lEquazione 19, notiamo che la soluzio-
ne ottima è una combinazione lineare dei soli vettori di supporto. Quindi,
lequazione del piano separatore ottimo è:
w
T
x +b
i{s.v.
+
s.v.
i
y
(i)
(x
(i)T
x) +b
5.2.2 Soft margin SVM

Esaminiamo ora come usare una SVM nel caso in cui i dati non siano li-
nearmente separabili. Notiamo che nella formulazione originale del problema
ciascun vincolo
y
(i)
_
w
T
x
(i)
+b
_
1 0 i = 1, . . . , m
impone che il punto i-esimo non oltrepassi il semispazio delimitato dalliper-
piano in cui risiedono tutti i campioni della sua stessa classe. In altre parole,
se un generico x
(i)
è di classe y il problema di ottimizzazione ammette solu-
zione solo se esiste una soluzione in cui tutti i punti si trovano nel semipiano
corretto. In caso di outlier questa procedura non può funzionare. Ecco
dunque che per contemplare la possibilità di far commettere errori alla
procedura di ottimizzazione introduciamo per ciascun vincolo una variabile
slack
i
0. Il valore di ogni
i
è proporzionale a quanto x
(i)
sta sforando
nel semipiano errato, cioè a quanto il punto anomalo si discosta dalliper-
piano e se è maggiore di 1 indica una misclassicazione. I vincoli diventano
quindi:
y
(i)
_
w
T
x
(i)
+b
_
1 +
i
0 i = 1, . . . , m.
Ovviamente è necessario penalizzare i punti misclassicati, introducendo un
fattore additivo nella funzione costo:
min
w
1
2
[[w[[
2
+C
m
i=1
i
47
dove C rappresenta un parametro di regolarizzazione il cui valore può essere
determinato tramite cross validation. Infatti una C troppo grande rischia
di produrre un addestramento troppo severo e non trovare una soluzione,
il contrario produce un addestramento troppo tollerante e dunque un mo-
dello che genera troppi errori di classicazione. Il problema duale, quello
eettivamente risolto, diventa:
max
i=1
1
2
m
i,j=1
y
(i)
y
(j)
j
(x
(i)
x
(j)
)
s.t. 0
i
C i = 1, . . . , m
m
i=1
i
y
(i)
= 0.
5.2.3 Metodi kernel
Quanto appena visto non risolve tutti i problemi, infatti anche il metodo
funzioni è necessario che i punti siano distributi in regioni di spazio quasi
linearmente separabili, cioè ammettiamo la presenza di outlier ma non di
non-linearità. Lidea alla base dei metodi kernel è simile a quella delle
funzioni di base (), le quali applicano una funzione a ciascuna istanza di
ingresso che ne aumenta il numero di feature e renda linearmente separabili
i campioni in uno spazio degli input a dimensionalità superiore.
Il problema in tutto ciò sorge quando le non-linearità sono molto forti e
quando i vettori delle feature sono molto grandi già prima dellapplicazione
delle funzioni di base. Nellespressione da ottimizzare compare infatti il
prodotto x
(i)
x
(j)
:
max
i=1
1
2
m
i,j=1
y
(i)
y
(j)
j
(x
(i)
x
(j)
).
Dopo aver applicato le funzioni base, questo prodotto viene sostituito da
(x
(i)
)
T
(x
(j)
) e questo calcolo può diventare oneroso nelle condizioni sopra
descritte. Lo scopo di una funzione kernel k(x
(i)
, x
(j)
)
17
è quello di restituire
lo stesso risultato del precedente prodotto tra vettori, senza però richiedere
una trasformazione esplicita degli ingressi, cioè:
k(x
(i)
, x
(j)
) = (x
(i)
)
T
(x
(j)
).
17
Vedi le slide per alcuni esempi di funzioni kernel.
Per rappresentare gli ingressi sto continuando ad usare la notazione introdotta n
dallinizio, pur essendo leggermente diversa da quella delle slide e del libro.
48
Applicando una funzione simile, il problema di ottimizzazione diventa:
max
i=1
1
2
m
i,j=1
y
(i)
y
(j)
j
k(x
(i)
, x
(j)
).
s.t. 0
i
C i = 1, . . . , m
m
i=1
i
y
(i)
= 0.
A questo punto la procedura di ottimizzazione richiede la scelta di:
tipo di Kernel da usare;
parametri del Kernel scelto;
valore di C;
questi possono essere tutti determinati euristicamente tramite cross-validation.
Il vantaggio di pochi parametri da calibrare si aggiunge ai vantaggi delle
SVM, cioè:
la funzione da minimizzare è quadratica, e non cè il pericolo di incap-
pare in minimi locali;
la soluzione può essere trovata in tempo polinomiale tramite le note
tecniche di ottimizzazione;
le soluzioni sono stabili, cioè non dipendono da inizializzazioni casuali,
come nel caso delle reti neurali;
la soluzione è sparsa, in quanto dipende solo dai vettori di supporto.
5.3 K-nearest neighbors
Vedi AIMA, Volume 2, paragrafo 20.4.
49
6 Apprendimento statistico
In questa parte analizzeremo un esempio di classicatore basato su apprendi-
mento statistico: il classicatore bayesiano naive. Esso consente di predirre
la classe di appartenenza di un campione sfruttando le regole della statistica,
in particolar modo il suo funzionamento è incentrato sulla regola di Bayes
18
.
6.1 Regola di Bayes
Dati due eventi A e B, la regola di Bayes ci consente di calcolare la cosidetta
probabilità a posteriori, cioè la probabilità che dato levento B si verichi
anche A. Essa è:
p(A[B) =
p(A, B)
P(B)
.
Per la regola del prodotto possiamo scrivere:
p(A, B) = p(A[B) p(B),
per simmetria
p(A, B) = p(B, A) = p(B[A) p(A).
Sostituendo lultima nella prima equazione, otteniamo la forma pi` u usata
della regola di Bayes:
p(A[B) =
p(B[A) p(A)
p(B)
.
Noi useremo questo risultato mettendo in relazione ingressi ed uscite di
un classicatore, come segue:
p(y[x) =
p(x[y) p(y)
p(x)
dove:
p(y[x) prende il nome di stima a posteriori, ed infatti rappresenta la
probabilità che si presenti unuscita y avendo osservato un ingresso x;
p(x[y) si chiama verosimiglianza ed è la probabilità che venga ge-
nerato un ingresso x sapendo che la classe dappartenenza è y (vedi
esempio successivo);
18
AIMA, Volume 2, paragra 20.1 e 20.2 (il capitolo 13 è propedeutico).
50
p(y) è la probabilità marginale derivante dalla conoscenza del fenome-
no (vedi esempio);
p(x) è levidenza, cioè la probabilità marginale di x.
Chiariamo i concetti con un esempio. Ipotizziamo che un produttore di
caramelle commercializzi 5 tipi di confezioni cos` assortite
19
:
y
1
: 100% caramelle alla ciliegia;
y
2
: 75% ciliegia + 25% lime;
y
3
: 50% + 50%
y
4
: 25% + 75%
y
5
: 100% lime.
Esteticamente, però, i sacchetti sono tutti uguali e non abbiamo modo di
conoscere di che tipo è il nostro sacchetto. Ciò che vogliamo fare, ed è ciò
a cui ambisce un classicatore bayesiano, è stimare con quale probabilità
il nostro sacchetto è di uno dei 5 tipi man mano che scartiamo caramelle
prelevate da esso. Cos` facendo possiamo ipotizzare di che tipo è il sacchetto
ed in base a ciò ipotizzare il gusto della prossima caramella estratta. Per
questo motivo annoveriamo i classicatori bayesiani tra i modelli generati-
vi. Inizialmente, dunque, vogliamo rispondere alla domanda: se estraggo
M caramelle dal sacchetto, quante probabilità ci sono che il sacchetto sia di
tipo y
j
(j=1,. . . ,5)? In formule:
p(y
j
[x
M
) =
p(x
M
[y
j
) p(y
j
)
p(x
M
)
dove:
p(y
j
[x
M
) rappresenta la probabilità che desideriamo conoscere;
p(x
M
[y
j
) rappresenta la probabilità che la sequenza di caramelle x
M
(che possiamo interpretare come un vettore) sia estratta da un sac-
chetto di tipo y
j
. Ad esempio la probabilità di estrarre una caramella
alla ciliegia da un sacchetto di tipo y
1
è unitaria;
p(y
j
) rappresenta la probabilità marginale che un sacchetto sia di tipo
y
j
. Ad esempio il fornitore potrebbe dirci daver prodotto il 10% di
sacchetti y
1
, il 20% y
2
e cos` via, per cui p(y
1
) = 0.1, p(y
2
) = 0.2, ecc.;
19
Questo esempio è tratto dal libro (paragrafo 20.1).
51
p(x
M
) rappresenta la probabilità marginale di pescare una sequenza
x
M
senza sapere nulla sul tipo di sacchetto. Ad esempio potremmo
prendere in considerazione tutti i sacchetti venduti e misurare la proba-
bilità media con cui ciascuna possibile sequenza di M caramelle viene
estratta da un sacchetto. Tali sacchetti saranno assortiti nella maniera
pi` u varia, ma ai ni della probabilità marginale ciò non importa.
Tramite lapplicazione della regola di Bayes possiamo calcolare la pro-
babilità che il sacchetto sia di ciascuna categoria man mano che estraiamo
nuove caramelle. Ogni volta che estraiamo una nuova caramella abbiamo
una nuova informazione a disposizione (è come se aggiungessimo un nuovo
elemento ad x
M
) ed in base a questa nuova informazione possiamo aggior-
nare tutte le probabilità a posteriori, che presumibilmente diventeranno pi` u
accurate nel predirre la classe di appartenenza. Quando avremo estratto
tutte le caramelle desiderate, aermeremo che la classe a cui appartiene il
nostro sacchetto è quella la cui probabilità a posteriori è maggiore.
6.2 Classicatore bayesano naive
Supponiamo ora di lavorare con campioni costituiti da n ingressi discreti ed
appartenenti a k possibili classi. Lo scopo del nostro simpatico classicatore
è osservare ciascun campione in ingresso e determinare qual è la classe di
appartenenza pi` u probabile
20
:
y
MAP
= argmax
j=1,...,k
(p(y
j
[x
1
, x
2
, . . . , x
n
)) .
Questa operazione si chiama stima MAP (Maximum A Posteriori proba-
bility) poiche ogni volta che osserviamo un campione stimiamo qual è la sua
classe di appartenenza pi` u probabile (ad esempio, ogni volta che scartiamo
unulteriore caramella dallo stesso sacchetto cerchiamo di capire di che tipo è
il sacchetto). Il fatto che sia una stima a posteriori signica che prediciamo
la classe di appartenenza del campione dopo averlo osservato.
Applichiamo la regola di Bayes e ci accorgiamo di uninteressante conse-
guenza:
y
MAP
= argmax
j=1,...,k
(p(y
j
[x
1
, x
2
, . . . , x
n
))
= argmax
j
_
p(x
1
, x
2
, . . . , x
n
[y
j
) p(y
j
)
p(x
1
, x
2
, . . . , x
n
)
_
= argmax
j
(p(x
1
, x
2
, . . . , x
n
[y
j
) p(y
j
)) .
20
Si noti che è proprio ci` o che facevamo cercando di indovinare il tipo di pacchetto
di caramelle in nostro possesso.
52
Poiche al variare di y
j
, p(x
1
, x
2
, . . . , x
n
) resta immutato, esso rappresenta
un fattore di normalizzazione non inuente ai ni della massimizzazione.
Eliminandolo semplichiamo il problema.
Studiamo ora la cardinalità del fattore p(x
1
, x
2
, . . . , x
n
[y
j
). Nel caso pi` u
semplice ciascun attributo è binario e lo spazio degli ingressi è costituito da
2
n
valori distinti. Per ciascun valore di y
j
dobbiamo quindi conoscere 2
n
1
probabilità
21
, per un totale di k(2
n
1) calcoli di probabilità necessari. Con
problemi di grandi dimensioni questo potrebbe essere un limite, ecco dunque
che con il classicatore naive introduciamo una notevole semplicazione:
ipotizzamo che, ssata una classe, tutte le variabili dipendano solo da essa
e non abbiano dipendenza reciproche (indipendenza condizionata
22
). In
base a ciò riduciamo il problema al calcolo di sole kn probabilità e quindi:
y
MAP
= argmax
j
_
p(y
j
)
n
i=1
p(x
i
[y
j
)
_
. (20)
In ultimo evidenziamo che, in genere, si passa alla massimizzazione della
forma logaritmica della precedente equazione poiche è numericamente pi` u
stabile:
y
MAP
= argmax
j
_
log p(y
j
) +
n
i=1
log p(x
i
[y
j
)
_
. (21)
6.2.1 Classicatore di testi basato su naive bayes
Analizziamo ora una semplice applicazione di un modello naive bayes per la
classicazione di testi. Il training set a nostra dispozione è costituito da una
serie di documenti per ciascuno dei quali è specicata la classe di apparte-
nenza. Ad esempio questi documenti potrebbero essere pagine web di siti
universitari e far riferimento ad un docente, ad un corso, ad un progetto o ad
una facoltà. Vogliamo addestrare il classicatore in modo tale che, quando
osserva una nuova pagina, ci sappia dire qual è la classe di appartenenza pi` u
probabile.
Pre-processing La prima operazione da fare consiste nelleliminazione di
articoli, preposizioni, ecc. dai testi. Infatti queste sono parole ricorrenti in
qualsiasi lingua ed in quanto tali non apportano informazione utile ai ni
della classicazione.
21
la 2
n
esima pu` o essere calcoalta come il complemento ad 1 della somma delle restanti.
22
AIMA, Volume 2, paragrafo 13.1 e successivi.
53
Inoltre notiamo che, ai ni della classicazione, parole come studiare,
studiai, studiò sono equivalenti perche fanno riferimento tutte al verbo
studiare. Per fare in modo che il classicatore le tratti alla stessa maniera,
si eettua loperazione di stemming, cioè di riduzione di ciascuna parola alla
sua radice. In seguito allo stemming ciascuna delle tre parole precedenti
viene trasformata in stud.
Modellazione del problema Dopo aver preprocessato i testi occorre ca-
pire cosa utilizzare come ingressi e quali sono le uscite. La determinazione
delle uscite è piuttosto immediata, infatti il nostro scopo è classicare cia-
scun documento e quindi ciascun possibile valore duscita dovrà essere as-
sociato una classe di appartenenza (con riferimento allesempio delle pagine
web queste potrebbero essere y = 1 per docente, y = 2 per corso, y = 3
per progetto e cos` via). Per quanto riguarda gli ingressi, possiamo pensare
di avere tante feature quante sono le parole distinte presenti in tutti i testi
del training set. Associamo ciascuna parola ad un elemento di un vettore.
Lelemento i-esimo di un vettore in ingresso sarà pari al numero di volte
che la parola ad esso associata è ripetuta nel documento a cui il vettore fa
riferimento. La versione pi` u semplice del classicatore ignora il numero di
ripetizioni, e prevede che un elemento del vettore sia 1 quando la parola è
presente almeno una volta nel testo e 0 in caso contrario.
Esempio. Ipotizziamo di avere 2 documenti, ciascuno dei quali è costituito
da una sola frase:
1. Il gatto è sopra il tavolo;
2. Il cane è sotto il tavolo.
Dopo il preprocessing queste diventeranno:
1. gatto sopra tavolo;
2. cane sotto tavolo.
In esse sono presenti 5 parole distinte, per cui un generico ingresso sarà
costituito da un vettore di 5 elementi, che corrispondono alle parole:
gatto, cane, sopra, sotto, tavolo.
In base a ciò i due ingressi vengono rappresentati come:
1. x
(1)
=< 1, 0, 1, 0, 1 >;
54
2. x
(2)
=< 0, 1, 0, 1, 1 >;
Notiamo che adottando un modello naive stiamo ipotizzando che la pre-
senza di ciascuna parola sia condizionalmente indipendente dalle altre. Que-
sta ipotesi intuitivamente sembra non vera, infatti se è presente la paro-
la automobile è ragionevole credere che la presenza della parola guida-
re non sia completamente scorrelata. In realtà si vede che questa ipotesi
semplicativa porta a classicatori che funzionano piuttosto bene.
Stima delle probabilità Lultima informazione necessaria per applicare
la regola di Bayes per determinare la stima MAP sono le probabilità a priori,
cioè le varie p(y
j
), e le probabilità condizionate semplici p(x
i
[y
j
). Quando
il campione di dati a disposizione è piuttosto ampio, possiamo adottare un
approccio frequentista per individuare una stima di tali probabilità. In par-
ticolare, per ciascuna classe, è suciente calcolare il rapporto tra il numero
di documenti di tale classe ed il numero totale di documenti:
p(y
j
) =
n.ro documenti y
j
n.ro totale documenti
.
In maniera simile potremmo stimare le probabilità condizionate:
p(x
i
[y
j
) =
p(x
i
, y
j
)
p(y
j
)
ovvero:
p(x
i
[y
j
) =
n.ro documenti (x
i
y
j
)
n.ro documenti y
j
in cui il numeratore rappresenta il numero di documenti di classe y
j
in cui
compare il termine x
i
. Ma cosa accadrebbe se per una particolare coppia
classe-ingresso non ci fosse alcun campione desempio tra i documenti con-
siderati? Avremmo p(x
i
[y
j
) = 0, e quindi lEquazione 20 si annullerebbe
mentre lEquazione 21 andrebbe a .
Laplace smoothing Questa tecnica modica leggermente le formule
per il calcolo delle probabilità condizionate e consente di risolvere il problema
appena descritto. La formula proposta consiste nella seguente espressione:
p(x
i
[y
j
) =
n.ro documenti (x
i
y
j
) + 1
n.ro documenti y
j
+[x[
.
Cos` facendo, gli attributi non rappresentati in alcun documento saranno
equiprobabili con probabilità 1/(n.ro documenti y
j
+[x[) dove [x[ è il numero
totale di tutti i possibili valori delle x.
55
7 Algoritmi non supervisionati
A dierenza degli algoritmi supervisionati, in quelli non supervisionanti per
ciascun esempio non è nota luscita, cioè la sua classe di appartenenza, e
dunque non è possibile eettuare una fase di training. Lo scopo di questi
algoritmi può essere quello di raggruppare esempi simili (clustering) oppure
ridurre la dimensionalità dei vettori delle feature (dimensionality reduction).
7.1 Clustering
Lo scopo del clustering è raggruppare in maniera naturale le istanze for-
nite. Si punta quindi a creare dei cluster a cui appartengano degli elementi
che condividono alcune proprietà e che, dunque, sono simili tra loro. Le
proprietà che caratterizzano un cluster sono due:
alta similarità intra-cluster, cioè tra istanze appartenenti allo stesso
cluster (che pertanto si dirà omogeneo);
bassa similarità inter-cluster, cioè tra istanze appartenenti a cluster
distinti.
Gli algoritmi di clustering si distinguono in hard e soft clustering:
si parla di hard clustering quando lalgoritmo determina la classe di
appartenenza di unistanza, senza dare alcuna informazione su quanto
è probabile che quella sia la reale classe di appartenenza;
si parla di soft clustering quando lalgoritmo indica, per ciascuna
istanza, qual è la probabilità che appartenga a ciascun cluster.
7.1.1 K-means
Si tratta di un semplice algoritmo di hard clustering che si articola nelle
seguenti fasi:
1. ssa il numero di cluster K in maniera casuale o basandoti su un
euristica nota;
2. scegli casualmente K punti tra le istanze note ed assumi che siano i
centroidi dei K cluster;
3. assegna ogni rimanente punto al cluster il cui centroide è pi` u vici-
no (per valutare la distanza si può usare una distanza Euclidea, di
Manhattan o altro ancora);
56
4. in base ai campioni aggiunti in ciascun cluster ricalcola la posizione
dei centroidi
23
;
5. torna al punto 3 no al raggiungimento della condizione di convergen-
za.
La condizione di convergenza può essere un numero massimo di iterazioni
oppure il momento in cui ciascun centroide dista dal suo valore precedente
di una quantità minore ad una soglia desiderata. Al termine dellalgoritmo
avremo minimizzato la distanza quadratica media delle istanze dai rispettivi
centroidi, detta anche dispersione:
J(c
(1)
, . . . , c
(m)
,
1
, . . . ,
K
) =
1
m
m
i=1
[[x
(i)
c
(i) [[
2
in cui:
m è il numero complessivo di istanze;
x
(i)
è la i-esima istanza;
c
(i)
è il cluster a cui appartiene il punto x
(i)
;

c
(i) sono le coordinate del centroide del cluster a cui appartiene x
(i)
;
[[x
(i)

c
(i) [[
2
è la distanza quadratica tra ciascuna istanza ed il suo
centroide.
Si dimostra matematicamente che il primo primo passo dellalgoritmo, quello
in cui assegnamo ciascun punto ad un cluster, minimizza la funzione costo
variando c
(i)
, mentre il secondo passo, in cui aggiorniamo i centroidi, la
minimizza variando i
k
.
Un vantaggio di questo algoritmo è costituito dalla sua semplicità, ma
presenta alcuni svantaggi, tra cui:
Non è adatto per dati di tipo categoriale. Per funzionare, infatti,
è necessario poter stabilire una distanza tra due generiche istanze.
Anche ciò sia possibile i vettori delle feature devono essere numerici,
o quantomeno dobbiamo essere in grado di applicare una metrica di
distanza tra coppie di istanze.
23
Ciascuna coordinata del centroide di un cluster è calcolata come la media del valore
che tale coordinata assume per tutti i punti del cluster.
57
Figura 8: K-Means converge in un minimo locale
Necessita di specicare K in anticipo. In questa categoria di proble-
mi non abbiamo informazioni a priori su quali e quante classi cercare,
quindi diventa dicile indovinare il K esatto n da subito. Una pos-
sibilità è avviare pi` u volte lalgoritmo con K diversi e confrontare i
risultati. Vedremo a breve come si può realizzare ciò.
Può restare bloccato in minimi locali. Ad esempio può accadere quan-
to mostrato in Figura 8, nella quale in quello che dovrebbe essere un
unico cluster è possibile individuare sottogruppi di istanze molto si-
mili che agli occhi dellalgoritmo appaiono come cluster distinti. La
clusterizzazione che ne consegue è palesemente errata.
Molto sensibile a rumore ed outlier. Se, casualmente, un outlier fosse
scelto come centroide iniziale, questo potrebbe inuire negativamente
sul resto dellalgoritmo. Per ovviare a ciò si può rilanciare k-means
pi` u volte e vedere a che risultati porta.
Non adatto a cluster con forme non convesse.
Abbiamo visto che uno dei punti delicati del k-means è la scelta di K.
Per capire quale sia il valore ottimo è possibile variare K e plottare il valore
della funzione costo in funzione di essa
24
. Un valore troppo alto di J(K)
ci indica, ad esempio, che il clustering non è signicativo perche due o pi` u
24
A volte si usa la Within Groups Sum of Squares che è identica a J(K) ma non
normalizzata rispetto al numero di punti.
58
5 10 15
0
1
2
3
4
5
6
k
J
(
k
)
Figura 9: Andamento tipico della misura di distorsione dei cluster in funzione del
numero di centroidi.
cluster potrebbero essere stati raggruppati attorno ad un unico centroide.
Un valore troppo basso, però, è indice del fatto che abbiamo usato un numero
troppo elevato di centroidi. Nel caso estremo avremo tanti centroidi quanti
punti e questo porterà ad avere errore nullo. Tipicamente si può vedere che
landamento di J è decrescente (simile a quello in Figura 9) e si assume
che il valore vero di K coincida con il ginocchio di tale curva (cioè il punto
in cui la pendenza comincia ad essere meno ripida, determinato tramite
unopportuna famiglia di algoritmi).
7.2 Principal Component Analysis
7.2.1 In sintesi
Lo scopo di questa tecnica è passare da una rappresentazione delle istanze
in n variabili ad una rappresentazione in p variabili latenti (con p << n).
Nota bene che queste variabili sono latenti, cioè non si tratta semplicemente
di eliminare alcune feature da quelle iniziali, ma di applicare un modello
(lineare) alle feature per proiettarle in un nuovo dominio con dimensionalità
inferiore. Questo nuovo dominio sarà caratterizzato da alcuni assi cartesiani,
le coordinate di ciascun punto secondo il nuovo sistema di riferimento posso-
no essere ottenute proiettando ciascun punto su ciascun asse. Le proiezioni
59
x1
x2
u1
u2
Figura 10: Esempio PCA
dei punti su ciascun asse daranno luogo ad una distribuzione di valori e per
ciascun asse è possibile calcolare la varianza di tale distribuzione. Poiche
una varianza maggiore è indice del fatto che quella componente discrimina
maggiormente i punti, saremo interessati a prendere in considerazione so-
lo le p componenti a varianza maggiore (componenti principali). In questa
maniera passiamo da una matrice degli ingressi di dimensione mn ad una
di dimensione mp. Lidea alla base delle tecniche di questo tipo è che le
variabili osservabili siano in qualche maniera correlate e derivabili tutte da
un insieme (pi` u piccolo) di variabili latenti.
Capiamo meglio il concetto con un esempio. In Figura 10 sono mostra-
ti alcuni punti, ciascuno dei quali è rappresentato da una coppia di valori
< x
1
, x
2
>. La PCA ci consente di passare da una rappresentazione in !
2
ad una rappresentazione in ! (scegliendo p = 1). Le componenti indivi-
duate dallalgoritmo (in seguito vedremo come) sono u
1
ed u
2
. Proiettando
i punti su u
1
ed u
2
ci rendiamo conto che la varianza delle proiezioni su
u
1
è maggiore. Concludiamo che sarà questo asse la componente principale
ricercata e sarà suciente a descrivere il set di istanze. In questo semplice
esempio è facile capire che quanto fatto sia corretto, infatti tra x
1
ed x
2
sembra esserci una relazione lineare, e tra due variabili linearmente dipen-
denti è suciente conoscerne una per non perdere alcuna informazione (in
questo caso la lineare dipendenza non è perfetta, quindi preserviamo gran
parte dellinformazione, ma non tutta).
7.2.2 Passi necessari per la PCA
Descriviamo quali passi sono necessari per portare a termine la PCA.
60
La prima operazione da fare è lazzeramento del valor medio, cioè a
ciascuna feature, di ciascuna istanza, sottraiamo il valor medio della stessa
feature calcolato su tutte le istanze. Passiamo quindi da
x
(i)
1
, x
(i)
2
, . . . , x
(i)
n
i = 1, . . . , m
a
x
(i)
1

1
, x
(i)
2

2
, . . . , x
(i)
n

n
i = 1, . . . , m
con
j
=
1
m
m
i=1
x
(i)
j
.
Calcoliamo poi la matrice di covarianza () tra tutte le possibili coppie
di feature, il cui singolo elemento è cos` denito:
ij
= Cov(x
i
, x
j
)
= E[(x
i
i
)(x
j
j
)]
= E[(x
i
)(x
j
)]
Ricordiamo che la covarianza tiene conto di quanto due variabili aleatorie
variano insieme, cioè di quanto sono simili nel loro comportamento.
Ora occorre conoscere autovalori ed autovettori della matrice delle co-
varianze. Per fare ciò applichiamo la Singular Value Decomposition (SVD),
anche nota come Decomposizione in Valori Singolari, alla matrice . Si trat-
ta di una particolare fattorizzazione che, partendo da una matrice A C
mn
ci consente di scrivere:
A = USV
dove:
U è una matrice unitaria sinistra di dimensioni m m, cioè tale che
moltiplicandola per la sua trasposta coniugata si ottiene la matrice
identità (UU
= I). Questa proprietà, nel caso di matrici reali, si

traduce in U
1
= U
T
;
S è una matrice diagonale di dimensioni m n (dove solo i primi n
elementi sono non nulli e costituiscono gli autovalori di A);
V
è la trasposta coniugata di una matrice unitaria di dimensioni nn.

Ricordiamo che la trasposta coniugata di una matrice si ottiene trasponendo-
ne gli elementi e sostituendo ciascuno di essi con il suo complesso coniugato
(lordine delle due operazioni è irrilevante).
61
3 2 1 0 1 2 3
1
0
1
2
3
x1
x
2
(a) Punti iniziali
3 2 1 0 1 2 3
1
0
1
2
3
x1
x
2
(b) Punti con media azzerata
Figura 11: Campioni a cui applicare la PCA
Gli elementi sulla diagonale principale di S rappresentano gli autovalori
di A, posti in ordine di valore decrescente man mano che ci si sposta verso
il basso. Le colonne della matrice U rappresentano gli autovettori sinistri
di A (cioè i vettori u t.c. uA = u con autovalore) e le colonne della
matrice V (e non V
) rappresentano gli autovettori destri di A (calcolati

come Av = v). Nel caso di matrici simmetriche (come la matrice delle
covarianze) questi autovalori coincidono, e quindi U = V .
Ciò che si fa nel caso della PCA è applicare la SVD alla matrice delle
covarianze:
= USV
a questo punto di tutti gli autovalori che compaiono in S ci interessa conser-

vare solo i primi p, per questi autovalori consideriamo i corrispondenti au-
tovettori. Ciascun autovettore sarà costituito da n elementi, avremo quindi
una matrice degli autovettori di dimensione n p. Moltiplicare la matrice
degli ingressi per lautovettore i-esimo signica calcolare il valore della coor-
dinata i-esima di ciascun ingresso rispetto al nuovo sistema di riferimento.
Quindi moltiplicare la matrice degli ingressi (m n) per lintera matrice
degli autovettori (n p) equivale ad eettuare il cambio di coordinate ri-
chiesto per tutti gli ingressi. Il risultato sarà la nuova matrice dei campioni
di dimensione ridotta (mp).
62
Esempio. Chiariamo la procedura tramite un esempio numerico
25
eseguito
in R. I dati a disposizione sono rappresentati dalle seguenti coppie di punti
(Figura 11a):
> show (dataset)
x1 x2
1 2.5 2.4
2 0.5 0.7
3 2.2 2.9
4 1.9 2.2
5 3.1 3.0
6 2.3 2.7
7 2.0 1.6
8 1.0 1.1
9 1.5 1.6
10 1.1 0.9
Eseguiamo ora i passi della PCA:
1. Azzeramento della media, che eettuiamo tramite la funzione scale,
per ottenere la nuova matrice degli ingressi con le medie azzerate
(mostrati in Figura 11b):
> scaled.dataset <- scale(dataset , TRUE , FALSE)
> show(scaled.dataset)
x1 x2
[1,] 0.69 0.49
[2,] -1.31 -1.21
[3,] 0.39 0.99
[4,] 0.09 0.29
[5,] 1.29 1.09
[6,] 0.49 0.79
[7,] 0.19 -0.31
[8,] -0.81 -0.81
[9,] -0.31 -0.31
[10,] -0.71 -1.01
2. Calcolo della matrice delle covarianze:
> Sigma <- cov(scaled.dataset)
> show(Sigma)
x1 x2
x1 0.6165556 0.6154444
x2 0.6154444 0.7165556
3. Decomposizione ai valori singolari :
> results <- svd(Sigma)
> show(results)
$d
25
Esempio trattato a lezione e preso da qui.
63
[1] 1.2840277 0.0490834
$u
[,1] [,2]
[1,] -0.6778734 -0.7351787
[2,] -0.7351787 0.6778734
$v
[,1] [,2]
[1,] -0.6778734 -0.7351787
[2,] -0.7351787 0.6778734
Notiamo che loutput è costuito da un vettore e due matrici. Il vettore
(d) contiene i due autovalori (è la diagonale principale di S), mentre
le matrici (u e v) contengo rispettivamente gli autovettori sinistri e
destri, uno per colonna, e corrispondono quindi ad U e V (non V
).
Notiamo anche che, essendo reale, accade che u = v.
4. Proiezione dei dati sul nuovo sistema di riferimento. Volendo ridurre il
numero di feature da 2 ad 1, ci limitiamo a considerare lautovalore pi` u
grande (il primo) ed il corrispondente autovettore (la prima colonna
di u o v). A questo punto moltiplichiamo la matrice dei campioni
per questo autovettore ed otteniamo le coordinate dei punti nel nuovo
spazio:
> new.dataset <- scaled.dataset %*% results$u[,1]
> show(new.dataset)
[,1]
[1,] -0.82797019
[2,] 1.77758033
[3,] -0.99219749
[4,] -0.27421042
[5,] -1.67580142
[6,] -0.91294910
[7,] 0.09910944
[8,] 1.14457216
[9,] 0.43804614
[10,] 1.22382056
A questo punto la PCAè conclusa ma, poiche stiamo lavorando con punti
del piano, possiamo visualizzare gracamente quali siano le due componenti
individuate. Per disegnare ciascuna componente è suciente sovrappore al
plot dei punti (scalati) la retta con intercetta nulla e coeciente angolare
pari al rapporto tra il primo ed il secondo elemento dellautovettore (equi-
valentemente si potrebbero usare i punti iniziali e plottare questa retta con
le coordinate traslate di una quantità pari alle medie sottratte in partenza).
plot(scaled.dataset , pch = 4, xlim = c(-3,3), ylim = c(-3,3))
64
3 2 1 0 1 2 3
1
0
1
2
3
x1
x
2
Figura 12: Componenti individuate tramite PCA
m1 <- results$u[ ,1][1] / results$u[ ,1][2]
comp1 <- matrix(c(seq(-3,3), m1*seq(-3,3)), 7, 2)
points(comp1 , col="red", type = "l")
m2 <- results$u[ ,2][1] / results$u[ ,2][2]
comp2 <- matrix(c(seq(-3,3), m2*seq(-3,3)), 7, 2)
points(comp2 , col="blue", type = "l" )
Il risultato è mostrato in Figura 12. Eettivamente notiamo che le proie-
zioni dei punti sulla prima componente (disegnata in rosso) hanno varianza
maggiore. Verichiamo se questultima aermazione è vera calcolando le
varianze delle proiezioni dei punti sui due assi:
> var(scaled.dataset %*% results$u[,1])
[,1]
[1,] 1.284028
> var(scaled.dataset %*% results$u[,2])
[,1]
[1,] 0.0490834
Questi risultati confermano quanto ci aspettavamo e notiamo che la varianza
lungo ciascuna componente è pari proprio allautovalore che determina tale
componente (motivo per cui prendiamo in considerazione gli autovalori pi` u
grandi).
65
7.2.3 Scelta del numero di componenti principali
Fin qui non abbiamo detto niente su quante componenti prendere in con-
siderazione, cioè su come determinare il parametro p. Una regola comu-
nemente usata
26
è individuare il pi` u piccolo p che garantisce la seguente
disuguaglianza:
1
m
m
i=1
[[x
(i)
x
(i)
[[
2
1
m
m
i=1
[[x
(i)
[[
2
1
dove x
(i)
rappresenta la proiezione del punto x
(i)
sulliperpiano individuato
dalle prime p componenti (nota che le coordinate di x
(i)
sono ancora espres-
se rispetto al sistema di riferimento originale, altrimenti questa distanza
non avrebbe senso). Il numeratore della precedente equazione rappresenta
quindi la distanza quadratica media tra ciascun punto e la sua proiezione
sulliperpiano in p dimensioni, mentre il denominatore rappresenta la lun-
ghezza media dei vettori che uniscono lorigine a ciascun punto. Valori tipici
per sono compresi tra 0.95 e 0.99, ma si può arrivare anche a 0.85 in casi
particolari. Se ad esempio troviamo un valore di p per = 0.99 possiamo
aermare che dopo la PCA abbiamo mantenuto il 99% della varianza. Il
valore di p può essere quindi determinato iterativamente, partendo da p = 1
ed eventualmente incrementandolo ntanto che la diseguaglianza vista in
precedenza non risulti vera. Questa formulazione del problema, però, richie-
de il calcolo delle proiezioni di tutti gli m campioni per ogni valore di p che
stiamo testando. Matematicamente si dimostra che:
1
m
m
i=1
[[x
(i)
x
(i)
[[
2
1
m
m
i=1
[[x
(i)
[[
2
= 1
p
i=1
i
n
i=1
i
dove
i
rappresenta li-esimo autovalore della matrice delle covarianze. La
disuguaglianza precedente diventa quindi:
p
i=1
i
n
i=1
i

26
66
Questo risultato ci consente di determinare p senza calcolare le proiezioni
dei punti, infatti gli autovalori sono tutti presenti sulla diagonale principale
della matrice S ed il numeratore della precedente è la somma dei primi p
autovalori, mentre il denominatore è la somma dellintera diagonale.
In denitiva la procedura di selezione di p può essere sintetizzata come
segue:
1. Ottieni la matrice S tramite SVD ed inizializza p = 1;
2. La seguente disuguaglianza è vera?
p
i=1
n
i=1
i

Se s`, abbiamo trovato il valore desiderato di p;
Altrimenti incrementa p e torna al passo 2;
67
7.3 Soft clustering tramite GMM
In questo capitolo esamineremo i mixture model. Si tratta di modelli pro-
babilistici, cioè di funzioni densità di probabilità, ottenuti dalla somma pe-
sata di densità di probabilità elementari. In particolare ci occuperemo di
Gaussian Mixture Model (GMM) cioè di modelli probabilistici ottenuti dal-
la somma pesata di un certo numero di funzioni gaussiane. Lambito in cui
applicheremo le GMM è il soft clustering, cioè esamineremo una procedura,
basata sullutilizzo di GMM, che sia in grado di dirci qual è la probabilità che
un punto appartenga a ciascun cluster individuato in una nuvola di punti.
0 2 4 6 8 10
0
.
0
0
.
1
0
.
2
0
.
3
0
.
4
0
.
5
x
p
(
x
)
(a)
0 2 4 6 8 10
0
.
0
0
.
1
0
.
2
0
.
3
0
.
4
0
.
5
x
p
(
x
)
(b)
Figura 13: Punti da clusterizzare e gaussiane da cui sono stati estratti.
7.3.1 Lidea in sintesi
Per capire lapproccio adottato partiamo da un semplice esempio. Ipotizzia-
mo di voler eettuare il clustering di un certo numero di punti caratterizzati
da una sola coordinata. Essi sono rappresentabili su una retta, come mo-
strato sullasse x in Figura 13a. Per comodità i punti di ciascun cluster sono
rappresentati con un colore dierente. Ipotizziamo che i punti appartenen-
ti a ciascun cluster siano distribuiti come se fossero stati estratti da una
gaussiana. Quindi, nel nostro esempio, avremo due gaussiane con parametri
diversi tra di loro (Figura 13b). Se riuscissimo a determinare tali parametri,
saremmo in grado di calcolare la probabilità che un nuovo punto sia stato ge-
nerato dalla prima o dalla seconda gaussiana. Ciò signicherebbe conoscere
68
0 2 4 6 8 10
0
.
0
0
.
1
0
.
2
0
.
3
0
.
4
0
.
5
x
p
(
x
)
Figura 14: Somma delle due gaussiane.
la probabilità che il punto appartenga al primo cluster e la probabilità che
appartenga al secondo cluster, ovvero avremmo realizzato soft clustering.
Per determinare i parametri delle due gaussiane operiamo direttamente
sul GMM corrispondente, cioè stiamo ipotizzando che i punti da clusterizzare
siano stati generati da un GMM. In prima analisi potremmo immaginarlo co-
me la somma delle due gaussiane, cos` come mostrato dalla linea tratteggiata
in Figura 14. Tuttavia sorge un problema: come ben noto larea sottesa da
ciascuna gaussiana è unitaria, quindi larea sottesa dalla loro somma non lo
sarà. Anche il GMM sia un modello probabilistico, ovvero anche sia una
densità di probabilità, è necessario che sottenda anchesso unarea unitaria.
Per tale motivo ciascuna delle gaussiane di partenza viene moltiplicata per
una quantità compresa tra 0 ed 1 prima di essere sommata alle altre. Intui-
tivamente questo giustica il fatto che un GMM sia una somma pesata di
distribuzioni elementari. Vedremo in seguito che signicato sico è possibile
dare a questi pesi.
Il caso esaminato n qui prevede che ciascun punto sia descritto da una
sola coordinata. Nel caso di punti a 2 o pi` u variabili lidea di fondo rimane
invariata, mentre cambiano alcuni dettagli. In particolare non potremo pi` u
usare una semplice distribuzione gaussiana univariata, ma dovremo ricorrere
ad una gaussiana multivariata. Nel caso in cui i punti da clusterizzare si
trovino sul piano (n = 2) la mistura di gaussiane assume una forma simile
a quella mostrata in Figura 15. In essa è rappresentato un GMM formato
da 3 distribuzioni gaussiane bidimensionali (o bivariate).
69
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
0.2
0.3
0.4
0.5
0.6
0.7
0.8
Figura 15: Esempio di GMM con 3 gaussiane bivariate
7.3.2 Dettagli matematici
Nei paragra che seguono formalizziamo meglio il problema ed approfondia-
mo alcuni dettagli.
Mixture model in formule Fin qui abbiamo denito una mistura di
gaussiane come una somma pesata di densità di probabilità gaussiane. Pi` u
in generale possiamo parlare di Mixture Model come una somma pesata di
densità di probabilità, senza specicarne la natura. Ipotizzando di voler
creare una mistura con k componenti, la formulazione pi` u generica per la
densità di probabilità del modello è
27
:
p(x) =
k
j=1
p(x z = j).
Nella precedente p(x z = j) rappresenta la probabilità che il punto x sia
stato generato dalla j-esima componente. Applicando la regola del prodotto
possiamo riscriverla nella formulazione tipicamente usata:
p(x) =
k
j=1
p(x[z = j)p(z = j).
In essa z rappresenta una variabile casuale discreta (latente) che assume
valori da 1 a k. p(z = j) indica la probabilità che la j-esima componente della
mistura venga attivata e generi il campione. A livello intuitivo possiamo
pensare al processo di generazione di un punto in questa maniera:
la componente j-esima viene selezionata per la generazione del punto
con una probabilità p(z = j);
27
Per una formulazione pi` u formale vedi qui.
70
il punto viene generato dalla componente j-esima con una probabilità
p(x[z = j) che dipende solo dalla natura di questa componente (cioè
dalla sua specica distribuzione di probabilità).
In denitiva, possiamo vedere la precedente formula come una risposta alla
domanda:
Con quale probabilità la mistura può generare un punto x?
La risposta fornita dalla formula è:
Per ciascuna distribuzione, considera la probabilità che sia essa a
generare quel punto e moltiplicala per la probabilità con cui essa lo
genererebbe. In seguito somma tutte queste quantità e saprai con che
probabilità la mistura darà vita al punto x.
A questo punto possiamo semplicare la notazione introducendo i coef-
cienti
j
= p(z = j) che ci consentono di scrivere:
p(x) =
k
j=1
j
p
j
(x).
p
j
(x) rappresenta la densit` a di probabilità della j-esima componente calco-
lata nel punto x, mentre i vari
j
prendono il nome di mixing coecients
e sono proprio i pesi di cui abbiamo parlato nora. Notiamo anche che,
trattandosi di valori di probabilità, la loro somma è unitaria:
k
j=1
j
=
k
j=1
p(z = j) = 1.
Poiche il nostro scopo sarà individuare i parametri migliori per le singole
distribuzioni, conviene adottare una notazione pi` u esplicita, cioè la seguente:
p(x[) =
k
j=1
j
p
j
(x[
j
)
in cui
j
rappresenta i parametri della componente j-esima, ad esempio
media e varianza di una gaussiana univariata, mentre è una particolare
istanza di tutti i parametri
j
.
71
Parametri di un GMM Fin qui abbiamo parlato genericamente di pa-
rametri di un modello. Scendiamo ora nel dettaglio delle GMM. Il primo
passo da fare è sostituire la generica densità di probabilità p
j
(x[
j
) con la
j-esima gaussiana multivariata, la cui espressione è:
A(x[
j
,
j
) =
1
_
(2)
n
[
j
[
exp
_
1
2
(x
j
)
T
j
1
(x
j
)
_
nella quale:
n rappresenta la dimensione di ciascun ingresso (e quindi il numero di
feature);

j
è il vettore dei valori medi della j-esima gaussiana;

j
è la matrice delle covarianze della j-esima gaussiana.
I parametri che desideriamo individuare sono quindi:
j
e
j
j = 1, . . . , k.
Nel caso di gaussiane univariate questi si riducono ai valori medi (
j
) ed
alle varianze (
2
j
). Se per ogni cluster sapessimo quali punti appartengono
ad esso, potremmo calcolare le stime di media e varianza tramite le formule
note:

j
=
1
[C
j
[
x
(i)
C
j
x
(i)

2
j
=
1
[C
j
[1
x
(i)
C
j
(x
(i)

j
)
2
dove C
j
rappresenta il j-esimo cluster e [C
j
[ è il numero di punti di cui è
composto. Chiaramente lo stesso discorso può essere esteso al caso multiva-
riato:

j
=
1
[C
j
[
x
(i)
C
j
x
(i)
j
=
1
[C
j
[1
x
(i)
C
j
(x
(i)

j
)(x
(i)

j
)
T
72
Purtroppo, però, non è noto a priori quali punti siano stati generati da cia-
scun cluster, altrimenti il problema del clustering non si porrebbe neppure.
Potremmo quindi pensare di assegnare ciascun punto ad un cluster in base
alla gaussiana a cui appartiene con maggiore probabilità. Fare ciò, tuttavia,
richiederebbe di conoscere i parametri delle gaussiane, che non sono aatto
noti. Ci troviamo quindi in questa situazione:
per stimare i parametri di ciascuna gaussiana dovremmo conoscere i
punti che le appartengono;
per conoscere i punti che appartengono a ciascuna gaussiana dovrem-
mo stimarne i parametri.
La procedura che risolve questo problema si chiama Expectation-Maximization
(EM).
Algoritmo EM per GMM Lalgoritmo EM applicato ad un GMM può
essere sintetizzato nei seguenti passaggi
28
:
1. ssato k inizializza casualmente i parametri delle gaussiane ed i pesi
j
;
2. passo E (Expectation): per ogni coppia punto-cluster calcola alcuni
coecienti, detti responsibility, deniti come segue:
r
ij
p(z = j[x
(i)
,
t1
)
dove
t1
rappresenta i parametri del modello alliterazione preceden-
te. Ciascun coeciente tiene conto di quanto il cluster j-esimo sia
responsabile del punto i-esimo ed è calcolato come il rapporto tra la
probabilità che il punto sia stato generato dal cluster e quella che sia
stato generato dallintero GMM:
r
ij
=

j
p
j
(x
(i)
[
j
(t1)
)
k
j=1
j
p
j
(x
(i)
[
j
(t1)
)
3. passo M (Maximization): per ogni gaussiana ricalcola i parametri
j
,
j
e
j
in base alle responsibility appena calcolate, con lo scopo di
28
I dettagli sulle formule sono in Machine Learning - A Probabilistic Perspective,
Sezione 11.4.2
73
massimizzare la likelihood (cioè la probabilità che quei punti siano stati
generati dal GMM):
j
=
1
m
m
i=1
r
ij
j
=
i
r
ij
x
(i)
i
r
ij
j
=
i
r
ij
(x
(i)
j
)(x
(i)
j
)
T
i
r
ij
4. ripeti i passi E ed M no a convergenza.
7.4 Outlier detection tramite densità di probabilità
La gaussiana multivariata può essere usata anche per fare outlier detection.
Partendo da un dataset noto, ed ipotizzando che i campioni siano stati
estratti da una distribuzione gaussiana, è possibile calcolare le stime dei
parametri, come mostrato in precedenza. Prendendo come caso desempio
quello della gaussiana univariata, sappiamo che sommando e sottraendo alla
media 3 deviazioni standard (3) otteniamo i due estremi dellintervallo
in cui ricade il 99.7% dei campioni (Figura 16). Data questa informazione
possiamo classicare come outlier tutte le istanze del dataset che fuoriesco-
no dallintervallo stabilito. Ovviamente il discorso può essere ripetuto per
gaussiane multivariate.
Figura 16: Outlier detection tramite gaussiana univariata
74
Riferimenti bibliograci
[1] Trevor Hastie, Robert Tibshirani e Jerome Friedman. The Elements of
Statistical Learning. Springer Series in Statistics. New York, NY, USA:
Springer New York Inc., 2001.
[2] Kevin P Murphy. Machine learning: a probabilistic perspective. Cam-
bridge, MA, 2012.
[3] Stuart J. Russell et al. Articial Intelligence: A Modern Approach.
Prentice-Hall, Inc., 1996.
75

Appunti Di Machine Learning

Caricato da

Copyright:

Formati disponibili

Appunti Di Machine Learning

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Appunti Di Machine Learning

Caricato da

Copyright:

Formati disponibili

Appunti di Machine Learning

(x), la quale cambia al variare dei

log L() = argmax

(x) sia maggiore o uguale alla soglia (classe

(x) < threshold

(x) = 0.7; dovendo decidere se y sia 0 o 1, concludiamo che c`e il

se il campione `e di classe 1 ed il classicatore restituisce un valore alto,

3.2 Metodo della discesa del gradiente

(z) = g(z)(1 g(z)).

(x), che torner`a utile

t (vedi Figura 2);

tale che una quota della popolazione delle x sia x

`eil corrispettivo per la classe 1, cio`e la distanza minore tra un punto di

A questo punto possiamo sintetizzare i 4 vincoli imposti nellunica espres-

5.2.2 Soft margin SVM

= I). Questa propriet`a, nel caso di matrici reali, si

`e la trasposta coniugata di una matrice unitaria di dimensioni nn.

) rappresentano gli autovettori destri di A (calcolati

a questo punto di tutti gli autovalori che compaiono in S ci interessa conser-

Potrebbero piacerti anche