TUGAS ANALISIS DATA KUALITATIF

Materi Regresi Logistik Biner, Logistik Multinomial, Logistik Ordinal

Oleh :
Arinta Cahyaningtyas (1310100006)
Suroyya Yuliana (1310100035)
Nina Fauziah Rachmah (1310100033)
Esti Lutfikasari (1310100093)



Dosen :
Dr. Vita Ratnasari, M.Si



Program Studi S1
Fakultas Matematika dan Ilmu Pengetahuan Alam
Institut Teknologi Sepuluh Nopember
Surabaya
2013

REGRESI LOGISTIK
Metode regresi merupakan analisis data yang mendeskripsikan antara sebuah variabel
respon dan satu atau lebih variabel penjelas atau prediktor (Hosmer dan Lemeshow, 2000).
Perbedaan regresi linier sederhana dan regresi logistik adalah variabel respon. Regresi logistik
merupakan salah satu metode yang dapat digunakan untuk mencari hubungan variabel respon
yang bersifat dichotomous (berskala nominal atau ordinal dengan dua kategori) atau
polychotomous (mempunyai skala nominal atau ordinal dengan lebih dari dua kategori) dengan
satu atau lebih variabel prediktor. Sedangkan variabel respon bersifat kontinyu atau kategorik
(Agresti, 1990).
Regresi logistik berdasarkan jenis skala data variabel respon yang digunakan dibagi
menjadi 3 macam, yaitu regresi logistik biner, multinomial, dan regresi logistik ordinal.
a) Regresi Logistik Biner (Binary Logistic Regression)
Sebelum melakukan pengolahan dengan menggunakan program paket SPSS 13.0 maka
data yang akan digunakan haruslah disesuaikan terlebih dahulu. Pada regresi logistik biner, data
variabel respon yang digunakan adalah data dengan skala nominal dengan hanya berupa 2
kategori yaitu sukses atau gagal misalnya: ya-tidak, benar-salah, hidup-mati, hadir-absen,
laki-perempuan, dst. Sedangkan data variabel prediktor dapat berupa data dengan skala ordinal
(seringkali digunakan pada kasus-kasus/penelitian sosial kemasyarakatan) ataupun data dengan
skala rasio (seringkali dijumpai pada penelitian industri). Langkah olah data tersebut akan
diberikan berdasarkan contoh kasus berikut.
b) Regresi Logistik Multinomial (Multinomial Logistic Regression)
Pada regresi logistik multinomial, data variabel respon yang digunakan adalah data
berskala nominal dengan lebih dari 2 kategori, misalnya: agama, warna lampu lalu lintas, dst.
Sedangkan data variabel prediktor dapat berupa data dengan skala ordinal ataupun rasio.
c) Regresi Logistik Ordinal (Ordinal Logistic Regression)
Pada regresi logistik ordinal, data variabel respon yang digunakan adalah data berskala
ordinal dengan 2 atau lebih kategori, misalnya: setuju-tidak setuju, setuju-biasa-tidak setuju,
sangat setuju-setuju-biasa-tidak setuju-sangat tidak setuju, dst. Sedangkan data variabel prediktor
dapat berupa data dengan skala ordinal ataupun rasio.
1. ]Regresi Logistik Biner
Regresi logistik merupakan suatu metode analisis data yang digunakan untuk mencari
hubungan antara variabel respon (y) yang bersifat biner atau dikotomus dengan variabel
prediktor (x) yang bersifat polikotomus (Hosmer dan Lemeshow, 1939). Outcome dari variabel
respon y terdiri dari 2 kategori yaitu sukses dan gagal yang dinotasikan dengan y=1 (sukses)
dan y=0 (gagal). Dalam keadaan demikian, variabel y mengikuti distribusi Bernoulli untuk setiap
observasi tunggal. Fungsi Probabilitas untuk setiap observasi adalah diberikan sebagai berikut,
y y
y f

=
1
) 1 ( ) ( t t ; y = 0, 1 (1.1.1)
Dimana jika y = 0 maka f(y) = 1 dan jika y = 1 maka f(y) = . Fungsi regresi logistiknya dapat
dituliskan sebagai berikut
z
e
z f

+
=
1
1
) (
ekuivalen
z
z
e
e
z f
+
=
1
) ( (1.1.2)
Dengan
p p
x x | | | + + + = ... z
1 1 0

Nilai z antara dan + sehingga nilai ) (z f terletak antara 0 dan 1 untuk setiap nilai
z yang diberikan. Hal tersebut menunjukkan bahwa model logistik sebenarnya menggambarkan
probabilitas atau risiko dari suatu objek. Model regresi logistiknya adalah sebagai berikut
) ... (
) ... (
1 1 0
1 1 0
e 1
e
) (
p p
p p
x x
x x
x
| | |
| | |
t
+ + +
+ + +
+
= (1.1.3)
Dimana p = banyaknya variabel prediktor
Untuk mempermudah pendugaan parameter regresi maka model regresi logistik pada
persamaan (1.1.3) dapat diuraikan dengan menggunakan transformasi logit dari ) (x t .
{ }{ }
) ... (
1 1 0
1 ) (
p p
x x
e x
| | |
t
+ + +
+ =
) ... (
1 1 0 p p
x x
e
| | | + + +

{ } { }
) ... (
1 1 0
) ( ) (
p p
x x
e x x
| | |
t t
+ + +
+ =
) ... (
1 1 0 p p
x x
e
| | | + + +

) (x t =
) ... (
1 1 0 p p
x x
e
| | | + + +

) ... (
1 1 0
) (
p p
x x
e x
| | |
t
+ + +

) (x t = { }
) ... (
1 1 0
) ( 1
p p
x x
e x
| | |
t
+ + +


) ( 1
) (
x
x
t
t

=
) ... (
1 1 0 p p
x x
e
| | | + + +


|
|
.
|

\
|
) ( 1
) (
ln
x
x
t
t
= ln
) ... (
1 1 0 p p
x x
e
| | | + + +


|
|
.
|

\
|
) ( 1
) (
ln
x
x
t
t
=
p p
x x | | | + + + ...
1 1 0

Sehingga diperoleh persamaan berikut
p p
x x
x
x
x g | | |
t
t
+ + + =
|
|
.
|

\
|

= ...
) ( 1
) (
ln ) (
1 1 0
(1.1.4)
Model tersebut merupakan fungsi linier dari parameter-parameternya. Dalam model
regresi linier, diasumsikan bahwa amatan dari variabel respon diekspresikan sebagai y = E(Y|x) +
dimana
( )
x x x p
p
x Y E
| | | |
+ + + + = ... |
2
2
1
1 0
(1.1.5)
merupakan rataan dari populasi dan merupakan komponen acak yang menunjukkan
penyimpangan amatan dari rataannya dan diasumsikan mengikuti sebaran normal dengan
rataan nol dan varians konstan.
Pada regresi logistik, variabel respon diekspresikan sebagai c t + = ) (x y dimana
mempunyai salah satu dari kemungkinan dua nilai yaitu = ) ( 1 x t dengan peluang
) (x t
jika y=1
dan = ) (x t dengan peluang ) ( 1 x t jika y=0 dan mengikuti distribusi binomial dengan rataan
nol dan varians (
) (x t
)( ) ( 1 x t ).
1.1 Estimasi Parameter
Estimasi parameter dalam regresi logistik dilakukan dengan metode Maximum
Likelihood. Metode tersebut mengestimasi parameter dengan cara memaksimumkan fungsi
likelihood dan mensyaratkan bahwa data harus mengikuti suatu distribusi tertentu. Pada regresi
logistik, setiap pengamatan mengikuti distribusi bernoulli sehingga dapat ditentukan fungsi
likelihoodnya.
Jika x
i
dan y
i
adalah pasangan variabel bebas dan terikat pada pengamatan ke-i dan
diasumsikan bahwa setiap pasangan pengamatan saling independen dengan pasangan
pengamatan lainnya, i = 1, 2, ..., n maka fungsi probabilitas untuk setiap pasangan adalah sebagai
berikut
( )
i
y
i i i
x x x f

=
1 y
) ( 1 ) ( ) (
i
t t ; y
i
= 0, 1 (1.1.6)
dengan,
( )
|
|
.
|

\
|
|
|
.
|

\
|

=
=
=
p
j
j j
p
j
j j
x
x
i
e
e
x
0
0
1
|
|
t
(1.1.2)
dimana ketika j = 0 maka nilai x
ij
= x
i0
= 1.
Setiap pasangan pengamatan diasumsikan independen sehingga fungsi likelihoodnya merupakan
gabungan dari fungsi distribusi masing-masing pasangan yaitu sebagai berikut
( )
[ [
=

=
= =
n
i
y
i i
n
i
i
i
x x x f l
1
1 y
1
) ( 1 ) ( ) ( ) (
i
t t |

( )
( )

)
`

=
[ [
=
|
|
|
.
|

\
|
|
|
.
|

\
|

=
n
i
x
x
n
i
i
i y
i
i
e x
1
) ( 1
) (
log
1
) ( 1
t
t
t

( )
( )

)

|
|
.
|

\
|

)
`

=
=
[
i
y
i
i
n
i
i
x
x
y
n
i
i
e x
) ( 1
) (
log
1
1
) ( 1
t
t
t

|
|
|
|
.
|

\
|
=

=
=
=

+
=
[
p
j
ij
x
j n
i
i
p
j
ij j
e y
n
i x
e
e
0
1
0
log
1
1
1
|
|

|
|
.
|

\
|
=

|
|
|
.
|

\
|

+ =
= = =
[
j
n
i
ij i
p
j
p
j
ij j
x y
n
i
x
e e
| |
1 0 0
1
1
1

Fungsi likelihood tersebut lebih mudah dimaksimumkan dalam bentuk log l() dan
dinyatakan dengan L().
L() = log l()
=
|
|
|
.
|

\
|

+
|
.
|

\
|

=

=
= =
p
j
ij j
x n
i
j
n
i
ij i
p
j
e x y
0
1 log
1
1 0
|
|

Nilai maksimum didapatkan melalui turunan L() terhadap dan hasilnya adalah samadengan
nol.


= =

|
|
|
.
|

\
|
+
=
c
c
=
= n
i
n
i
x
x
ij ij i
j
p
j
ij j
p
j
ij j
e
e
x x y
L
1 1
0
0
1
) (
|
|
|
|

sehingga, 0 ) (
1 1
=

= =
n
i
n
i
i ij ij i
x x x y t dengan j = 0, 1, ..., p (1.1.3)
Estimasi varians dan kovarians dikembangkan melalui teori MLE (Maximum Likelihood
Estimation) dari koefisien parameternya (Rao, 1923 dalam Hosmer dan Lemeshow, 1939). Teori
tersebut menyatakan bahwa estimasi varians kovarians didapatkan melalui turunan kedua L().
( )

=
=
c
c
n
i
i i iu ij
u j
x x x x
L
1
) ( 1 ) (
) (
t t
| |
|
; dengan j, u = 0, 1, ..., p
Matriks varians kovarians berdasarkan estimasi parameter diperoleh melalui invers
matriks dan diberikan sebagai berikut
( ) ( ) ( ) ( ) | | { }
1
x 1 x ov C

= x x
i i
T
Diag

dan x
T
diberikan oleh,
(
(
(
(

=
k 21 k 1
k 21 11
x ... x x
... ... ...
x ... x x
1 ... 1 1
n
n T
x

Diag ( ) ( ) ( ) | |
i i
x 1 x t t adalah merupakan matriks diagonal (n x n) dengan diagonal
utamanya adalah ( ) ( ) ( ) | |
i i
x 1 x t t . Penaksir )

(| SE diberikan oleh akar kuadrat diagonal utama.

Untuk mendapatkan nilai taksiran dari turunan pertama fungsi L() yang non linier maka
digunakan metode iterasi Newton Raphson. Persamaan yang digunakan adalah
( ) ( ) ( )
( )
( ) t t t t
q H
1
1

+
= ; t = 1, 2, sampai konvergen (1.1.9)
dengan,
( ) ( ) ( )
|
|
.
|

\
|
c
c
c
c
c
c
=
K 1 0
| | |

,...

,
L L L
T
q

dan H merupakan matriks Hessian. Elemen-elemennya adalah
( )
u j
ju
L
h
| | c c
c
=

2
, sehingga
|
|
|
|
|
.
|

\
|
=
kk k2 k1
2k 22 21
1k 12 11
h h h
h h h
h h h

H
, dan pada setiap iterasi berlaku,
( )
( )
( )
( )
( )
( )
( )

=
=
c c
c
=
n
1
2
x 1 x x x
) (
i
t
i
t
i iu ij
u j
t
ju
t
L
h
|
| |


( )
( )
( )
( )
( )
ij
i
t
i i
j
t
j
t
L
q x x y
n
1

=
=
c
c
=
|
|
) (

( )
( )
( )
( )
|
|
.
|

\
|
+
=
|
|
.
|

\
|

|
|
.
|

\
|

=
=
k
0
k
0
x
x
e 1
e
x
j
ij
t
j
j
ij
t
j
t
i
|
|
(1.110)
dari persamaan (10) diperoleh,
( ) ( )
( )
( )
( )
( )
( ) | | { }
( )
( )
t T t
i
t
i
T t t
m y x x x + =

+
1
1
x 1 x Diag (1.1.11)
dengan m
(t)
= (x
i
)
(t)
. Langkah-langkah iterasi Newton Raphson diberikan sebagai berikut,
a. Menentukan nilai dugaan awal
(0)
kemudian dengan menggunakan persamaan (1.1.10)
maka didapatkan ( )
( ) 0
x
i
.
b. Dari ( )
( ) 0
x
i
pada langkah a. diperoleh matriks Hessian H
(0)
dan vektor q
(0)
.
c. Proses selanjutnya untuk t>0 digunakan persamaan (1.1.10) dan (1.1.11) hingga ( )
( ) t
i
x
dan
( ) t
konvergen.
1.2 Pengujian Estimasi Parameter
Setelah parameter hasil estimasi diperoleh, maka kemudian dilakukan pengujian
keberartian terhadap koefisien | secara univariat terhadap variabel respon yaitu dengan
membandingkan parameter hasil maksimum likelihood, dugaan | dengan standard error
parameter tersebut. Hipotesis pengujian parsial adalah sebagai berikut,
H
0
: 0 =
i
|
H
1
: 0 =
i
| ; i = 1, 2, ..., p
Statistik uji:
)

i
i
SE
W
|
|
=
(1.1.12)
Statistik uji W tersebut, yang juga disebut sebagai Statistik uji Wald, mengikuti distribusi
normal sehingga H
0
ditolak jika
2 / o
Z W > dan dapat diperoleh melalui persamaan berikut,

2
2
2
)

i
i
SE
W
|
|
=
(1.1.13)
Statistik uji tersebut mengikuti distribusi Chi-Squred sehingga H
0
ditolak jika
) , (
2 2
o _ v W > dengan v degrees of freedom banyaknya prediktor.
Setelah diperoleh variabel prediktor yang signifikan berpengaruh terhadap variabel
respon pada pengujian univariat, langkah selanjutnya adalah menentukan variabel manakah hasil
pengujian univariat yang signifikan mempengaruhi variabel respon secara bersama-sama.
Pengujian ini dilakukan untuk memeriksa keberartian koefisien | secara serentak (multivariat)
terhadap variabel respon. Hipotesis yang digunakan diberikan sebagai berikut.
H
0
: 0 ...
2 1
= = = =
i
| | |
H
1
: Paling tidak terdapat satu 0 =
i
| ; i = 1, 2, ..., p
Statistik uji:
( )
( )

|
.
|

\
|
|
.
|

\
|
=
n
i
y
i
y
i
n n
i i
i
n
n
n
n
G
1
1
0 1
1
ln 2
0
t t

(1.1.14)
dimana:

=
=
n
i
i
y n
1
1
( )

=
=
n
i
i
y n
1
0
1
0 1
n n n + =
Statistik uji G adalah merupakan Likelihood Ratio Test dimana nilai G mengikuti
distribusi Chi-Squred sehingga H
0
ditolak jika ) , (
2
o _ v G > dengan v derajat bebas adalah
banyaknya parameter dalam model tanpa
0
| .
1.3 Intepretasi Koefisien Parameter
Intepretasi terhadap koefisien parameter ini dilakukan untuk menentukan
kecenderungan/hubungan fungsional antara variabel prediktor dengan variabel respon serta
menunjukkan pengaruh perubahan nilai pada variabel yang bersangkutan. Dalam hal ini
digunakan besaran Odds ratio atau
|
e dan dinyatakan dengan . Odds ratio diartikan sebagai
kecenderungan variabel respon memiliki suatu nilai tertentu jika diberikan x=1 dan dibandingkan
pada x=0. Keputusan tidak terdapat hubungan antara variabel prediktor dengan variabel respon
diambil jika nilai Odds ratio ( ) = 1.
Jika nilai Odds ratio ( ) < 1, maka antara variabel prediktor dan variabel respon terdapat
hubungan negatif setiap kali perubahan nilai variabel bebas (x) dan jika Odds ratio ( ) > 1 maka
antara variabel prediktor dengan variabel respon terdapat hubungan positif setiap kali perubahan
nilai variabel bebas (x).
1.4 Uji Kesesuaian Model
Pengujian ini dilakukan untuk menguji apakah model yang dihasilkan berdasarkan regresi
logistik multivariat/serentak sudah layak. Dengan kata lain tidak terdapat perbedaan antara hasil
pengamatan dan kemungkinan hasil prediksi model. Pengujian kesesuaian model dilakukan
dengan hipotesis sebagai berikut.
H
0
: Model sesuai (tidak terdapat perbedaan yang signifikan antara hasil peng-amatan
dengan kemungkinan hasil prediksi model)
H
1
: Model tidak sesuai (terdapat perbedaan yang signifikan antara hasil pengamat-an
dengan kemungkinan hasil prediksi model)
Statistik uji:
( )
( )

=
g
k k k k
k k k
n
n o
C
1
2
1 '
'

t t
t
(1.1.15)
dimana:
k
o : Observasi pada grup ke-k (

=
k
C
j
j
y
1
dengan c
k
: respon (0, 1))
k
t : Rata-rata taksiran peluang (

=
k
C
j k
j j
n
m
1
'
t
)
g : Jumlah grup (kombinasi kategori dalam model serentak)
k
n' : Banyak observasi pada grup ke-k
Keputusan diambil yaitu jika
2
_
hitung
<
2
_
(db,)
maka gagal tolak H
0
.
Pengujian estimasi parameter, dan uji kesesuaian model berlaku untuk regresi logistik
biner, multinomial, maupun ordinal.
2. Regresi Logistik Multinomial
Dalam regresi linear diasumsikan bahwa mean dinyatakan sebagai persamaan linier dalam
x sebagai berikut.
E( ) x Y = x
1 0
| | + (2.1)
Sedangkan dalam regresi logistik, digunakan ( ) ( ) x Y E x = t untuk merepresentasikan
conditional mean dari Y oleh x. Bentuk spesifik dari model regresi logistik yang digunakan
dinyatakan dalam persamaan (2.2) (Hosmer dan Lemeshow, 2000).
( )
x
x
e
e
x
1 0
1 0
1
| |
| |
t
+
+
+
= (2.2)
Sebagai bentuk penyederhanaan persamaan (2.2), maka digunakan transformasi logit ) x ( .
Bentuk logit yang dimaksud adalah sebagai berikut
( )
( )
( )
(

=
x
x
x g
t
t
1
ln
= x
1 0
| | + (2.3)
2.1 Distribusi Multinomial
Menurut Fahrmeir dan Tutz (1994), pada distribusi multinomial untuk variabel tidak bebas
(Y) terdapat kategori lebih dari 2. Misalkan variabel Y mempunyai nilai k yang mungkin,
dimana digunakan label 1,2,...,k untuk penyederhanaan. Jika { } k Y , , 2 , 1 e maka terdapat variabel
random yang mempunyai nilai sebesar k kemungkinan. Untuk memudahkan interpretasi,
digunakan variabel dummy ( )
q
y y y y
~
, ,
~
,
~
'
2 1
= dengan q = k 1. Di dalam y terdapat nilai Y = r
sehingga dapat ditulis
r
y
~
=

= =
lain yang untuk 0
,..., 2 , 1 , jika 1 q r r Y
(2.4)
y = (0, ...,1...,0)
Hubungan probabilitas secara sederhana dapat ditulis P(Y=r) = P(y
r
= 1) dengan variabel respon
Y yang bernilai r dengan variabel dummy y = (0,..,1,..,0).
Misal terdapat m pengulangan independen
m
y y y , , ,
2 1
yang merupakan suatu variabel
respon sebagai jumlahan percobaan dimana didapatkan hasil r untuk pengulangan ) , , , (
2 1 m
y y y
maka didapatkan jumlah vektor y =

=
m
i
i
y
1
~
. y
~
adalah distribusi multinomial yang fungsi
distribusinya adalah sebagai berikut.

)! ... ( ! !
!
)) , , , , ( (
1 1
1
-

= =
q q
q r
m m m m m
m
m m m y P

q q
m m m
q
m
q
m m


...
2 1 2 1
1
2 1
) ... 1 ( ... t t t t t t (2.5)
dengan
r
= P(Y
i
= r), i = 1, ..., m dan

=
=
q
j
j
m m
1
sehingga distribusi multinomial dari y dapat
ditulis,
y ~ M (m,) dengan ' t = (
1
....
q
)
2.2 Regresi Logistik Multinomial
Regresi logistik multinomial merupakan regresi logistik yang digunakan saat variabel
dependen mempunyai skala yang bersifat polichotomous atau multinomial. Skala multinomial
adalah suatu pengukuran yang dikategorikan menjadi lebih dari dua kategori.
Mengacu pada regresi logistik trichotomous (Hosmer dan Lemeshow, 2000) untuk model
regresi dengan variabel dependen berskala nominal tiga kategori digunakan kategori variabel
hasil Y dikoding 0,1, dan 2. Variabel Y terparameterisasi menjadi dua fungsi logit. Sebelumnya
perlu ditentukan kategori hasil mana yang digunakan untuk membandingkan. Pada umumnya
digunakan Y=0 sebagai pembanding. Untuk membentuk fungsi logit, akan dibandingan Y=1 dan
Y=2, terhadap Y=0. Bentuk model regresi logistik dengan p variabel prediktor seperti pada
persamaan (2.6).
( )
( )
( )
p p
p p
x x x
x x x
x
| | | |
| | | |
t
+ + + + +
+ + + +
=
... exp 1
... exp
2 2 1 1 0
2 2 1 1 0
(2.6)
Dengan menggunakan transformasi logit akan didapatkan dua fungsi logit sebagai berikut
(Hosmer dan Lemeshow, 2000).
g
1
(x) = ln
( )
( )
(
(

=
=
x Y P
x Y P
0
1

=
p p
x x x
1 2 12 1 11 10
........ | | | | + + + +
= x
1
| (2.2)
g
2
(x) = ln
( )
( )
(
(

=
=
x Y P
x Y P
0
2

=
p p
x x x
2 2 22 1 21 20
........ | | | | + + + +
= x
2
| (2.3)
Berdasarkan kedua fungsi logit tersebut maka didapatkan model regresi logistik trichotomous
sebagai berikut (Agresti, 1990).

0
t (x) =
) ( exp ) ( exp 1
1
2 1
x g x g + +

1
t (x) =
) ( exp ) ( exp 1
) ( exp
2 1
1
x g x g
x g
+ +
(2.9)

2
t (x) =
) ( exp ) ( exp 1
) ( exp
2 1
2
x g x g
x g
+ +

dengan P(Y=jx) =
j
t (x) untuk j=0,1,2.
2.3 Estimasi Parameter
Banyak metode yang dapat digunakan untuk menaksir | salah satunya adalah metode
Maximum Likelihood Estimation (MLE). Metode ini memperoleh dugaan maksimum likelihood
bagi | dengan iterasi Newton Raphson. Penduga parameter maksimum merupakan penduga
yang konsisten dan efisien untuk ukuran sampel yang besar. Estimasi maksimum likelihood
merupakan pendekatan dari estimasi Weighted Least Square (WLS), dimana matrik
pembobotnya berubah setiap putaran. Proses menghitung estimasi maksimum likelihood ini
disebut juga sebagai iteratif reweighted least square.
Bila variabel respon pengamatan mempunyai tiga kategori maka akan ada tiga
kemungkinan outcome dan mempunyai distribusi trichotomous sehingga fungsi likelihoodnya
adalah sebagai berikut (Hosmer dan Lemeshow, 2000).
l( | )= | |
[
=
n
i
y
i
y
i
y
i
i i i
x x x
1
2 1 0
2 1 0
) ( ) ( ) ( t t t (2.10)
dengan

=
=
2
0
1
j
ij
y
L( | ) =
{ } )) ( exp( )) ( exp( 1 ln( ) ( ) (
2 1
1
2 2 1 1 i i
n
i
i i i i
x g x g x g Y x g Y + + +

=
(2.11)
Dengan mendifferensialkan fungsi pada persamaan (2.11) akan dihitung parameter-
parameternya melalui persamaan (2.12).

=
=
c
c
n
i
ij ij ki
jk
Y x
L
1
) (
) (
t
|
|
(2.12)
untuk j=1,2,... dan k=0,1,2,......,p
Berdasarkan teori maximum likelihood, untuk mengestimasi varians kovarian diperoleh
melalui turunan ke dua fungsi likelihoodnya.

=
=
c c
c
n
i
ji ji ki i k
jk jk
x x
L
1
'
'
2
) 1 (
) (
t t
| |
|
(2.13)

=
=
c c
c
n
i
i j ij ki i k
k j jk
x x
L
1
' '
'
2
) (
t t
| |
|
(2.14)
untuk j,j=1,2 dan k,k=0,1,2,......,p
2.4 Metode Newton-Raphson
Pada penaksiran parameter untuk persamaan nonlinier dengan maximum likelihood tidak
mudah dilakukan. Oleh karena itu diperlukan metode iterasi Newton-Rapson yang berprinsip
mencari nilai parameter secara berulang-ulang sampai konvergen pada satu nilai tertentu. Metode
ini menggunakan rumus iterasi sebagai berikut
( ) ( ) t
g ) (H
1 (t) t 1 t +
= (2.15)
dengan nilai matriks
H
(t)
= VX X'
) (
2
=
c c
c
b a
L
| |
|

g
(t)
= ) X(Y
) (
=
c
c
a
L
|
|

dimana harga elemen-elemen matriksnya adalah sebagai berikut
x=
(

2
1
x
x
=
(
(
(
(
(
(
(

np n n n n
p
np n n n n
p
p
x x x x x
x x x x x
x x x x x
x x x x x
x x x x x
2 4 2 3 2 2 2 1 2
21 214 213 212 211
1 4 1 3 1 2 1 1 1
12 124 123 122 121
11 114 113 112 111
1
1
1
1
1

dan matriks varians kovariannya adalah
v =
(

3 2
2 1
v v
v v

(
(
(
(
(

=
) 1 ( 0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 ) 1 ( 0
0 0 0 0 0 ) 1 (
1 1
12 12
11 11
1
n n
v
t t
t t
t t

(
(
(
(
(

=
n n
v
2 1
22 12
21 11
2
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
t t
t t
t t

(
(
(
(
(

=
) 1 ( 0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 ) 1 ( 0
0 0 0 0 0 ) 1 (
2 2
22 22
21 21
3
n n
v
t t
t t
t t

Nilai parameter | akan didapatkan melalui iterasi terus menerus hingga mencapai kondisi
konvergen c untuk setiap j.
j
t
j j
t
j
c | | | |

) ( ) 1 (
s
+
c>0
(7.16)
2.5 Interpretasi Model
Interpretasi model pada regresi logistik biner ditampilkan pada tabel 2X2 (Hosmer dan
Lemeshow, 2000). Tabel odds ratio 2x2 pada variabel respon dichotomous merupakan konsep
yang dapat dikembangkan untuk polichotomous. Pada variabel respon dichotomous respon
terbagi dalam dua kategori sedangkan pada trichotomous variabel respon terbagi dalam tiga
kategori dan akan mempunyai outcome yang diberi nilai 0,1, dan 2. Maka untuk menjelaskan
odds ratio pada variabel respon trichotomous dapat digunakan tabel 2x3 seperti tampak di bawah
ini.
Tabel 2.1 Nilai Model Regresi Logistik bila Variabel X Trichotomous
y=0 y=1 y=2
x=0
20 10
1
1
) 0 (
0
| |
t
e e + +
=

20 10
10
1
) 0 (
1
| |
|
t
e e
e
+ +
=

20 10
20
1
) 0 (
2
| |
|
t
e e
e
+ +
=

x=1
21 20 11 10
1
1
) 1 (
0
| | | |
t
+ +
+ +
=
e e

21 20 11 10
11 10
1
) 1 (
1
| | | |
| |
t
+ +
+
+ +
=
e e
e

21 20 11 10
21 20
1
) 1 (
1
| | | |
| |
t
+ +
+
+ +
=
e e
e


Sumber: Agresti (1990), dimodifikasi
Dengan perlakuan yang sama seperti pada model dichotomous, didapatkan odds ratio sebagai
berikut,

) 0 ( / ) 0 (
) 1 ( / ) 1 (
0 1
0 1
1
t t
t t
= (2.20)
) 0 ( / ) 0 (
) 1 ( / ) 1 (
0 2
0 2
2
t t
t t
= (2.21)
Nilai odds ratio digunakan untuk menunjukkan kecenderungan hubungan suatu variabel
X terhadap variabel Y.





3. Regresi Logistik Ordinal
Regresi logistik ordinal merupakan salah satu metode statisika untuk menganalisis
variabel respon yang mempunyai skala data ordinal dan terdiri dari tiga katagorik atau lebih.
Variabel prediktor yang digunakan dalam model berupa data katagorik dan/atau kuantitatif.
Model untuk regresi logistik ordinal adalah cumulative logit models. Pada model logit ini sifat
ordinal dari respon Y dituangkan dalam peluang kumulatif sehingga cumulative logit models
merupakan model yang didapat dengan membandingkan peluang kumulatif yaitu peluang kurang
dari atau sama dengan katagori respon ke - j pada p variabel prediktor yang dinyatakan dalam
vektor xi, P(Y |xi), dengan peluang lebih besar dari katagori respon ke-j, xi, P(Y |xi)
(Hosmer dan Lemeshow, 2000). Nilai peluang kumulatif ke j adalah :
t
k
(x
c
) = P(Y s j) =
| |
| | ) ( exp 1
) ( exp
k j
k j
x g
x g
+

=

=
=
+ +
+
r
k
k k j
r
k
k k j
x
x
1
0
1
0
) exp( 1
) exp(
| |
| |
; k = 1, 2, ,j,,r.
= t
1
+ t
2
+ + t
r
(3.1)


Apabila P(Y j) dibandingkan dengan peluang suatu respon pada kategori (j + 1) sampai
dengan kategori r, maka hasilnya adalah sebagai berikut :

) j Y ( P 1
) j Y ( P
) j Y ( P
) j Y ( P
s
s
=
>
s


=
|
.
|

\
|
+ +
|
.
|

\
|
+ +
|
.
|

\
|
+

=
=
=
r
1 k
k k j 0
r
1 k
k k j 0
r
1 k
k k j 0
x exp 1
1
x exp 1
x exp
| |
| |
| |

= exp

=
+
r
1 k
k k j 0
) x ( | |

j s j s
s
=
r j j
j
t t t
t t t
+ + +
+ + +
+ +
...
...
2 1
2 1
(3.2)
pada rumusan (3.2) dilakukan transformasi logistik menjadi model regresi logistik (logit) ordinal
atau logit kumulatif :
Logit [P(Y j) ] = log
= log
= (3.3)
dengan nilai untuk k = 1,2,,r pada setiap model regresi logistik ordinal adalah sama.
3.1 Estimasi Parameter
Penaksir parameter secara titik dalam regresi logistik dapat menggunakan Maksimum
Likelihood Estimation (MLE). Metode ini tidak memerlukan batasan-batasan pada karakteristik
variabel prediktor. Dengan menetapkan asumsi distribusi binomial dan obyek pengamatan yang
saling bebas. Fungsi likelihood pada metode MLE merupakan fungsi linier maka diperlukan
iterasi untuk memperoleh taksiran parameternya dengan metode Newton Raphson, yaitu dengan
cara menentukan nilai awal dari
) 0 (
| .
Model yang telah diperoleh akan dilakukan pengujian statistik. Untuk menentukan
variabel-variabel prediktor yang digunakan untuk membangun model tersebut memiliki
hubungan nyata dengan variabel respon. Untuk menguji kemaknaan koefisien | yang diperoleh
dilakukan uji parsial dan uji serentak.
Uji Serentak
Dilakukan untuk memeriksa kemaknaan koefisien secara keseluruhan atau serentak dan
hipotesa pengujiannya adalah
H
0
:
0
=
1
= ...........=
k
= 0
H
1
: paling sedikit ada satu
j
0 , j = 0,1,...,k
Statistik uji yang digunakan adalah statistik uji G atau Likelihood Ratio Test, yaitu
s
(

s
s
) j Y ( P 1
) j Y ( P
|
|
.
|

\
|
+ + +
+ + +
+ + r j j
j
t t t
t t t
...
...
2 1
2 1

=
+
r
k
k k j
x
1
0
) ( | |
k
|

[
=

|
.
|

\
|
|
.
|

\
|

=
n
i
y
i
y
n n
i i
n
n
n
n
G
1
) 1 (
0 1
) 1 (
ln 2
0 1
t t

Nilai G yang diperoleh dibandingkan dengan distribusi Chi-Square dengan derajat bebas v sesuai
dengan p-value yang kita inginkan untuk menolak H
0
atau H
1
. Tolak H
0
jika G > dengan
derajat bebas (v) = ((k+1)-2)x p, (k+1) adalah jumlah kategori respon dan p adalah jumlah
prediktor dalam model.
Uji Parsial
Untuk memeriksa kemaknaan koefisien secara parsial dengan membandingkan dugaan
dengan penduga ragamnya
Hipotesis : H
0
:
k
= 0
H
1
:
k
0
Dengan Statistik uji yang digunakan :
W =
)

k
k
SE |
|

Statistik ini mengikuti distribusi normal, sehingga pengujiannya dilakukan melalui
pembandingan nilai statistik z-hitung dengan nilai z-tabel. Tolak H
0
jika W > Z
/2
.
3.2 Interpretasi Parameter
Interpretasi parameter dari suatu model adalah inferensi dari pengambilan kesimpulan
berdasarkan pada koefisien parameter. Koefisien menggambarkan slope atau perubahan pada
variabel respon per unit untuk setiap perubahan variabel prediktor. Interpretasi dilakukan setelah
mendapatkan model terbaik. Interpretasi dari intersep adalah nilai peluang saat semua variabel
X=0, perhitungannya berdasarkan pada nilai t. Sedangkan interpretasi koefisien menggunakan
nilai odd rasio yaitu nilai yang menunjukkan perbandingan tingkat kecenderungan dari dua
kategori dalam satu variabel prediktor dengan salah satu kategorinya dijadikan pembanding atau
kategori dasar, yang dimaksud dengan odd rasio dari dua kategori X adalah :
( )
2
,v o
_

=
= exp
= exp (3.4)
Log dari odd rasio pada pada persamaan adalah . Hal tersebut menunjukkan bahwa
nilai odd rasio proporsional terhadap beda dari nilai variabel prediktor. Oleh karena itu model
regresi logistik ordinal juga dapa disebut sebagai proportional Odds Model. Nilai odd rasio
menginterpretasikan bahwa peluang respon pada kategori kurang dari atau sama dengan j
dibandingkan dengan suatu respon pada kategori (j+1) sampai dengan r untuk X = x2 sebesar
kali dari X = x1.
3.3 Uji Kesesuaian Model
Dalam melakukan uji kesesuaian model regresi logistik, statistik uji yang digunakan
adalah Chi-Square. Berikut adalah hipotesis yang digunakan.
H
0
: Model sesuai (tidak ada perbedaan antara hasil observasi dengan kemungkinan hasil
prediksi model)
H
1
: Model tidak sesuai (ada perbedaan antara hasil observasi dengan kemungkinan hasil
prediksi model)
Statistik uji yang digunakan adalah (Hosmer dan Lemeshow, 2000).
(3.5 )
Dengan g = banyak group, n = jumlah subjek pada group ke- k, o = jumlah nilai
variabel respon pada o kombinasi variabel prediktor, dan = = rata-rata
( )
( )
( )
( )
( )
(
(

>
s
(
(

>
s
=
1
1
2
2
1 2
,
x j Y P
x j Y P
x j Y P
x j Y P
x x
( ) ( )
( ) ( )
1 1 0
2 1 0
exp
exp
x
x
j
j
| |
| |
+
+
( ) ( ) ( ) ( ) { }
2 1 0 2 1 0
exp x x
j j
| | | | + +
( ) ( )
1 2 1
x x |
( ) ( )
1 2 1
x x |
( ) ( )
1 2 1
x x |

=
g
k
k k k
k k k
n
n o
C
1
2
) 1 (
) (

t t
t
k k
k k
t
k
j j c
j
n
x m
k
) (
1
t
=
taksiran probabilitas dimana mj adalah banyak subjek dengan ck kombinasi variabel prediktor.
Tolak H
0
pada taraf nyatao , jika > ( ) 2
2
g _



C