Buku Regresi
Buku Regresi
Buku Regresi
DAFTAR ISI
BAB I PENDAHULUAN
1.1 Definisi Regresi dan Kegunaannya
1.2 Konsep dasar regresi Linear
1.2.1 Model regresi Linear
1.2.2 Definisi variabel dan skala pengukurannya
1.2.3 Definisi parameter model regresi
1.3 Konsep dasar korelasi linear
1.4 Contoh dan Aplikasi
Variabel Dummy
√ √ √
n n n n s y √ var( x ) √ var( y ) n n
[ n ∑ x 2i −( ∑ x i )2 ][n ∑ y 2i −( ∑ y i )2 ] ∑ ( x i− x̄ )2 ∑ ( y i− ȳ )2
i=1 i=1 i=1 i=1 i=1 i=1
Pembahasan :
Langkah awal yang perlu digambarkan adalah scatterplot hubungan antara nilai Pengantar
Metode Statistika dengan nilai Metode Regresi sebagai berikut.
Dari scatterplot yang tergambar dapat dilihat bahwa plot cenderung mengikuti garis
linear yang terbentuk, sehingga dapat dikatakan bahwa untuk memodelkan pengaruh nilai
PMS terhadap nilai Metode Regresi dapat digunakan model regresi linear, dimana hubungan
antara nilai PMS dengan nilai metode regresi positif lemah. Koefisien korelasi pearson nilai
PMS dan nilai metode regresi adalah : x̄=60 ,42 ȳ=84,25
n
∑ ( x i− x̄ )( y i− ȳ )
i=1
r xy= =0 ,862
√∑ √∑
n n
( x i− x̄ )2 ( y i− ȳ )2
i=1 i=1
Hipotesis :
H0 : Tidak terdapat hubungan antara nilai PMS dan nilai Metode Regresi (xy=0)
H1 : Terdapat hubungan antara nilai PMS dan nilai Metode Regresi (xy0)
Taraf Signifikan : = 0,05
Daerah Penolakan :
r xy √ n−2 0 ,862 √ 12−2 2,725
t= = = =5 ,377
Statistik Uji : √ xy2
1−r √ 1−0,862 2 0,5069
Langkah-langkah Komputasi :
Software yang dapat digunakan dalam menentukan koefisien korelasi dan pengujiannya
adalah minitab. Berikut merupakan langkah-langkahnya :
1. Masukkan data pada sel yang aktif
2. Klik Stat Basic Statistics Correlations maka akan muncul kotak dialog seperti ini
2. Tabel berikut menyajikan data tentang hubungan antara besarnya tingkat konsumsi
rumah tangga yang dipengaruhi oleh pendapatan.
Konsumsi Pendapatan (dalam
(dalam juta juta rupiah/tahun)
rupiah/tahun)
70 80
65 100
90 120
95 140
110 160
115 180
120 200
140 220
155 240
150 260
a. Hitunglah r
b. Ujilah apakah terdapat hubungan antara bobot badan dan ukuran dada bayi waktu
lahir dengan taraf signifikan 5%.
BAB II REGRESI LINEAR SEDERHANA
2.2 Estimasi Parameter Regresi Linear sederhana dengan metode Ordinary Least
Square (OLS)
Model regresi linear sederhana terdiri dari 1 prediktor, estimasi parameter model regresi
Linear sederhana menggunakan metode OLS (Ordinary Least Square) yang digunakan untuk
meminimalkan jumlah kuadrat error
^y i = β^ 0 + β^ 1 x i =b0 + b1 x i i=1 , 2 ,⋯, n
x1,y1 1 ε 1= y 1 − ^y 1
ε 2= y 2 − ^y 2
2
x2,y2
( ) ( )
n n
∂ ∑ εi 2 ∂ ∑ εi 2
i=1 i=1
=0 =0
∂ β0 dan ∂ β1
S xy
β^ 1=b1 =
S xx β^ 0 =b0 = ȳ −b1 x̄
S xy =∑ ( x i− x̄ )( y i − ȳ )=( ∑ x i y i )−n x̄ ȳ
n
S xx =∑ ( xi − x̄ )2 =∑ x i 2 −n x̄ 2
i=1
n
S yy =∑ ( y i− ȳ ) =∑ y 2 −n ȳ 2
i=1 i
y=β 0 + β 1 x+ ε
^y = β^ + β^ x
0 1
∑ ( x i )2−2 ∑ xi x̄ + x̄ 2
∑ ( x i )2−2 n x̄ x̄+ x2
∑ ( x i )2−2 n x̄ +x 2
β^ 1 danr xy pada model regresi linear sederhana
Sy
β^ 1=b1 = r
S x xy
Scatter Plot
(xi,yi)
Y = β0 + β 1 X 1 + ε Y = β0 −β 1 X 1 +ε Y = β0 + β 1 X + β 2 X 2 + ε Y =e
β 0 +β 1 X 2 +ε
Cek Korelasi
cov ( x , y )
r xy = ^ρxy =
√ var( x ) √ var( y )
Uji Signifikansi Korelasi Linear
Hipotesis :
H0 : ρxy = 0 H0 dan H1 yang dituliskan pada parameter korelasi Linear 2 variabel
H1 : ρxy ≠ 0 yang signifikan
Statistik Uji :
r xy √ n−2
H1 : β 1≠0
Tabel ANOVA
Sumber Variasi Db SS / Sum Square MS (Mean Square)
Regresi 1 n SSreg
∑ ( ^y i− ȳ )2= β^ 1 S xy 1
i=1
Residual / Error n–2 n SSerror
∑ ( y i− ^y )2=SStot−SSreg n−2
i=1
Total Terkoreksi n–1 n
∑ ( y i− ȳ ) 2=S yy
i=1
MSreg
Fhit=
Statistik Uji : MSerror
Daerah penolakan : Tolak H0 jika Fhit> F1-α(1,n-2)
Interpretasi tolak H0 β 1≠0 variabel prediktor berpengaruh signifikan terhadap variabel
respon
Pengujian signifikansi parameter model Regresi Linear Sederhana (k=1)
1) Hipotesis
H 0 : β 1=0
H1 : β 1≠0
a) Statistik Uji :
β^ 1 β^ 1
t hit = =
√ var ( β 1 ) SE ( β 1 )
MSE σ^ 2
var ( β 1 ) = =
S xx S xx
SE ( β ) =√
MSE
S xx
Daerah penolakan : Tolak H0 jika thit> t(1-α/2)(n-2)
Confidence Interval (1 – α)100% untuk β1
β^ 1±t 1−α /2, n−2 SE ( β^ 1 )
β^ −t
1 SE ( β^ )<β < β^ +t
1−α /2, n−2 1 SE ( β^ )
1 1 1−α /2, n−2 1
Tolak H0 jika CI tidak memuat nol
BB BA
+ +
- -
2) Hipotesis
H0 : β 0 =0
H1 : β 0 ≠0
β^ 0−β 00 β^ 0
t hit = =
i. Statistik Uji : √ var ( β 0 ) SE ( β0 )
var ( β^ 0 )=MSE
( ) ( )
∑ x 12
nS xx
=σ 2
∑ x i2
nS xx
√
SE ( β 0 ) = var ( β^ 0 )= MSE
Daerah Penolakan
√ (∑ )
nS xx
xi
: thit> t(1-α/2)(n-2)
=
( σ 2 ( X 0 − X̄ ) 2
+
n S XX
σ
)
√
2
1 ( X 0 − X̄ )
Estimasi S ( Y^ 0 )=se ( Y^ 0 )=S +
n S XX
CI sebesar 1 – α untuk 100%
Y^ 0 ±t α . se ( Y^ 0 )
1− ( n−2)
2
[
P Y^ 0 −t
1−
α
2
( n−2)
. se ( Y^ 0 ) <Y 0 > Y^ 0 +t
1−
α
2
( n−2)
. se ( Y^ 0 )
]
Apakah regresi dapat meramal data diluar selang pengamatan ?
Bisa, dengan syarat :
a. Kita harus yakin, kondisi data yang akan diramalkan sama dengan kondisi yang
diamati
b. Hati-hati, varians peramalan akan lebih besar dari varians yang diamati
Estimasi: meramal data yang berada dalam selang ramalan untuk
Meramal pengamatan rata-rata
[ ]
2
2 1 ( X 0 − X̄ )
var ( Y k )=σ 1+ +
n S XX
CI sebesar 1 – α untuk 100%
Y^ 0 ±t α . Var ( Y k )
1− ( n−2)
2
[
P Y^ 0 −t
1−
α
2
( n−2)
. Var ( Y k ) <Y 0 > Y^ 0 +t
1−
α
2
(n−2)
. Var (Y k )
]
2
Jika 2 tidak diketahui, maka diduga oleh S =M SE
+ . . . . . . . . . . . .. . . . . . . . . . . . Sebaran konstan
- . . . . . .. . . . .. . . . . .. . . . .. . .
^y i
0 ei
Plot antara εi dan Pi distribusi normal
e(i) error yang telah diurutkan dari yang terkecil ke yang terbesar
i−0. 5
Pi =
n
2.5 Contoh dan Aplikasi
Sebuah penelitian dilakukan oleh seorang mahasiswa Statistika ITS untuk menentukan
hubungan antara nilai Pengantar Metode Statistika dan nilai Metode Regresi. Data yang
diperoleh adalah sebagai berikut.
Pembahasan :
i=1 i i=1
b 0= ȳ−b1 x̄=30
Sehingga persamaan model regresi adalah ^y =30+0,897 x+e Interpretasi : Jika nilai PMS
bertambah 1 poin nilai, maka nilai mata kuliah mata kuliah metode regresi akan bertambah
sebesar 0,897 poin nilai.
^y =30+0,897 x+e
error = y− ^y
error
ŷ
88.3622 -
3.3622
3
74.904 -
0.9040
2
79.3901 -
3.3900
9
88.3622 1.6377
71
79.3901 5.6099
07
92.8483 -5.8483
88.3622 5.6377
71
92.8483 5.1517
03
79.3901 1.6099
07
92.8483 -1.8483
74.904 1.0959
75
79.3901 -
5.3900
9
4. Tabel ANOVA dan Uji Parsial
a) Uji Serentak
H0 : nilai PMS tidak berpengaruh signifikan terhadap nilai metode regresi (1 = 0)
H1 : nilai PMS berpengaruh signifikan terhadap nilai metode regresi (1 0)
Taraf Signifikan : = 0,05
Daerah Penolakan : Tolak H0 jika Fhit> F1-α(1,n-2)
Perhitungan :
n
∑ ( ^y i− ȳ )2
i=1
JK Regresi = = ((88,365-84,25)2+(74,90-84,25)2+…+(79,39-84,25)2=541,69
n
∑ ( y i− ȳ )2
i=1
JK Total = = ((85-84,25)2+(74-84,25)2+…+(74-84,25)2=728,25
√
n 7,3 √ 44 .475
Se ∑ X 2 -2,23
i=1 i 2,23
Keputusan : Tolak H0 karena thit> t(1-α/2)(n-2) (2,96 > 2,228)
Kesimpulan : Intersep berpengaruh signifikan terhadap nilai metode regresi (0 0)
H0 : nilai PMS tidak berpengaruh signifikan terhadap nilai metode regresi (1 = 0)
H1 : nilai PMS berpengaruh signifikan terhadap nilai metode regresi (1 0)
Taraf Signifikan : = 0,05
Daerah Penolakan : Tolak H0 jika thit> t(1-α/2)(n-2)
Perhitungan :
(b 1−β 1 )S xx √ n−1 (0 , 897−0 )7 , 8 √ 11
t hit = = =5 , 396
Se 7 ,3
Keputusan : Tolak H0 karena thit> t(1-α/2)(n-2) (5,396 > 2,228)
Kesimpulan : nilai PMS berpengaruh signifikan terhadap nilai metode regresi (1 0)
5. Confidence Interval 95% 0 dan 1
√∑
n
b0 ±t α /2 Se X2
30±2 , 228×4 , 3 √ 44 . 475
i=1 i
β 0= = =(7 ,51 ;53 ,6 )
S x √n (n−1 ) 7 , 8 √12(11)
artinya 7,51 <β 0 <53 ,6
b1 ±t α /2 S e 0 , 897±2 , 228×4 , 3
β 1= = =(0 , 527 ;1 ,267 )
S x √ n−1 7 , 8 √11
artinya 0,527 <β 1 <1 , 267
6. Kebaikan Model
Untuk melihat model yang terbentuk dapat dilihat dari koefisien determinasi (R2)
2 2 2
sebagai berikut. R =( r xy ) =( 0 ,862 ) =74 ,3 % yang memberikan arti bahwa proporsi variabilitas
variabel nilai Pengantar Metode Statistika mampu menjelaskan sebesar 74,3% variabel nilai
metode regresi dengan sisanya 25,7% dijelaskan oleh variabel lain di luar model.
7. Prediksi Model
Jika nilai PMS adalah 65 maka prediksi nilai metode regresi dapat ditentukan yaitu
dengan memasukkan pada persamaan regresi yang terbentuk sehingga
^y =30+0,897 x=30+0,897(65)=88,305
sehingga jika nilai PMS adalah 65 maka prediksi nilai
metode regresi yang akan didapatkan mahasiswa tersebut adalah 88,305 dengan selang
√
2
1 (65−60 , 42)
^y 0 ±t α SE ( ^y 0 )=88 ,305±2 ,228 + =88 , 305±3 , 7098=(84 , 5952 ;92 ,01 )
1− , n−2
2
12 7,8
kepercayaan
Dapat dipercaya sebanyak 95% bahwa jika nilai PMS yang didapatkan seorang mahasiswa 65
maka nilai metode regresi diprediksi berada pada selang 84,5952 sampai 92,01.
Langkah-Langkah Komputasi
1. Dari data tersebut kemudian dilakukan pengujian keLinearan antara dua variabel dengan
menggunakan scatterplot. Dengan menggunakan MINITAB, langkahnya adalah Graph –
Scatterplot – With Regression.
Kemudian Klik OK. Maka Didapatkan hasil scatterplot seperti pembahasan contoh dan
aplikasi pada BAB I.
2. Hubungan antara variabel x dan y seperti yang terlihat pada Gambar scatter plot yang
terbentuk terlihat mengikuti pola Linear. Hal ini dapat dilihat dari titik-titiknya yang
hampir mengikuti garis. Namun, untuk membuktikan keLinearan hubungan tersebut,
dilakukan uji korelasi antara dua variabel tersebut. Korelasi ini dapat dicari dengan Stat –
Basic Statistics – Correlation. Lalu masukkan variabel Nilai PMS dan Nilai Metode
Regresi (Variabel yang ingin diuji keeratan hubungannya).
Sehingga didapatkan output sebagai berikut.
Correlations: Nilai_PMS (X), Nilai_Met Regresi (Y)
3. Output MINITAB yang dihasilkan menunjukkan nilai P-value sebesar 0.000. Dengan nilai
α = 0,05 maka kita dapat menolak H0. Sehingga, dapat dikatakan bahwa korelasi antara
kedua variabel tersebut signifikan. Ada hubungan Linear yang cukup erat antara nilai PMS
dengan nilai metode regresi. Selanjutnya akan dilakukan analisis regresi untuk melihat
pola hubungan antara kedua variabel tersebut. Analisis regresi dengan menggunakan
MINITAB dengan cara Stat – Regression – Regression. Hingga muncul kotak dialog
seperti berikut ini.
Kemudian inputkan pada response variabel respon yang ingin dimodelkan dan pada
predictors variabel prediktor yang ingin diuji. Dalam hal ini yang menjadi response adalah
nilai metode regresi dan predictors adalah nilai Pengantar Metode Statistika.
Untuk melihat nilai prediksi nilai metode regresi dengan nilai X yang diketahui maka
pada klik option kemudian pada prediction intervals for new observations masukkan
angka 65 dan kemudian jika ingin dilihat selang kepercayaan 95% nilai metode regresi
tersebut masukkan confidence level 95 dan centang menu confidence limit kemudian
klik OK.
Untuk mengetahui apakah secara visualisasi data tersebut telah memenuhi asumsi
IIDN, maka pada graph klik :
a. Jika ingin dilihat secara visualisasi asumsi IIDN dalam 1 gambar saja maka klik four
in one sedangkan jika ingin melihat secara masing-masing maka klik pada masing-
masing opsi
Untuk memunculkan nilai yhat dan residual maka pada storage pilih dan centang
residuals dan fits
Sehingga muncul output analisis regresi sebagai berikut.
Regression Analysis: Nilai_Met Regresi (Y) versus Nilai_PMS (X)
Analysis of Variance
Nilai_PMS
New Obs (X)
1 65.0
Dari gambar diatas dapat diinterpretasikan bahwa residual cenderung telah memenuhi
distribusi normal, identik, dan independen. Selain itu, didapatkan hasil perhitungan residual
dan yhat untuk model tersebut sebagai berikut.
RESI1 FITS1 RESI1 FITS1 RESI1 FITS1 RESI1 FITS1
-3.36223 88.36223 5.151703 92.8483 1.637771 88.36223 1.095975 74.90402
-0.90402 74.90402 1.609907 79.39009 5.609907 79.39009 -5.39009 79.39009
-3.39009 79.39009 -1.8483 92.8483 -5.8483 92.8483 5.637771 88.36223
2.6 Latihan Soal
1. Misalkan data yang dipakai adalah data Variabel x merupakan suhu atmosfer rata-rata
(oF) dan y adalah banyaknya uap yang digunakan setiap bulan (pound). Data yang
didapat adalah sebagai berikut :
Y x y x
10.98 35.3 9.57 39.1
11.13 29.7 10.94 46.8
12.51 30.8 9.58 48.5
8.4 58.8 10.09 59.3
9.27 61.4 8.11 70
8.73 71.3 6.83 70
6.36 74.4 8.88 74.5
8.5 76.7 7.68 72.1
7.82 70.7 8.47 58.1
9.14 57.5 8.86 44.6
8.24 46.4 10.36 33.4
12.19 28.9 11.08 28.6
11.88 28.1
Dapatkan model regresi linear sesuai dengan tahapan pemodelan regresi linear sederhana !
2. Seorang guru ingin mengetahui pengaruh nilai ulangan harian terhadap perolehan nilai
mid semester pada mata pelajaran ‘A’ di kelas ‘B’, dengan 12 siswa sebagai sampel
yang diamati
Variabel dependen (Y) : Nilai mid semester
Variabel independen (x) : Nilai ulangan harian
Sisw Yi xi
a
1 8 6
5 5
2 7 5
4 0
3 7 5
6 5
4 9 6
0 5
5 8 5
5 5
6 8 7
7 0
7 9 6
4 5
8 9 7
8 0
9 8 5
1 5
10 9 7
1 0
11 7 5
6 0
12 7 5
4 5
a. Lakukan estimasi model Linear sederhana yang menjelaskan pengaruh nilai ulangan
harian terhadap perolehan nilai mid semester pada mata pelajaran dan interpretasikan
b. Buat Tabel Anova
c. Hitung koefisien Determinasi
d. Hitung estimasi interval untuk
e. Uji signifikansi pengaruh nilai ulangan harian (x) terhadap nilai mid semester (Y) dan
signifikansi intersep dalam model
f. Bila nilai ulangan harian 60 (=x0), nilai x0 berada di dalam range data x, lakukan
estimasi nilai mid semester (Y) dan interval nilai mid semester dengan tingkat
keyakinan 95 %
g. Bila nilai ulangan harian 45 (=x0), nilai x0 berada di luar range data x, lakukan
prediksi nilai mid semester (Y) hitung estimasi interval nilai mid semester dengan
tingkat keyakinan 95 %
BAB III REGRESI LINEAR BERGANDA
[] [ ] []
β0 1 X 11 X 21 ⋯ X k 1 Y1
⃗β = β 1 x =1 X 12 X 22 ⋯ X k 2 Y = Y2
( k +1) x 1 ⋮ ( n) x ( k +1) ⋮ ⋮ ⋮ ⋱ ⋮ nx 1 ⋮
βk 1 X1 n X 2n ⋯ X kn Yn
Dimana :
Misal :
Y = β0 + β 1 X + β 2 X 2 Y = β0 + β 1 X + β 2 X 2
[ ] [] [ ]
1 X1 X 1 X 11 X 21
12
[]
β0 β0
⃗
β= β1
X =¿ 1 X 2 X 2 2 ¿ ¿ ¿¿ ⃗
β= β1
X=¿ 1 X 12 X 22 ¿ ¿ ¿¿
⋮ ⋮ ⋮ ⋮ ⋮ ⋮
β2 β2
¿ ¿
3.3 Pengujian Signifikansi Parameter Model
a) Serentak
Hipotesis :
H 0 : β 1= β2 =. ..=β k=0
H1 : minimal terdapat satu β j ≠0 , j=1 ,2 , .. . , k
Tabel ANOVA model regresi Linear berganda (k variabel prediktor)
Sumber Variasi db SS MS
Regresi K SSreg
SSreg k
Residual / Error n-p SSreg
SSE n− p
Total Terkoreksi n-1
SStot
p = k+1
n
SSreg=∑ ( y i− ȳ ) =β T x T y−n ȳ 2
i=1
SStot=∑ ( ^y i− ȳ ) = y T y−n ȳ 2
MSreg
Fhit=
Uji : MSerror
Statistik
|t hit|>t α , n−2
1−
penolakan : Tolak H0 jika 2
Daerah
var ( β^ j )=diag {( x T x ) MSE }
−1
[ ]
var ( β0 ) cov ( β 0 , β1 ) ⋯ cov ( β 0 , β k )
−1 var ( β 1 ) ⋯ cov ( β 1 , β k )
covar ( β^ j )=( x T x ) MSE=
⋱ ⋮
var ( β k )
SS Sequential
b1|b0) X1 masuk pertama kali dalam model
SS(
SS Sequential
Adapun Fparsial jika terdapat 3 variabel prediktor (X) dapat ditentukan dengan persamaan :
Y = β0 +β 1 X 1 +β 2 X 2 +β 3 X 3 +ε
MS ( b1|b 2 ,b3 , b 0 )
F X1=
MSE Model Lengkap
MS ( b2|b 1 ,b3 , b 0 )
F X2=
MSE Model Lengkap
MS ( b3|b1 ,b2 ,b 0 )
F X3=
MSE Model Lengkap
Keterangan :
VIFj = VIF variabel ke-j
Tolj = Toleransi variable predictor ke-j
Y = β0 + β 1 X 1 + β 2 X 2 + β 3 X 3 +ε
Misal :
j =1→ X 1 → X 2 , X 3 → ( R 1 )
j =2→ X 2 → X 1 , X 2 → ( R 2 )
j =3→ X 3 → X 1 , X 2 →( R3 )
Respon Prediktor
Interpretasi model Jika X1 bertambah 1 satuan maka Y akan bertambah sebesar 0,527
satuan dengan syarat variabel X2 yang berada dalam model konstan, sedangkan jika X2
bertambah 1 satuan maka Y akan berkurang sebesar 2,34 satuan dengan syarat variabel X1
103,93
Residual / Error 9
82,31 9,15
Total Terkoreksi 11
664.92
560,99
MSE X | X = =62,3
2 1 9
X1 X2
R2 13,6% 15,6%
MSE = S2 163,82% 62,3%
Sehingga, dapat diringkas kontribusi variabel prediktor berdasar urutan masuk kedalam
model sebagai berikut.
I II
X1 X2 X2 X1
R2 74% 72% 13,6% 15,6%
MSE 17,29 18,62 63,81 62,33
Langkah-langkah Komputasi :
Analysis of Variance
2. Meregresikan X1 dengan urutan pertama masuk kedalam model kemudian disusul X 2
dengan urutan kedua untuk mendapatkan nilai SS(b2b1,b0)
Analysis of Variance
Source DF SS MS F P
Regression 2 582.61 291.30 31.85 0.000
Residual Error 9 82.31 9.15
Total 11 664.92
Source DF Seq SS
3. Meregresikan X2 dengan urutan pertama masuk kedalam model kemudian disusul X 1
dengan urutan kedua untuk mendapatkan nilai SS(b1b2,b0)
Analysis of Variance
Source DF SS MS F P
Regression 2 582.61 291.30 31.85 0.000
Residual Error 9 82.31 9.15
Total 11 664.92
Source DF Seq SS
X2 1 478.68 (SS b2b0)
X1 1 103.93 (SS b1b2,b0)
Beberapa asumsi residual dalam analisis regresi diantaranya : (1) Model regresi Linear
(model regresi Linear dalam parameter), (2) Prediktor dalam analisis regresi merupakan suatu
nilai yang tetap (fixed factor), (3) Hasil ekspektasi dari residual bernilai nol, (4) Residual dari
2
analisis regresi identik ( variansi dari residual bersifat tetap Var (ei) = σ i ), (5) Tidak terjadi
autocorrelation (antara residual yang satu dengan yang lain saling bebas), (6) Covariance
antara residual dengan prediktor bernilai nol, (7) banyaknya observasi (n) dalam analisis
harus melebihi jumlah parameter (p) dari hasil estimasi, (8) Tidak terjadi multicollinearity
(hubungan yang sangat kuat diantara prediktor) (Gujarati, 2004:65).
4.1 Definisi MultikoLinearitas
Istilah multikolinearitas pertama kali ditemukan oleh Ragnar Frisch yang berarti
adanya hubungan linear sempurna atau pasti diantara beberapa atau semua variabel penjelas
(bebas) dari model regresi ganda. Selanjutnya, istilah multikolinearitas digunakan dalam arti
yang lebih luas yaitu untuk terjadinya korelasi Linear yang tinggi diantara variabel-variabel
penjelas (X1, X2, …,Xp) (Setiawan dan Kusrini, 2010). Konsekuensi adanya multikolinearitas
adalah
1. Jika terdapat korelasi yang signifikan, antar variabel prediktor (rxi,xj)
2. Nilai VIFj > 10
1
VIF j = ;Tol j =1−R 2
Tol j j
Jika
10 – 30 ; ada multikolinearitas sedang
IK =
Lebih 30; ada multikolinearitas serius
Hipotesis
H0 : F0 (X) = F0 (X), Data berdistribusi normal
H1 : F0 (X) F0 (X), Data tidak berdistribusi normal
Statistik Uji
D = Sup |F n ( x ) − F 0 ( x )|
Dimana
Fn(x) : Nilai distribusi kumulatif sampel
F0(x) : Nilai distribusi kumulatif yang diterapkan, atau di bawah H 0 P(Z<Zi) untuk distribusi
Normal.
Penanganan jika residual data tidak berdistribusi normal adalah dengan transformasi
variabel baik variabel respon
4.4.1 Heterokedastisitas
Asumsi residual independen berarti bahwa variansi dari error bersifat tetap dengan
2
Var (ei) = σ i . Pada dasarnya adda dua metode yang dapat digunakan untuk mendeteksi
heteroskedastisitas yaitu metode informal dan metode formal. Metode informal terdiri atas
sifat persoalan dan metode grafik. Melalui metode grafik dapat dilihat jika suatu plot tidak
membentuk suatu pola, maka dapat disimpulkan residual tersebut telah memenuhi asumsi
identik. Sedangkan pada metode formal, pendeteksian dapat dilakukan dengan menggunakan
pengujian secara statistika. Beberapa pengujian yang dapat digunakan adalah uji korelasi
rank spearman, uji park, uji glejser, uji Goldfeld-Quandt, uji White.
[ ]
n
∑ di2
i=1
r s=1−6 2
n(n −1)
diantara kedua variabel tersebut dengan menggunakan persamaan dengan
di adalah selisih peringkat pasangan variabel e i dengan xi individu ke i dan n adalah
banyaknya individu yang diamati.
r s √ n−2
t=
3. Gunakan statistik uji t dengan persamaan √ 1−r s2 dengan daerah penolakan tolak H0 jika
t lebih besar dari t dengan derajat bebas n-2.
b. Uji Park
Salah satu statistik uji yang dapat digunakan untuk menguji apakah varians error bersifat
homokedastis atau tidak adalah uji park dengan mengasumsikan bahwa i2 merupakan fungsi
dari variabel penjelas X. Terdapat dua tahap pada uji park, yaitu
1. Meregresikan Y terhadap X dengan metode kuadrat terkecil dan mendapatkan ei dan ei2
2. Meregresikan ei2 dengan X pada model ln ei2 = + Xi + Vi
c. Uji Glejser
Pengujian homogenitas variansi dari error dilakukan menggunakan uji glejser dengan cara
meregresikan seluruh variabel prediktor terhadap nilai error. Kebalikan dari
homoskedastisitas adalah heteroskedastisitas, cara mengatasinya dengan mentrasformasikan
variabel (Setiawan dan Kusrini, 2010). Tahapan pada uji glejser yaitu meregresikan Y
terhadap X dan memperoleh ei. Dan tahapan kedua yaitu meregresikan ei terhadap X. Ada
beberapa persamaan yang dianjurkan yaitu :
ei = 0 + 1Xi + Vi
ei = 0 + 1√ X i + Vi
1
ei = 0 + 1 X + Vi
i
1
ei = 0 + 1 +V
√ Xi i
ei = √ β 0+ β1 X i + Vi
ei = √ β 0+ β1 X i + Vi
2
d. Uji Goldfeld-Quandt
Langkah-langkah pada uji Goldfeld-Quandt adalah sebagai berikut.
1. Urutkan pasangan X dan Y berdasarkan nilai X
2. Ambil k buah data yang ada di tengah sehingga data terbagi menjadi dua kelompok, yaitu
kelompok data pertama sebanyak (n-k)/2, serta kelompok data kedua sebanyak (n-k)/2
data.
3. Masing-masing kelompok data diregresikan oleh Y terhadap X sehingga diperoleh dua
buah Jumlah Kuadrat Sisa (JKS1 dan JKS2) dengan derajat bebas masing-masing db=[(n-
k)/2]-2.
4. Hitung rasio kedua JKS.
JKS 2/db
h= ≈F
JKS 1/db
5. Daerah penolakan Tolak H0 jika h lebih besar dari Ftabel dengan derajat bebas
v1=v2=[(n-k)/2]-2.
e. Uji White
Jika terdapat dua buah variabel penjelas, maka langkah-langkah uji heteroskedastisitas
secara umum dari uji white adalah sebagai berikut.
1. Lakukan perkiraan dengan metode kuadrat terkecil sehingga memperoleh sisan ei.
2. Regresikan ei terhadap X dengan menggunakan model berikut.
e 2 =α 0 + α 1 X 1 i +α 2 X 2 i +α 3 X + α4 X +α 5 X 1 i X 2i +V i
i 1 i2 4 i2
3. Hitunglah n.R2 dengan derajat bebas p (sama dengan banyaknya parameter regresi)
Jika terdapat residual tidak identik, maka dapat dilakukan beberapa cara untuk mengatasi
kasus heteroskedastisitas dalam model yaitu transformasi variabel baik variabel respon
maupun variabel penjelas, maupun keduanya dan metode kuadrat terkecil tertimbang.
Metode Kuadrat Terkecil Tertimbang
ε T V −1 ε atau ε T W −1 ε minimum
S=ε T W −1 ⃗ε
⃗β^ =( X T W −1 X )−1 X T W −1 Y⃗
Pertanyaannya : kenapa matriks varians nya di invedkan pada bobot ? jika varians nya besar,
maka diberi peran atau bobot yang kecil
Apakah b merupakan penduga yang tak bias bagi β ?
E(β^)=β?
[ ]
=E ( XTW−1X) XTW−1Y⃗)
−1
−1
=(XTW−1X) XTW−1E(Y⃗)
T −1 −1 T −1
=(X W X) X W X⃗β −1 −1 −1 −1 −1 −1
W−1var(Y)XTW−1(XTW−1X) ¿ =(XTW−1X) XTW−1σ2W−1X(XTW−1X) ¿ =σ2(XTW−1X) (XTW−1W)W−1X(XTW−1X) ¿ =(XTW−1X) σ2¿
=⃗β
var(AX)=Avar(X)AT
var(⃗b)=var( XTW−1X) XTW−1Y⃗)
−1
−1
=(XTW−1X) XTunderbracealignl⏟
simetris→karena simetris ¿menjadi dir sendir ¿
maka ditransposkan akan ¿
Judge etal
Sej 2 =β 0 + β1 X̄+ β1 X̄ 2 + ε
1
W= 2
Sej
4.4.2 Autokorelasi
Dilakukan dengan membuat plot antara nilai residual ε t dengan hasil prediksi variabel
dependen. Asumsi yang harus dipenuhi adalah pengamatan atau residual yang satu dengan
yang lain saling bebas (Hair, 2010: 183-185).
Pelanggaran terhadap asumsi independen disebut dengan autocorrelation.
Autocorrelation dalam konsep regresi Linear berarti komponen residual berkorelasi, dengan
kata lain terjadi ketergantungan antara residual ke-i dengan ke-j.Suatu data dikatakan terjadi
kasus autocorrelation apabila pola data membentuk pola tertentu sepeti gambar diatas. Secara
visual, data diharuskan menyebar agar memenuhi asumsi independen. Pada dasarnya terdapat
dua metode untuk mendeteksi adanya autokorelasi yaitu metode grafik dan pengujian secara
statistika. Pada metode grafik tergambarkan pola antara ei dan i. Jika terbentuk pola yang
saling berfluktuasi maka diindikasikan bahwa residual pada data tersebut tidak terdapat
autokorelasi atau independen. Pengujian secara statistika dapat digunakan uji tanda, uji
durbin watson, uji breusch godfrey, dan uji fungsi Autokorelasi atau (Autocorrelation
Function, ACF).
a. Uji Tanda
Uji ini merupakan teknik statistika non parametrika yang biasa, yang diuji pada masalah
ini adalah tanda dari residual. Langkah pertama pada uji ini adalah lakukan regresi antara Y
dengan X pada metode OLS. Selanjutnya, lakukan uji tanda dan pengujiannya terhadap
residual yang dihasilkan.
b. Uji Durbin Watson
Uji ini bertujuan untuk menguji adanya autokorelasi pada lag 1. Hipotesis pada pengujian
ini adalah
I. Hipotesis pertama:
H0: tidak ada korelasi positif
H1: ada korelasi positif
Daerah Penolakan : d < dL : tolak H0
d > du : terima H0
dL d du : tidak dapat disimpulkan (inclonclusive)
Apabila model (2) benar untuk observasi ke-t, maka benar juga untuk observasi t-1
Y t−1 =β0 +β 1 X t−1 +ε t−1
(3)
dimana
¿
Y t =Y t −ρY t−1
X ¿t =X t −ρX t−1
¿
β 0 =β 0 (1− ρ)
v t =ε t−1 −ρε t−1
Pada keadaan ini pengamatan pertama akan hilang. Untuk terhindar gunakan persamaan
berikut.
ρ^
1. Asumsi First Difference , = 1. Menggunakan asumsi ini jika :
b. t = t-1 + t = 1
H0 : =1
H1 : 1
n
∑ εt 2 ¿
g= t −2n
∑ et
t =1
Statistik Uji :
dengan t*2 merupakan residual regresi first difference dan t merupakan residual regresi
OLS
(Yt-Yt-1) = (Xt-Xt-1)1+(t-t-1)
Kemudian pada options centang Variance Inflation Factors. Kemudian klik OK OK.
Analysis of Variance
Source DF SS MS F P
Regression 3 1081.35 360.45 9.11 0.018
Residual Error 5 197.85 39.57
Total 8 1279.20
Source DF Seq SS
X1 1 822.28
X2 1 116.01
X3 1 143.06
ei (ei-ei-1)2 e i2
0.875652 0.766766
-0.97189 3.413399 0.944564
-1.49245 0.270984 2.227401
0.762051 5.082765 0.580721
-4.61247 28.88551 21.27491
-5.4619 0.721532 29.83239
-2.12923 11.1067 4.53363
11.65312 189.9531 135.7951
1.377126 105.5959 1.896477
Jumlah 345.0299 197.852
n
∑ (ei −e i−1 )2
345 , 0299
d= i=1 n
= =1, 74
197 , 852
∑ e i2
i=1
Keputusan : Gagal Tolak H0 karena d lebih besar dari dl (1,74 > (<0,82)
Kesimpulan : Residual yang dihasilkan pada model regresi telah memenuhi asumsi
independen
Linear
2. Data yang akan dipakai adalah data tentang komposisi bahan kimia dalam semen yang
berpengaruh terhadap panas
Lakukan pemeriksaan dan yang dihasilkan
pengujian setiap gram
terhadap semen. asumsi regresi
pemenuhan
X1 : presentase tricalcium aluminate
x2 : presentase tricalcium silicate
x3 : presentase tetracalcium alumino ferrite
x4 : presentase dicalcium silicate
Y : panas yang dihasilkan semen (kalori)
x1 x2 x3 x4 Y x1 x2 x3 x4 Y
7 26 6 60 78 21 47 4 26 115
1 29 15 52 74 1 40 23 34 83
11 56 8 20 104 11 66 9 12 113
11 31 8 47 87 10 68 8 12 109
7 52 6 33 95
11 55 9 22 109
3 71 17 6 102
1 31 22 44 72
2 54 18 22 93
Lakukan pemeriksaan dan pengujian terhadap pemenuhan asumsi regresi Linear berganda
berupa multikolinearitas dan asumsi residual IIDN dengan menggunakan uji yang telah
diajarkan juga jika terjadi kasus tidak terpenuhinya asumsi residual IIDN, maka lakukan
penanggulangan.
BAB V REGRESI LINEAR DENGAN VARIABEL DUMMY
berikut.
Penentuan kategori 0 dan 1 pada variabel dummy sebenarnya tidak tunggal, ada
banyak kategori yang bisa digunakan, misalnya -1 dan 1. Perlu diperhatikan dalam penentuan
kategori tersebut tidak rumit dan saling independen (bukan merupakan kombinasi linear).
Penentuan kategori 0 dan 1 merupakan kategori yang paling mudah dan paling sering
digunakan. Secara umum, jika ada r kategori maka penentuan jumlah variabel dummy adalah
sebagai berikut.
a. Model regresi tanpa intersep
- Jumlah variabel dummy = r
b. Model regresi dengan intersep
- Jumlah variabel dummy = r -1
- Pola alokasi variabel dummy diperoleh dengan menuliskan matrik I yang berukuran
(r – 1) x (r – 1) (Draper dan Smith, 1992).
Sifat-sifat variabel dummy yaitu :
1. Untuk membedakan kategori dalam variabel kualitatif tanpa menyebabkan matrik
(X’X)-1 singular
2. Interpretasi hasil dari model yang menggunakan variabel dummy tergantung pada
penggunaan angka 1 dan 0, artinya kategori mana yang dikode 1 dan mana yang 0.
3. Kategori yang diberi angka 0 disebut kategori dasar/pembanding Kategori tersebut
merupakan dasar pembandingan yang dilakukan terhadap kategori tersebut.
4. Koefisien dari variabel dummy (D) disebut sebagai koefisien diferensial intersep, sebab
menerangkan besarnya perbedaan kategori yang diberi nilai 1 dengan kategori dasar
(angka 0).
Persamaan (5.1), jenis kelamin dan ras merupakan kualitatif, serta pendidikan adalah variabel
independen berjenis kuantitatif. Secara implisit, terdapat asumsi bahwa pengaruh perbedaan dari
dummy jenis kelamin adalah sama untuk kedua kategori ras. Pengaruh perbedaan dari dummy ras juga
sama untuk kedua kategori jenis kelamin (Gujarati, 2004: 340).
Contoh variabel dummy :
Y : besar gaji yang diterima
X : Jenis kelamin - Laki-laki
Nominal
- Perempuan
Variabel Dummy
Uji parameter baik secara parsial maupun squensial untuk variabel dummy tidak jauh berbeda
dengan pengujian parameter regresi pada umumnya, seperti yang telah dibahas pada BAB II. Variabel
dummy.
y=β 0 +β 1 x1 + β 2 D 1 +β 3 D2 +ε
y=1 , 43+0 , 487 X −1, 192 Z 1 −2 ,19 Z 2 W
^y 6 =−0 , 49+0 , 487 x
^y v =−0 , 76+0 , 487 x G
^y w =1 , 43+0 , 487 x V
ras 1
y=β 0 + β 1 x+ β 2 D+ β 3 xD+ ε
(a) (b)
Berpotongan intersep slope beda Sejajar intersep berbeda
γ 0 + β1 x
β 0+ β 1 x
β 0+ β 1 x
(c) (d)
X Y Asal Z1 Z2
28 13.3 G 1 0
20 8.9 G 1 0
32 15.1 G 1 0
22 10.4 G 1 0
29 13.1 V 0 1
27 12.4 V 0 1
28 13.2 V 0 1
26 11.8 V 0 1
21 11.5 W 0 0
27 14.2 W 0 0
29 15.4 W 0 0
23 13.1 W 0 0
25 13.8 W 0 0
Analysis of Variance
Source DF SS MS F P
Regression 3 38.606 12.869 142.78 0.000
Residual Error 9 0.811 0.090
Total 12 39.417
Model regresi yang dihasilkan mempunyai koefisien determinasi yang besar, yaitu
97,9% dan semua parameter signifikan terhadap model. Model regresi tersebut adalah:
y = 1,43 + 0,487 x – 1,92 Z1 – 2,19 Z2
Interpretasi model tersebut sedikit berbeda dengan analisis regresi biasa. Interpretasi
dilakukan dengan memperhatikan variabel base atau kontrol yang terdapat pada
model. Dari model yang terbentuk dapat diinterpretasi bahwa :
Setiap usia ayam bertambah 1 minggu maka berat badan ayam akan bertambah
sebesar 0,487 gram dengan syarat tidak memperhatikan asal daerah ayam.
Berat badan ayam jenis Georgia lebih kecil sebesar 1,92 jika dibandingkan dengan
berat badan ayam jenis Wisconsin dengan syarat usia ayam tetap.
Berat badan ayam jenis Virginia lebih kecil sebesar 2,19 jika dibandingkan dengan
berat badan ayam jenis Wisconsin dengan syarat usia ayam tetap.
Setiap kategori dalam variabel dummy (dalam hal ini adalah daerah asal) mempunyai
model yang berbeda – beda, sesuai dengan variabel dummy yang digunakan.
a. Daerah Georgia (z1 = 1 dan z2 = 0)
y = 1,43 + 0,487 x – 1,92 (1) – 2,19 (0)
y = -0,49 + 0,487 x
Ketika usia ayam bertambah 1 minggu, maka berat badan ayam daerah Georgia
akan berkurang sebesar 0,49 gram.
b. Daerah Virginia (z1 = 0 dan z2 = 1)
y = 1,43 + 0,487 x – 1,92 (0) – 2,19 (1)
y = -0,76 + 0,487 x
Ketika usia ayam bertambah 1 minggu, maka berat badan ayam daerah Virginia
akan berkurang sebesar 0,76 gram.
c. Daerah Wisconsin (z1 = 0 dan z2 = 0)
y = 1,43 + 0,487 x – 1,92 (0) – 2,19 (0)
y = 1,43 + 0,487 x
Ketika usia ayam bertambah 1 minggu, maka berat badan ayam daerah Wisconsin
akan bertambah sebesar 1,43 gram.
Pengujian individu untuk model regresi di atas adalah :
1. Pengaruh variabel x (umur kalkun) terhadap berat kalkun
H0 : β1 = 0
H1 : β1 ≠ 0
Tolak H0 jika |Thitung| > T0,05(13) atau P-value < α.
Berdasarkan hasil pengujian Thitung sebesar 18,91 sedangkan nilai T0,05(13) sebesar
1,77093. P-value yang dihasilkan sebesar 0,000. Dalam taraf signifikan 5%, hal
ini berarti bahwa umur kalkun berpengaruh signifikan terhadap berat kalkun
2. Pengaruh daerah asal terhadap berat kalkun
H0 : α1 = α2 = 0
H1 : α1 ≠ 0 atau α2 ≠ 0
Statistik uji :
SS(a1 ,a 2|b0 , b1 )/2 (38 , 606−26 , 202)/2
F hitung = = =137 . 8222
s 2 0 , 090
Hal ini berarti bahwa terdapat pengaruh perbedaan daerah asal terhadap berat
ayam kalkun.
¿^ =b
0
1. Y ¿
^ =b
¿ +b X
0 1 1
2. Y ¿
^ =b
¿ +b X
0 2 2
3. Y ¿
^ =b
¿ +b X
0 3 3
4. Y ¿
^ =b
¿ +b X +b X
0 1 1 2 2
5. Y ¿
^ =b
¿ +b X +b X
0 1 1 3 3
6. Y ¿
^ =b
¿ +b X +b X
0 2 2 3 3
7. Y ¿
^ =b
¿ +b X +b X +b X
0 1 1 2 2 3 3
8. ¿ Y
Untuk memilih persamaan penduga yang terbaik, maka seharusnya setiap persamaan
regresi penduga dievaluasi menurut kriteria tertentu; dengan kriteria yang telah disebutkan
dimuka yaitu:
1). Nilai R2 yang dicapai.
2). Nilai S2 yaitu jumlah kuadrat sisa regresi.
3). Nilai Statistik Cp.
Cp = JKSk/S2 - (n - 2k)
6.2.3 Backward
Metode Backward merupakan langkah mundur, semua variabel X diregresikan
keterangan:
i = 1,2,...,k
Yi = variabel terikat
X1i, X2i,..., Xni = variabel bebas
a0, a1, a2,..., an = parameter regresi yang belum diketahui nilainya
εi = nilai kesalahan
a2n
F parsial =
s2n
Keterangan:
a 2n = koefisien regresi
s2n = galat taksiran
3. Menentukan Nilai ANOVA Dan Uji Korelasi Parsial
Untuk menentukan nilai ANOVA maka diperlukan nilai-nilai sebagai berikut.
( )
n 2
n ∑Y
JKT=∑ Y 2−
i=1
i=1 n
(∑ )
n 2
n n n
Y
JKR=a 0 ∑ Y +a 1 ∑ X 1 Y +. ..+ an ∑ X n Y −
i=1
JKS
KTS=
n− p
( )
n 2
n n n n ∑Y
JKR=a 0 ∑ Y +a 1 ∑ X 1 Y +. ..+ an ∑ X n Y −∑ Y 2
i=1
Keterangan:
JKT = jumlah kuadrat total
n = total sampel
p = jumlah variabel
nilai
F parsial dibandingkan dengan nilai F tabel dengan hipotesa sebagai berikut.
H0 = regresi antara Y dan Xn tidak signifikan
Keputusan:
Jika
F hitung <F tabel maka terima H
0
Jika
F hitung >F tabel maka tolak H
0
6.2.5 Stepwise
Langkah-langkah pada prosedur stepwise :
1. Menghitung korelasi antara prediktor dengan respons (Y)
2. Memilih nilai korelasi yang paling mendekati hubungan yang kuat (-1 atau 1).
3. Meregresikan variabel respon (Y) terhadap variabel prediktor (X4).
4. Nilai P-value kurang tadi taraf α (0,05) maka variabel prediktor berpengaruh secara
signifikan, sehingga variabel tersebut dipertahankan dalam model.
5. Menghitung nilai koefisien korelasi parsial antara variabel yang bukan sebagai kontrol
tadi dengan kontrol (nilai korelasi yang tertinggi) dengan variabel respon (Y)
6. Ulangi langkah yang sama, sampai nilai korelasi antara y dan x gagal tolak H 0, nilai P-
value > alpha. Sehingga model terbaik akan terbentuk
6.3 Contoh dan Aplikasi
Tabel berikut menyajikan data tingkat kejernihan air (Y), kadar klor cair (X 1), kadar
kaporit (X2), kadar cupri sulfat (X3), dan kadar dukem S01A (X4)
PENGAMATA
Y X1 X2 X3 X4
N KE
1 0.909 1.287 0.984 0.987 1.046
2 1.252 1.281 1.078 1.064 1.081
3 0.947 0.787 1.061 1.007 1.051
4 1.022 0.796 1.013 1.012 1.046
5 1.044 1.392 1.028 1.029 1.036
6 0.905 0.893 0.969 0.993 1.02
7 1.219 1.4 1.057 1.047 1.057
8 0.923 0.721 1.001 1.024 1.034
9 1.001 1.032 0.996 1.003 1.014
10 0.916 0.685 0.972 0.993 1.013
11 1.173 1.291 1.046 1.027 1.037
12 0.938 1.17 1.004 1.001 1.007
13 0.965 0.817 1.002 1.014 1.008
14 1.106 1.231 1.049 1.032 1.024
15 1.011 1.086 1.023 1.02 1.03
16 1.08 1.001 1.035 1.053 1.029
Dapatkan model regresi terbaik dengan menggunakan metode forward, backward, dan
stepwise
Metode Fordward
1. Klik Stat Regression Stepwise Regreesion Lalu masukkan variabel Y pada
Response dan variabel X1 sampai X4 pada predictors
2. Kemudian pada methods pilih forward selection. Pada alpha to enter masukkan berapa
taraf signifikan yang digunakan. Dalam hal ini digunakan = 0,05.
Output minitab
Stepwise Regression: Y versus X1, X2, X3, X4
Step 1 2
Constant -3.364 -2.805
X3 4.31 3.60
T-Value 6.23 5.63
P-Value 0.000 0.000
X1 0.152
T-Value 2.62
P-Value 0.021
S 0.0598 0.0503
Pada step 2, dapat73.51
R-Sq dilihat bahwa
82.65 model regresi yang dapat terbentuk adalah dari variabel
prediktor X3 dan X1, sehingga
R-Sq(adj) 71.62 model yang terbentuk adalah
79.98
Mallows Cp 7.3 2.6
Y = - 2.81 + 3.60 X3 + 0.152 X1
Interpretasi Jika kadar cupri sulfat bertambah satu satuan, maka tingkat kejernihan air
akan bertambah sebesar 3,60 dengan syarat kadar klor cair konstan, sedangkan jika kadar klor
cair bertambah satu satuan, maka tingkat kejernihan air akan bertambah sebesar 0,152 dengan
syarat kadar cupri sulfat konstan.
Manual
1. Model regresi Y dengan setiap prediktor
Regression Analysis: Y versus X3
regression equation is
The
Y = - 3.36 + 4.31 X3
Predictor Coef SE Coef T P
Constant -3.3635 0.7043 -4.78 0.000
X3 4.3068 0.6909 6.23 0.000
S = 0.0598262 R-Sq = 73.5% R-Sq(adj) = 71.6%
Regression Analysis: Y versus X4
The regression equation is
Y = - 2.51 + 3.42 X4
Regression Analysis: Y versus X3, X4
The regression equation is
Y = - 3.93 + 3.78 X3 + 1.07 X4
Predictor Coef SE Coef T P
3.Constant -3.9323 0.8529 -4.61 0.000
X3 3.7848 0.8191 4.62 0.000
X4 1.0653 0.9231 1.15 0.269 tidak sig
Predictor Coef SE Coef T P
Constant -2.7257 0.6178 -4.41 0.001
X3 2.6926 0.9511 2.83 0.015
X1 0.13344 0.05851 2.28 0.042
X2 0.8498 0.6696 1.27 0.229 tidak sig
S = 0.0491129 R-Sq = 84.7% R-Sq(adj) = 80.9%
Regression Analysis: Y versus X3, X1, X4
The regression equation is
Y = - 3.22 + 3.29 X3 + 0.142 X1 + 0.720 X4
Metode Backward
Software
1. Hampir sama dengan metode fordward yaitu Klik Stat Regression Stepwise
Regreesion Lalu masukkan variabel Y pada Response dan variabel X1 sampai X4
pada predictors
2. Kemudian pada methods pilih backward elimination. Pada alpha to enter masukkan
berapa taraf signifikan yang digunakan. Dalam hal ini digunakan = 0,05.
Sehingga output yang dihasilkan adalah sebagai berikut.
Stepwise Regression: Y versus X1, X2, X3, X4
Step 1 2 3
Constant -2.941 -2.726 -2.805
X2 0.72 0.85
T-Value 0.92 1.27
P-Value 0.376 0.229
X4 0.35
T-Value 0.39
P-Value 0.707
Sehingga model yang terbentuk adalah :
Y=- 2.81 + 0,152 X1 +3,60 X3
Interpretasi model Jika kadar klor cair bertambah satu satuan, maka tingkat kejernihan air
akan bertambah sebesar 0,152 dengan syarat kadar cupri sulfat konstan, sedangkan jika kadar
cupri sulfat bertambah satu satuan, maka tingkat kejernihan air akan bertambah sebesar 3,60
dengan syarat kadar klor cair konstan.
Manual
1. Meregresikan seluruh variabel prediktor terhadap variabel respon
2. Kemudian pada methods pilih stepwise. Pada alpha to enter masukkan berapa taraf
signifikan yang digunakan. Dalam hal ini digunakan to enter = 0,05 dan
to enter = 0,05 .
Dimana outputnya adalah sebagai berikut.
Alpha-to-Enter:
o 0.05 Alpha-to-Remove: 0.05
Step 1 2
Constant -3.364 -2.805
X3 4.31 3.60
T-Value 6.23 5.63
P-Value 0.000 0.000
X1 0.152
T-Value 2.62
P-Value 0.021
S 0.0598 0.0503
R-Sq 73.51 82.65
R-Sq(adj) 71.62 79.98
Mallows Cp
Manual 7.3 2.6
y x1 x2 x3 x4
N 16 16 16 16 16
**
x1 Pearson Correlation .635 1 .471 .421 .368
Sig. (2-tailed) .008 .065 .104 .161
N 16 16 16 16 16
x2 Pearson Correlation .815** .471 1 .801** .677**
Sig. (2-tailed) .000 .065 .000 .004
N 16 16 16 16 16
** **
x3 Pearson Correlation .857 .421 .801 1 .552*
Sig. (2-tailed) .000 .104 .000 .027
N 16 16 16 16 16
* ** *
x4 Pearson Correlation .604 .368 .677 .552 1
N 16 16 16 16 16
Partial Corr
Correlations
Control Variables y x1 x2 x4
Df 0 13 13 13
Df 13 13 0 13
Df 13 13 13 0
Partial Corr
Correlations
Control Variables y x2 x4
df 0 12 12
df 12 12 0
Karena hasil pvalue > alpha, maka model yang terbentuk berhenti pada variabel prediktor X3
dan X1 sehingga model yang terbentuk adalah
Y= - 2.81 + 0,152 X1 + 3,60 X3
Interpretasi model Jika kadar klor cair bertambah satu satuan, maka tingkat kejernihan air
akan bertambah sebesar 0,152 dengan syarat kadar cupri sulfat konstan, sedangkan jika kadar
cupri sulfat bertambah satu satuan, maka tingkat kejernihan air akan bertambah sebesar 3,60
dengan syarat kadar klor cair konstan.
Y X1 X2 X3
X1 0.635
0.008
X2 0.815 0.471
0.000 0.065
2. Memilih nilai koefisien pearson maksimum, dalam hal ini koefisien korelasi Y-X3
yang masuk dalam model. Kemudian di regresikan antara Y dan X3 untuk diamati
apakah X3 berpengaruh signifikan atau tidak terhadap variabel Y
Regression Analysis: Y versus X3
RESIYX3X1 RESIX2X3X1
RESIX2X3X1 0.344
0.192
X1 X2 X3 Y X1 X2 X3 Y
1.76 0.07 7.8 110.4 2.03 0.474 7.6 74
1.55 0.07 8.9 102.8 1.91 0.474 8.3 65.7
2.73 0.07 8.9 101 1.91 0.474 8.2 56.8
2.73 0.07 7.2 108.4 1.91 0.474 6.9 62.1
2.56 0.07 8.4 100.7 0.76 0.474 7.4 61
2.8 0.07 8.7 100.3 2.13 0.474 7.6 53.2
2.8 0.07 7.4 102 2.13 0.474 6.9 59.4
1.84 0.07 8.7 93.7 1.51 0.474 7.5 58.7
2.16 0.07 8.8 98.9 2.05 0.474 7.6 58
1.98 0.02 7.6 96.6 1.05 0.02 7 88.4
0.59 0.02 6.5 99.4 1.8 0.02 7.3 75.3
0.8 0.02 6.7 96.2 1.8 0.02 6.5 92
0.8 0.02 6.2 99 1.77 0.02 7.6 82.4
2.3 0.02 8.2 77.1
a) Berdasarkan data diatas, dapatkan model terbaik menggunakan best subset, backward,
fordward, dan stepwise. Tuliskan output setiap tahapan dan berikan penjelasan secara
lengkap.
b) Apakah persamaan regresi yang dihasilkan dari keempat prosedur tersebut sama atau
berbeda? Jelaskan alasannya!
DAFTAR PUSTAKA
Setiawan n kusrini
Hair
Gujarati
Draper
LAMPIRAN
1. Data Tugas Akhir Alfisyahrina Hapsery (267 data)
Dok.Inggri
Nama Sitasi Indeks h s Dok.Indonesia Jurusan Jabatan Fakultas JK
Suasmoro 75 4 21 2 Fisika Guru Besar FMIPA Laki-laki
Hasto Sunarno 19 2 11 32 Fisika Lektor Kepala FMIPA Laki-laki
Suminar Pratapa 141 7 43 48 Fisika Guru Besar FMIPA Laki-laki
Gatut Yudoyono 8 2 3 50 Fisika Lektor Kepala FMIPA Laki-laki
Yono Hadi P. 74 4 22 12 Fisika Lektor Kepala FMIPA Laki-laki
Mashuri 70 3 10 14 Fisika Lektor Kepala FMIPA Laki-laki
Darminto 115 4 32 13 Fisika Guru Besar FMIPA Laki-laki
M.Zainuri 1 1 6 17 Fisika Lektor FMIPA Laki-laki
...
...
Imam Mukhlash 29 3 8 21 Matematika Lektor FMIPA Laki-laki
Laksmi Prita W. 2 1 0 10 Matematika Lektor FMIPA Perempuan
Bandung Arry S. 6 1 6 7 Matematika Lektor FMIPA Laki-laki
Budi Setiyono 5 1 3 1 Matematika Lektor FMIPA Laki-laki
Didik Khusnul A. 1 1 2 4 Matematika Lektor FMIPA Laki-laki
Subchan 125 6 22 12 Matematika Lektor Kepala FMIPA Laki-laki