ANALISIS REGRESI:

PEMBENTUKAN MODEL
REGRESI LINIER
BERGANDA
Oleh:
Agung Priyo Utomo ([email protected])
Liza Kurnia Sari ([email protected])
Politeknik Statistika STIS

1
 Memilih Model Terbaik (1)
■ Regresi linier berganda menganalisis pengaruh
beberapa variabel bebas terhadap variabel tak
bebas (y).
■ Kontribusi suatu variabel bebas dalam menerangkan
besarnya variasi y bergantung pada urutan variabel
tersebut masuk ke dalam model.
Hal ini menyulitkan melihat pengaruh suatu
variabel bebas terhadap y.
■ Perlu dicari model ‘terbaik’ yang mengandung
sebagian atau seluruh variabel bebas.

2
 Memilih Model Terbaik (2)
■ Kesederhanaan dan keefektifan model merupakan
pertimbangan yang harus diperhatikan dalam
pemilihan model.
■ Hal ini berarti bila kemampuan beberapa model
sama atau hampir sama dalam menjelaskan y maka
kita cenderung memilih model yang mengandung
paling sedikit variabel bebas di dalamnya (paling
sederhana).

3
 Memilih Model Terbaik (3)
■ Untuk tujuan prediksi, makin banyak variabel bebas
yang berpengaruh terhadap y masuk ke dalam model
maka makin baik prediksi y.
■ Untuk tujuan kontrol, makin sedikit variabel bebas
dalam model maka makin baik model tersebut.
Mengontrol dengan mengumpulkan data dari banyak
variabel bebas akan semakin mahal.
■ Model terbaik dengan sedikit variabel sehingga lebih
murah dan mudah ditangani analisisnya tetapi cukup
untuk bisa memenuhi fungsi deskripsi, kontrol, dan
prediksi.

4
 Metode Pemilihan Model Terbaik
1. All Possible Regression (semua kombinasi yang
mungkin)
2. Forward Selection (metode seleksi maju)
3. Backward Elimination (metode penyisihan)
4. Stepwise Regression (metode bertahap)

5
 All Possible Regression (1)
■ Metode ini mengharuskan kita memeriksa semua
kombinasi variabel yang dapat dibuat.
■ Bila ada k variabel bebas, maka harus diperiksa
2k − 1 persamaan
■ Keunggulan: memungkinkan kita melihat seluruh
kombinasi yang ada dan memilih yang terbaik
berdasarkan kriteria tertentu
■ Kelemahan: banyaknya pekerjaan yang harus
dilakukan

6
 All Possible Regression (2)
■ Kriteria pemilihan:
1. R2p, yaitu koefisien determinasi dari model regresi dengan
p parameter, dapat pula menggunakan R2adj,p. Model yang
baik adalah yang memiliki R2p tinggi dengan jumlah
variabel bebas minimal
2. MSEp, semakin kecil nilainya model semakin baik
3. Cp Mallow , semakin kecil nilainya model semakin baik
4. PRESSp , semakin kecil nilainya model semakin baik

7
 Cp Mallow
■ Cp Mallow
Cp = SSEp/s2 + 2p − n
Keterangan:
SSEp = jumlah kuadrat residual dengan p parameter
s2 = MSE dengan menggunakan model yang tepat
(dianggap yg melibatkan seluruh variabel bebas yg
tersedia)
n = banyak observasi
■ Dalam menilai kebaikan dua model, pilih yang
memberi Cp paling dekat ke p

8
 PRESSp
■ PRESSp (Prediction Sum of Squares)
■ Metode ini gabungan dari semua kombinasi yang
mungkin, prediksi, analisis residual

■ PRESSp = model dengan p parameter

9
 PRESSp
■ Rumus lain untuk PRESSp

■ .
■ hii = unsur diagonal matriks H = X(X’X)-1X’

10
All Possible Regression untuk data Surgical Unit di
buku Neter

11
 Forward Selection
■ Meregresikan variabel tak bebas (y) terhadap
sejumlah variabel bebas (X1, X2, …, Xp) dengan
cara memasukkan variabel bebas satu persatu ke
dalam model sehingga diperoleh model dimana
semua variabel bebasnya signifikan.

12
 Prosedur Forward Selection
Misal y, X1, X2, X3, X4
1) Menentukan variabel bebas pertama yg akan masuk ke
dalam model dengan cara menghitung koefisien korelasi
parsial antara y dengan setiap variabel bebas ryX1,
ryX2, ryX3, ryX4.
Selanjutnya pilih variabel bebas yang memiliki koefisien
korelasi terbesar dg y.
Misal ryX2 > ryX1 > ryX3 > ryX4

13
 Prosedur Forward Selection
2) Regresikan y terhadap X2 (y = β0+β2X2+ε), lakukan uji
hipotesis H0: β2 = 0 vs H1: β2 ≠ 0 menghitung statistik
uji t. Jika H0 ditolak maka X2 masuk ke dalam model,
proses berlanjut dengan menentukan variabel bebas
berikutnya yang akan masuk ke dalam model dg
menghitung koefisien korelasi parsial antara y dengan X1,
X3, X4 dimana X2 sudah ada di dalam model hitung
ryX1|X2, ryX3|X2, ryX4|X2.
Variabel bebas berikut yang akan diuji adalah yg
memiliki koefisien korelasi parsial terbesar.
Misal ryX1|X2 > ryX3|X2 > ryX4|X2 sehingga X1 akan diuji
apakah signifikan di dalam model yang sudah
mengandung X2 atau tidak.
14
 Prosedur Forward Selection
3) Regresikan y thd X2 dan X1 (y = β0 + β2X2 + β1X1 + ε).
Lakukan pengujian terhadap H0: β1 = 0 vs H1: β1 ≠ 0. Jika
H= ditolak maka X1 masuk ke dalam model, proses
berlanjut dengan menentukan variabel bebas berikutnya
yang akan masuk ke dalam model dg menghitung
koefisien korelasi parsial antara y dengan X3, X4 dimana
X1 dan X2 sudah ada di dalam model hitung ryX3|X1,X2;
ryX4|X1,X2 mana yang lebih besar. Tapi jika X1 tidak
signifikan (H0 tidak ditolak), maka proses berhenti dan
model terbaik yg diperoleh dg metode forward selection
adalah y = β0 + β2X2 + ε.

15
 Backward Elimination
■ Prosedur yang dilakukan berkebalikan dengan metode
forward selection. Pada backward elimination prinsipnya
adalah memasukkan semua variabel bebas yang ada,
kemudian mengeliminasi variabel bebas tersebut satu
persatu.

16
 Prosedur Backward Elimination
Misal y, X1, X2, X3, X4
1) Regresikan y terhadap semua variabel bebas X1, X2, X3,
X 4.
2) Tentukan variabel bebas yang akan diuji apakah
dieliminasi atau tetap dipertahankan di dalam model
dengan menghitung koefisien korelasi parsial antara y
dg setiap variabel bebas, dimana variabel bebas lain
ada di dalam model hitung ryX1|X2,X3,X4; ryX2|X1,X3,X4;
ryX3|X1,X2,X4; ryX4|X1,X2,X3

17
 Prosedur Backward Elimination
3) Variabel bebas yg memiliki nilai koefisien korelasi
parsial terkecil akan diuji pertama kali apakah akan
dieliminasi atau tetap dipertahankan di dalam model.
Misal ryX1|X2,X3,X4 > ryX2|X1,X3,X4 > ryX3|X1,X2,X4 > ryX4|X1,X2,X3,
maka X4 akan diuji pertama kali apakah tetap
dipertahankan di dalam model atau dieliminasi.
Jika H0: β4 = 0 ditolak, maka X4 tetap dipertahankan di
dalam model dan proses berhenti. Jika H0: β4 = 0 tidak
ditolak, X4 dieliminasi dari model. Proses dilanjutkan
dengan mencari variabel bebas lain yang akan
dieliminasi berikutnya.

18
 Stepwise Regression
■ Metode ini gabungan dari forward selection dan
backward elimination yang diterapkan secara
bergantian.
■ Pada tahap pertama gunakan forward selection. Misal
variabel bebas pertama yang masuk ke dalam model
adalah X1 (dan setelah diuji H0: β1 = 0 ditolak atau
pengaruh X1 signifikan). Variabel bebas berikutnya yang
masuk adalah X2 (dan setelah diuji H0: β2 = 0 ditolak).
Kalau X2 tidak signifikan proses berhenti.
■ Tahap selanjutnya dilakukan backward elimination, ingin
dipertanyakan apakah X1 tetap signifikan berada dalam
model setelah X2 masuk ke dalam model.

19
 Stepwise Regression
■ Jika misalnya pengaruh X1 setelah X2 masuk tidak
signifikan maka X1 dikeluarkan dari model, dan bila
sebaliknya, X1 dibiarkan dalam model sampai pengujian
tahap berikutnya.
■ Tahap selanjutnya menyeleksi variabel berikutnya yg
akan masuk ke dalam model. Misal X3 dan pengaruh X3
signifikan dalam model. Gunakan kembali metode
backward elimination untuk menguji apakah X1 dan X2
masih boleh tetap di dalam model atau harus keluar.
■ Begitu seterusnya secara bergantian kedua metode
digunakan sampai selesai.

20