ANALISIS REGRESI

Weighted Least Square

DISUSUN OLEH:
Devi Rosalina Juliana
(G1D012006)
Khairunnisa Hayyu Sumaya (G1D012015)
Lia Rahmasari
(G1D012019)
Ulfa Destiarina
(G1D012038)

PROGRAM STUDI MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS MATARAM

2014

KATA PENGANTAR

Puji syukur kami panjatkan kehadirat Allah SWT atas segala limpahan rahmat dan
hidayah-Nya sehingga makalah ini dapat terselesaikan. Tak lupa pula kita haturkan
shalawat serta salam kepada junjungan alam nabi kita nabi besar Muhammad SAW
yang menuntun langkah hidup kita sehingga kita bisa menjadi manusia yang beradab
dan berbudaya menurut ajaran-ajaran Islam.
Ucapan terimakasih kepada semua pihak, khusunya kepada dosen pengampuh rekanrekan mahasiswa/mahasiswi yang telah mendukung dan membantu kami dalam
penyusunan makalah ini. Sehingga makalah ini dapat kami rampungkan sesuai dengan
waktu yang telah ditentukan yang berjudul Weighted Least Square.
Semoga makalah ini bermanfaat bagi kita semua terutama bagi kita sebagai mahasiswa
yang sedang menjalani proses belajar di perguruan tinggi.
Tiada gading yang tak retak, maka dari itu saran dan kritik dari semua pihak sangat
kami harapkan untuk perbaikan makalah kami berikutnya wassalam.

Mataram, 25 November 2014

Penyusun

BAB I
PENDAHULUAN

Penggunaan metode analisis regresi untuk membentuk model regresi didasari

oleh asumsi error atau residual yang bersifat identik, independen, dan berdistribusi
normal, dengan mean bernilai nol dan variansi bernilai tertentu, yaitu 2. Secara visual
kondisi ini dideteksi menggunakan empat macam plot, yaitu : plot keseluruhan, plot
menurut waktu, plot terhadap ramalan, plot terhadap variabel bebas. Pada mulanya
untuk penaksiran parameter koefisien regresi digunakan metode kuadrat terkecil
biasa (Ordinary Least Square). Apabila plot residual membentuk titik-titik yang tidak
random, tetapi membentuk pola, misal berbentuk corong atau bando lengkung, ini
menunjukkan asumsi homoskedastisitas tidak terpenuhi, justru sebaliknya. Dan
kondisi ini dinamakan heteroskedastisitas. Artinya varians error tidak berupa angka
konstan,yang dilambangkan dengan ( )
.
Pengujian heteroskedastisitas dapat dilakukan dengan dua cara, yaitu metode
grafik dan uji formal. Pada metode grafik, nilai-nilai ei2 diplot dengan nilai-nilai
variable bebas sehingga akan terbentuk suatu pola atau bentuk yang tidak random.
Contoh grafik :
1. Heteroskedastisitas
2. Homoskedastisitas

Sedangkan uji Formal terdiri dari uji Breusch-Pagan-Godfrey dan uji White. Namun,
pada makalah ini materi tentang pengujian heteroskedastisitas tidak dibahas secara
rinci. Pembahasan akan ditekankan pada solusi untuk menyelesaikan masalah
heteroskedastisitas. Metode penaksiran parameter yang sesuai untuk menyelesaikan
masalah heteroskedastisitas adalah kuadrat terkecil terboboti (Weighted Least
Square).

BAB II
PEMBAHASAN
2.1 Heteroskedastisitas dan Weighted Least Square
Heteroskedastisitas adalah kondisi dimana error tidak memiliki suatu varian yang
konstan untuk semua observasi. Masalah heteroskedastisitas lebih sering terjadi
pada data cross section dari pada time series serta muncul baik pada regresi
sederhana maupun regresi berganda.
Cara mengatasi masalah heteroskedastisitas antara lain:
(a) melakukan transformasi variabel
(b) menggunakan metode Weighted Least Square.
Pada kenyataannya heteroskedastisitas adalah kondisi dimana error tidak
memiliki suatu varian yang konstan. Solusi dari munculnya varian yang tidak konstan
ini adalah dengan melakukan Transformasi terhadap variabel. Hal ini akan membuat
varian tersebut konstan, Perhatikan gambar di bawah ini.

Titik-titik kuning menunjukkan keadaan yang sebenarnya dari sampel. Jika

digambarkan garis regresinya, diperoleh garis regresi yang berwarna merah. Dari
plot tersebut terlihat bahwa varian error tidak konstan (heteroskedastisitas).
Kemudian dilakukan tranformasi sehingga diperoleh kurva hijau yang menunjukkan
varian error yang konstan. Dengan demikian transformasi dapat membuat varian
menjadi konstan. Namun transformasi ini dapat mempengaruhi linearitas fungsi
regresi. Tampak dari gambar, kurva hijau tidak linear tetapi membentuk suatu
cekungan.
Maka untuk kasus ini, metode pendugaan parameter yang sesuai adalah Metode
kuadrat terkecil terbobot (Weighted Least Square).

2.2 WLS Regresi Linear Sederhana dan Regresi Linear Berganda

Kriteria kuadrat terkecil untuk regresi linear sederhana adalah sebagai berikut :
)

Sedangkan untuk WLS, masing-masing jumlah kuadrat error akan dikali dengan
w(
) .(1)
penimbang yaitu wi, sehingga
Dari persamaan (1) dapat diperoleh nilai dari koefisien regresinya dengan
meminimalkan nilai error.
Penurunan rumus :
w (

e
w *y

y(

)
)

w *y

w y

w y

) +
+

y
w

w
Meminimumkan kuadrat error terhadap
w y

w
( )

(3)

w
w

Diperoleh :

dan

w
b

(4)

Substitusi (3) dan (4)

w

b
w

b w

w w
w

b w

Diperoleh :

...(5)

Sistem Persamaan untuk k variabel:

w

b w

b w

b w

b w

b w

b w

b w

.
.
.
.
w

b w

b w

b w

b w

b w
.
.
.
.

b w

b w
.
.
.
.

b w

b w

2.3 Review OLS dengan Pendekatan Matriks

Model regresi linier umum dalam matrik ialah : Y = X + . Apabila untuk
membangun model regresi ini digunakan n eksperimen, maka model untuk setiap
eksperimen ialah :
Yi = Xi + i atau Yi = 0 + 1 X1i + 2 X2i +

+ k Xki + i , i = 1, 2, ... , n.

Dan memenuhi asumsi-asumsi berikut:

i identik, dinotasikan var(i) = 2 untuk setiap i.

i ~ N(0, 2), E(i ) = 0 untuk setiap i dan var(i ) = 2 untuk setiap i;

i independen, dinotasikan cov(i,j) = 0 untuk i j, akibatnya E(ij) = E(i)

E(j),

karena i juga bersifat independen, maka berakibat E(ij) = E(i) E(j) = 0, maka
menjadikan matrik varian kovarian vektor , dinotasikan var(), adalah sebagai
berikut:

cov(1 , 2 )
var(1 )
cov( , )
var( 2 )
2 1
var() =

cov( n , 1 ) cov( n , 2 )

cov(1 , n )
2 0

cov( 2 , n )
0 2

var( n )
0
0

0
= I 2

Penaksir parameter koefisien regresi dan variansinya didapatkan dengan rumus

berikut:
b0
b
1
b = = (XTX)-1 XTY dan


b k

cov(b0 , b1 )
var(b0 )
cov(b , b )
var(b1 )
1
0
var(b) =

cov(b k , b0 ) cov(b k , b1 )

cov(b0 , b k )
cov(b1 , b k )
= (XTX)-12

var(b k )

2.4 WLS dengan Pendekatan Matriks

Gagasan dasarnya adalah mentranformasi amatan y menjadi peubah lain Z yang
memenuhi asumsi-asumsi yang biasa yaitu Z =
f, E(f) = 0, V(f) = I , dan untuk
uji f dan penyusunan selang kepercayaan, f N(0,
) dan kemudian menerapkan
analisis biasa (tidak terboboti) pada peubah-peubah yang diperoleh. Nilai dugaan yang
dihasilkan kemudian diucapkan kembali ke peubah semula Y.
Residual tidak identik mengakibatkan var(i) tidak sama untuk setiap i,
dinotasikan var(i) = i2 . Agar i memenuhi asumsi identik maka dilakukan
transformasi, dengan cara mengalikan i dengan w , atau vektor dengan matrik P-1
dari sisi kiri.
merupakan matriks diagonal penimbang dengan elemen diagonal
utamanya yang merupakan penimbang untuk masing-masing variabel tak bebas
ke-i, dimana (wi)1/2
(7)

Sekarang, vektor residual menjadi f , f = P-1 .

Matrik P ditentukan sedemikian rupa sehingga memenuhi : PTP = PP = P2 = V.
Misalkan model yang digunakan adalah Y =
.
Persamaan regresi baru :
P-1 Y = P-1 X + P-1
dengan notasi baru :
Yw = Q w + f atau Ywi = w0 Q0i + w1 Q1i + fi (khusus regresi dengan satu prediktor).
Ini merupakan persamaan regresi OLS, dengan:
-

variabel respon Yw = P-1 Y,

variabel prediktor Q0 dan Q1, yang terhimpun di dalam matrik Q = P-1 X ,
parameter : w0 dan w1 (khusus regresi dengan satu prediktor).
residual f.

Kolom pertama matrik Q, yaitu Q0, elemennya tidak bernilai 1, tidak seperti
kolom pertama matrik X pada regresi OLS, yang setiap elemen kolom pertamanya
bernilai 1. Berikut ini ditampilkan kolom-kolom matrik X dan Q, dengan Q = P-1 X :
1
1
X=[

atau

1
X untuk satu prediktor

q01
q
Q = 02

q0 n

q11
q12

q1n

1 x11
1 x
12
X=

1 x1n

xk 1
xk 2

xkn

X untuk k prediktor

atau

Q untuk satu prediktor

q01
q
Q = 02

q0 n

q11
q12
q1n

qk1
qk 2

qkn

Q untuk k prediktor

Varian residual atau error sebelum dilakukan transformasi ialah :

cov(1 , 2 )
var(1 )
cov( , )
var( 2 )
2 1
var() =

cov( n , 1 ) cov( n , 2 )

12 0
cov(1 , n )

cov( 2 , n )
0 22
=

0
var( n )
0

0
2
= V

2
n

Matrik V bukan matrik identitas, tetapi seperti ketentuan di atas, yaitu : V = PTP = PP
= P2 . Sebelum ditransformasi, elemen diagonal utama matrik varian-kovarian, yaitu
var(), tidak sama; kondisi ini dinamai tidak identik atau heteroskedastisitas. Agar
identik, variansi error yang dinotasikan i2 , i = 1, 2, ... , n, dikalikan dengan pembobot.
Pembobot ini dihimpun di dalam matrik P-1, kalau dikaitkan dengan matrik V, maka
yang dimaksud dengan matrik pembobot ialah V-1 yang berelemenkan wi.

Setelah dilakukan transformasi f = P-1 , maka error menjadi f, dengan sifat

seperti error pada regresi OLS, yaitu var(f) = I2 . Penjabaran var(f) secara rinci
adalah sebagai berikut :
var(f) = E(f fT )
= E(P-1 (P-1 )T) = E(P-1 T P-1) = P-1 E( T) P-1 = P-1 V2 P-1 = P-1 P P 2 P-1
= P-1 P P P-1 2 = I 2
Dengan menggunakan regresi OLS dalam notasi matrik; bila variabel bebas dihimpun
di dalam matrik Q, variabel respon Yw, maka penaksir parameter koefisien regresi dan
variansinya didapatkan dengan rumus berikut :
b 0w
b
1w
bw =
= (QTQ)-1 QTYw = ((P-1 X)T P-1X)-1 (X P-1)T (P-1 Y)

b kw

= (XT P-1 P-1X)-1 XT P-1 P-1 Y = (XT V-1X)-1 XT V-1 Y

cov(b0w , b1w )
var(b0w )
cov(b , b )
var(b1w )
1w
0w
var(bw) =

cov(bkw , b0w ) cov(b kw , b1w )

cov(b0w , b kw )
cov(b1w , b kw )

var(b kw )

= (QTQ)-12 = (XT V-1 X)-1 2

Jadi, diperoleh :

dan

Maka dari hasil di atas akan diperoleh model regresi linear dengan pembobot adalah

2.5 Tabel ANOVA

Terdapat berbagai macam formula tabel ANOVA; masing-masing dinyatakan sebagai
berikut:

Formula 1 (uncorrected)
Sumber

Derajat
Bebas

Jumlah Kuadrat

Regresi

k+1

bwTQTYw

Residual

nk1

YwTYw bwTQTYw

Total

YwT Yw

Kuadrat Tengah

JKSisa
n2

Formula 2 (corrected)
Sumber

Derajat
Bebas

Jumlah Kuadrat

Regresi

bwTQTYw nYw2

Residual

nk1

YwTYw bwTQTYw

n 1

YwT Yw nYw2

Total,
terkoreksi

Kuadrat Tengah

JKSisa
n2

2.5 Pengujian Hipotesis

Overall Test (Corrected)

Perumusan Hipotesis
H0 : i = 0, i = 1, 2, ... , k
H1 : Paling tidak terdapat satu i yang pengaruhnya terhadap respon bermakna.
= 0,05
Statistik Uji : Menggunakan ANOVA formula 2,

F=

(bTw QT Yw nYw2 ) / k
(YwT Yw bTw QT Yw ) /(n k 1)

Titik Kritis : Fk,n-k-1,1-

Keputusan :

H0 diterima bila nilai F Fk,n-k-1,1-

H0 ditolak bila F > Fk,n-k-1,1- .

Overall Test (Uncorrected)

Perumusan Hipotesis
H0 : i = 0, i = 0, 1, 2, ... , k
H1 : Paling tidak terdapat satu i yang perbedaannya dengan nol bermakna.
= 0,05
Statistik Uji : Menggunakan ANOVA formula 1,
F=

(bTw QT Yw ) /(k 1)
(YwT Yw bTw QT Yw ) /(n k 1)

Titik Kritis : Fk+1,n-k-1,1-

Keeputusan :

H0 diterima bila nilai F Fk+1,n-k-1,1-

H0 ditolak bila F > Fk+1,n-k-1,1- .

Partial Test
Perumusan Hipotesis
H0 : i = 0

VS

H1 : i 0

= 0,05
Statistik Uji :

bi
s( bi )

Nilai penaksir simbangan baku (bi ) adalah akar elemen diagonal utama ke i
matrik var(bw), dengan var(bw) = (XT V-1 X)-1 2.
Titik Kritis :
Keputusan :

dan
H0 diterima bila
H0 ditolak bila T <

T
atau T >

BAB III
PENUTUP

3.1 Kesimpulan
Dari uraian di atas dapat disimpulkan bahwa :
1. Heteroskedastisitas adalah kondisi dimana error tidak memiliki suatu varian
yang konstan untuk semua observasi . Dengan kata lain, var(i) tidak sama
untuk setiap i, dinotasikan var(i) = i2 .
2. Cara mengatasi masalah heteroskedastisitas antara lain:
(a) melakukan transformasi variabel
(b) menggunakan metode Weighted Least Square.
3. Dari penurunan rumus dan meminimalkan error dengan dikalikan dengan
pembobot wi, diperoleh nilai b0 dan b1 ;
b

dan

4. Melalui WLS dengan Pendekatan Matriks diperoleh nilai b0 dan b1, yaitu;
(
)
)
dan
( ) (
Dan model regresi linear dengan pembobot
.

DAFTAR PUSTAKA

Draper, N.R. 1992. Analisis Regresi Terapan.Jakarta : PT Gramedia Pustaka Utama.

Myers, Raymond H.2000.Classical And Modern Regression with Ap plications.Duxbury:
Duxbury Press.
Setya,Wiwiek.2012.Regresi Terboboti(Weighted Regression/Weighted Least Square).
oc.its.ac.id. 21 November 2014