LINEAR

REGRESSION
ANALYSIS
Scope
Linear Regression Analysis
• There are various types of regression analysis, what we are studying this
time is linear regression analysis

Traditions in the Field of Psychology

• Every regression analysis, both procedures and reporting, depend on the
scientific tradition of the researcher. This regression analysis follows the
research tradition in psychology

Continuous Predictor
• The characteristics of the data used in this material are more like continuous
predictor data
 X Y
Covariance = Shared Variance Correlation

X Y
Regression Analysis = Prediction Regression Analysis
 X Y X Y
X correlates Y X predicts Y
X is related to Y X affects Y
X is related to Y X determines Y
The X variance is in line with the Y X increases Y
variance X decreases Y
The X and Y variances are aligned etc..
Etc...
Regression analysis is an extension of the correlation test so that
the coefficients it produces are influenced by correlation
Correlation Test Regression Analysis
Terminology
• Dependent Variable • Independent Variable
• Criteria (criterium)Output • Predictor
• Output/Outcome • Antecedents
• Consequence • Explanatory
• Resultant • Reason
• Effect • Pusher
• Consequence • Beginner (starter)
• Impact • Originator
• Igniter
• Trigger

The use of words depends on the context of the variables and the meaning of their
connection
Regression Analysis
• When to use
• When researchers want to predict the quantitative value of a dependent variable (Y)
by an independent variable (X)
• What are the characteristics of the variables?
• Dependent variable = continuous (interval/ratio)
• Why does it have to be interval/ratio, because the average value can be estimated from this data
• The discussion this time will be limited to regression analysis which uses independent variables
in the form of continuous data
• Variabel independen = kontinyu/kategorikal (nominal/ordinal/interval/rasio)
• In the case of categorical data, the theme of regression using dummy variables will be discussed
• The discussion this time will be limited to regression analysis which uses independent variables
in the form of continuous data
Purpose of Regression Analysis
• The purpose of regression analysis is to obtain an equation that
connects the dependent variable and the independent variable
• Example of the equation Y = A + BX
• The derived equations can sometimes be used for predictive purposes,
but more often the goal of research is to establish the relative
contribution of independent variables in determining a dependent
variable or to develop a model to describe a phenomenon.
Visual Display of Research Design

Correlation Prediction

• Academic achievement was predicted by four predictors

Three Objectives of Regression Analysis

1. Identify the regression equation

2. Identify the contribution of variables
3. Model Development
1 Objective 1 Linear
Regression
Analysis
Generating Linear Equations
Objective #1 - Prediction
• Regression analysis produces information regarding the
extent of the predictor's prediction of the criteria

• Indicated by the prediction coefficient (symbol = B/b/β)

• Jika prediktor yang dilibatkan lebih dari satu maka setiap

prediktor akan memiliki satu koefisien
• b1X1 = prediction coefficient for predictor X1
• b2X2 = prediction coefficient for predictor X2
Equations in Regression Analysis
Linear regression analysis will produce a linear equation:

Y = A + BX
• Y = Dependent Variable (Criteria)
• A = Baseline (intercept)
• B = Prediction coefficient (regression coefficient/prediction
coefficient)
• X = Independent Variable (Predictor)
 Y = A + BX
Prediction Coefficient (B)
Coefficient B (Prediction)
Shows how big a role X
plays in predicting Y

Proof of Equation
• The greater the
coefficient value, the
greater the predicted
value
Visual Evidence
• The bigger the
prediction the more
slanted the line is
• Either tilt up or down
 The greater the B value,
The steeper the slope of the prediction line

Y = 19,17 + 1,02 (X) Y = 19,97 + 0,05 (X)

B = 1,02 B = 0,05
Prediction coefficients are often called
slope parameters.
Steep
Steep

Sloping
Examining the Role of Eating on Feelings of Full

• How much does eating bread predict fullness?

• How much does eating rice predict fullness?
• How much does eating wind predict for fullness?

• X1, X2, X3 = portion of bread, rice, and wind

• Y = fullness
Example of Comparison of B and Slope Prediction
Line for Feelings of Fullness
This illustration shows that Eating
Wind (X1) Bread (X2) Rice (X3) Rice is more predictive of fullness
compared to Eating Bread and
Eating Wind

Visual Evidence:
The prediction line for Makan Angin
is more slanted compared to Makan
Roti and Makan Angin

Proof of Equality:
Y = A+ B1(X1) + B2(X2) + B3(X3)
Y = 4.8 + 0,01(X1) + 0,019(X2) +
B = 0,010 B = 0,019 B = 0,61 0,61 (X3)

B3 > B2 > B1
Understanding Slope Coefficient

• The increase in the value of Y when X increases/decreases in

a unit, when the intercept is not considered

• For example in Y = 0 + 1(X)

• This means that the price of Y increases when X changes by 1 unit

• For example in Y = 0 - 5(X)

• This means that the price of Y decreases when X changes by 1 unit
Istilah Unit (Satuan)
Interpretation of the regression equation depends on the units

• Self-Acceptance Scale
• This scale has a score range of 20 to 50
• 1 unit = 1 self-acceptance point
• Employee salary
• Unit = rupiah | 1 unit means 1 rupiah
• Frequency of anger
• Unit = appearance of anger | 1 unit = one appearance of anger
• Work experience
• Unit = year | 1 unit = one year of work
 Y = A + B(X)
Loyalty = 2 + 3(Salary)
Every increase in one unit of salary will increase loyalty by = 2
+ 3(1) = 5 loyalty points

Y = A + B(X)
Loyalty = 1 + 5(Experience)
Each increase in one unit of years of experience will increase
loyalty by = 1 + 5(1) = 6 loyalty points
Example of Regression Analysis with Different Units

• Y = Current salary variable

• Salary per month (unit: per 1 million rupiah)

• X1 = Education Variable
• Length of education (unit: per month)

• X2 = Experience Variable
• Work Experience (unit: per year)
Example of Regression Analysis with Different Units

Example of
Fictitious Data
Analysis
Results
Interpretation
EDUCATION = Every 1 year increase in education will increase the current salary
per month by = 1 + (0.5) = 1.5 million rupiah

SALARY = Every increase of 1 million rupiah in initial work salary will increase the
current salary per month by = 1 + (1.2) = 2.2 million rupiah
 Y = A + BX
Intercept Coefficient (A)
 Level of Aggressiveness before crowding
Intersep plays a role (crowding = 0)
Understanding Intercept
• The intercept coefficient shows the intersection of the regression line
with the Y value when = 0

• Shows "existing condition", namely the condition before the

predictor (x) has an effect on the criterion (y)

• Other names for intercept: Baseline, Initial condition etc

• Intercepts need to be interpreted carefully. Sometimes to interpret the

intercept, it is necessary to center the data (centering to the mean
score) first so that the intercept can be interpreted
Interception: Sometimes easy to interpret, sometimes
difficult
Easy to interpret
Exam Score = 65.4 + 2.01 (study hours)
Intercept = 65.4
Exam score when not studying (study hours = 0) = 65.4

Difficult to interpret
Body weight = 65.4 + 2.01 (height/cm)
Intercept = 65.4
Body weight when height 0 = 65.4
 Notes on Linear
Equations in Regression
Analysis
Significance of Coefficients

Significance test of
• Significance of Coefficients Coefficient
• Each coefficient is tested for significance to ensure whether the value of the coefficient is
"reliable". Trustworthy means that the price is not a coincidence but is something that exists that
reflects the population
Significance of Coefficients
• p value (Support)
• t = (estimate – 0)/SE
• t =0.0943 / 0.0159 = 5.94

• T-count value > t-table (df = 98; 1%)

• df = depends on sample size
• t-count is significant at the 1% level
• p < 0.01

• Principle of Significance of Coefficients

• The lower the standard error (SE), the higher the t value
• The higher the t value, the more likely it is to prove a significant result
• Significant coefficient -> The research hypothesis (Ha) is proven (if the +/- direction is
appropriate)
 Hypothesis in Coefficient Testing

𝐵− 0
𝑡=
𝑆𝐸
Premise
• Premise 1 = The t value shows how
big the difference between B and 0 is
• Premise 2 = very low t values ​tend to Conclusion
produce statistically insignificant If the t-count resulting from the
values computation is not significant because it
• Premise 3 = A value of 0 indicates is below the t-table, the B value in the
nothing regression equation is nothing (not
significant, not reliable)
Standardized vs Non-Standardized Coefficients

Non-Standardized Coeff Standardized Coeff

*) It turns out that the role of competence is greater than peer support, even though the non-standard
coefficient has a smaller value than peer support

• Standardized coefficient
• The interpretation of the prediction coefficient depends on the scale of the variable unit so it is called
a standardized coefficient (unstandardized estimate/unstandardized coefficient) so that the higher the
value is not necessarily the greater the prediction.
• To compare researchers need to use standardized coefficients
Confidence Interval

The value 0 is not included in

the interval so p < 0.05

The value 0 is included in the

interval so that p > 0.05

• Confidence interval (confidence interval) shows the coefficient values ​in the population
with a certain level of confidence (for example 95%).
• Reading Rules: If the coefficient prices in the interval DO NOT MAKE the price equal
to 0, then the coefficient can be trusted so it is statistically significant (p < 0.01 or p <
0.05)
Some Additional Notes
• Regression coefficients are relative
• The regression coefficient depends on the variables involved in the analysis. X1's prediction of
Y can change when X1 is included in the regression analysis along with X2 and so on
• Depends on the correlation between predictors. The higher the correlation between predictors,
the more the predicted value has the potential to change. (remember: partial correlation)
• The higher the correlation between predictors will give rise to cases of multicollinearity (will
be discussed later
• Regression coefficients sometimes involve a role that is not proven to
be significant or has a small contribution to Y
• Sometimes in some studies, researchers include predictors that are not proven to be significant
• You need to be careful when reading the results of regression analysis
Some Additional Notes
• Significance (p) vs Effect size(r2)

• SIGNIFICANCE. Significance shows that the resulting regression coefficient is

not a coincidence so that the predictor effect really exists. For example, the
prediction coefficient of resilience on performance is significant. This means that
resilience actually predicts performance, not by chance.
• Significant vs not significant
• EFFECT SIZE. The effect size explains the magnitude of the prediction or role.
• Small vs Medium vs Large
• Sometimes a significant coefficient is not necessarily large, and vice versa
Some Additional Notes
• Equation Development
• Sometimes researchers evaluate the equations resulting
from the analysis by selecting predictors that have a
significant role and make a major contribution to the
criteria
• Involving 5 predictors predicting variance in the
criterion by 50% is more efficient than involving 10
predictors predicting the criterion by 55%
• The process of developing this equation will be
discussed in the third objective of regression analysis,
namely model development
2 Tujuan #2
Analisis Regresi

Identifikasi Kontribusi Prediktor

Tradisi Penelitian di Psikologi
• Pelaporan hasil analisis regresi di bidang
psikologi cenderung tidak melaporkan
persamaan regresi. Berbeda dengan tradisi
di bidang lainnya, misalnya ekonomi.

• Penelitian di bidang psikologi cenderung

mengidentifikasi variabel-variabel yang
berkontribusi sebagai prediktor atau
pemengaruh kriteria (variabel tergantung),
membandingkan antar prediktor atau
melakukan pemodelan
Contoh • Penelitian di bidang psikologi
seringkali menekankan pada upaya
untuk mencari faktor-faktor (prediktor)
yang berkontribusi terhadap munculnya
sebuah fenomena (kriteria)
• Misalnya dalam penelitian ini, peneliti
berusaha untuk mengidentifikasi
variabel-variabel yang memberikan
peranan terhadap burn-out
• Hasil analisis menunjukkan Avoidance
Coping sebagai variabel yang memiliki
kontribusi besar terhadap burn-out
• Variabel-variabel yang dilibatkan dalam
analisis menjelaskan varians di dalam
burn-out sebesar 53%
Sumbangan Efektif
• Menunjukkan kontribusi satu atau seperangkat Varians
unexplained
prediktor dalam menjelaskan keragaman di
dalam suatu kriteria
• Ditunjukkan melalui Koefisien R-kuadrat (R-
squared). R-kuadrat adalah kuadrat dari korelasi
majemuk (multiple correlations/R) antar
variabel yang ada di dalam analisis
• Sumbangan efektif dapat ditafsirkan sebagai
persentase
• Sumbangan efektif tergantung dari harga
koefisien predksi terstandar (Beta)
• Dinamakan juga koefisien determinasi
(determination coefficient)
Prinsip Sumbangan Efektif #1

• Dalam kasus analisis regresi satu prediktor sumbangan efektif dari prediktor akan
sama dengan koefisien prediksi terstandar (beta) yang dikuadratkan
 Prinsip Sumbangan Efektif #2

Sikap  0.8382=0,70
• Dalam antar prediktor yang memiliki korelasi kecil,
Persepsi  0.2852=0,08
maka total sumbangan efektif total mendekati total
Total = 78 % = = 0.777
koefisien prediksi terstandar kuadrat masing-masing
prediktor
 Prinsip Sumbangan Efektif #2
• Ketika antar prediktor yang
memiliki korelasi kecil
• Total sumbangan efektif mendekati
total koefisien prediksi terstandar
kuadrat masing-masing prediktor
Korelasi sikap dan persepsi = 0.01 • Lihat contoh disamping

• Ketika antar prediktor yang

memiliki korelasi besar
• Total sumbangan efektif berbeda
Sikap  0.8382=0,70 dengan total koefisien prediksi
terstandar kuadrat dari setiap prediktor
Persepsi  0.2852=0,08
Total = 78 % = = 0.777
 • Persepsi dan sikap memiliki korelasi
yang rendah (r = -0,01) sehingga
masing-masing memiliki kontribusi
70%
yang unik yang optimal terhadap
varians di dalam kriteria

8% • Sebaliknya, ketika antar prediktor

memiliki korelasi yang tinggi maka
dikomputasinya akan berbeda
Kasus Multikolinieritas
• Multikolinieritas adalah kasus dimana korelasi antar prediktor sangat tinggi
sehingga menghasilkan hasil analisis regresi yang tidak dapat diinterpretasikan

Kondisi Awal
• Korelasi semua prediktor
dengan kriteria, arahnya positif
• Korelasi antar prediktor sangat
tinggi (r=0,890)

Keanehan Hasil
• Prediksi salah satu prediktor
berubah menjadi negatif
• Nilai koefisien terstandar di
atas 1
Kasus Multikolinieritas

Wilayah
Perebutan

Situasi
• Pada kasus multikolinieritas, antara satu
prediktor dan prediktor lain “berperang”
memperebutkan wilayah yang dapat
memprediksi kriteria
Catatan
• Mengapa dalam analisis regresi berganda, korelasi yang tinggi antara
prediktor dengan kriteria tidak menjamin besarnya nilai prediksi?
• Karena bisa jadi perannya digantikan prediktor lain yang berkaitan erat
dengan prediktor tersebut

• Mengapa sumbangan efektif yang besar dalam sebuah analisis tidak

menjamin tiap-tiap prediktornya memiliki kontribusi yang besar?
• Karena bisa jumlah prediktor yang dilibatkan sangat banyak akan tetapi
masing-masing memiliki peranan yang rendah
Rekomendasi
Gunakan Prediktor-Prediktor yang
memiliki keunikan dalam analisis regresi
• Agar sumbangan efektif setiap prediktor
Unexplained
dapat optimal, peneliti perlu memilih Variance
prediktor yang memiliki keunikan sehingga
korelasi antar prediktor tidak terlalu tinggi
• Misalnya, jangan memilih konsep diri dan
harga diri sama-sama sebagai prediktor untuk
memprediksi karena keduanya memiliki Explained
korelasi yang tinggi Variance
• Konsep construct domain, super variable,
cardinal construct dapat membantu
Rekomendasi
Lakukan telaah hubungan antar variabel melalui matriks korelasi

• Menelaah korelasi matriks antar variabel sebelum melakukan analisis regresi sangat membantu
untuk memahami dinamika sumbangan efektif yang didapatkan dari analisis
3 Tujuan #3
Analisis Regresi

Pengembangan Model
Analisis Regresi Sebagai Pemodelan
1. Model adalah miniatur atau penyederhanaan dari fenomena
• Ada banyak prediktor yang mempengaruhi terjadinya fenomena
akan tetapi tidak semua dilibatkan dalam penelitian
2. Model dikembangkan berdasarkan perspektif tertentu
• Pemilihan variabel sebagai prediktor dalam penelitian didasari
oleh teori atau tujuan penelitian
3. Pemodelan adalah upaya untuk menjelaskan fenomena secara sederhana
• Proses munculnya fenomena melalui proses yang kompleks akan
tetapi dalam analisis regresi proses ini hanya satu jalur (path)
peranan
Analisis Regresi Sebagai Pemodelan
4. Model yang sederhana (parsimoni) namun optimal
dalam menjelaskan fenomena lebih diinginkan
daripada model yang kompleks
• Hasil analisis regresi diharapkan memuat
sedikit prediktor yang berkontribusi besar
daripada banyak prediktor dengan
kontribusi yang sama
5. Kualitas suatu model regresi ditunjukkan oleh suatu
indeks
Menu Model Fit di
• Kualitas model regresi dapat ditunjukkan Jamovi
melalui harga model fit
Menu Pengembangan Model dalam Jamovi

• Pemodelan dalam analisis regresi dilakukan baik metode secara manual maupun
secara otomatis (enter, stepwise dst). Jamovi belum mengakomodasi metode analisis
secara otomatis sehingga memberikan kesempatan kepada peneliti untuk
mengembangkan modelnya sendiri
• Peneliti dapat memasukkan prediktor-prediktor persamaan secara bertahap melalui
blok. Satu blok dapat berisi satu prediktor atau lebih.
• Satu blok biasanya diisi oleh prediktor-prediktor yang memiliki karakteristik sama
Analisis Regresi dengan Blok

X1 X1

X2 X2
Y X3 Y
X3
Tahap 1
X4 Blok 1 masuk ke persamaan

X5 X4
Tahap 2
X5 Blok 2 masuk ke persamaan

• Analisis dengan menggunakan blok adalah analisis bertahap (hierarkis). Blok

akan masuk secara bertahap dalam berkontribusi terhadap kriteria
Keterkaitan antar Blok

Varians bersama blok 1 dengan blok lainnya Varians bersama antar blok

• Antara satu blok dengan blok lain memiliki kaitan (berupa varians
bersama/kovarians) yang juga memiliki kaitan dengan varians dari kriteria.
Dampak Penggunaan Blok
• Blok 1 masuk, kemudian menjelaskan
varians Y
• Blok 2 masuk, hanya menjelaskan
varians unik yang tidak terkait dengan
varians Blok 1
• Blok 3 masuk, hanya menjelaskan
varians unik yang tidak terkait dengan
varians Blok 2 dan Blok 3
• Blok 3 dapat sisa-sisa varians

• Blok masuk secara berurutan sehingga blok yang pertama kali masuk cenderung
akan menjelaskan varians lebih besar pada kriteria daripada yang masuk di tahap
kedua dst.
Pemilihan Blok
Blok 1
Konstruk
Sosial
Blok 2
Internal Individu

Blok 3
Demografi

• Blok memuat prediktor yang memiliki karakteristik sama

• Blok konstruk berbasis trait, blok konstruk berbasis interaksi sosial dst.
• Pengurutan blok dapat berdasarkan teori atau tujuan penelitian
• Misalnya, peneliti yang menggunakan teori sosial akan memprioritaskan blok
konstruk sosial
Contoh Desain Analisis
• Kriteria (Y) = Kinerja

• Blok 1 (trait)
• Ekstraversi (X1)
• Keterbukaan (X2)

• Blok 2 (motivasional)
• Ketekunan (X3)
• Kesabaran (X4)

• Blok 3 (konstruk sosial)

• Kerjasama (X5)
• Jejaring (X6)
Keluaran Analisis
Urutan masuknya blok dalam analisis menjadikan sebuah model
• Model 1 = Ketika blok 1 masuk dalam persamaan
• Model 2 = Ketika blok 1 dan blok 2 masuk dalam persamaan
• Model 1 = Ketika blok 1, 2 dan 3 masuk dalam persamaan

Setiap tahap akan menghasilkan sumbangan efektif sendiri-sendiri

yang cenderung meningkat karena semakin banyak prediktor yang
dilibatkan
Setiap perubahan sumbangan efektif tersebut
ditunjukkan oleh delta-R2 dan diuji dengan
statistik F
• Perubahan dari Model 1 ke 2 menambah
sumbangan efektif sebesar 21% dan
signifikan (p < 0,01).
• Perubahan dari Model 2 ke 3 menambah
sumbangan efektif sebesar 3,6% dan tidak
signifikan (p > 0,05).
Catatan
• Urutan Blok. Perbedaan dalam memasukkan
blok akan mempengaruhi besarnya sumbangan
efektif dari blok tersebut. Blok yang
dimasukkan di awal akan memiliki peluang
besar mendapatkan sumbangan efektif yang
lebih besar

• Koefisien Prediksi. Baik menggunakan blok

atau tidak, koefisien regresi yang dihasilkan di
tahap akhir tetap sama selama komposisi
prediktornya sama
4 Praktek via Jamovi
Tahap Dasar
Masukkan variabel dependen dan independen
- Covariates = Variabel independen berbentuk kontinyu
- Factors = Variabel independen berbentuk kategorikal
 Model Fit
Tahap Lanjutan • Mengeluarkan hasil korelasi majemuk antar
variabel (R) dan koefisien determinasi (R2)

Model Coefficients
• Mengeluarkan informasi tentang interval
konfidensi dan koefisien terstandar
(standardized estimate)