Regresion Lineal Simple
Regresion Lineal Simple
Regresion Lineal Simple
25 de febrero de 2015
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Anlisis de regresin
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Anlisis de regresin
El anlisis de regresin es apropiado en situaciones donde se
sospecha o se asume que una variable est relacionada a una
o varias mediadas hechas usualmente en un mismo individuo
(objeto). El objetivo del anlisis es usar los datos (valores observados de las variables) para estimar la forma de la relacin.
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ejemplo
Usar la informacin sobre el ingreso y el nmero de aos de
escolaridad formal.
Usar la informacin sobre el ingreso y el gasto familiar.
Usar la informacin del nmero de horas de sueo con el rendimiento en clase.
Usar la informacin del nmero de horas en el Facebook con el
grado de estres de una persona.
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Definicin:
El anlisis de regresin es una tcnica estadstica para investigar y modelar la relacin entre variables.
Es una de las tcnicas de uso ms frecuente para analizar conjuntos de datos que involucran dos tipos de variables, la variable
dependiente o variable respuesta y un grupo de variables independientes (regresoras o predictoras).
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ejemplo 1:
Se realiza un estudio de fotoperiodo en aves acuticas. Se pretende establecer una ecuacin mediante la cual pueda predecirse el tiempo de reproduccin (Y ), en base al conocimiento del
fotoperiodo (nmero de horas de luz por da) bajo el que se inici la reproduccin (X ). Se obtuvieron datos del comportamiento de 11 Aythya (patos buceadores). Los resultados fueron los
siguientes:
X
Y
12.8
110
13.9
54
14.1
98
14.7
50
15.0
67
15.1
58
16.0
52
16.5
50
16.6
43
17.2
15
17.9
28
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Fotoperiodo:
Se denomina fotoperiodo al conjunto de procesos de las especies vegetales mediante los cuales regulan sus funciones biolgicas (como por ejemplo su reproduccin y crecimiento).
El mismo mecanismo tambin es vlido para los animales.
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ejemplo 2:
Consideremos el siguiente experimento controlado y aleatorizado para estudiar el efecto de una nueva droga sobre la frecuencia cardiaca de ratas sanas. Cinco ratas fueron asignadas
aleatoriamente a una de cinco dosis (X ) y se registr la mxima
disminucin observada en la frecuencia cardiaca en una hora
(Y ). Los datos obtenidos son:
x
y
0.5
5
1.0
8
1.5
12
2.0
13
2.5
16
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ecuacin de la recta:
Como la mxima disminucin observada en la frecuencia cardiaca en una hora es denotada por Y y X representa dosis del
medicamento, la ecuacin de una recta que relaciona estas dos
variables es:
Y = 0 + 1 X ,
(1)
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Para comprender mejor el modelo de regresin lineal, suponga que se puede fijar el valor de la variable regresora X para
observar el valor correspondiente de la respuesta Y .
Si X est fija, el componente aleatorio del lado derecho del
modelo de RLS determina las probabilidades de Y .
Supongamos que el promedio y la varianza de son cero y
2 respectivamente, entonces la respuesta media en cualquier
valor de la variable regresora ser:
E[Y |X = x] = y |x
= E[0 + 1 X + ]
= 0 + 1 X + E[]
= 0 + 1 X .
Ingeniera Industrial
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
En muchas aplicaciones solo se tiene tanto una variable respuesta Y como una variable regresora o independiente X, en cuyo
caso se habla de modelos de regresin lineal simple (RLS), es
decir, modelos de RLS.
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
(3)
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ejemplos
Modelo
Y = 0 + x 1 +
1
Y =
+
[0 + e1 x ]
Y = 0 + 1 x + 2 x 2 +
Tipo
Modelo no lineal
Modelo no lineal
Modelo de regresin de segundo orden
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Yi = nb0 + b1
i=1
n
X
i=1
Xi Yi = b0
n
X
Xi ,
i=1
n
X
i=1
Xi + b1
n
X
Xi2 ,
i=1
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
1
b0 =
n
n
X
i=1
Pn
b1 =
Yi b1
n
X
!
Xi
i=1
Y)
Sxy
.
Sxx
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
con,
P
(Xi X )(Yi Y )
P
(Xi X )2
P P
P
Xi Yi Xin Yi
P
= P
2
(Xi )2 ( nXi )
Sxy
=
Sxx
b1 =
n
P
con, Y =
n
P
Yi
i=1
yX =
Xi
i=1
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Residuales
Se llama residual a la diferencia entre el valor observado yi y su
valor estimado, ybi , es decir,
ei = yi ybi = yi (b0 + b1 xi ).
Para i = 1, . . . , n
NOTA: Los Residuales sern importantes en la validacin de
los supuestos de un modelo de regresin.
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Clculo de la varianza de b0
h
i
b
b
Var [0 ] = Var Y 1 X
2
2 X 2
+
2X (0), pues Cov (Y , b1 ) = 0
n
Sxx
"
#
2
X
2 1
=
+
.
n Sxx
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Para poder hacer inferencia acerca de los parmetros del modelo de RLS, es necesario una suposicin adicional sobre los
errores del modelo, es decir sobre los i , la cual es: los errores
i siguen o tienen una distribucin normal. Con esta suposicin
adicional, se tiene el llamado modelo de RLS normal (o modelo
de RLS con errores normales), definido como:
yi = 0 + 1 xi + i ,
(4)
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Inferencia para 1
I.C para 1
Un I.C del (1 ) % para 1 es:
b1 t(/2,n2) Sb ,
1
s
b1 t(/2,n2)
donde CME =
b2 =
CME
,
Sxx
P
SCE
y SCE = ni=1 (yi ybi )2 .
n2
Ingeniera Industrial
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Inferencia para 0
I.C 0
Un I.C del (1 ) % para 0 es:
b0 t(/2,n2) Sb ,
0
es decir,
v
"
#
u
2
u
X
1
t
b0 t(/2,n2) CME
+
,
n Sxx
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
CME
Sxx
Ingeniera Industrial
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
X
Sxx
i,
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
la cual se le llama suma total de cuadrados. Si todas las observaciones Yi son iguales entonces la SCT = 0. Entre ms
variacin exista entre las Yi0 s, mayor ser la SCT.
Cuando se usa la variable predictora o regresora X , la variacin
que refleja la incertidumbre con respecto a la variable Y est
dada por las diferencias entre las observaciones Yi0 s y la lnea
bi , es decir, por Yi Y
bi .
de regresin ajustada Y
La medida de variacin presente en las observaciones Yi0 s cuando se tiene en cuenta la variable regresora X , es la suma de
desviaciones al cuadrado, la cual se denota por SCE y est dada por:
Ingeniera Industrial
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
SCE =
n
X
bi )2
(Yi Y
i=1
n
X
bi Y )2
(Y
i=1
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
(Yi Y )2 =
n
n
X
X
bi )2 +
bi Y )2
(Yi Y
(Y
i=1
i=1
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
es decir, se obtiene la identidad fundamental del anlisis de varianza, la cual est dada por:
SCT = SCR + SCE
Para obtener la anterior igualdad se ha utilizado el hecho de
que:
n
X
bi )(Y
bi Y ) = 0,
2(Yi Y
i=1
pues,
n
X
bi )(Y
bi Y ) =
(Yi Y
i=1
n
X
bi (Yi Y
bi )
Y
i=1
n
X
i=1
Ingeniera Industrial
n
X
bi )
Y (Yi Y
i=1
bi ei Y
Y
n
X
ei = 0
i=1
Regresin lineal simple
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
SCR
1
CME =
SCE
n2
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
G.L
1
n-2
n-1
SC
SCR
SCE
SCT
CM
CMR
CME
Fc =
Est. F
F(1,n2)
CMR
CME
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
SCR
/1
2 /1
2
Fc =
= 2 1
SCE
n2 /(n 2)
/(n 2)
2
SCR/1
CMR
=
=
F(1,n2)
SCE/(n 2)
CME
Ingeniera Industrial
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
logo
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
"
b1
Fc = [tc ]2 =
Sb
#2
CME
Sxx
logo
Ingeniera Industrial
Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS
Referencias
Montgomery D.C. Design and Analysis of Experiment. Limusa
Wiley, 2001, 5 Edition.
Montgomery D.C y Runger G.C. Probabilidad y Estadstica Aplicadas a la Ingeniera. 2003, tercera edicin.
logo
Ingeniera Industrial