TECNOLÓGICO NACIONAL DE MÉXICO

INSTITUTO TECNOLÓGICO DE VILLAHERMOSA.

• Unidad 4. ajuste de función

• Tema: regresión de mínimos cuadrados
• Alumno: Sergio Alberto Alvarez Magaña
• Docente: José Román islas Rodríguez.
 HISTORIA

EL DÍA DE AÑO NUEVO DE 1801, EL ASTRÓNOMO ITALIANO GIUSEPPE PIAZZI

DESCUBRIÓ EL PLANETA ENANO CERES. FUE CAPAZ DE SEGUIR SU ÓRBITA DURANTE
40 DÍAS. DURANTE EL CURSO DE ESE AÑO, MUCHOS CIENTÍFICOS INTENTARON
ESTIMAR SU TRAYECTORIA CON BASE EN LAS OBSERVACIONES DE PIAZZI. LA MAYORÍA
DE LAS EVALUACIONES FUERON INÚTILES; EL ÚNICO CÁLCULO SUFICIENTEMENTE
PRECISO PARA PERMITIR A FRANZ XAVER VON ZACH, ASTRÓNOMO ALEMÁN,
REENCONTRAR A CERES AL FINAL DEL AÑO FUE EL DE CARL FRIEDRICH GAUSS, POR
ENTONCES UN JOVEN DE 24 AÑOS (LOS FUNDAMENTOS DE SU ENFOQUE YA LOS
HABÍA PLANTEADO EN 1795, CUANDO AÚN TENÍA 18 AÑOS). SIN EMBARGO, SU
MÉTODO DE MÍNIMOS CUADRADOS NO SE PUBLICÓ SINO HASTA 1809, Y APARECIÓ
EN EL SEGUNDO VOLUMEN DE SU TRABAJO SOBRE MECÁNICA CELESTE, THEORIA
MOTUS CORPORUM COELESTIUM IN SECTIONIBUS CONICIS SOLEM AMBIENTIUM. EL
FRANCÉS ADRIEN-MARIE LEGENDRE DESARROLLÓ EL MISMO MÉTODO DE FORMA
INDEPENDIENTE EN 1805.
EN 1829, GAUSS FUE CAPAZ DE ESTABLECER LA RAZÓN DEL ÉXITO MARAVILLOSO DE
ESTE PROCEDIMIENTO: SIMPLEMENTE, EL MÉTODO DE MÍNIMOS CUADRADOS ES
ÓPTIMO EN MUCHOS ASPECTOS. EL ARGUMENTO CONCRETO SE CONOCE COMO
TEOREMA DE GAUSS-MÁRKOV.
¿En que consiste?

Es una técnica de análisis numérico enmarcada dentro de la optimización, en la

que, dados un conjunto de pares ordenados: variable independiente, variable
dependiente y una familia de funciones, se intenta encontrar la función continua,
dentro de dicha familia, que mejor se aproxime a los datos.

Donde
y= valor proyectado, estimado o pronosticado de la variable y.
a= punto donde la recta corta al eje y.
b= la pendiente de la recta de tendencia.
x= cualquier valor de tiempo seleccionado
Características

• Es el mejor método para obtener un ajuste lineal a una serie de

datos. Es base para la identificación de componentes de tendencia
de una serie de tiempo.
• Con este método se encuentra la ecuación de una recta de
mínimos cuadrados. Con esta recta se obtendrán los valores de
tendencia.
1. Supone que los datos ingresados están afectados en cierto grado
de errores debido al modelados, por los que, no resulta
indispensable que la curva de ajuste correspondiente, pase
exactamente por los puntos que representan los datos
• Es objetivo, solo depende de los resultados experimentales.
• Es reproducible, proporciona la misma ecuación, no importa quien
realice el análisis .
• Proporciona una estimación probabilística de la ecuación que
representa a unos datos experimentales.
• Proporciona intervalos pequeños de error
• La técnica de mínimos cuadrados se usa comúnmente en el ajuste de
curvas. Muchos otros problemas de optimización pueden expresarse
también en forma de mínimos cuadrados, minimizando la energía o
maximizando la entropía.
• También para el calculo de la ecuación de una recta a través de los
datos de interés, da la línea de mejor ajuste, para llegar a la ecuación
de tendencia por mínimos cuadrados se resuelven dos ecuaciones
simultáneamente.
 Como aplicar el método de los mínimos cuadrados :
consiste de ajustar una recta a valores dispersos, necesitamos
entonces conocer las características de la recta, como son, su
pendiente y su ordenada del origen, de la cual necesitamos estimar los
valores de a y de b de la siguiente ecuación

Y = a+bx

Donde
y= valor proyectado, estimado o pronosticado de la variable y.
a= punto donde la recta corta al eje y.
b= la pendiente de la recta de tendencia.
t= cualquier valor de tiempo seleccionado
Por lo que, sabiendo que el método de los mínimos cuadrados calculara
la recta que pasa por la media de todas las observaciones
representadas por (x1, y1),(x2, y2),…(xn, yn), entonces la ecuación de
la recta será

r= y+b(x-x)

En donde
Y= media de y1, y2, … yn
X= media de x1, x2, … xn

Así entonces la ecuación de la recta en su forma pendiente-ordenada

que corresponda a la recta que satisface la condición:
Las constantes “a” y “b” hacen mínima la suma de los cuadrados de las
desviaciones de los valores observados respecto a dicha línea.
a) Datos que muestran un error significativo. b) Ajuste
polinomial oscilando más allá del rango de los datos. c)
Resultados más satisfactorios mediante el ajuste por
mínimos cuadrados.
Criterio para un “mejor” ajuste
Una estrategia para ajustar una “mejor” línea a través de los datos será minimizar la suma de los errores
residuales de todos los datos disponibles, como sigue:
donde n = número total de puntos. Sin embargo, éste es un criterio inadecuado, como lo
muestra la figura a , la cual presenta el ajuste de una línea recta de dos puntos. Obviamente, el
mejor ajuste es la línea que une los puntos. Sin embargo, cualquier línea recta que pase a
través del punto medio que une la línea (excepto una línea perfectamente vertical) da como
resultado un valor mínimo de la ecuación igual a cero, debido a que los errores se cancelan.
Por lo tanto, otro criterio lógico podría ser minimizar la suma de los valores absolutos de las
discrepancias,
La figura b muestra por qué este criterio también es inadecuado. Para los cuatro
puntos dados, cualquier línea recta que esté dentro de las líneas punteadas
minimizará el valor absoluto de la suma. Así, este criterio tampoco dará un único
mejor ajuste

Una tercera estrategia para ajustar una mejor línea es el criterio minimax. En esta técnica, la línea se elige de
manera que minimice la máxima distancia a que un punto se encuentra de la línea. Como se ilustra en la figura c,
tal estrategia es inadecuada para la regresión, ya que da excesiva influencia a puntos fuera del conjunto
Planteamiento del problema. Ajuste a una línea recta los valores x y y en las dos
primeras columnas de la tabla

Cálculos para el análisis de error en el ajuste lineal.

Solución. Se calculan las siguientes cantidades:

Por lo tanto, el ajuste por mínimos cuadrados es y =

0.07142857 + 0.8392857x La línea, junto con los datos,
se muestran en la figura
 Cuantificación del error en la regresión lineal
Cualquier otra línea diferente a la calculada en el ejemplo anterior, dará como resultado una
suma mayor de los cuadrados de los residuos. Así, la línea es única y, en términos de nuestro
criterio elegido, es la “mejor” línea a través de los puntos. Varias propiedades de este ajuste se
observan al examinar más de cerca la forma en que se calcularon los residuos.

En el primer caso, el cuadrado del residuo representa el cuadrado de la discrepancia entre el

dato y una estimación de la medida de tendencia central: la media. En la ecuación anterior, el
cuadrado del residuo representa el cuadrado de la distancia vertical entre el dato y otra medida
de tendencia central: la línea recta. La analogía se puede extender aún más en casos donde 1. la
dispersión de los puntos alrededor de la línea es de magnitud similar en todo el rango de los
datos, y 2. la distribución de estos puntos cerca de la línea es normal. Es posible demostrar que
si estos criterios se cumplen, la regresión por mínimos cuadrados proporcionará la mejor (es
decir, la más adecuada) estimación de a0 y a1
Esto se conoce en estadística como el principio de máxima verosimilitud. Además, si estos criterios se
satisfacen, una “desviación estándar” para la línea de regresión se determina como sigue

donde a sy/x se le llama error estándar del estimado. El subíndice “y/x” designa que el error es para
un valor predicho de y correspondiente a un valor particular de x. También, observe que ahora
dividimos entre n – 2 debido a que se usaron dos datos estimados (a0 y a1), para calcular Sr; así, se
han perdido dos grados de libertad. Como lo hicimos en nuestro análisis para la desviación estándar,
otra justificación para dividir entre n – 2 es que no existe algo como “datos dispersos” alrededor de
una línea recta que une dos puntos. De esta manera, en el caso donde n = 2, la ecuación anterior, da
un resultado sin sentido, infinito.
Así como en el caso de la desviación estándar, el error estándar del estimado cuantifica la dispersión
de los datos. Aunque, sy/x cuantifica la dispersión alrededor de la línea de regresión, como se
muestra en la siguiente figura, a diferencia de la desviación estándar original sy que cuantifica la
dispersión alrededor de la media
Datos de regresión que muestran a) la dispersión de los datos alrededor de la media de la variable dependiente y b) la
dispersión de los datos alrededor de la línea de mejor ajuste. La reducción en la dispersión al ir de a) a b), como lo
indican las curvas en forma de campana a la derecha, representa la mejora debida a la regresión lineal.
 Estimación de errores en el ajuste lineal por mínimos cuadrados
y el error estándar del estimado es
Planteamiento del problema. Calcule la desviación estándar total,
el error estándar del estimado y el coeficiente de correlación
para los datos del ejemplo anterior

Como sy/x < sy, el modelo de

regresión lineal es adecuado. La mejora
se puede cuantificar mediante la
ecuación

Las sumatorias se realizan y se presentan en la tabla 17.1. La

desviación estándar es Los resultados indican que el modelo
lineal explicó el 86.8% de la
incertidumbre original
 Linealización de relaciones no lineales

La regresión lineal ofrece una poderosa técnica para ajustar una mejor línea a los datos. Sin embargo,
se considera el hecho de que la relación entre las variables dependiente e independiente es lineal. Éste
no es siempre el caso, y el primer paso en cualquier análisis de regresión deberá ser graficar e
inspeccionar los datos en forma visual, para asegurarnos que sea posible usar un modelo lineal. Por
ejemplo, la figura siguiente muestra algunos datos que obviamente son curvilíneos.
Un ejemplo es el modelo exponencial

a) Datos inadecuados para la regresión lineal por mínimos

cuadrados. b) Indicación de que es preferible una parábola
Otro ejemplo de modelo no lineal es la ecuación de potencias

 
Un tercer ejemplo de un modelo no lineal es la ecuación de razón del crecimiento

donde a3 y b3 son coeficientes constantes. Este modelo particularmente es adecuado para caracterizar la
razón de crecimiento poblacional bajo condiciones limitantes, también representa una relación no lineal
entre y y x (figura anterior c) que se iguala o “satura”, conforme x aumenta.
 Linealización de una ecuación de potencias

Planteamiento del problema. Ajuste la primera ecuación a los datos de la

tabla mediante una transformación logarítmica de los datos.

Solución. La figura a es una gráfica de los datos originales en su estado no transformado.

La figura b muestra la gráfica de los datos transformados. Una regresión lineal de esta
transformación mediante logoritmos dan el siguiente resultado:

log y = 1.75 log x – 0.300

Así, la intersección con el eje de las ordenadas es log a2 igual a –0.300 y, por lo
tanto, al tomar el antilogaritmo, a2 = 10–0.3 = 0.5. La pendiente es b2 = 1.75. En
consecuencia, la ecuación de potencias es

Esta curva, como se grafica en la figura a, indica un buen ajuste.

REGRESIÓN POLINOMIAL

En la sección anterior se desarrolló un procedimiento para obtener la ecuación de una línea

recta por medio del criterio de mínimos cuadrados. En la ingeniería, aunque algunos datos
exhiben un patrón marcado, son pobremente representados por una línea recta, entonces, una
curva podrá ser más adecuada para ajustarse a los datos. Como se analizó en la sección anterior,
un método para lograr este objetivo es utilizar transformaciones. Otra alternativa es ajustar
polinomios a los datos mediante regresión polinomial.

El procedimiento de mínimos cuadrados se puede extender fácilmente al ajuste de

datos con un polinomio de grado superior. Por ejemplo, suponga que ajustamos un
polinomio de segundo grado o cuadrático:

En este caso, la suma de los cuadrados de los residuos es

Al seguir el procedimiento de la sección anterior, obtenemos la derivada de
la ecuación anterior con respecto a cada uno de los coeficientes
desconocidos del polinomio.

Estas ecuaciones se igualan a cero y se reordenan para

desarrollar el siguiente conjunto de ecuaciones normales:
donde todas las sumatorias van desde i = 1 hasta n. Observe que las tres ecuaciones
anteriores son lineales y tienen tres incógnitas: a0, a1 y a2. Los coeficientes de las incógnitas
se evalúan de manera directa, a partir de los datos observados.
En este caso, observamos que el problema de determinar un polinomio de segundo grado por
mínimos cuadrados es equivalente a resolver un sistema de tres ecuaciones lineales
simultáneas. En la parte tres se estudiaron las técnicas para resolver tales ecuaciones.

El caso bidimensional se extiende con facilidad a un polinomio de m-ésimo grado

como sigue

El análisis anterior se puede extender fácilmente a este caso más general. Así, se reconoce que la
determinación de los coeficientes de un polinomio de m-ésimo grado es equivalente a resolver un
sistema de m + 1 ecuaciones lineales simultáneas. En este caso, el error estándar se formula como
sigue:
Esta cantidad se dividide entre n – (m + 1), ya que (m + 1) coeficientes obtenidos de los datos,
a0, a1,…, am, se utilizaron para calcular Sr; hemos perdido m + 1 grados de libertad. Además
del error estándar, también se calcula un coeficiente de determinación para la regresión
polinomial con la ecuación
Planteamiento del problema. Ajustar a un polinomio de segundo grado los datos
dados en las dos primeras columnas de la tabla

Solución. A partir de los datos

dados,
Entonces, las ecuaciones lineales simultáneas son

Resolviendo estas ecuaciones con una técnica como la eliminación de Gauss se

tiene a0 = 2.47857, a1 = 2.35929 y a2 = 1.86071. Por lo tanto, la ecuación
cuadrática por mínimos cuadrados en este caso es

El error estándar del estimado con base en la regresión

polinomial es

El coeficiente de determinación es
Estos resultados indican que con el modelo se explicó el 99.851% de la incertidumbre
original. Este resultado apoya la conclusión de que la ecuación cuadrática representa un
excelente ajuste.