Teoria de control Optimo

Introduccion

El objetivo de la teora del control ptimo en sentido amplio, es el estudio de los

sistemas dinmicos reales, construyendo modelos matemticos abstractos que,
por una parte expliquen el sistema y, por otra, permitan regular la evolucin del
mismo mediante la adopcin de decisiones adecuadas: se trata de intentar
optimizar el comportamiento de un sistema, cuando ello sea posible, es decir,
conseguir que un sistema funcione del modo ms conveniente respecto a
algn criterio previamente establecido..
El problema central de cualquier intento de optimizacin dinmica es la
bsqueda de un control que maximice o minimice un criterio representativo de
la eficiencia del sistema
La solucin de un problema de optimizacin dinmica debe extenderse sobre
un perodo de tiempo, no se trata de determinar una sola magnitud ptima, sino
una secuencia de acciones ptimas, una para cada punto t e[0,T] -o bien para
cada subperiodo dentro del planificado en tiempo discreto- Tal solucin tendr
por tanto la forma de trayectoria ptima en el tiempo y*(t) para cada variable de
eleccin, detallando el mejor valor de dicha variable, para hoy, para maana
etc. hasta los sistemas reales construyendo modelos matemticos abstractos
que, por una parte expliquen el sistema y, por otra, permitan regular la
evolucin del mismo mediante la adopcin de decisiones adecuadas,
decisiones ptimas.
La resolucin matemtica de un problema de optimizacin dinmica permite
elegir cursos o trayectorias temporales para ciertas variables llamadas
variables de control, dentro de una clase dada que se denomina conjunto de
control. La eleccin de estas trayectorias temporales para las variables de
control supone, a travs de una serie de ecuaciones diferenciales -ecuaciones
de movimiento- cursos temporales para ciertas variables que describen el
sistema, llamadas variables de estado. Las trayectorias o cursos temporales de
las variables de control se eligen de modo que maximicen un funcional dado,
que depende tanto de las variables de estado como de las de control,
denominado funcional objetivo. Planteado de esta forma el problema se
denomina problema de control.

El principio del mximo

La clave para la teora de control ptimo es una condicin necesaria de primer
orden conocido como el principio del mximo1
El enunciado del principio del mximo implica un enfoque que es afn a la
funcin lagrangiana y a la variable multiplicadora de Lagrange. Para los
problemas de control optimo, estas se conocen como la funcin hamiltoniana y
la variable de coestado, conceptos que ahora vamos a desarrollar.
El hamiltoniano
Hay tres variables: el tiempo (t), la variable de estado (y) y la variable de control
(u). Ahora se introduce una nueva variable, conocida como la variable de
coestado y la denotamos como (t). Al igual que el multiplicador de Lagrange,
la variable de coestado mide el precio sombra de la variable de estado.
La variable de coestado se introduce en el problema de control ptimo va una
funcin hamiltoniana. El Hamiltoniano se define como:
H (t, y, u,) = F (t, y, u) + (t) f (t, y, u)
Donde H denota el Hamiltoniano y es una funcin de cuatro variables: t, y, u,
Para determinar la senda de las variables de control y estado que resuelven el
problema, a partir de la funcin Hamiltoniana se emplea una condicin de
primer orden, denominado principio del mximo.
Esta condicin requiere que escojamos a la variable control (u) de modo que
maximice al hamiltoniano H para todos los instantes de tiempo.
El enunciado del principio mximo tambin estipula como la forma en que y,
deben cambiar respecto al tiempo, por medio de una ecuacin de movimiento
para la variable de estado y coestado.
Se identifican las diferentes condiciones del principio del mximo como sigue:
a) H (t,y,u*,) H (t,y,u,) sujeto a u(t) 2
b) y=

(ecuacin de estado)

c) = -

(ecuacin de coestado)

d) (T) =0

(condicin de transversalidad)

El trmino principio del mximo se atribuye a L.S. Pontryagin y asociados y frecuentemente se

denomina principio del mximo de Pontryagin
2
es el conjunto de controles admisibles.

La primera condicin establece que el Hamiltoniano debe ser maximizado con

respecto a la variable de control, sujeto a la restriccin dada por el conjunto .
La maximizacin del Hamiltoniano puede brindar bsicamente dos tipos de
soluciones: una solucin al interior del conjunto o una solucin en el
contorno.
Asumiendo que el conjunto de control es igual a = u1,u2 (u1,u2 R) y que H
es una funcin que depende de manera no lineal de u, entonces nos
encontraramos en una situacin como la presentada en la parte (a) del grfico
N1. En este caso, para maximizar H en el punto A se debe cumplir que la
primera derivada con respecto a la variable de control sea igual a cero y que el

Hamiltoniano sea cncavo con respecto a u (

Por otra parte, con el mismo conjunto , si H dependiera linealmente de la

variable control, la primera derivada nunca se hara igual a cero. En este caso,
la maximizacin dara una solucin de esquina, tal como se ilustra en la parte

(b) del grfico N 1 (

)
Grfico N 1

La segunda y tercera condicin constituye la ecuacin de movimiento. Estas

dos ecuaciones, simultneamente se denominan sistema cannico o sistema
hamiltoniano.
Finalmente la cuarta condicin consiste en la condicin de transversalidad
apropiada solo para el problema de estado terminal libre.

Ejemplo 1.- Halle las trayectorias y*(t) , u*(t) y *(t) que resuelvan el problema :
Maximizar V= (
Sujeto a y =1y(0)= 1
El primer paso para desarrollar el problema de control ptimo consiste en
formar la funcin Hamiltoniana:
H (t, y, u,) = y+u + (1-

En segundo lugar, debemos maximizar la funcin Hamiltoniana con respecto a

la variable control. En este problema, el Hamiltoniano presenta una variable de
control elevada al cuadrado, por lo que podemos emplear las condiciones
clsicas de maximizacin:

A partir de esta maximizacin del Hamiltoniano, puede obtenerse la variable de

control en funcin de la de coestado u*(t) =

Ahora planteamos las ecuaciones de movimiento para las variables de estado y

coestado:
y=

= -

Ambas ecuaciones de movimiento forman un sistema de ecuaciones

diferenciales no lineales de primer orden. Primero se puede resolver la
ecuacin de movimiento de la variable de coestado, mediante la integracin de
ambos lados de la ecuacin:

*(t) = - t+ H1

Para hallar la constante de integracin, evaluamos la senda ptima de la

variable de coestado en la condicin de transversalidad del principio mximo,
con lo cual obtendramos:
*(t) = - t+1
Esta trayectoria optima de la variable de coestado toma un valor comprendido
en el intervalo 0 1 para el intervalo de tiempo t 0, 1, el cual permite
satisfacer la condicin de segundo orden de la maximizacin del Hamiltoniano
con respecto a la variable de control. La trayectoria de control optimo vendra
dado por:
u*(t) =

Para hallar la senda de la variable de estado tenemos que reemplazar la

variable de control en la ecuacin de movimiento:
y=

Esta ecuacin diferencial se resuelve integrando ambos lados de la ecuacin y

empleando la condicin inicial y (0) =1, con lo cual llegaramos al siguiente
resultado:

Y*(t) = t -

De este modo las sendas cumplen con las condiciones del principio mximo y
resuelven el problema propuesto.
Condiciones terminales alternativas
Qu ocurre con el principio del mximo cuando la condicin terminal es
diferente?
Dadas las condiciones del principio del mximo; las tres primeras condiciones
permanecen iguales, pero la condicin de transversalidad debe modificarse
oportunamente.
Punto terminal fijo
Si el punto terminal es fijo de modo que la condicin terminal y(T) =yT con T y
yT dados, entonces la condicin terminal misma debe dar la informacin para
determinar una constante. En este caso, no se necesita ninguna condicin de
transversalidad.
5

 Lnea terminal horizontal

Suponga que el estado terminal es fijo para un nivel objetivo dado yT , pero el
tiempo terminal T es libre, de modo que tenemos la flexibilidad de alcanzar el
objetivo apresuradamente o a un paso lento. Entonces tenemos una lnea
terminal horizontal lo que nos permite escoger entre T1, T2, T3 u otros tiempos
terminales para alcanzar el nivel de objetivo de y. Para este caso, la condicin
de transversalidad es una restriccin del hamiltoniano en vez de la variable de
coestado) para t =T
Ht=T =0
Lnea terminal vertical truncada
Si tenemos un tiempo terminal fijo T y el estado terminal es libre pero esta
sujeto a la disposicin de que yT ymin, donde ymin denota un nivel permisible de
y mnimo dado, nos enfrentamos a una lnea terminal vertical truncada.
La condicin de transversalidad para este caso puede enunciarse como la
condicin de holgura complementaria encontrada en las condiciones de KuhnTucker:
(T)0

yT ymin

(yT ymin)(T)=0

El enfoque prctico para resolver este tipo de problema es probar primero

(T)=0 como la condicin de transversalidad y probar si la y*T resultante
satisface la restriccin y*T ymin. Si es as, el problema est resuelto. Si no,
entonces se debe tratar el problema como un problema de punto terminal dado
con ymin como el estado terminal.
Lnea terminal horizontal truncada
Cuando el estado terminal esta fijo en yT y el tiempo terminal es libre pero est
sujeto a la restriccin T Tmax , donde Tmax denota el tiempo permisible ms
reciente (una fecha limite) para alcanzar el yT dado , nos enfrentamos una lnea
terminal horizontal truncada.
La condicin de transversalidad se transforma en:
Ht=Tmax 0

T Tmax

(T-Tmax) Ht=Tmax =0

El enfoque prctico para resolver ese tipo de problema es probar primero

Ht=Tmax = 0. Si el valor de solucin resultante es T* Tmax, entonces el
problema est resuelto. Si no, debemos entonces tomar a Tmax como un
tiempo terminal fijo, el cual, junto con el yT dado, define un punto final fijo, y
resuelve el problema como un problema de punto final fijo.

Comparacin entre el clculo de variaciones y el control optimo

Hasta el momento, hemos estudiado el problema de clculo de variaciones y el
control ptimo de manera separada. En esta parte se demostrara que el clculo
de variaciones constituye tan solo un caso particular del problema de control
ptimo, y que tanto las condiciones de primer orden como las de la suficiencia
llegan a ser similares para ambos casos.
Consideremos el siguiente problema general de clculo de variaciones:
Maximizar
Sujeto a

V=

y(0) =y0

(y0 dado)

y(T) =yT

(yT libre)

Estableciendo la ecuacin de movimiento y= g(y, u) =u , el problema de control

optimo seria el siguiente:
Maximizar

V=

Sujeto a

y =u

y(0) =y0

(y0 dado)

y(T) =yT

(yT libre)

Para resolver el problema, en primer lugar debemos plantear la funcin

Hamiltoniana:
H= f (t,y,u)+u
A partir de la funcin Hamiltoniana, derivamos las condiciones que conforman
el principio del mximo3:
a)

b) y=

c) = -

=u

= - fy

d) (T) =0

Por simplicidad asumiremos que la funcin Hamiltoniana presenta una solucin interior

A partir de las condiciones (a) y (b) del principio del mximo, obtenemos la
relacin:
= - fy
Derivando esta expresin con respecto al tiempo se obtiene lo siguiente:
=

Esta expresin al igualarlo con la condicin (c) del principio del mximo
llegamos a la siguiente identidad:

fy =

que no es otra cosa que la ecuacin de Euler. De esta manera, a partir de la

condicin de primer orden del problema de control optimo, puede obtenerse la
respectiva condicin de primer orden para el problema de clculo de
variaciones.
Con respecto a la condicin de transversalidad del problema, pero a partir de la
condicin (d) del principio del mximo, se obtiene lo siguiente:
fyt=T =0
que tambin representa la condicin de transversalidad del problema de clculo
de variaciones.
En el siguiente cuadro se resume la relacin existente entre las condiciones de
transversalidad de ambos
Condiciones de Transversalidad para los problemas de Control Optimo y Caculo de
Variaciones

Condicin Terminal

Condicin de
transversalidad
Control Optimo

Condicin de
transversalidad
Calculo de Variaciones

(yT fijo , T fijo)

y(T)= yT

y(T)= yT

(yT fijo , T libre)

Ht=T =0

f -yfyt=T =0

(yT = (T))

H - (T)t=T =0

f + ((T) - y) fyt=T =0

Conclusin
1. La economa de un determinado pas es un sistema que evoluciona en el tiempo; es
decir, es un sistema dinmico. Con la formulacin de la teora de control ptimo en la
optimizacin dinmica se basa en la utilizacin de variables de control (por ejemplo las
polticas monetarias y fiscal) que permiten maximizar una funcin objetivo sujeta a
restricciones.

10