Rodriguez - Optimizacion Dinamica (Continuo)

OPTIMIZACIÓN DINÁMICA EN TIEMPO CONTINUO
Eduardo A. Rodríguez
I. Introducción
La idea de optimizar dinámicamente consiste en encontrar una política óptima a seguir en un

escenario cambiante en el tiempo. De esta manera, se busca obtener una regla (función) de decisión
sobre una o varias variables que están bajo nuestro control para así poder optimizar nuestro objetivo
dado el comportamiento temporal de otras variables que, si bien no están directamente bajo nuestro
control, sí se verán afectadas por tal decisión.
Los elementos de un problema de optimización dinámica son los siguientes:

• Un horizonte temporal de planeamiento especificado previamente, el cual puede ser fijo o
no. Tanto al inicio como al final de este intervalo de tiempo debe saberse con anterioridad
cuál es el estado del contexto bajo el cual debe decidirse.
• Un conjunto de senderos admisibles a partir del cual se elegirá la política óptima.
• Un conjunto de valores de sendero como índices de performance asociados a cada uno de
los senderos admisibles.
• Un objetivo específico que me permita elegir la política óptima entre todos los senderos
admitidos por el problema.
Para poder evaluar senderos (funciones del tiempo) necesitamos un objeto matemático que
trasforme funciones en números, es decir, necesitamos una funcional, que denotaremos por V[u(t)].
Un sendero óptimo será aquél que maximiza o minimiza el valor del sendero V[u(t)] para un
sendero admisible u(t). Un ejemplo de funcional, aunque no el único, consiste en la integral definida
de una función, ya que para un intervalo de integración definida, a cada función le corresponde un
número determinado.
II. La programación dinámica y el problema del control
II.1. Definición del problema
La programación dinámica es un método que puede usarse directamente en un problema de control

como el siguiente1:
 dx dt ≡ x′ = g ( x, u, t )

 x ( t ) = x0
Max V u ( t )  =  f ( x, u, t ) dt
t1
sujeto a  0
 x ( t1 ) = x1
u(t ) t0
 u ( t ) ∈U

Este tipo de problema tiene tres tipos de variables: la variable tiempo (t), la variable de estado (x(t))
y la variable de control (u(t)). El conjunto de senderos admisibles para la variable de control viene
representado por U y se encuentra conformado por un conjunto cerrado y convexo de funciones
continuas por tramos en el intervalo [t0, t1]. El centro de atención lo cumple precisamente la variable
de control, relevando a un segundo plano la variable de estado. Esto resulta aceptable en la medida
1
El problema más general incluye en la funcional objetivo la suma de una función de valor final F(x1, t1). Cuando esta
función es igual a 0, como en el caso aquí presentado, se dice que estamos en el Problema de Legendre. A su vez, si lo
que se pretende es la minimización de V, sólo basta plantear la maximización de –V, con lo cual todo lo que sigue
también es válido para este caso.
MATEMÁTICA PARA ECONOMISTAS
que la decisión se toma sobre el sendero de control u(t), ya que una vez asignada una condición
inicial sobre x(t), determinará de manera no-ambigua un sendero de variable de estado x(t). Por esa
razón, este tipo de problemas debe contener una ecuación que relacione ambos tipos de variables,
como resulta ser la ecuación diferencial x ′ = g ( x, u , t ) que recibe el nombre de ecuación de
movimiento. Esta ecuación muestra cómo, en cada momento del tiempo, dado el valor de la variable
de estado y la elección de un u por parte del planificador, quedará determinado el comportamiento
de x en el tiempo. De esta manera, una vez que hemos encontrado un sendero óptimo para la
variable de control, u*(t), dentro del conjunto de senderos admisibles U, la ecuación de movimiento
hará posible construir el sendero óptimo de la variable de estado, x*(t).
II.2. El principio de optimalidad de Bellman
El principio de optimalidad de Bellman dice que “Una política óptima tiene la propiedad de que,
cualesquiera que sean el estado y las decisiones iniciales, las decisiones restantes deben constituir
una política optimal con respecto al estado resultante de la primera decisión.” Gráficamente, para el
caso de una sola variable, tenemos:
x(t) La curva x*(t) para t 0 ≤ t ≤ t1 es la trayectoria

asociada al control optimal, suponiendo dados los
estados inicial y terminal. Consideremos ahora la
x(t1)
trayectoria comprendida entre τ y t1. De acuerdo al
principio de optimalidad, esta trayectoria definida
x*(t) para τ ≤ t ≤ t1 , debe representar, en sí misma, una
x(τ) trayectoria optimal con respecto a la condición
inicial x(τ). Así que el segundo tramo de la
trayectoria optimal debe ser, a su vez, una
x(t0) trayectoria optimal independientemente de cómo el
sistema haya alcanzado las condiciones iniciales
para este segundo tramo. Esto debería ser así para
0 t0 τ t1 t
todo t comprendido entre t0 y t1.
De esta manera, el principio de optimalidad implica afirmar que toda política optimal es parte de
una política optimal iniciada en un momento anterior, con lo cual los senderos óptimos asociados a
problemas de control que difieren únicamente en el punto inicial (estado y momento inicial)
coinciden en la porción común del horizonte de planeamiento de ambos problemas.
II.3. Deducción de la ecuación de Bellman
El enfoque de Bellman de programación dinámica tiene dos características distintivas:
1- Inserta el problema de control dentro de una familia de problemas de control, con la

consecuencia de que, resolviendo el problema general, estamos también resolviendo el
problema original como caso particular.
2- Para cada miembro de esta familia de problemas, la atención primaria se centra en el valor
óptimo de la funcional V, en lugar de las propiedades del sendero de estado óptimo x(t)* o el
sendero de control óptimo u(t)*. De hecho es utilizada una función de valor óptimo en la
caracterización de la solución.
Eduardo A. Rodríguez 2
Supongamos que ya obtuvimos las funciones óptimas x* y u* del problema, el cual se encuentra
asociado a los parámetros x0 y t0 (no consideraremos el momento final t1 en este caso). De esta
manera, el valor máximo de la funcional objetivo será
V * = V * ( x0 , t 0 ) .
Si dejamos sin especificar el momento y el estado inicial del problema, podemos definir entonces la
función de valor máximo V * = V * ( x, t ) que dependerá del momento inicial x y del valor inicial de
la variable de estado t del problema. Claramente, por aplicación del principio de optimalidad, para
el caso en el cual los estados y momentos iniciales sean x0 y t0 respectivamente, esta función
V * ( x, t ) arrojará el valor máximo del problema original, con lo cual estamos enmarcando el
problema original en una familia de problemas de control que difieren únicamente en el momento y
estado iniciales.
Dado que la funcional V es una integral, por propiedad de las integrales podemos separar en dos
partes este valor óptimo de la función de la siguiente manera:
t +Δt
V * ( x, t ) =  f ( x*, u*, t ) dt +  f ( x*, u*, t ) dt
t1
t t +Δt
de manera tal que la expresión queda descompuesta en la suma óptima de dos contribuciones de dos
porciones de tiempo (“presente” y “futuro”). Esta expresión puede escribirse por aplicación del
principio de optimalidad como
V * ( x, t ) = f ( x*, u*, t ) Δt + V * ( x + Δx, t + Δt ) (1)
donde también se ha aplicado en el primer término del segundo miembro la propiedad de las
integrales de funciones integrables definidas sobre intervalos infinitesimales (que es igual al valor
de la función en t multiplicada por el incremento de t).2
Suponiendo que V * ( x, t ) es continuamente diferenciable en ambas variables, desarrollando el

segundo término por serie de Taylor (hasta la derivada de primer orden) se obtiene
V * ( x + Δx, t + Δt ) = V * ( x, t ) + Vx * Δx + Vt * Δt (2)
Reemplazando (2) en (1), tenemos
V * ( x, t ) = f ( x*, u*, t ) Δt + V * ( x, t ) + Vx * Δx + Vt * Δt 
 f ( x*, u*, t )Δt + V x * Δx + Vt * Δt = 0
Dividiendo miembro a miembro por Δt y haciéndolo tender a cero, queda
f ( x*, u*, t ) + V x * x' + Vt * = 0 (3)
2
Es decir, la conocida fórmula del área del rectángulo “base por altura”, a la cual tiende la integral definida de una
función integrable cuando el intervalo de integración tiende a cero.
A esta expresión se la llama ecuación de Bellman, donde Vt es la tasa de cambio de la funcional

objetivo con respecto al tiempo (que es independiente de u) manteniendo constante el estado inicial
x y Vx representa el valor marginal de V ante cambios infinitesimales en el estado inicial x
permaneciendo sin cambios el momento inicial t. A esta función del tiempo inicial Vx evaluada en el
estado inicial x la redefiniremos como λ(t) y haremos referencia a ella como variable de coestado.
De esta manera, considerando el cumplimiento de la ecuación de movimiento y redefiniendo Vx*
como λ*(t), podemos reescribir la ecuación de Bellman (3) de la siguiente forma
f ( x*, u*, t ) + λ * ( t ) g ( x*, u*, t ) + Vt * = 0 (3’)
cuya condición de contorno asociada es
V * ( x1 , t1 ) = 0
ya que, a partir del momento t1, no existe más sendero óptimo (por eso V*=0 allí).
Aplicación económica: Explotación de un recurso renovable
El modelo
Supongamos un lago privado que contiene un stock inicial de peces x0 y que el único valor que
tiene este lago es el valor del stock de peces que hay en él. Por lo general, a medida que los peces se
recolectan, el tamaño del stock puede variar, lo que provocaría un cambio correspondiente en el
valor del recurso. Por otra parte, se sabe que mientras más grande sea el tamaño del stock, más fácil
será pescarlos. Por esta razón, decisiones de recolección en el presente pueden tener un efecto
adicional en el costo marginal futuro y, de este modo, afectar al valor presente del recurso. Puesto
que el valor presente del recurso es el valor capitalizado de todos los beneficios futuros3, decisiones
hechas en el presente que afectan al costo de pesca en el futuro se reflejarán en el valor presente del
recurso.
Llamamos x(t ) al stock de peces existentes en el lago al momento t , que inicialmente es igual a
x0 . Los peces son recolectados a una tasa u (t ) que decidirá el propietario del lago. Suponemos que
el pescado es vendido en el mercado al precio p que, por simplicidad, suponemos constante en
todo el período bajo análisis. El costo de recolección vendrá representado por la función
C = C ( x, u , w) , donde w es el costo del factor trabajo, que también suponemos constante a lo largo
del período. Por otra parte, el stock de peces puede variar tanto por razones biológicas como por
consecuencia de las decisiones de recolección llevadas a cabo por el propietario del lago.
Entonces, el propietario se enfrenta al siguiente problema de programación dinámica:
 x ′(t ) = G ( x(t )) − u (t )
 x(t ) = x

Max V =   pu ( t ) − c ( u ( t ) , x ( t ) , w )  e
t1 − r ( t −t0 )
  dt sujeto a  0 0
 x(t1 ) = x1
t0
 u (t ) ≥ 0
donde r es la tasa con la cual descuentan los beneficios futuros.
3
En realidad, esta no es la definición de valor presente del recurso tal como se plantea en el modelo, sino una condición
de equilibrio.
La funcional V representa el valor presente del recurso (lago) al momento t 0 , que es igual al valor
capitalizado de todos los beneficios futuros descontados al momento t 0 a una tasa r , donde
[ pu (t ) − c(u (t ), x(t ), w)] es el beneficio neto instantáneo de pescar a la tasa u (t ) . La ecuación de
movimiento dice que la tasa de crecimiento del stock de peces es igual a la tasa biológica de
crecimiento del stock, G ( x(t )) , menos la tasa de recolección, u (t ) . La variable de control será u (t )
ya que el propietario decidirá la tasa de recolección para cada momento, mientras que la variable de
estado será x(t ) que, según puede verse en la ecuación de movimiento, se ve afectada, entre otras
cosas, por u (t ) . La ecuación u (t ) ≥ 0 lo único que aclara es que el propietario no puede devolver
peces al lago.
Resolución del modelo
Lo que nos interesa es poder sacar conclusiones acerca del valor presente óptimo del recurso. Para
ello necesitaremos recurrir al enfoque de Bellman. Sean x * (t ) y u * (t ) los senderos temporales
óptimos del stock de peces y de la tasa de recolección respectivamente. Reemplazando estas
funciones en la funcional objetivo, tenemos
V * ( x0 , t0 ) =   pu * ( t ) − c ( x * ( t ) , u * ( t ) , w )  e ( 0 ) dt
t1 − r t −t
t0
que representa el valor maximizado del valor presente del recurso al momento t 0 , comenzando con
un stock inicial de peces igual a x0 . Por aplicación de la ecuación de Bellman, tenemos
−Vt * ( x0 , t0 ) =  pu * ( t0 ) − c ( x * ( t0 ) , u * ( t0 ) , w )  + Vx * ( x0 , t0 ) G ( x * ( t0 ) ) − u * ( t0 ) 
cuya condición de contorno asociada es
V * ( x1 , t1 ) = 0
Interpretación económica del resultado
En primer lugar analizaremos cada una de las componentes de la ecuación:
• La expresión Vt * ( x0 , t0 ) indica el cambio en el valor óptimo del recurso si cambia

infinitesimalmente el momento inicial, manteniendo constante el stock inicial en x0 . En otras
palabras, si el stock inicial de peces es x0 , esta derivada indicaría el cambio en el valor óptimo
del recurso a medida que pasa el tiempo, es decir, si se posterga infinitesimalmente la
explotación del lago. Se encuentra precedido por un signo negativo debido a que el pasaje de t 0
a (t 0 + Δt 0 ) implica una reducción en el horizonte de planeamiento (intervalo de integración)
que, manteniendo todo lo demás inalterado, lleva a una reducción del valor de la integral V * .
• La derivada Vx * ( x0 , t0 ) representa el cambio en el valor óptimo del recurso si el stock inicial de
peces es incrementado exógenamente al momento inicial, manteniendo inalterada u * (t ) a lo
largo del período de planeamiento. Esta derivada aparece con signo positivo porque cuando el
estado inicial x0 se incrementa, desplaza hacia arriba la función x * (t ) que, a su vez, provoca
un aumento del área representada por la integral ya que, si x * (t ) > 0 , esta función se alejaría del
eje de abscisas.
• La expresión Vx * ( x0 , t0 ) G ( x * ( t0 ) ) − u * ( t0 )  , que también puede escribirse como
Vx * ( x0 , t0 ) x *′ ( t0 ) , es un producto de dos derivadas de las cuales la primera indica una
variación en valor y la segunda una variación en cantidades físicas. Este producto de derivadas
representa el efecto que tiene sobre el valor del recurso un comportamiento tendencial del stock
de peces x *′ (t 0 ) .
• La fórmula  pu * ( t0 ) − c ( x * ( t0 ) , u * ( t0 ) , w )  es el valor óptimo instantáneo del recurso al

momento inicial t 0 , que no es otra cosa que el beneficio instantáneo obtenido por recolectar los
peces a una tasa u * (t 0 ) .
• La condición de contorno sólo dice es que el valor óptimo del recurso será igual a cero si la
recolección de peces no se llevara a cabo, es decir, si el horizonte de planeamiento fuera [t1 , t1 ] .
Por lo tanto, lo que nos está indicando la ecuación de Bellman es que la tasa de crecimiento del
valor óptimo del recurso −Vt * ( x0 , t0 ) puede desdoblarse en dos componentes:
• un componente inmediato  pu * ( t0 ) − c ( x * ( t0 ) , u * ( t0 ) , w )  , es decir el beneficio inmediato

obtenido por la mejor explotación del recurso.
• un comportamiento tendencial Vx * ( x0 , t0 ) x *′ ( t0 ) , es decir el cambio en el valor del recurso
como consecuencia del comportamiento tendencial del stock de peces, que a su vez se encuentra
determinado tanto por el crecimiento por razones biológicas como por la tasa de extracción
aplicada sobre el recurso.
II.4. Deducción de las condiciones del principio del máximo
La ecuación de Bellman es una ecuación diferencial de primer orden en derivadas parciales. Si se

resolviese esta ecuación se obtendría la función de valor óptimo y, por lo tanto, se resolvería el
problema como el valor particular de esta función para las condiciones iniciales especificadas
dadas. Pero, en general, esta ecuación diferencial en derivadas parciales de primer orden, que se
caracteriza por ser no-lineal, no tiene solución analítica.
Ante este escenario, en el ámbito del tiempo continuo, el enfoque tradicional consiste en
concentrarse en la obtención por medios analíticos de los senderos óptimos de las variables de
estado y de control. Este enfoque es lo que se suele denominar Principio del máximo.
Como Vt es independiente de u, ya que depende solamente del estado inicial x y el momento inicial
t, entonces para un x dado, de la ecuación de Bellman surge que el sendero óptimo requiere la
maximización con respecto a u de la función hamiltoniana
H ( x, u , λ , t ) = f ( x, u , t ) + λ ( t ) ⋅ g ( x, u , t )
a lo largo del sendero óptimo, tal como surge de los dos primeros términos de la ecuación. De esta
manera obtenemos la primer condición de principio del máximo, a saber:
Max H ( x, u , λ , t ) (PP1)
u
que en el caso en el cual u(t) no se encuentre restringida puede reemplazarse por Hu = 0

asegurándose siempre que en la solución se verifique Huu ≤ 0.
La ecuación de Bellman es una identidad que debe cumplirse para todo momento del tiempo y para
todo valor de la variable de estado. De esta manera, diferenciamos la ecuación (3) con respecto al
estado inicial x:
∂u
( f x + Vx ⋅ g x + Vxx ⋅ g + Vtx ) + ( fu + Vx ⋅ gu ) =0 (4)
∂x
donde el segundo término es cero por aplicación de (PP1)4. Considerando que
λ′ (t ) =
d
dt
( )
Vx ( x ( t ) , t ) = Vxx x′ + Vxt = Vxx g + Vxt
entonces la ecuación (4) queda

f x + Vx ⋅ g x + λ ′ ( t ) = 0 (4)
con lo cual, para que la igualdad se cumpla debe darse:
∂H
= −λ ′(t ) (PP2)
∂x
dado que λ ( t ) ≡ Vx . Por otra parte, la ecuación de movimiento también tiene que cumplirse para
todo valor de t. Entonces también se requiere
x ′ = g ( x, u , t )
que puede escribirse como

∂H
= x′ (PP3)
∂λ
porque la derivada del hamiltoniano con respecto a la variable de coestado es igual a g, que a su vez
siempre debe ser igual a x’.
De esta manera, (PP1), (PP2) y (PP3) constituyen las condiciones del principio del máximo, las
cuales conforman condiciones necesarias de primer orden para la existencia de un maximal local
en el problema de control.
4
Si la solución de (PP1) es interior, entonces H u = fu + Vx ⋅ gu = 0 , con lo cual el segundo término se anula al ser igual
a 0 la expresión entre paréntesis. A su vez, si la solución de (PP1) es de contorno, entonces H u ≤ 0 ; pero como el
conjunto de funciones admisibles de variables de control U es independiente del estado inicial x, la función u debe
tomar un valor independiente de x al momento inicial t, con lo cual ∂u ∂x = 0 , asegurando así la anulación del segundo
término de la expresión (4).
II.5. Condiciones de transversalidad
La regla básica para determinar las condiciones de transversalidad es que, en ausencia de

restricciones, al momento de finalización del período de planeamiento, el valor añadido tanto por un
cambio en t como en x debe ser nulo.
Un camino sencillo para obtener estas condiciones consiste en definir una función de valor máximo
V * = V * ( xF , t F ) , pero dependiente del los estados y momentos terminales del problema (en lugar
de los iniciales). De esta manera, dado que la funcional V * = V * ( xF , t F ) =  f ( x*, u*, t F ) dt es

tF
t0
una integral, es posible llevar a cabo la siguiente separación en dos partes de este valor óptimo:
t F −Δt F
V * ( xF , t F ) =  f ( x*, u*, t F ) dt +  f ( x*, u*, t F ) dt
tF
t0 t F −Δt F
con lo cual, siguiendo el mismo procedimiento realizado para la deducción de la ecuación de

Bellman, tenemos5
−VtF * = f ( x*, u*, t F ) + λ ( t F ) * g ( x*, u*, t F )  −VtF * = H ( x*, u*, λ *, t F ) .
Entonces tenemos los siguientes casos posibles, dependiendo del tipo de problema:
- Línea terminal vertical [x(t1) = x1 con x1 libre y t1 dado]: En este caso el valor remanente de
x1 al momento t1 debe tener valor marginal nulo, es decir que unidades mayores o menores de x
no deben modificar el valor optimo de V. Entonces lo que debe ocurrir es la tasa de cambio del
V óptimo con respecto a x debe ser nulo, lo que es lo mismo que decir que
V x1 * = λ * (t1 ) = 0
con lo cual la variable de coestado al momento final debe ser igual a 0.
- Línea terminal horizontal [x(t1) = x1 con t1 libre y x1 dado]: En este caso una continuación o
una finalización prematura del período de planeamiento no debería añadir valor a la funcional
objetivo, es decir que la tasa de cambio del V óptimo con respecto a t1 debe ser cero. Entonces:
− Vt1 * = H ( x*, u*, λ*, t1 ) = 0
es decir que la función hamiltoniana evaluada en la solución optima debe anularse en el

momento final t1.
- Superficie terminal [x1 = φ(t1) con t1 y x1 libres, pero vinculados mediante φ]: En este caso,
al momento final la variación total del valor tanto por modificaciones en el valor de la variable
de estado como en el momento de finalización del período de planeamiento debe ser cero en
total. Es decir que
dV * dx1
( x1 , t1 ) = V x1 * ⋅ + Vt * = 0  H ( x*, u*, λ*, t1 ) − λ * ( t1 ) ⋅ φ ′ ( t1 ) = 0
dt1 dt1 −
λ *( t1 )  H *( t1 )
φ ′( t1 )
5
Este procedimiento directo de obtención de las condiciones de transversalidad no es usual en la literatura. Un enfoqe
más convencional puede encontrarse en el anexo.
- Línea terminal vertical truncada [x1 ≥ xmin]: En este caso si x1 > xmin, entonces su valor
marginal debe ser nulo, pero si se diera que x1 = xmin, entonces su valor marginal podría ser
positivo. Por lo tanto la condición de transversalidad queda:
x1* ≥ xmin λ * (t1 ) ≥ 0 ( x1 * − x min )λ * (t1 ) = 0
- Línea terminal horizontal truncada [t1 ≤ TMax]: En este caso si t1 < TMax, el cambio en el
valor provocado por una finalización prematura en el período de planeamiento debería ser nulo.
Por otra parte si se diera el caso en el cual t1 = TMax, el valor añadido por una finalización
prematura del período de planeamiento podría ser positivo (es decir que ante disminuciones de t,
el valor óptimo de V podría ser positivo, es decir que V*t < 0, lo que equivale a afirmar que
H*(t1) > 0). De esta manera, la condición de transversalidad queda:
t1* ≤ TMax H ( x*, u*, λ *, t1 ) ≥ 0 ( t1 * −TMax ) H ( x*, u*, λ*, t1 ) = 0
Ejemplos
Ejemplo 1: Sea el siguiente problema de optimización con línea terminal vertical:
 x′ ( t ) = u ( t ) − x ( t )

Max V u ( t )  =  ( x − u ) dt
1
2
sujeto a  x ( 0 ) = 0
u(t ) 0
 x (1) libre

La función hamiltoniana del problema es entonces H = x − u + λ ( u − x ) , con lo cual tenemos:
2
 ∂H ∂u = −2u + λ = 0  u = (1 2 ) λ
• Max H   2
∂ H ( ∂u ) = −2 < 0  Máximo de H
2
u(t )
• λ ′ = − ( ∂H ∂x )  λ ′ = − (1 − λ )  λ ( t ) = Aet + 1 .
Por lo tanto, debe verificarse que u = (1 2 ) ( Aet + 1) . La condición de transversalidad exige que
λ * ( t ) = 1 − et −1
• λ (1) = 0  Ae + 1 = 0  A = −e   −1
 u * ( t ) = (1 2 ) (1 − e )
t −1
mientras que de la ecuación de movimiento de la variable de estado se sigue que
• x′ ( t ) = u ( t ) − x ( t )  x′ ( t ) + x ( t ) = (1 2 ) (1 − et −1 )  x ( t ) = Be− t − (1 4 ) et −1 + (1 2 ) ,
pero sabiendo que x ( 0 ) = 0 resulta entonces x * ( t ) = (1 4 ) e−1 − (1 2 )  e− t − (1 4 ) et −1 + (1 2 ) .
 u * ( t ) = (1 2 ) (1 − et −1 )


Por lo tanto, la solución al problema es  x * ( t ) = (1 4 ) e −1 − (1 2 )  e − t − (1 4 ) et −1 + (1 2 ) .

λ * ( t ) = 1 − e
t −1
Ejemplo 2: Sea el siguiente problema de optimización con línea terminal vertical:

 x′ ( t ) = x ( t ) + u ( t )
4 
Max V u ( t )  =  ( x − 2u ) dt sujeto a  x ( 0 ) = 1; x (1) libre
u(t ) 0
 u ( t ) ∈ [ 0,2]

La función hamiltoniana del problema es H = x − 2u + λ ( x + u ) , entonces tenemos que:
• Max H  ∂H ∂u = λ − 2 ,
u(t )
derivada que es independiente de u . Esto indica que el máximo de H será una solución de
frontera. Gráficamente:
∂H ∂u > 0  λ > 2
En el gráfico puede verse que si λ > 2 , el máximo de H se
H
alcanza en u = 2 , mientras que para valores de λ inferiores a
2 , el máximo se dará en u = 0 . Por lo tanto, la trayectoria
óptima de la variable de control vendrá dada por
2 si λ ( t ) > 2
∂H ∂u < 0  λ < 2 u (t ) =  ,
0 si λ ( t ) < 2
0 2 u
lo cual requiere el cálculo de la trayectoria óptima de la variable de coestado λ . Entonces
• λ ′ = − ( ∂H ∂x )  λ ′ = − (1 + λ )  λ ( t ) = Ae − t − 1 ,
con lo cual al considerar la condición de transversalidad se obtiene que
• λ ( 4 ) = 0  Ae −4 − 1 = 0  A = e 4  λ * ( t ) = e 4−t − 1 .
La función λ * ( t ) es monótona decreciente en t con un valor inicial λ * ( 0 ) = e 4 − 1 > 2 y valor

final λ * ( 4 ) = 0 . Por ello, el cálculo de u * ( t ) requiere determinar el único valor τ ∈ [ 0, 4] para el
cual se verifica λ * (τ ) = 2 . Como λ * (τ ) = eτ − 1 = 2 , entonces τ = ln 3 . Por lo tanto, la trayectoria
2 si t ∈ [ 0, ln 3]
óptima de la variable de control es u * ( t ) =  .
0 si t ∈ ( ln 3, 4]
Para obtener la trayectoria óptima de la variable de estado apelamos a su ecuación de movimiento
 x′ ( t ) = x ( t ) + 2 si t ∈ [ 0, ln 3]
• x′ ( t ) = x ( t ) + u ( t )   .
 x′ ( t ) = x ( t ) si t ∈ ( ln 3, 4]
La primera ecuación diferencial, que define la trayectoria de la variable de control en t ∈ [ 0, ln 3]

tiene por solución x * ( t ) = 3et − 2 , recordando que su condición inicial es x ( 0 ) = 1 .
La segunda ecuación diferencial, es decir la trayectoria óptima para t ∈ ( ln 3, 4] , tiene por solución
general x * ( t ) = Bet .
Para calcular el parámetro B de este tramo, apelamos al supuesto de continuidad de la trayectoria

de la variable de estado. De esta manera, ambos tramos deberían coincidir en t = ln 3 . Por ello, si de
la solución del primer tramo sabemos que x * ( ln 3) = 3eln 3 − 2 = 7 , el segundo tramo debe verificar
la igualdad x * ( ln 3) = Beln 3 = 7 . A partir de allí se deduce que B = 7 3 y, por lo tanto, que el
segundo tramo de la trayectoria óptima es x * ( t ) = ( 7 3) et .
 2 si t ∈ [ 0, ln 3]
u * ( t ) = 
 0 si t ∈ ( ln 3, 4]

De esta manera, la solución al problema es λ * ( t ) = e 4−t − 1 .

 x * ( t ) =  3e − 2 si t ∈ [ 0, ln 3]
t

 ( 7 3) e si t ∈ ( ln 3, 4]
t

Ejemplo 3: Sea el siguiente problema de optimización con línea terminal horizontal:

 x′ ( t ) = −u ( t )

Max V u ( t )  =  ( −t − u 2 ) dt sujeto a  x ( 0 ) = 0
T
u(t ) 0
 x (T ) = 8, T libre

La función hamiltoniana del problema es entonces H = −t − u 2 − λ u , con lo cual tenemos:
 ∂H ∂u = −2u − λ = 0  u = ( − 1 2 ) λ
• Max H   2 .
( )
2
u(t )
 ∂ H ∂u = − 2 < 0  Máximo de H
• λ ′ = − ( ∂H ∂x )  λ ′ = 0  λ ( t ) = A .
Por lo tanto, debe verificarse que u = ( − 1 2 ) A . A su vez, la condición de transversalidad exige que
1 λ ( t ) = 2 T
• H T = 0  −T − ( u (T ) ) − λ (T ) u (T ) = 0  −T + A2  A2 = 4T  A = 2 T  
2
,
    4  u ( t ) = − T
= (1 4 ) A2 =− (1 2 ) A2 
mientras que de la ecuación de movimiento x′ ( t ) = −u ( t ) se sigue que
• x′ ( t ) = −u ( t )  x′ ( t ) = T  x ( t ) = t T + B .
 x ( 0 ) = 0  0 T + B = 0 B = 0
Pero sabiendo que x (T ) = 8 y x ( 0 ) = 0 resulta que   .
 ( )
x T = 8  T T + B = 8 T = 4
 λ * (t ) = 4

Por lo tanto, la solución al problema es u * ( t ) = −2 t ∈ [ 0, 4] .
 x * ( t ) = 2t

Ejemplo 4: Sea el siguiente problema de optimización con superficie terminal:

 x′ ( t ) = −u ( t )

Max V u ( t )  = −  (1 + u ) dt sujeto a  x ( 0 ) = 0
T
2
u(t ) 0
 x (T ) = 1- T

La función hamiltoniana del problema es entonces H = − (1 + u 2 ) − λ u , con lo cual tenemos:
 H ∂u = −2u − λ = 0  u = − (1 2 ) λ
∂
• Max H   2
 ∂ H ( ∂u ) = −2 < 0  Máximo de H
2
u(t )
• λ ′ = − ( ∂H ∂x )  λ ′ = 0  λ ( t ) = A .
Por lo tanto, debe verificarse que u = − (1 2 ) A . La condición de transversalidad exige que

• H T − x′ (T ) λ (T ) = 0  −1 − ( u (T ) ) − λ (T ) u (T ) − x′ (T ) λ (T ) = 0  A2 + 4 A − 4 = 0 , con lo
2
     
=− (1 2 ) A2 =−1 =A
= (1 4 ) A2
cual obtenemos que A = −2 ± 2 2 . Ambos casos deben ser analizados.
1) Caso A = 2 ( )
2 − 1 : Esto implica que λ * ( t ) = 2 ( )
2 − 1 y u * ( t ) = 1 − 2 . De la ecuación de
movimiento de la variable de estado se sigue que
• x′ ( t ) = −u ( t )  x′ ( t ) = 2 − 1  x ( t ) = ( )
2 − 1 t + B , pero sabiendo que x ( 0 ) = 0 resulta
entonces x * ( t ) = ( 2 −1 t . )
Sólo basta saber el momento final óptimo. Para ello sabemos por el paso anterior que al momento
( )
final es cierto que x (T ) = 2 − 1 T . Por otra parte, la superficie terminal es x (T ) = 1- T , con lo
cual igualando x (T ) se obtiene que T * = 2 2 .
2) Caso A = −2 ( )
2 + 1 : Esto implica que λ * ( t ) = −2 ( )
2 + 1 y u * ( t ) = 1 + 2 . De la ecuación de
movimiento de la variable de estado se sigue que
• x′ ( t ) = −u ( t )  x′ ( t ) = − ( )
2 + 1  x (t ) = − ( )
2 + 1 t + B , pero sabiendo que x ( 0 ) = 0 resulta
entonces x * ( t ) = − ( 2 +1 t . )
Como esto último implica que x (T ) = − ( )
2 + 1 T y la superficie terminal es x (T ) = 1- T , con lo
cual se obtiene T * = − 2 2 , solución que no es válida ya que resulta anterior al momento inicial
del problema.

u * ( t ) = 1 − 2

Por lo tanto, la solución al problema es  x * ( t ) = 2 − 1 t ( ) t ∈ 0, 2 2  .

λ * (t ) = 2 2 −1
 ( )
Ejemplo 5: Sea el siguiente problema de optimización con línea terminal vertical truncada:
 x′ ( t ) = u ( t ) − x ( t )

Max V u ( t )  =  ( x − u ) dt
1
2
sujeto a  x ( 0 ) = 0
u(t ) 0
 x (1) ≥ 1

Para resolver un problema de línea terminal vertical truncada es conveniente comenzar a trabajarlo
como si no existiera restricción alguna sobre el valor final de la variable de estado. Entonces, si el
resultado al que se llega es compatible con tal restricción, el ejercicio estará finamente resuelto;
caso contrario, deberá volver a resolverse pero como un problema de punto terminal, exigiendo que
el valor final de la variable de estado sea igual al valor mínimo permitido en el momento final.
Este ejercicio es similar al del ejemplo 1 pero con la única diferencia de que se exige que el valor
final de x no sea inferior a 1 (en el ejemplo 1 hemos obtenido que x * (1) ≅ 0,1 ). Entonces sabemos
que λ ( t ) = Aet + 1 y que u = (1 2 ) ( Aet + 1) . Obviamente, no podremos utilizar la condición
λ (1) = 0 para obtener el valor de A , ya que fue precisamente ella la que nos llevó a que x * (1) < 1 .
Por ello, pasamos directamente a la ecuación de movimiento de la variable de estado:
• x′ ( t ) = u ( t ) − x ( t )  x′ ( t ) + x ( t ) = (1 2 ) ( Aet + 1)  x ( t ) = Be− t + (1 4 ) Aet + (1 2 ) ,
pero sabiendo que x ( 0 ) = 0 y x (1) = 1 resulta
 A = 2 ( e − 1)
−1
 x ( 0 ) = 0  B + (1 4 ) A + (1 2 ) = 0
•    .
 x (1) = 1  Be + (1 4 ) Ae + (1 2 ) = 1  B = − ( e 2 )( e − 1)
−1 −1
u * ( t ) = et ( e − 1)−1 + (1 2 )

con lo cual la solución al problema es  x * ( t ) = (1 2 ) (1 − et ) .

λ * ( t ) = 2e ( e − 1) +1
t −1
Ejemplo 6: Sea el siguiente problema de optimización con línea terminal horizontal truncada:
 x ′ ( t ) = −u ( t )

Max V u ( t )  =  ( −t − u ) dt sujeto a  x ( 0 ) = 0
T
2
u(t ) 0
 x (T ) = 8, T ≤ 2

Aquí también, para resolver un problema de línea terminal horizontal truncada es conveniente
comenzar como si no existiera restricción sobre momento final y constatar si tal procedimiento lleva
a un resultado compatible con tal restricción (lo cual resolvería el problema originalmente
planteado). De no ser así, el problema deberá resolverse como uno de momento terminal, exigiendo
que el final del período de planeamiento sea precisamente el valor máximo permitido en el
problema.
Este ejercicio es similar al del ejemplo 3, excepto en la restricción T ≤ 2 . Cabe recordar que en
dicho ejemplo T * = 4 , con lo cual deberemos volver a resolverlo exigiendo que x ( 2 ) = 8 . Entonces,
de las condiciones del principio del máximo del ejemplo 3 tenemos que λ ( t ) = A y que
u = − (1 2 ) A . Obviamente, no podremos utilizar la condición H T = 0 . Por ello, pasamos
directamente a la ecuación de movimiento de la variable de estado:
• x′ ( t ) = −u ( t )  x′ ( t ) = (1 2 ) A  x ( t ) = (1 2 ) At + B .
Para obtener los valores de A y B basta recordar que x ( 0 ) = 0 y x (1) = 1 , con lo cual
 x ( 0 ) = 0  B = 0 A = 8
•   .
 x ( 2 ) = 1  B + A = 8  B = 0
u * ( t ) = −4

Por lo tanto la solución al problema es  x * ( t ) = 4t t ∈ [ 0, 2] .
 λ * (t ) = 8

Aplicación económica: Uso de energía y calidad ambiental
El modelo
Este modelo intenta analizar cuál será la política de consumo de una fuente de energía contaminante
(que llamaremos, para mayor comodidad, petróleo) para una sociedad a la cual le importa el medio
ambiente en el que vive.
Llamamos S (t ) el stock de petróleo al momento t y E (t ) a la tasa de extracción de petróleo (y uso

de la energía) en el momento t . Entonces tenemos que
S ′ = −E
El uso de la energía hace posible la producción de bienes y servicios para el consumo C , que
genera utilidad en la población. Pero este uso de la energía genera también un flujo de polución P
que crea desutilidad social. Entonces:
C = C (E ) C ′ > 0 C ′′ < 0
P = P(E ) P ′ > 0 P ′′ > 0
Esto quiere decir que, mientras el uso de la energía aumenta el consumo en una tasa decreciente,
genera polución a una tasa creciente.
Supondremos, por simplicidad que la polución no se acumula. Esto equivale a decir que la polución
es un flujo que se disipa sin llegar a constituir un stock. Con esta información construimos la
función de utilidad social
 U C > 0 U CC < 0

U = U (C , P ) donde  U P < 0 U PP < 0
U = 0
 CP
La especificación de U C > 0 y de U CC < 0 muestra que la utilidad marginal del consumo es

positiva y decreciente. En contraste, la especificación de U P < 0 y U PP < 0 revela que la utilidad
marginal de la polución es negativa y decreciente. En términos de desutilidad marginal de la
polución (= −U P ) , U PP < 0 significa desutilidad marginal creciente, ya que (− U PP ) > 0 . Debido a
que C y P dependen ambas de E , la utilidad social depende solamente de E , positivamente a
través del consumo pero negativamente a través de la polución. Esto significa que E constituirá
nuestra variable de control, y por lo tanto S será nuestra variable de estado.
El problema consiste en realizar la siguiente maximización de la utilidad social acumulada en el

período [0, T ] , la cual llamamos V :
 S ′ = −E

Max V [ E ] =  U C ( E ) , P ( E )  dt sujeto a S (0 ) = S 0
T
0
 S (T ) ≥ 0

Armamos el hamiltoniano H = U [C (E ), P(E )] − λE . Entonces tenemos

∂H
= U C C ′(E ) + U P P ′(E ) − λ = 0
∂E
∂2 H 2 2
= U CC C ′ ( E )  + U C C ′′ ( E ) + U PP  P′ ( E )  + U P P′′ ( E ) < 0
∂E 2          
− + + − − + − +
donde la última expresión nos garantiza la maximización de H .
Dado que ∂H ∂E depende de λ , necesitamos calcular el sendero temporal de λ . El principio del

máximo nos dice que
∂H
λ′ = − =0  λ (t ) = K
∂S
donde K es una constante. Para poder hallar su valor debemos recurrir a la condición de
transversalidad, Para este problema, que es un caso de línea terminal vertical truncada, la condición
toma la forma siguiente
λ (T ) ≥ 0 S (T ) ≥ 0 λ (T )S (T ) = 0
En aplicaciones prácticas de este tipo de condición, el paso inicial consiste en fijar λ (T ) = 0 como
si la línea no fuera truncada para ver si la solución funciona. Puesto que en nuestro caso λ (t ) es una
constante, en realidad tenemos que λ (t ) = 0 para todo valor de t comprendido en el intervalo
[0, T ] . Entonces, una vez obtenido que el valor de λ es nulo, lo reemplazamos en la ecuación
∂H ∂E = 0 , quedando
UCC′ ( E ) = −U P P′ ( E )
  
Utilidad marginal del Desutilidad marginal del
uso de la energía a través uso de la energía a través
de su contribución de su efecto en la polución
al consumo
Es decir, el sendero óptimo E * (t ) del uso de la energía será aquel que iguale la utilidad marginal
del consumo (“ingreso”) a la desutilidad marginal de la polución (“costo”). Debido a que esta
ecuación diferencial es independiente de t , su solución es constante a través del tiempo, por lo tanto
E * (t ) = E *
Solamente falta verificar si E * (t ) = E * satisface la restricción S (T ) ≥ 0 . Para ello debemos

analizar el sendero que seguirá el stock de petróleo S . En busca de este resultado, integramos la
ecuación de movimiento
S ′ = −E  S (t ) = − Et + A
pero como S (0) = S 0 (es decir, el stock inicial de petróleo es S 0 ), el sendero óptimo será
S * (t ) = S 0 − E * t
con lo cual el valor de S * (t ) en cada momento del tiempo dependerá del valor de E * . Puesto que
no estamos trabajando con funciones específicas, no podemos asignar un valor a E * . De todos
modos, podemos asignar la restricción S (T ) ≥ 0 de manera cualitativa.
Consideremos los valores de E * , a saber E *1 < E *2 < E *3
Si E* = E1 * , al momento T todavía queda un

S * (t ) stock de petróleo S * (T ) > 0 , mientras que si
ocurriera que E* = E 2 * al momento T el stock
de petróleo se acabaría, es decir que S * (T ) = 0 .
Por lo tanto ambos casos se encuentran
contemplados por la condición de transversalidad
E* = E3 * requerida para la resolución del problema. Sin
E * = E2 *
embargo si la extracción óptima fuera E* = E3 * ,
E * = E1 * el stock de petróleo se acabaría prematuramente,
es decir antes del momento T . Esta tasa de
extracción no resulta admisible puesto que, como
T t E * tiene que ser constante, obtendríamos
S * (T ) < 0 , violando la restricción.
En un caso como este último, lo que debe hacerse es fijar S * (T ) = 0 y resolver el problema como si
fuese uno con un punto terminal dado. En ese caso, el valor de E * puede encontrarse directamente
usando la solución de S * (t ) , haciendo t = T y S (T ) = 0 :
S0
S * (T ) = S 0 − E * T  E* =
T
Este E * se corresponde con el E 2 * del gráfico, y es la mayor tasa de explotación de petróleo

permitida por el problema. Entonces
S0
E * (t ) = E* ≤
T
II.6. Condiciones suficientes
Las condiciones de principio del máximo, junto con las condiciones de transversalidad, representan
condiciones necesarias de primer orden para la determinación de un maximal o un minimal local. A
continuación presentamos dos condiciones suficientes para la determinación de un maximal o un
minimal global para problemas de control con línea terminal vertical y sin restricciones sobre
las variables de control:
Teorema de suficiencia de Mangasarian: Si f ( x, u , t ) y g ( x, u , t ) son ambas funciones

diferenciables cóncavas en x y u para todo t, si g ( x, u , t ) es no-lineal en x o u y si
λ (t ) ≥ 0 , entonces las condiciones del principio del máximo son también suficientes
para la maximización global de V. Para el caso en que ambas funciones sean convexas,
la solución representará un mínimo. Tanto para maximización como para minimización,
si g ( x, u , t ) es lineal en x y en u, la condición de que λ (t ) ≥ 0 no es requerida.
Teorema de suficiencia de Arrow: Sea u*(t) la función que maximiza la funcional V y

sea H 0 ( x, λ , t ) = f ( x, u*, t ) + λ ( t ) g ( x, u*, t ) la función hamiltoniana maximizada6. Si
para un λ(t) dado H0 es cóncava en x para todo t perteneciente al intervalo [t0,t1], las
condiciones de principio del máximo son también suficientes para la maximización
global de V. Para el caso en el cual H0 es convexa, las condiciones de principio del
máximo aseguran la minimización global de V.
Nótese que si se cumplen las condiciones del teorema de Mangasarian, automáticamente se

verifican las condiciones del teorema de Arrow ya que si f y g son funciones cóncavas en (x, u) y
λ(t) ≥ 0 como se exige en el teorema de Mangasarian, entonces H0 también lo es y por lo tanto H0 es
también cóncava en x como lo exige el teorema de Arrow. Sin embargo, el cumplimiento de las
condiciones de Arrow no necesariamente implican las condiciones de Mangasarian ya que H0 puede
ser cóncava en x incluso si f y g no son cóncavas en (x, u), con lo cual las condiciones de Arrow son
más generales.
II. 7. El problema del horizonte infinito
Cuando la extensión del horizonte de planeamiento tiende a infinito, nos enfrentamos con dos tipos
de problemas adicionales:
1- la convergencia de la funcional objetivo: Una condición suficiente para que la integral sea
convergente consiste en asegurar que la función del integrando pueda escribirse como un
6
No confundir con el valor maximizado de H, es decir con H * = f ( x*, u*, t ) + λ * ( t ) g ( x*, u*, t ) . En la función
hamiltoniana maximizada que se postula en el teorema de Arrow no es necesario que x y λ sean las funciones óptimas.
producto entre dos funciones, donde una de ellas es una función acotada y la otra es la función
e − ρt donde ρ > 0, lo cual asegura que esta última converja a cero cuando t tiende a infinito.
2- las condiciones de transversalidad: en un caso de horizonte infinito, el momento final no se

encuentra definido, ya que el “infinito” no es un número sino una región de indefinición. Por lo
tanto, sea cual sea el problema, siempre hay que asegurarse de que
lim H ( x*, u*, λ*, t1 ) = 0 .

t1 → ∞
Además, en el caso que no llegara a especificarse un estado final, es decir un valor x1 al cual la
función x(t) se acerque cuando t se aproxima al infinito, también se requerirá de la otra
condición de transversalidad:
lim λ * (t1 ) = 0
t1 → ∞
Por otra parte en el caso en que el estado terminal deba respetar una restricción de nivel mínimo
xmin preestablecido cuando t → ∞ , la última condición deberá ser reemplazada por
lim x1* ≥ xmin lim λ * (t1 ) = 0 lim [( x1 * − x min )λ * (t1 )] = 0

t1 →∞ t1 → ∞ t1 → ∞
Aplicación económica: Uso del capital
El modelo
Supongamos que un stock de capital, cuya evolución temporal representamos con la función x(t ) ,
permite a una firma ganar un flujo de renta R ( x ) . Este stock de capital se deprecia a una tasa lineal
b , mientras que el costo de invertir nuevo capital se encuentra representada por c( x ) , el cual se
adquiere a una tasa u (t ) . La firma desea utilizar y adquirir capital siguiendo políticas que le
permitan maximizar el valor presente acumulado de sus beneficios netos, es decir, que la firma se
enfrenta al siguiente problema de control
∞  x ′(t ) = u (t ) − bx(t )
Max V =   R ( x ( t ) ) − c ( u ( t ) )  e − rt dt sujeto a 
0
 x(0 ) = x0 > 0
donde la ecuación de movimiento indica que la tasa de cambio en el stock de capital viene dada por
la diferencia entre la tasa de adquisición de nuevo capital y la depreciación bx .
Nuestra variable de control será la tasa de adquisición del capital u (t ) mientras que la variable de
estado será x(t ) . Suponemos además que R ( x ) es cóncava y que c(u ) es convexa (por lo cual
(− c(u )) es cóncava) que, combinado al hecho de que el segundo miembro de la ecuación de
movimiento es lineal en x y u aseguran el cumplimiento del teorema de suficiencia de
Mangasarian. De esta manera, las condiciones necesarias del principio del máximo serán también
suficientes para la obtención de un maximal global de V.
Para resolver este ejercicio, es conveniente trabajar con el llamado hamiltoniano-valor-corriente H c

en lugar del habitual hamiltoniano H . Para ello, definimos
H c = He rt y m(t ) = λ (t )e rt
donde m(t ) será nuestra nueva variable de coestado, armada a partir de la tradicional variable de
coestado λ (t ) . Claramente, las maximizaciones en u de H y Hc se implican mutuamente. Por otra
parte, cabe destacar que si m(t ) = λ (t )e rt , entonces λ (t ) = m(t )e − rt , lo cual implica que
′
λ ′ ( t ) = ( mert ) = m′ ( t ) e− rt − rm ( t ) e − rt
Dado que H = H c e − rt , entonces ( ∂H ∂x ) = ( ∂H c ∂x ) e − rt = −λ ′ , donde la última igualdad se debe a

la aplicación de la condición del principio del máximo correspondiente al movimiento de la variable
de coestado. De esta manera, las condiciones del principio del máximo expresadas en términos de la
nueva función hamiltoniana Hc y la nueva variable de coestado m quedan
∂H c ∂H c
Max H c ; x′ = ; m′ = − + rm ; lim m (T ) e − rT = 0 .
u ∂m ∂x T →∞
Una vez hechas estas consideraciones, armamos el hamiltoniano-valor-corriente del problema
H c = R( x ) − c(u ) + m(u − bx )
Entonces, de la aplicación de las nuevas condiciones del principio del máximo tenemos que
∂H c
= −c ′(u ) + m = 0  m = c ′(u )
∂u
∂H c
x′ = ;  u − bx = x ′
∂m
∂H c
m′ = − + rm = − R ′( x ) + mb + rm  R ′( x ) + m′ = (b + r )m
∂x
lim = m(T )e − rT = 0
T →∞
Debido a que los resultados dependen de la variable de coestado m debemos estudiar primero su
significado económico.
Significado económico de la variable de coestado m
Supongamos que x * (t ) , u * (t ) y m * (t ) son la solución a nuestro problema. De esta manera

∞
V * =   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt dt
0
constituirá la riqueza máxima alcanzada como consecuencia de decidir óptimamente la adquisición

de nuevo capital. En otras palabras, representa el valor presente óptimo del stock de capital.
Por aplicación del principio de optimalidad, podemos escribir para un s ∈ [ 0, ∞ )

∞
V * =   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt dt +   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt dt
s
0 s
Por otra parte, como en el óptimo se cumple la ecuación de movimiento de x(t ) , sabemos que
λ * (t )[u * (t ) − bx * (t ) − x *′ (t )] = 0
Entonces es cierto que
{  R ( x * ( t ) ) − c (u * ( t ) ) e
∞
V * =   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt + 
s
− rt
+
0 s
+ λ * (t )[u * (t ) − bx * (t ) − x *′ (t )] }dt 
{  R ( x * ( t ) ) − c (u * ( t ) ) e
∞
V * =   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt + 
s
− rt
+
0 s
∞
+ λ * (t )[u * (t ) − bx * (t )] }dt −  λ * (t )x *′ (t )dt
s
La segunda integral se resuelve por partes de la siguiente manera:
∞ ∞
 λ * ( t ) x *′ ( t ) dt = λ * ( ∞ ) x * ( ∞ ) − λ * ( s ) x * ( s ) −  x * ( t ) λ *′ ( t ) dt
s s
y, teniendo en cuenta que λ * (t ) = e m * (t ) , tenemos rt
∞ ∞
 λ * ( t ) x *′ ( t ) dt = e − r ∞ m * ( ∞ ) x * ( ∞ ) − e − rs m * ( s ) x * ( s ) −  x * ( t )  m *′ ( t ) + rm * ( t )  ert dt
s 
 s
= 0
Por lo tanto, el valor presente óptimo del stock de capital resulta ser
V * =   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt + 
0
s
s
∞
{
 R ( x * ( t ) ) − c ( u * ( t ) )  + m * ( t ) u * ( t ) − bx * ( t )  } e dt +
− rt
H ( x *,u *, m*,t )
∞
+ e − rs m * ( s ) x * ( s ) +  x * ( t )  m *′ ( t ) + rm * ( t )  e rt 
s
∞
V * =   R ( x * ( t ) ) − c ( u * ( t ) )  e − rt +   H ( x * ( t ) , u * ( t ) , m * ( t ) , t ) + x * ( t ) ( m *′ ( t ) + rm ( t ) ) e− rt  dt +
s
0 s
+ e − rs m * (s )x * (s ) .
Entonces
∂V * ∂V * rs
= e − rs m * (s )  m * (s ) = e
∂x * (s ) ∂x * (s )
∂V *
Por lo tanto, vemos que m * (s ) puede expresarse como el producto de dos factores: y e rs .
∂x * (s )
El primer factor representa el cambio en el valor óptimo del capital cuando, al momento s , el stock
es incrementado exógenamente. Por otra parte, el segundo constituye un factor de capitalización,
que expresa el valor que tendrá una unidad monetaria en el momento s si es invertida a una tasa de
interés r . Por lo tanto m * (s ) representará el valor marginal presente óptimo del stock de capital al
momento s.
Interpretación de los resultados
Entonces ahora podemos interpretar adecuadamente los resultados obtenidos a partir de las
condiciones del principio del máximo:
• m = c ′(u ) . El valor marginal corriente del stock de capital debe ser igual al valor corriente del
costo marginal de invertir en nuevo capital.
• u − bx = x ′ . Su significado es el mismo que el dado al principio, esto es que la tasa de cambio

en el stock de capital viene dada por la diferencia entre la tasa de adquisición de nuevo capital y
la depreciación bx .
• R ′( x ) + m′ = (b + r )m . Con respecto a los términos que integran el primer miembro, tenemos

que R ′( x ) representa el beneficio marginal instantáneo de un incremento en el stock de capital.
Por otra parte, m ′ es la tasa de cambio en el valor marginal corriente del capital, que se deriva
de un uso futuro maximizador del mismo. Por lo tanto, el primer miembro de la ecuación
representa los beneficios totales obtenidos por el uso del capital (beneficios instantáneos y
ganancia de capital). En relación al segundo miembro, ya habíamos mencionado que b
representaba la tasa de depreciación del stock de capital (por unidad de capital). A su vez, r es
la tasa a la cual la firma descuenta sus beneficios futuros, por lo tanto puede verse como el
rendimiento de la inversión alternativa. Entonces, el factor (b + r ) representa la suma de tasas
que indican pérdidas, ya sea por uso o paso del tiempo (b ) , o por pérdida de oportunidades en
otras inversiones (r ) , mientras que el segundo factor constituye el valor marginal corriente del
stock de capital. Esto quiere decir que el segundo miembro de la ecuación indica cuánto del
valor incrementado por el aumento del stock de capital constituye un costo de oportunidad, es
decir, el verdadero costo de oportunidad marginal que enfrenta la firma. Aclarados cada uno de
los significados de los elementos que constituyen la ecuación, vemos entonces que esta ecuación
dice que a lo largo del sendero maximizador el costo de oportunidad marginal debe ser igual a la
tasa marginal a la cual se producen los beneficios.
• lim = m(T )e − rT = 0 . Como hemos visto, m(T ) representa el valor marginal corriente del stock
T →∞
de capital en el momento final T . Si m(T ) es multiplicado por e − rT , entonces obtenemos el

valor marginal presente del stock de capital en el momento T . Por lo tanto, esta condición de
transversalidad impone que el valor marginal presente del stock de capital tienda a cero a
medida que pasa el tiempo, siendo casi nulo cuando se consideran momentos de tiempo
distantes en el futuro.
III. El cálculo de variaciones y la ecuación de Euler
III.1. Deducción de la ecuación de Euler
El cálculo de variaciones es un caso especial en el cual x’ = u y la función u no se encuentra

restringida. Entonces de esta manera tenemos que:
∂ ( f + λ ⋅ x′ ) d
 (PP1): Max H ( x, u , λ , t )  H u = 0  H x′ = 0  = 0  f x ′ = − λ  ( f x′ ) = − λ ′
u ∂x′ dt
∂H ∂ ( f + λ ⋅ x′ )
 (PP2): = −λ ′(t )  = −λ ′  f x = − λ ′
∂x ∂x
donde para el último paso en (PP2) es conveniente remarcar que x’ no depende de x. Entonces, de la
igualación de las dos ecuaciones obtenemos la llamada ecuación de Euler
d
( f x′ ) = f x .
dt
III.2. Condiciones de transversalidad
- Línea terminal vertical [x(t1) = x1 con x1 libre y t1 dado]: Como f x′ = −λ (ver PP1 en la
demostración de la ecuación de Euler), la condición de transversalidad resulta f x′ ( t1 ) = 0 .
- Línea terminal horizontal [x(t1) = x1 con t1 libre y x1 dado]: Para el caso del cálculo de
variaciones, tenemos que H = f + λ ⋅ x ′ , o lo que es lo mismo H = f − f x′ ⋅ x′ , con lo cual se
deduce que f ( t1 ) − f x′ ( t1 ) ⋅ x′ ( t1 ) = 0 .
- Superficie terminal [x1 = φ(t1) con t1 y x1 libres, pero vinculados mediante φ]: Solo basta
hacer los reemplazos correspondientes H = f − f x′ ⋅ x′ y f x′ = −λ como se mencionara en los
dos casos anteriores en las condiciones de principio del máximo, con lo cual queda
f ( t1 ) − f x′ ( t1 ) ⋅ x′ ( t1 ) + f x′ ( t1 ) ⋅ φ ′ ( t1 ) = 0 .
- Línea terminal vertical truncada [x1 ≥ xmin]: Para cálculo de variaciones solo basta hacer el
reemplazo f x′ = −λ como se mencionara en el caso de línea terminal vertical. Entonces
x1* ≥ xmin f x′ ( t1 ) ≥ 0 ( x1 * − xmin ) f x′ ( t1 ) = 0 .
- Línea terminal horizontal truncada [t1 ≤ TMax]: Sólo basta con realizar el reemplazo
H = f − f x′ ⋅ x′ , como se mencionara en el caso de línea terminal horizontal.
t1* ≤ TMax f ( t1 *) − f x′ ( t1 *) ⋅ x′ ( t1 ) ≥ 0 ( t1 * −TMax ) ( f ( t1 *) − f x′ ( t1 *) ⋅ x′ ( t1 ) ) = 0 .
III.3. Condiciones suficientes
Por otra parte, también teniendo en cuenta que el caso del cálculo de variaciones puede verse cono
un problema de control óptimo donde x’ = u tenemos entonces que con respecto a las condiciones
de suficiencia de Mangasarian para maximización (minimización), solamente se exige que la
función f ( x, x ′, t ) sea cóncava (convexa) con respecto a x y a x’. De esta manera, como la función
λ ( t ) ⋅ x′ es lineal en x’ e independiente de x, y por lo tanto cóncava y convexa respecto de x y x’, el
cumplimiento de la ecuación de Euler sea también suficiente para la existencia de un maximal
(minimal) global de la funcional objetivo.
III.4. El problema del horizonte infinito
Aquí son aplicables las mismas consideraciones realizadas con respecto al problema del control
óptimo, es decir con respecto a la convergencia de la funcional objetivo y las condiciones de
transversalidad. Con respecto a estas últimas tendremos entonces que siempre deberá verificarse
lim  f ( t1 ) − f x′ ( t1 ) ⋅ x′ ( t1 )  = 0 ,
t1 →∞
mientras que si el estado final no se encuentra especificado, deberá cumplirse también

lim f x′ ( t1 ) = 0 .
t1 →∞
A su vez, si el estado terminal debe respetar una restricción de mínimo preestablecido xmin cuando
t1 → ∞ , la última condición deberá ser reemplazada por
lim x1* ≥ xmin lim f x′ ( t1 ) ≥ 0 lim ( x1 * − xmin ) f x′ ( t1 )  = 0 .

t1 →∞ t1 →∞ t1 →∞
Aplicación económica: Elección intertemporal del consumidor
El modelo
Tenemos un consumidor con una función de utilidad U = U (C (t )) , donde C (t ) representa el
consumo al momento t . Se supone que la utilidad marginal del consumo es positiva y decreciente,
es decir:
U ′(C ) > 0 U ′′(C ) < 0 .
A este consumidor se le suministra una dotación inicial de capital K 0 , la cual genera una renta
(interés) r . Este consumidor financia su gasto mediante:
• la renta que genera la posesión del stock de capital;

• la venta de parte del stock de capital que posee.
Por lo tanto, el stock de capital, por un lado, se incrementa con el paso del tiempo debido a que
genera una renta r . Por otra parte, el gasto de consumo hace que el capital se reduzca o que, al
menos, crezca menos. Esto se ve reflejado en la siguiente ecuación:
K ′ = rK − C
donde se supone, por simplicidad, que una unidad de bien de capital compra una unidad de bien de
consumo, lo que equivale a decir que el precio relativo entre el capital y el consumo es igual a 1.
El objetivo del consumidor es maximizar el valor (subjetivo) presente de la utilidad acumulada en

un período de tiempo [0, T ] , es decir que debe maximizar:
e −γ tU ( C ) dt
T
 0
γ >0
donde γ representa la tasa de preferencia temporal (subjetivo) del consumidor. Un valor positivo de
esta tasa indica que el consumidor, en su ejercicio de optimización, valora más la utilidad presente
que la futura. En otras palabras, habla de la “impaciencia” del consumidor con respecto al consumo.
Teniendo en cuenta lo dicho anteriormente, y suponiendo además que al momento T el stock de

capital se acaba, tenemos que:
 K ′ = rK − C

Max  e −γ tU ( C ) dt sujeto a  K (0 ) = K 0
T
0
 K (T ) = 0

Para tener resultados concretos, supongamos que la función de utilidad viene representada de la
siguiente manera:
U (C ) = ln C
que cumple con los supuestos especificados para la función de utilidad del consumo. Entonces,
nuestro ejercicio de optimización dinámica resulta:
 K ′ = rK − C

Max  e ln C dt sujeto a  K (0 ) = K 0
T
−γ t
0
 K (T ) = 0

De la primera restricción podemos despejar C , y tendríamos el siguiente ejercicio de cálculo de

variaciones7:
 K (0) = K 0
Max  e −γ t ln ( rK − K ′ ) dt sujeto a 
T
0
 K (T ) = 0
Armamos la ecuación de Euler:
 −γt r  d  −γt (− 1) 
e rK − K ′  − dt e rK − K ′  = 0 

r
e −γt +
(− γ ) e −γt − rK ′ − K ′′ e −γt = 0 
rK − K ′ rK − K ′ rK − K ′
  C′

rK − K ′′
′ C′
 r −γ =  = r −γ
rK
 − K
 ′ C
C
Por lo tanto, el consumo crece si la tasa de interés es mayor a la tasa de preferencia temporal del
consumidor. El consumo caerá si la tasa de preferencia temporal es menor a la tasa de interés y
permanecerá constante si ambas son iguales. Si queremos hallar la trayectoria del consumo,
hacemos
C′
 C dt =  (r − γ )dt  ln C = A + (r − γ )t  C (t ) = Ae
( r −γ )t
Al momento t = 0 , tenemos que C (0) = rK 0 − K ′ . Entonces
C (0 ) = A = rK 0 − K ′  C (t ) = C 0 e (r −γ )t
 
C0
Por otra parte, si lo que queremos es encontrar la trayectoria del stock de capital, tenemos que:
K ′ = rK − C  K ′ = rK − C 0 e (r −γ )t  K ′ − rK = −C 0 e (r −γ )t
La solución general de esta ecuación diferencial es:

C0
K (t ) = Ae rt + e (r −γ )t
γ
7
También podría resolverse planteando la función hamiltoniana correspondiente y aplicando las condiciones de
principio del máximo.
Nuestro siguiente paso es determinar el valor de la constante A . Si usamos la condición de

contorno K (0) = K 0 , tenemos que:
C0 C0
K (0) = A + = K0  A = K0 − (Ec. 1)
γ γ
lo cual daría que

 C  rt C 0 ( r −γ )t
K (t ) =  K 0 − 0 e + e
 γ  γ
Sin embargo, la solución nos quedó expresada en función de dos condiciones iniciales. Lo que
necesitamos hacer es expresar una en función de la otra. Para ello utilizamos la otra condición de
contorno K (T ) = 0
C C
K (T ) = Ae rT + 0 e (r −γ )T = 0  A = − 0 e −γT (Ec. 2)
γ γ
Igualando (Ec. 1) y (Ec. 2), surge que
C0 C0 γK 0
A = K0 − =− e −γT  C0 = .
γ γ 1 − e −γT
Por lo tanto, tenemos que
 1 γK 0  rt 1 K 0 e −γt − e −γT
K (t ) =  K 0 − e + γ e (r −γ )T  K (t ) = K 0 e rt
 γ 1 − e −γT  1− e −γT
1 − e −γT
Por otra parte, el consumo resulta ser
γK 0
C (t ) = e (r −γ )t
1 − e − yT
Resulta interesante ver que, cuando T → ∞ :
K (t ) = K 0 e (r −γ )t y C (t ) = γK 0 e (r −γ )t
Aplicación económica: Sendero de inversión óptima de una firma
El modelo
Este modelo ve a la inversión como un proceso que expande el tamaño de la planta de una firma. La
inversión para reemplazo de equipo no es considerada. Los supuestos del modelo son los siguientes:
• La firma conoce la tasa de beneficio π asociada con cada tamaño de planta, medida por el stock
de capital K . Tenemos entonces π = π (K ) , con π ′ > 0 .
• Para expandir el tamaño de la planta es necesario incurrir en un costo de ajuste C , cuya

magnitud aumenta cuando aumenta la velocidad de expansión del capital K ′(t ) , es decir cuando
crece la inversión. Entonces C = C (K ′) , con C ′ > 0 .
Para obtener resultados más específicos, suponemos que tanto π (K ) como C (K ′) son cuadráticas:
π (K ) = αK − βK 2 (α , β ) > 0 C (K ′) = aK ′ 2 + bK ′ (a, b ) > 0

El objetivo de la firma es elegir un sendero K * (t ) que maximice el valor presente total de los
beneficios netos π (K ) − C (K ′) obtenidos a lo largo del tiempo descontados a la tasa ϕ :
Max π [ K ] =  e −ϕt (α K − β K 2 − aK ′2 − bK ′ )dt

∞
sujeto a K (0) = K 0
0
En nuestro caso, la convergencia de la integral impropia se encuentra garantizada, ya que con las
funciones elegidas para π (K ) y C (K ′) , la función π − C se encuentra acotada superiormente. Esto
último, junto con una tasa de descuento ϕ positiva asegura la convergencia de la integral.
Calculamos la ecuación de Euler
[(α − 2βK )e ] − dtd [(− 2aK ′ − b)e ] = 0

−ϕt −ϕt

 (α − 2 βK )e −ϕt + ϕe −ϕt (− 2aK ′ − b ) + 2aK ′′e −ϕt =0 

 2aK ′′ − ϕ ( 2aK ′ + b ) + (α − 2 β K ) = 0 
β bϕ − α
K ′′ − ϕK ′ − K=
a 2a
Esta ecuación diferencial tiene por solución
K * (t ) = A1e r1t + A2 e r2t + K

donde
4β
ϕ ± ϕ2 +
a α − bϕ 8
r1, 2 = K =
2 2β
β 4β
Como ϕ 2 + 4 > 0 , entonces r1 y r2 son números reales. Además, como ϕ2 + > ϕ , entonces
a a
r1 > ϕ > 0 y r2 < 0
8
La solución de la ecuación completa siempre es una constante ya que r1 y r2 no pueden ser nulos.
Por otra parte, K no tiene signo definido. Sin embargo, consideraciones económicas determinan
que debería ser positivo, ya que representa un equilibrio intertemporal de K . Para ello, deberá
estipularse que
α > bϕ
Para hallar los valores de A1 y A2 , primero debemos considerar la condición de contorno

K (0) = K 0 . Reemplazando en la solución general K * , tenemos que
K (0) = A1 + A2 + K = K 0
Como el problema no tiene condición terminal, para poder hallar el valor de las constantes debemos
recurrir a la condición de transversalidad que estipula que:
lim(F − K ′FK ′ ) = 0
t →∞
( )
siendo F = e −ϕt αK − βK 2 − aK ′ 2 − bK ′ 9. Entonces, operando dentro del límite tenemos
lim (α K − β K 2 − aK ′2 − bK ′ ) e −ϕt + K ′ ( 2aK ′ + b ) e −ϕt  = 0 

t →∞
 [(
lim αK − βK 2 + aK ′ 2 e −ϕt = 0
t →∞
) ]
Sabiendo que K *′ (t ) = A1 r1e r1t + A2 r2 e r2t y reemplazando esta fórmula y K * (t ) en el ultimo límite,
se tiene
{[ ( ) (
lim α A1e r1t + A2 e r2t + K − β A1e r1t + A2 e r2t + K
t →∞
)
2
(
+ a A1 r1e r1t + A2 r2 e r2t ) ]e
2 −ϕt
}= 0 
{[ (
lim α A1e r1t + A2 e r2t
t →∞
+ K ) − β (A 1
2
e 2 r1t + A2 e 2 r2t + K 2 + 2 A1 A2 e (r1 + r2 )t + 2 K A1e r1t + 2 K A2 e r2t +
2
(
+ a A1 r1 e 2 r1t + A2 r2 e 2 r2t + 2 A1 A2 r1r2 e (r1 +r2 )t e −ϕt = 0
2 2 2 2
)] } 
t →∞
[
lim A1 (α − 2 βK )e ( r1 −ϕ )t 2
(
+ A1 ar1 − β e
2
) ( 2 r1 −ϕ )t
+ A1 A2 (2ar1 r2 − 2 β )e ( r1 + r2 −ϕ )t
+
negativo
 negativo
( )
 


+ A2 (α − 2 βK )e

+ A2 ar2 − β e( r2 −ϕ )t
+ αK − βK 2 e −ϕt  = 0
   
2 2 ( 2 r2 −ϕ )t
( )
→0 →0 →0 
porque r2 < 0 .
Utilizando propiedades de los límites, podemos escribir
    2  
positivo positivo
( )

lim(F − K FK ′ ) = A1 lim (α − 2 βK )e ( r1 −ϕ )t ( 2 r1 −ϕ )t
2
′  + A1 lim  ar1 − β e +
t →∞ t →∞

  t →∞
 
 
  
→∞ →∞
  
igual a 0
+ A1 lim  A2 (2ar1r2 − 2 β )e (r1 + r2 −ϕ )t  = 0

t →∞
 
 
constante
9
La otra condición de transversalidad no se utiliza debido a que, de acuerdo al resultado de la solución general de K * ,
cuando t tiende a infinito, K * tiende a K .
Entonces, para que esta ecuación se cumpla, debe ocurrir que A1 = 0 . De esta forma, podemos
hallar A2 :
K0 = 
A1 + A2 + K  A2 = K 0 − K
=0
Entonces, K * (t ) viene dado por
K * (t ) = (K 0 − K )e r2t + K (Ec. 3)
con r2 < 0 . Entonces, podemos calcular el sendero óptimo de la inversión I * (t ) :
I * (t ) = K *′ (t ) = r2 (K 0 − K )e r2t (Ec. 4)
De (Ec. 3), restando miembro a miembro por K tenemos que

(K 0 − K )e r2t = K * (t ) − K (Ec. 5)
entonces, reemplazando el segundo miembro de (Ec. 5) en (Ec. 4) llegamos a la fórmula del

mecanismo de aceleración de la inversión
I * (t ) = − r2 [K − K * (t )]
donde (− r2 ) > 0 .
IV. El principio del máximo discreto y el método de multiplicadores de Lagrange
La forma discreta del problema de control consiste en hallar los t1 valores de ut para t = t0 , , t1 − 1
que resuelvan el siguiente programa
 xt +1 − xt = gt ( xt , ut )
t1 −1
 t = t0 , , t1 − 1
Max V ≡  ft ( xt , ut ) sujeto a  hi ( ut ) ≤ bi
ut
t =t0  x fijos i = 1, , n
 0
donde las n restricciones hi ( ut ) ≤ bi forman un conjunto convexo sobre las variables de control ut .
El lagrangiano de este problema es
t1 −1 t1 −1 t1 −1 n
L =  ft ( xt , ut ) +  λt  gt ( xt , ut ) − ( xt +1 − xt )  +  μti ( bi − hi ( ut ) )
t = t0 t = t0 t = t0 i =1
donde λt y μt son los multiplicadores de Lagrange de la ecuación de movimiento de xt y de la

restricción hi respectivamente.
Definiendo la función hamiltoniana H t ( xt , ut , λt ) ≡ f t ( xt , ut ) + λt gt ( xt , ut ) , el lagrangiano del

problema queda
t1 −1
 n

L =   H t ( xt , ut , λt ) − λt ( xt +1 − xt ) +  μti ( bi − hi ( ut ) )  .
t = t0  i =1 
Las condiciones de Kuhn-Tucker en el óptimo ( xt , ut , λt ) son las siguientes
 ∂H t ( xt , ut , λt )
 Lx′t = 0  − = λt +1 − λt t = t0 + 1, , t1 − 1
 ∂xt

 L ′ = 0  ∂H t ( xt , ut , λt ) = μ i ∂h ( ut ) i = 1, , n
m i
 ut  
∂ut ∂ut t = t0 + 1, , t1 − 1
t
i =1

 ∂L
 Lx′1 = 0  = −λt1 −1
 ∂x1
 ≥  máximo 
 ut   0 para   t = 0, , T − 1 con igualdad si h ( ut ) < bi
i
 ≤   mínimo 
 λ ∈ , al ser x − x = g ( x , u ) una igualdad estricta
 t t +1 t t t t
las cuales constituyen condiciones necesarias para la existencia de un máximo local de V.
Reescríbase ahora el problema de control como

 xt +1 − xt = gt ( xt , ut )Δt
t1 −Δt
 t = t0 , , t1 − 1
Max V ≡ Δ
 f ( x , u )Δt
t t t sujeto a  hi ( ut ) ≤ bi
i = 1, , n

ut
t = t0
 x0 fijos
el cual resulta ser igual al problema anterior cuando Δt = 1 . Haciendo Δt → 0 tenemos que
t1 −Δt
 f ( x , u )Δt =  f ( x ( t ) , u ( t ) , t ) dt . Para la ecuación de movimiento de xt este paso al

t1
lim t t t
Δt → 0 t0
t = t0
límite hace que

xt +1 − xt
= gt ( xt , ut ) se convierta en x′ = g ( x ( t ) , u ( t ) , t ) ,
Δt
mientras que para las restantes condiciones tenemos que
λt +1 − λt ∂H t ∂H ( t )
=− se convierte en λ ′ = − y
Δt ∂xt ∂x
−λt1 −1 =0 se convierte en λ ( t1 ) = 0 ,
con lo cual, junto con el requisito de maximización de la función hamiltoniana respecto de u,

obtenemos las condiciones de principio del máximo para el caso de tiempo continuo.
De esta manera, el problema de control puede considerarse como una generalización del problema
de programación matemática (es decir, programación clásica, lineal y no lineal) en un espacio de
dimensión infinita.
V. Optimización dinámica en tiempo discreto con horizonte infinito
El principio del máximo discreto puede ser un instrumento útil para problemas de horizonte finito.
Sin embargo, en problemas de horizonte infinito la extensión no suele ser tan directa, ya que no
siempre puede considerarse como solución válida el pase al límite de un problema similar con
horizonte finito. Por ello es que bajo horizonte infinito suelen utilizarse otros métodos,
fundamentalmente computacionales, que explotan la recursividad del problema.
Queremos resolver el siguiente problema de horizonte infinito:

∞  x = g ( xt , ut )
max∞
{ut }t =0
 β r ( x ,u )
t =0
t
t t sujeto a  t +1
 x ( t0 ) = x0
donde r es una función cóncava y el conjunto {( x t +1 , xt +1 ) : xt +1 ≤ g ( xt , ut ) , ut ∈  k } es un conjunto

convexo y compacto. Se quiere obtener una política invariante en el tiempo que vincule el valor de
la variable de estado x con el valor de la variable de control u , es decir, una función h tal que,
partiendo de un valor inicial x0 , resuelva el siguiente sistema:
 ut = h ( xt )

 xt +1 = g ( xt , ut )
Esta función h lo que indica es qué acción seguir ( ut ) dado un estado determinado ( xt ), para luego
ambas determinar el estado siguiente ( xt +1 ) y la acción a seguir en el período siguiente ( ut +1 ).
Conocida h , x0 determinará un valor u0 el cual, a través de g , permitirá obtener un valor x1 , que
servirá a su vez como insumo para obtener u1 y así sucesivamente. Al final del proceso, este
procedimiento arrojará dos sucesiones { xt } y {ut } y, por ende, la solución del problema.
La idea es tratar el problema recursivamente. Para ello, definimos la función de valor óptimo
∞
V ( x0 ) = max∞
{ut }t =0
 β r ( x ,u )
t =0
t
t t
que depende de la condición inicial x0 y arroja el valor maximizado de la función objetivo estando
tal maximización sujeta a la restricción xt +1 = g ( xt , ut ) . Obviamente no conocemos V porque no
hemos hallado h (con lo cual tampoco conocemos xt ni ut ), pero si la conociéramos sería posible
obtener h resolviendo el siguiente problema
V ( x0 ) = max
u0
{ r ( x , u ) +βV ( x )}
0 0 1 sujeto a x1 = g ( x0 , u0 )
Pero como el problema se encuentra planteado de manera recursiva, su resolución resulta

independiente del momento de tiempo en el cual nos encontremos. Por ello, sólo basta plantearlo
reflejando la vinculación existente entre el valor de la variable de estado en el momento actual x y
su valor al período siguiente x . Entonces es posible escribir el problema de la siguiente manera
V ( x ) = max { r ( x, u ) +β V ( x )} sujeto a x = g ( x, u )
u
o bien
{
V ( x ) = max r ( x, u ) +β V  g ( x, u )  ,
u
}
donde tenemos un problema para cada valor de x ∈ X . Esta última expresión recibe el nombre de la
∞
ecuación de Bellman. Como V ( x ) = Max∞
{ut }t =1
 β r ( x , u ) , esta ecuación divide el problema en dos
t =1
t −1
t t
partes: la optimización “hoy” que involucra al término r ( x, u ) y la optimización “mañana”

contemplada por la expresión V ( x ) la cual, como es “mañana”, está descontada por un factor β .
Nótese que el maximizador del lado derecho de esta ecuación de Bellman es una función ut = h ( xt )
que satisface
V ( x ) =r ( x, h ( x ) ) +βV  g ( x, h ( x ) )  ,
obteniéndose así una ecuación funcional que resuelve el par de incógnitas (V ( x ) , h ( x ) ) y, por
ende, también el problema de optimización dinámica planteado inicialmente.
La mayoría de estos problemas sólo pueden resolverse de manera computacional, sin embargo, para
que ello pueda ocurrir, el problema deberá estar “bien definido” 10:, es decir que deberá cumplir
condiciones tales que aseguren que
• La ecuación de Bellman tenga solución única estrictamente cóncava;
• Tal solución pueda aproximarse en el límite cuando j → ∞ mediante la iteración sobre

 x = g ( x, u )
V j +1 ( x ) = max {r ( x, u ) +βV j ( x )} sujeta a  (*)
u
 x0 dado
comenzando a partir de cualquier función inicial continua y acotada V0 .
• Exista una única política óptima invariante en el tiempo de la forma ut = h ( xt ) , estando h

elegida para que maximice el lado derecho de la ecuación de Bellman.
Un camino a seguir a partir de aquí podría ser ensayando una solución para V , procedimiento que
se apoya en la unicidad de la solución de la ecuación de Bellman (pero también de la suerte a la
hora de ensayar). Otro método, más usual, consiste en iterar en la ecuación (*) comenzando a partir
de V0 = 0 hasta que V j converja (en sentido de función).
A su vez, si el problema está bien definido, la función de valor V será diferenciable con
∂r ∂g
V ′( x) =
∂x
 x, h ( x )  + β
∂x 
(
 x, h ( x )  V ′ g ( x, h ( x ) ) )
10
Las condiciones que debe cumplirse para que el problema pueda resolverse recursivamente se definen sobre la
relación de recurrencia. Específicamente involucran el teorema de la aplicación contractiva, que asegura la existencia
de un único punto fijo en la relación de recurrencia, y las condiciones suficientes de Blackwell, que permiten verificar
de manera relativamente sencilla si una determinada relación de recurrencia es una aplicación contractiva o no. Para un
análisis más detallado de estas condiciones véase Stokey-Lucas (1989).
excepto en las esquinas de la región factible. Esta expresión recibe el nombre de condición de
Benveniste-Scheinkman y es una condición de envolvente que suele ser útil a la hora de caracterizar
la solución del problema.
Al respecto, supongamos que tenemos un problema en donde g es independiente de xt . Como la

ecuación de Bellman exige la optimización del lado derecho de su expresión, la diferenciabilidad de
la función V implica la anulación de su diferencial primero en el entorno del óptimo, entonces:
∂r ( xt , ut ) ∂V  g ( ut )  ∂g ( ut )
+β =0
∂ut ∂xt +1 ∂ut
mientras que la condición de Benveniste-Scheinkman para este asegura que si la solución no es de

esquina
∂V  g ( ut )  ∂r ( xt , ut ) ∂V  g ( ut )  ∂r ( xt +1 , ut +1 )
=  = .
∂xt ∂xt ∂xt +1 ∂xt +1
Por lo tanto, la igualación de estas últimas dos expresiones obtenemos
∂r ( xt , ut ) ∂g ( ut ) ∂r ( xt +1 , ut +1 )
+β =0 donde xt +1 = g ( ut )
∂ut ∂ut ∂xt +1
fórmula que recibe el nombre de ecuación de Euler y caracteriza la solución del problema. En
aquellos casos en los cuales pueda expresarse ut en función de xt +1 (es decir, que la inversa de g
sea también función), su reemplazo en la expresión permitirá obtener una ecuación en diferencias
de segundo orden.
Aplicación económica: Problema de optimización temporal de Ramsey
El modelo consiste en la resolución del siguiente problema de optimización intertemporal
∞
 c + k = f ( kt )
Max∞ v =  β u (c )
t
t sujeto a  t t +1
{ct , kt +1}t =0 t =0  k0 dado
donde ct y kt son niveles de consumo y capital, respectivamente, del agente maximizador que tiene
a u por función de utilidad de un período (o “inmediata”) con propiedades u ′ ( ct ) > 0 , u ′′ ( ct ) < 0 y
lim u′ ( ct ) = ∞ y que enfrenta una tecnología de producción definida mediante la función f con
ct → 0
propiedades f ′ ( kt ) > 0 y f ′′ ( kt ) < 0 .
Definimos como variable de estado a k y al control a k . La ecuación de Bellman del problema es
v ( k ) = max
k
{( )
u f ( k ) − k +β v k ( )}
La condición de primer orden para la maximización de v requiere que
( )
−u′ f ( k ) − k +β v′ k =0 ( )
mientras que la condición de Benveniste-Scheinkman asegura que
( ) ( ) (
( )
v′ ( k ) =u ′ f ( k ) − k f ′ ( k )  v′ k =u′ f k − k f ′ k . ) ( )
De la combinación de ambas obtenemos la ecuación de Euler del problema
( ) ( 
( )
−u′ f ( k ) − k +β u′ f k − k f ′ k =0 ) ( )
que vincula utilidades marginales en el consumo presentes y futuras con la productividad marginal
del capital de manera tal que el óptimo queda caracterizado de la siguiente manera:
u ′ ( ct ) =β u ′ ( ct +1 ) f ′ ( kt +1 )
Anexo: Deducción alternativa de las condiciones de transversalidad
Para determinar estas condiciones supondremos a fin de simplificar la exposición que:
- H ( x, u , λ , t ) es diferenciable en todo el intervalo de planeamiento;

- La superficie terminal puede expresarse como t1 = φ ( x1 ( t1 ) ) ;
- La solución u * ( t ) es interior, no habiendo restricciones adicionales sobre sus valores.
Sean u * ( t ) y x * ( t ) las trayectorias optimales de la variable de control y la variable de estado

respectivamente. Entonces escribiremos las funciones que se encuentran en sus respectivos entornos
de la siguiente manera
x (t ) = x * (t ) + ε q (t ) , u (t ) = u * (t ) + ε p (t ) y t1 = t1 * +ε
donde ε > 0 y las funciones p ( t ) y q ( t ) son “perturbaciones” respecto de las trayectorias óptimas
de las funciones respectivas con p ( t0 ) = q ( t0 ) = 0 . Esto implica que podamos escribir
x′ ( t ) = g ( x, u * ( t ) + ε p ( t ) ) y t1 = φ ( x ( t1 ) ) = φ ( x * ( t1 ) + ε p ( t1 ) ) = t1 ( ε ) .
Armamos la función lagrangiana de este problema de optimización restringida
t1 ( ε )
L=
t0  f ( x, u, t ) + λ ( t ) ( g ( x, u, t ) − x′ ( t ) )  dt =
t1 ( ε ) t1 ( ε )
=  f ( x, u, t ) + λ ( t ) ( g ( x, u, t ) )  dt +  x′ ( t ) dt =
t0   t0
≡ H ( x ,u , λ ,t )
t1 ( ε ) t1 ( ε )
= H ( x, u , λ , t ) dt −  λ ( t1 ) x ( t1 ) − λ ( t0 ) x ( t0 )  +  λ ′ ( t ) x ( t ) dt =
t0 t0
t1 ( ε )
=  H ( x, u , λ , t ) + λ ′ ( t ) x ( t )  dt − λ ( t1 ) x ( t1 ) − λ ( t0 ) x ( t0 ) 
t0
Calculamos d L d ε ε =0
teniendo en cuenta que x , u y t1 dependen de ε :
dL t1 *  ∂H *  dx * ∂H * du *  dt *
=   + λ′ * +  dt +  H ( x*, u*, λ *, t1 *) + λ ′ * ( t1 *) x * ( t1 *)  1 −
d ε ε =0 t0
 ∂x  dε ∂u d ε  dε
 dx * dt *   dx * dt * 
− λ * ( t1 *) 1 + x * ( t1 *) λ ′ * ( t1 *) 1  + λ ( t0 ) 1 + x * ( t0 ) λ ′ * ( t0 ) 1  =
 d ε t =t1 d ε   d ε t =t0 d ε 
  
=0
t1 *  ∂H *  ∂H *  dt * dx *
=   + λ′ * q (t ) + p ( t )  dt +  H ( x*, u*, λ *, t1 *)  1 − λ * ( t1 *) 1 =0
t0
 ∂x  ∂u  dε d ε t =t1
Cumpliéndose las condiciones de principio del máximo, la anulación de d L d ε ε =0

depende de la
anulación de la siguiente expresión:
dt1 * dx *
H ( x*, u*, λ*, t1 *) − λ * ( t1 *) 1
dε d ε t =t1*
Tenemos entonces tres casos posibles:
- Línea terminal vertical: Como t1 es fijo, entonces dt1 d ε = 0 , con lo cual se requiere
λ ( t1 ) = 0 ;
- Línea terminal horizontal: Como dx1 es fijo, entonces dx1 d ε = 0 , entonces se es necesario
H ( x, u , λ , t1 ) = 0 .
- Superficie terminal: Como dt1 y dx1 se relacionan mediante dx1 dt1 = ϕ ′ , entonces debe
dt1 dx
satisfacerse H ( x, u , λ , t1 ) = λ ( t1 ) 1 = λ ( t1 ) ϕ ′ ( t1 )  H ( x, u, λ , t1 ) − λ ( t1 ) ϕ ′ ( t1 ) = 0 .
dε dε t = t1
Cuando las líneas terminales son truncadas, las condiciones de Kuhn-Tucker exigen que
d L d ε ε =0 ≤ 0 , con lo cual tenemos los siguientes dos casos posibles:
- Línea terminal vertical truncada: Como t1 es fijo, entonces dt1 d ε = 0 . Si x1* > xmin se
aplican las mismas condiciones de transversalidad del caso “no truncado”. Sin embargo, si
x1* = xmin sólo se exige que λ ( t1 ) ≤ 0 . De esta manera, la condición para este caso se resume a:
x1* ≥ xmin ; λ * (t1 ) ≥ 0 ; (x1 * − x min )λ * (t1 ) = 0 .
- Línea terminal horizontal: Como dx1 es fijo, entonces dx1 d ε = 0 . Si t1 < TMax se aplican las
mismas condiciones de transversalidad del caso “no truncado”. Sin embargo, si t1 = TMax sólo se
exige que H ( x, u , λ , t1 ) ≤ 0 . De esta manera, la condición para este caso se resume a:
t1* ≤ TMax ; H ( x*, u*, λ *, t1 *) ≥ 0 ; ( t1 * −TMax ) H ( x*, u*, λ*, t1 *) = 0 .
Es conveniente resaltar que, en caso de presentarse restricciones sobre las trayectorias de u * ( t ) , las
condiciones de transversalidad no se ven alteradas. Sólo quedarán afectadas las condiciones de
principio del máximo, específicamente aquella que exige la maximización de H respecto de u ya
que, como es sabido a partir del estudio de las condiciones de Kuhn-Tucker, la anulación de ∂H ∂u
puede no darse cuando los valores óptimos de u son de frontera.
Bibliografía
• BENAVIE, A. (1973): Técnicas matemáticas del análisis económico. Editorial Prentice/Hall

Internacional.
• CHIANG, A. (1992): Elements of Dynamic Optimization. Mc. Graw-Hill.
• INTRILIGATOR, M (1973): Optimización matemática y teoría económica. Editorial
Prentice/Hall Internacional.
• LJUNGQVIST, L. - SARGENT, T.J. (2000): Recursive Macroeconomic Theory. 2nd Edition.
Massachusetts Institute of Technology.
• STOKEY, N.L. – LUCAS, R.E. (1989): Recursive Methods in Economic Dynamics. Harvard
University Press.
• SILBERBERG, E. (1990): The Structure of Economics. A Mathematical Analysis. Second
Edition. Mc. Graw-Hill International Editions.

Rodriguez - Optimizacion Dinamica (Continuo)

Cargado por

Copyright:

Formatos disponibles

Rodriguez - Optimizacion Dinamica (Continuo)

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Rodriguez - Optimizacion Dinamica (Continuo)

Cargado por

Copyright:

Formatos disponibles

OPTIMIZACIÓN DINÁMICA EN TIEMPO CONTINUO

La idea de optimizar dinámicamente consiste en encontrar una política óptima a seguir en un

Los elementos de un problema de optimización dinámica son los siguientes:

II. La programación dinámica y el problema del control

II.1. Definición del problema

La programación dinámica es un método que puede usarse directamente en un problema de control

II.2. El principio de optimalidad de Bellman

x(t) La curva x*(t) para t 0 ≤ t ≤ t1 es la trayectoria

II.3. Deducción de la ecuación de Bellman

El enfoque de Bellman de programación dinámica tiene dos características distintivas:

1- Inserta el problema de control dentro de una familia de problemas de control, con la

V * ( x, t ) = f ( x*, u*, t ) Δt + V * ( x + Δx, t + Δt ) (1)

Suponiendo que V * ( x, t ) es continuamente diferenciable en ambas variables, desarrollando el

Reemplazando (2) en (1), tenemos

 f ( x*, u*, t )Δt + V x * Δx + Vt * Δt = 0

Dividiendo miembro a miembro por Δt y haciéndolo tender a cero, queda

f ( x*, u*, t ) + V x * x' + Vt * = 0 (3)

A esta expresión se la llama ecuación de Bellman, donde Vt es la tasa de cambio de la funcional

f ( x*, u*, t ) + λ * ( t ) g ( x*, u*, t ) + Vt * = 0 (3’)

cuya condición de contorno asociada es

Aplicación económica: Explotación de un recurso renovable

Entonces, el propietario se enfrenta al siguiente problema de programación dinámica:

Resolución del modelo

cuya condición de contorno asociada es

Interpretación económica del resultado

En primer lugar analizaremos cada una de las componentes de la ecuación:

• La expresión Vt * ( x0 , t0 ) indica el cambio en el valor óptimo del recurso si cambia

• La fórmula  pu * ( t0 ) − c ( x * ( t0 ) , u * ( t0 ) , w )  es el valor óptimo instantáneo del recurso al

• un componente inmediato  pu * ( t0 ) − c ( x * ( t0 ) , u * ( t0 ) , w )  , es decir el beneficio inmediato

II.4. Deducción de las condiciones del principio del máximo

La ecuación de Bellman es una ecuación diferencial de primer orden en derivadas parciales. Si se

que en el caso en el cual u(t) no se encuentre restringida puede reemplazarse por Hu = 0

donde el segundo término es cero por aplicación de (PP1)4. Considerando que

entonces la ecuación (4) queda

con lo cual, para que la igualdad se cumpla debe darse:

que puede escribirse como

II.5. Condiciones de transversalidad

La regla básica para determinar las condiciones de transversalidad es que, en ausencia de

de los iniciales). De esta manera, dado que la funcional V * = V * ( xF , t F ) =  f ( x*, u*, t F ) dt es

con lo cual, siguiendo el mismo procedimiento realizado para la deducción de la ecuación de

con lo cual la variable de coestado al momento final debe ser igual a 0.

− Vt1 * = H ( x*, u*, λ*, t1 ) = 0

es decir que la función hamiltoniana evaluada en la solución optima debe anularse en el

x1* ≥ xmin λ * (t1 ) ≥ 0 ( x1 * − x min )λ * (t1 ) = 0

t1* ≤ TMax H ( x*, u*, λ *, t1 ) ≥ 0 ( t1 * −TMax ) H ( x*, u*, λ*, t1 ) = 0

mientras que de la ecuación de movimiento de la variable de estado se sigue que

pero sabiendo que x ( 0 ) = 0 resulta entonces x * ( t ) = (1 4 ) e−1 − (1 2 )  e− t − (1 4 ) et −1 + (1 2 ) .

Ejemplo 2: Sea el siguiente problema de optimización con línea terminal vertical:

lo cual requiere el cálculo de la trayectoria óptima de la variable de coestado λ . Entonces

con lo cual al considerar la condición de transversalidad se obtiene que

La función λ * ( t ) es monótona decreciente en t con un valor inicial λ * ( 0 ) = e 4 − 1 > 2 y valor

Para obtener la trayectoria óptima de la variable de estado apelamos a su ecuación de movimiento

La primera ecuación diferencial, que define la trayectoria de la variable de control en t ∈ [ 0, ln 3]

Para calcular el parámetro B de este tramo, apelamos al supuesto de continuidad de la trayectoria

Ejemplo 3: Sea el siguiente problema de optimización con línea terminal horizontal:

La función hamiltoniana del problema es entonces H = −t − u 2 − λ u , con lo cual tenemos:

Ejemplo 4: Sea el siguiente problema de optimización con superficie terminal:

La función hamiltoniana del problema es entonces H = − (1 + u 2 ) − λ u , con lo cual tenemos:

V * ( x, t ) = f ( x, u, t ) Δt + V * ( x + Δx, t + Δt ) (1)

 f ( x, u, t )Δt + V x * Δx + Vt * Δt = 0

f ( x, u, t ) + V x * x' + Vt * = 0 (3)

f ( x, u, t ) + λ * ( t ) g ( x, u, t ) + Vt * = 0 (3’)

de los iniciales). De esta manera, dado que la funcional V * = V * ( xF , t F ) =  f ( x, u, t F ) dt es

− Vt1 * = H ( x, u, λ*, t1 ) = 0

t1* ≤ TMax H ( x, u, λ , t1 ) ≥ 0 ( t1 −TMax ) H ( x, u, λ*, t1 ) = 0

Consideremos los valores de E * , a saber E 1 < E 2 < E *3

lim H ( x, u, λ*, t1 ) = 0 .