Modelos de Evaluacion Esteban Nina

449
Pap. Polt. Bogot (Colombia), Vol. 13, No. 2, 449-471, julio-diciembre 2008
Mo d e l o s d e e v a l u a c i n d e p o l t i c a s
y p r o g r a ma s s o c i a l e s e n Co l o mb i a *
E v a l u a t i o n Mo d e l Ap p l i e d i n t h e E v a l u a t i o n
o f S o c i a l P o l i c i e s a n d P r o g r a ms i n Co l o mb i a
Esteban Nina Baltazar

Recibido: 25/08/08
Aprobado evaluador interno: 28/09/08
Aprobado evaluador externo: 27/09/08
Artculo de refexin que presenta una aproximacin para determinar cules son los modelos de
evaluacin aplicados en los programas sociales ms relevantes en Colombia. El autor agradece los
valiosos comentarios de Alfredo Sarmiento, Martha Pia, Mnica Andrea Pea y los comentarios de
los dos rbitros annimos de la Revista Papel Poltico.
Filsofo boliviano; magster en Economa, Pontifcia Universidad Javeriana, Mgister en Desarrollo

Regional, Universidad de los Andes. Actualmente es profesor investigador y director del Grupo
de Investigacin Gobierno, Polcitas Pblicas y Pobreza de la Facultad de Ciencias Polticas
y Relaciones Internacionales de la Pontifcia Universidad JaverianaCorreo electrnico: enina@
javeriana.edu.co
Resumen
Este documento presenta una aproximacin para
determinar cules son los modelos de evaluacin
aplicados en los programas sociales ms relevan-
tes en Colombia, para lo cual se presentar una
aproximacin a una comparacin conceptual y
metodolgica de tres modelos predominantes:
el modelo de evaluacin de consecucin de ob-
jetivos, el modelo de evaluacin de impacto y el
modelo cualitativo participativo.
Palabras clave autor
Evaluacin, polticas pblicas, programas socia-
les, Colombia.
Palabras clave o descriptores
Programas sociales - Colombia, Polticas pblicas
- Colombia.
Abstract
This document is an effort to identify the models
of evaluation applied in the most prominent so-
cial programs in Colombia. For this purpose, an
approximation to a methodological and concep-
tual comparison of three predominant models is
presented: the model of evaluation of attainment
of objectives, the impact evaluation model, and
the participatory qualitative model.
Key words author
Evaluation, public policy, social programes,
Colombia.
Key words plus
Social programas - Colombia, Public policy -
Colombia.
450
Introduccin
El tema de la evaluacin de polticas y programas sociales se ha ido convirtiendo en la
ltima dcada en un problema central de la accin o intervenciones gubernamentales.
Esto principalmente por tres razones: la primera es que el desarrollo y progreso social
que se viven en el nuevo milenio no aminoran la persistencia y severidad de problemas
sociales: pobreza, exclusin y desigualdad. La segunda, a pesar de las innovaciones ins-
titucionales y programticas, las soluciones que se han puesto en marcha no arrojan los
resultados esperados. La complejidad de nuestras sociedades, que presentan una muy
desigual distribucin de las oportunidades, y de los problemas que ello genera, exige
miradas ms rigurosas sobre las polticas y programas que se estn implementando.
La tercera, se relaciona con la permanente escasez de recursos, cuestin que puede ser
mejor enfrentada si la evaluacin permite asegurar el uso efciente de los mismos.
La funcin de evaluacin de las polticas pblicas, incluidos los programas sociales,
se ha ido asentando lentamente en el sector pblico, el privado y en el amplio mundo de
los organismos no gubernamentales del pas. El tema est instalado como necesidad en
el sector pblico y como tpico de formacin y entrenamiento en el mbito acadmico
y de las organizaciones no gubernamentales. La instalacin del tema tampoco ha signi-
fcado borrar el estigma o fantasma de la evaluacin entendida como control y sancin,
aunque, sin duda, para que los resultados de las evaluaciones tengan efecto, debe existir
un sistema de premios y castigos (Wiesner, 1999). El ms efectivo, en nuestros pases,
est asociado con las asignaciones presupuestarias.
El fn principal de la evaluacin es el aprendizaje social de las formas que tiene el
Estado en torno a los desafos sociales que impone el desarrollo: enseanzas que aporta
la experiencia para hacerlo mejor, lograr polticas y programas ms efectivos, ms ef-
caces, ms efcientes, ms costo-efectivos, ms sustentables en el tiempo. La evaluacin
alimenta la rendicin de cuentas, vela por el buen funcionamiento de las instituciones
pblicas y sus polticas y programas, y ayuda a controlar los abusos.
La diversidad de perspectivas y prioridades en la evaluacin deja en evidencia que
la evaluacin no es solo un ejercicio tcnico. Tras esta hay siempre un marco de refe-
rencia, un punto de vista, un propsito, que son previos a las decisiones tcnicas y a la
rigurosidad metodolgica. Estas decisiones intervienen despus, una vez defnidos el
propsito de la evaluacin y el parmetro o estndar segn el cual evaluar. Es tambin
en ese momento que se defne el tipo de evaluacin que se propone: evaluacin ex-ante
o ex-post, de procesos, de resultados, de impacto, con diseo experimental, cuasi experi-
mental o no experimental, de costo-efectividad u otras. Ms adelante en este documento
se revisarn las principales metodologas de evaluacin.
El presente texto tiene el objetivo de presentar una aproximacin para determinar
cules son los modelos de evaluacin aplicados en los programas sociales ms relevantes
451
Me t o d o l o g a s a p l i c a d a s e n l a e v a l u a c i n d e p o l t i c a s y p r o g r a ma s s o c i a l e s e n Co l o mb i a
en Colombia, para lo cual en la primera parte se presentarn los tres principales modelos
predominantes y, en la segunda, la aplicacin de estos modelos en la evaluacin de los
principales modelos de evaluacin de programas en el pas.
A continuacin se exponen los fundamentos conceptuales, metodolgicos y prc-
ticos de los principales modelos de evaluacin de polticas y programas sociales. Para
ello, se han tomado en cuenta principalmente los siguientes autores: Banco Mundial
(1994), Raczynski-Serrano (2002), Baker (2000), Verdun (1997), Bamberger y Hewitt
(1986), Cohen y Franco (1992), Valadez y Bamberger (1994), Nina (2007) y Sarmiento
et al. (2005).
1. Modelos de evaluacin de polticas y programas sociales
En la actualidad, la prctica de la evaluacin de polticas y programas sociales en
Colombia ha venido adquiriendo un carcter de creciente rigurosidad, lo que ha obli-
gado a que sea cada vez ms necesario tener claras las bases terico conceptuales de las
distintas aproximaciones a la evaluacin, as como tener herramientas para distinguir
cul modelo es el ms apropiado en un determinado contexto. Este documento pre-
tende hacer una aproximacin a una comparacin conceptual y metodolgica de tres
modelos: el de evaluacin de consecucin de objetivos, el de evaluacin de impacto y
el cualitativo participativo.
Existe un consenso general cuando se afrma que el objetivo de una evaluacin es el de
generar un juicio de valor acerca del signifcado, importancia, trascendencia y calidad
de un fenmeno o una intervencin gubernamental. Para esto se emplean diferentes
metodologas que permiten la obtencin de informacin objetiva, vlida, confable y
relevante, misma que debe ser analizada e interpretada de acuerdo con el objetivo de
la evaluacin que se haya planteado inicialmente. Es por esto que, antes de comenzar
a desarrollar una evaluacin de impacto, es importante que se defna muy bien la meta
que se quiere alcanzar con este proceso, por qu se est realizando la evaluacin, y luego
cmo se realiza dicha evaluacin de impacto.
La evaluacin, en palabras de un experto en evaluacin, Evert Vedung, es un proceso
mediante el cual se realiza una cuidadosa valoracin retrospectiva de los meritos,
importancia y valor de la aplicacin, productividad y resultados de las intervencio-
nes gubernamentales, que se pretende desempee un papel en futuras situaciones y
acciones prcticas (Vedung, 1997). Visto de esta manera, posee dos componentes
determinados por su carcter retrospectivo , donde precisamente se mira hacia el
pasado, sobre unas bases tericas y acadmicas y se realiza un ejercicio de compara-
cin contra un objetivo de poltica determinado, con el fn de lograr una formulacin
de polticas hacia el futuro carcter prospectivo. Por tanto, debe cumplir con unos
parmetros especfcos que la hacen completa dentro del proceso poltico, y de gestin
de polticas pblicas; estos son:
452
Debe estar destinada a todo tipo de intervenciones pblicas.
Debe ocuparse del extremo fnal del ciclo poltico; es decir, de los resultados y con-
secuencias determinadas por la accin gubernamentales.
Debe tambin poderse realizar antes, durante y despus del ciclo del programa; esto
es, tiene un carcter prospectivo y retrospectivo.
No debe limitarse solamente a la medicin cuantitativa del impacto sino tambin
cualitativa.
Los objetivos del programa no son los nicos patrones que permiten la actividad de
comparacin y medicin.
Debe responder a unos criterios mnimos de calidad en la recopilacin de datos y
aplicacin de criterios de mrito y normas de rendimiento.
Sus fnes siempre deben estar encaminados a que las conclusiones obtenidas tengan
aplicabilidad hacia el futuro.
Por lo anterior, la evaluacin de polticas y programas sociales, para cumplir su
labor, debe tener claros los objetivos de su ejercicio; esto, teniendo en cuenta que no
existe un modelo de evaluacin que logre cumplir a cabalidad todos y cada uno de estos
requisitos. En el presente documento s se puede realizar, sobre estos parmetros, una
comparacin de los tres modelos de evaluacin, la cual nos permita hacer un anlisis
acerca de cules seran las ventajas y defciencias en la aplicacin de estos modelos dentro
de la administracin y gestin pblicas en el mbito gubernamental. Dicho anlisis se
llevar a cabo teniendo en cuenta los denominados modelos de efectividad (Vedung,
1997), determinados por los siguientes modelos: el de evaluacin de consecucin de
objetivos, el de evaluacin para la medicin del impacto, y el cualitativo participativo.
Las razones de la escogencia de estos modelos objeto de comparacin estn deter-
minadas por las siguientes circunstancias:
Estos modelos estn centrados en la consecucin de una lnea de base que d pie al
proceso de comparacin entre lo deseado inicialmente y los resultados fcticos del
programa.
El ejercicio as propuesto permite la diferenciacin entre los objetivos deseados,
resultados y el impacto alcanzado. Esto se puede resumir en tres preguntas:
Estn los resultados de acuerdo con los objetivos formulados?
Son los resultados consecuencia del programa?
Los benefciarios estn satisfechos con los resultados de los programas?
Estos modelos poseen un carcter analtico retrospectivo que da pie a recomenda-
ciones sobre la efectividad de las polticas.
453
Estos modelos fueron aplicados en los programas sociales ms relevantes de la
poltica social en Colombia.
Comparacin conceptual: modelos de evaluacin de consecucin de
objetivos y evaluacin de impacto
Un primer paso a la hora de comparar estos modelos es examinar cul es la pre-
gunta inicial que cada modelo se hace. Por un lado, la evaluacin de consecucin
de objetivos intenta resolver si los resultados de un programa corresponden o no a
los objetivos que este se propuso. Esta pregunta va a determinar el nfasis de este
modelo y su objeto de estudio, ya que al querer revelar la concordancia entre lo que un
programa propuso y los resultados que introdujo, este modelo apunta a dar cuenta
de alguna discrepancia entre los objetivos enunciados y los resultados alcanzados
(Nina, 2007). En este sentido, para los partidarios de este modelo la tarea ms
importante de la evaluacin es la de determinar si los objetivos premeditados del
programa se han alcanzado de hecho (Vedung, 1997).
Por otro lado, la pregunta que se hace la evaluacin de impacto tiene un inters
distinto, pues busca establecer si los resultados son atribuibles o no a un programa
determinado. Aqu, la evaluacin quiere dar cuenta de la causalidad que existe entre la
realidad y la intervencin pblica que la debi haber alterado. Segn Vedung, la com-
plicacin fundamental a la que una evaluacin debe enfrentarse es la de poder separar
los efectos programticos de los no programticos: Los resultados pueden depender de
acontecimientos no relacionados con el programa () hablando en trminos generales,
el problema de impacto es extraordinariamente difcil de resolver. En poltica pblica,
puede ser irresoluble (Vedung, 1997).
La naturaleza de las preguntas que cimientan el enfoque de ambos modelos deja
entrever los distintos procedimientos adoptados por cada uno de estos en la investi-
gacin. Debido a que la evaluacin de consecucin de objetivos busca descubrir si los
resultados de un programa se adecan o no a los objetivos, el punto lgico de partida
de las actividades de este modelo es el de clarifcar los objetivos del programa. Para
esto, se pueden consultar documentos administrativos y ofciales del programa o pol-
tica, que hagan explcitos los objetivos del programa a evaluar. Una vez hecho esto, se
pasa a medir hasta qu punto estos objetivos se han alcanzado y se ven refejados en los
resultados. Aqu, se utilizan evidencias concretas, como indicadores especfcos o fuentes
directas que permitan establecer un diagnstico de la nueva situacin (Nina, 2007).
No obstante su sencillez y carcter descriptivo, la evaluacin de consecucin por
objetivos tiene la gran limitacin de que no da cuenta de si los resultados estn o no
relacionados con el programa. As, este modelo de evaluacin no es del todo aconsejado en
casos en que lo importante sea establecer causas entre la intervencin y los resultados.
454
De todas maneras, el juzgar los resultados de un programa a partir de los objetivos del
mismo permite que la evaluacin se mantenga dentro de una postura objetiva y que
el evaluador no pueda adoptar posiciones personales sobre los mritos y demritos
del programa.
Por otro lado, como la razn de ser de la evaluacin de impacto es precisamente
examinar a qu se deben los resultados logrados, esta se enfoca en evaluar el impacto
a travs de diferentes formas. La difcultad en este tipo de evaluacin se encuentra en
la necesidad de escoger una variable que permita realmente evaluar el impacto del
programa. Una manera para abordar este tipo de investigacin es mediante la creacin
de escenarios contrafactuales, es decir, de escenarios proyectados hacia el futuro que
evidencien lo que hubiera pasado si el programa no hubiera existido. Este escenario con-
trafactual se logra comparando a un grupo benefciario (grupo de tratamiento) con un
grupo equivalente de no-benefciarios (grupo de control) (Nina, 2007; Vedung, 1997).
Otra ventaja de la evaluacin de impacto es que posibilita observar los efectos cola-
terales, o los efectos no esperados de la intervencin. En muchos casos, los programas
tienen consecuencias indeseadas que se salen de lo premeditado, consecuencias que a
veces son de igual o mayor importancia que los resultados originalmente esperados.
En este sentido, mientras que la evaluacin de consecucin de objetivos es ciega a es-
tas eventualidades, la evaluacin de impacto posee herramientas para dilucidar estos
efectos no previstos.
El problema con la evaluacin de impacto es que, por lo complejo, requiere suf-
cientes recursos y herramientas para una realizacin efectiva. Los altos costos, aunados
a razones de carcter poltico relacionadas con la falta de disposicin por parte de los
ejecutores para que se estudie la incidencia del programa, en muchos casos llevan a
que no se escoja este modelo de evaluacin. Asimismo, este modelo implica un diseo
metodolgico de mucha rigurosidad, sobre todo en la seleccin y seguimiento de los
grupos de tratamiento y de control (Nina, 2007). Aqu encontramos dos obstculos
para una evaluacin consistente. El primero, es el riesgo de que la seleccin del grupo
est sesgada por falta de informacin o por cualquier otra razn. El segundo, tiene que
ver con el denominado efecto Hawthorne o conejillo de indias. Este se refere a que en
algunas ocasiones el grupo de tratamiento vara su comportamiento al enterarse de que
est siendo observado, lo cual termina afectando los resultados fnales del programa
(Vedung, 1997).
La evaluacin de impacto es un proceso por el cual siempre se debe tener en cuenta
el anlisis causal, mucho ms si est realizada con el fn de brindar bases hacia el futuro
en cuanto a la adopcin de decisiones. Sin embargo, es importante tener en cuenta que
todo programa tiene dos tipos de efectos (Vedung, 1997):
455
Directos: son resultado de la accin del programa y estn determinados por los
objetivos formulados.
Colaterales: pueden ser el resultado de la intervencin o de acciones concomitantes
y simultneas que, en ltimas, afectan de manera directa el logro total.
A estos dos tipos de efectos es lo que denominaramos, de manera total, como resul-
tado general. Por tanto, para lograr tal medicin se realiza un ejercicio de comparacin
entre lo real en un grupo benefciario y una alternativa de referencia en un grupo control,
que obedece a un patrn que sera el resultado de no haber aplicado la intervencin.
La diferencia entre los dos resultados es el impacto neto. Esto lo podemos observar en
el siguiente diagrama:
Grupo experimental (GE T0) Intervencin Grupo experimental T1 (GET1)
Comparacin intertemporal
Grupo control T0 (GC T0) Estado inercial Grupo control T1 (GC T1)
Donde el impacto neto se pude calcular de acuerdo con la siguiente frmula:
Impacto Neto = Dif GE (T1-T0) Dif GC (T1 T0)
Por consiguiente, en la medicin del impacto neto, el objetivo est en determinar si
el programa ha logrado los efectos deseados a nivel individual, familiar e institucional
y, sobre todo, si estos son atribuibles a su intervencin.
Los requisitos para la medicin del impacto son los siguientes:
Defnicin de una serie temporal de datos sobre un resultado real.
Conocimiento del estadio previo a la intervencin y su modifcacin posterior, a
travs de una visin histrica.
Defnicin del grupo control con el cual se va a establecer el patrn de comparacin.
El establecimiento del grupo control, precisamente, permite dividir al modelo de
medicin de impacto en las siguientes categoras: a) Experimental o controles aleatorios:
obedece a un proceso de comparacin, con la confeccin de un modelo experimental
clsico donde se utiliza el azar como mtodo de aleatorizacin y control de variables. Es
un modelo de comparacin contrafactual. Las ventajas de este modelo son:
456
Elimina los problemas de seleccin.
No requiere ajustes estadsticos.
Facilita la interpretacin del resultado fnal.
Sin embargo, tiene las siguientes desventajas:
Est afectado por el efecto Hawthorne, que obedece al cambio en el patrn de com-
portamiento en el personal del grupo experimental.
Es muy oneroso en cuanto a la planeacin y costos con respecto al resultado obtenido,
lo cual le resta apoyo poltico.
Presenta serias difcultades en el mantenimiento y la integridad de los grupos.
Tiene implicaciones ticas sobre los experimentos sociales que no se pueden des-
conocer.
b) Cuasi-experimental o de controles equiparados: no se crean grupos de manera
aleatoria, sino que se selecciona un grupo control lejano a la intervencin y que dentro de
sus caractersticas se encuentren similitudes y coincidencias con el grupo experimental.
Es un modelo de comparacin contrafactual. Las ventajas de la realizacin de un estudio
sobre este modelo de evaluacin son las siguientes:
Utiliza fuentes de datos existentes.
Consume menos tiempo y es menos costoso que los diseos experimentales.
No obstante, tiene las siguientes desventajas:
Mantiene el problema de seleccin, ya que la comparacin se realiza sobre la base
de un emparejamiento de caractersticas observables.
Requiere una metodologa completa, en cuanto al conocimiento de procesos espe-
cializados de seleccin y equiparacin.
c) No experimentales: mtodos de pareo en donde los controles se construyen a
partir de un ejercicio de observacin de dos grupos, de los cuales uno acta una variable
que determina un resultado pero que no esta en control del evaluador. Las ventajas de
este procedimiento son:
Realmente econmico de y fcil ejecucin.
No tiene inestabilidad aleatoria.
Aporta datos sobre evoluciones histricas en una cohorte determinada.
457
Pero tienen las siguientes defciencias:
Posee serias amenazas a la validez interna, toda vez que el resultado no siempre es
atribuible a la intervencin.
Los cambios observados pueden ser atribuidos a modifcaciones en el registro de los
datos, factor que no tiene relacin con el programa.
La equiparacin de los grupos puede ser imperfecta, con aparicin de variables que
se hacen manifestas en controles posteriores de la evaluacin.
La tendencia predominante en Amrica Latina es la evaluacin de impacto, como
se puede observar en el enfoque que promueve el Banco Mundial, enfoque represen-
tado por el documento de Baker (2000). Este documento comienza por defnir a la de
impacto como una evaluacin que conviene hacer posterior (ex post) a la fnalizacin
del programa, y que se caracteriza principalmente por estimar el escenario contrafac-
tual en el mismo sentido de la propuesta de Vedung; es decir, parte de un escenario
hipottico que trata de medir el nivel de bienestar tanto en presencia como en ausencia
del programa o poltica social cuestionando qu hubiera sucedido si este no se hubiese
realizado. Determinar el escenario contrafactual requiere la comparacin entre el grupo
de benefciarios o personas que reciben la intervencin (grupo de tratamiento) y el
grupo de aquellos que no participan de un programa ni reciben sus benefcios (grupo
de control o de comparacin).
En esta comparacin se supone que el grupo de control es semejante al de trata-
miento, en varios aspectos, exceptuando que no participa del programa. Para selec-
cionar a los grupos se utilizan diversas metodologas que inciden en la defnicin de
la evaluacin de impacto, como son: diseos experimentales (aleatorios) y diseos
cuasi experimentales (no aleatorios). Aqu, es importante destacar que la evaluacin
de impacto es tanto cuantitativa como cualitativa y hace uso del mtodo participativo
como uno de los instrumentos cualitativos que permiten complementar la medicin del
impacto de un programa.
Segn Baker (2000), el modelo de evaluacin se subdivide a su vez en varios
submodelos, para una mejor medicin del impacto. En cuanto al mtodo experimen-
tal, se destaca que el grupo de control se selecciona mediante una asignacin aleatoria
que permite evitar el sesgo de seleccin
1
, logrando que el efecto del programa sobre el
1
El sesgo de seleccin implica que existen elementos no observables (capacidad individual,
disposicin al trabajo, vnculos familiares, condiciones preexistentes, entre otras) que afectan la
muestra y sesgar los resultados. Tomado de Baker (2000, p. 12).
458
resultado que se evala se pueda medir a travs de la diferencia entre las medidas de
las muestras del grupo de tratamiento y el de control.
El mtodo cuasi experimental, por su parte, se realiza a partir de la seleccin de un
grupo de comparacin, de forma no aleatoria, utilizando mtodos como (Baker, 2000,
p. 15): a) la puntuacin de la propensin, que implica buscar variables caractersticas
las cuales den una mayor probabilidad para que el grupo de comparacin sea similar y
se parezca al grupo de tratamiento; b) de diferencia o diferencia de las diferencias, que
compara un grupo de tratamiento con uno de comparacin, antes (primera diferencia) y
despus de un programa (segunda diferencia); c) variables instrumentales o control
estadstico, que usa una o varias variables que infuyen en la participacin, pero no
en los resultados de la participacin. Esto permite identifcar las variables exgenas en
los resultados que se atribuyen al programa de manera intencional y no aleatoria; d)
comparaciones refexivas, en el que se realiza una encuesta bsica o de referencia de
los participantes antes de la intervencin (que permite establecer el grupo de compara-
cin), y luego una encuesta de seguimiento que permite medir el efecto de acuerdo con
el cambio en los indicadores de resultados antes y despus de la intervencin.
Como resumen de esta primera parte, dentro de un mbito de comparacin con-
ceptual entre modelos, y de acuerdo con los objetivos propuestos en este documento
acerca de la evaluacin, se puede decir lo siguiente:
La medicin del impacto es una medida mucho ms amplia al tener en cuenta no
solo la consecucin de los objetivos propuestos, sino tambin al realizar una valoracin
de todos los efectos colaterales y del entorno a la aplicacin de la intervencin, y a otros
elementos asociados, por lo que como elemento evaluativo cumple con la mayora de
los fnes de la evaluacin. Sin embargo, en comparacin con el mtodo de evaluacin
por objetivos, la evaluacin de impacto es costosa, dispendiosa y onerosa. Adems, si
se intenta la realizacin de un modelo experimental, esta no siempre es aplicable en
los programas sociales y modelos de investigacin social. Adicionalmente, es un proce-
dimiento que solo se puede aplicar cuando el proceso ha fnalizado. En ese sentido, la
evaluacin por objetivos s permite una actividad de monitoreo durante el transcurso
del proyecto, en cuanto a cumplimiento de metas intermedias.
Ambos modelos tienen carcter retrospectivo, ya que realizan una valoracin hist-
rica del proyecto en comparacin con una lnea de base y una situacin que se pretende
mejorar. Igualmente, permiten realizar unas recomendaciones de ajuste del programa
o de poltica hacia el futuro, lo cual les permite ser elementos tiles dentro de la accin
gubernamental. No obstante, como tienen elementos que en un momento dado pueden
evidenciar fallos o desaciertos del programa, en la medida de lo posible son mtodos que
deberan ser utilizados por organismos independientes de las instituciones gubernamen-
459
tales, de tal manera que se disminuya la posibilidad de falseo o manipulacin a la hora
de evaluar los resultados y consecuencias de las polticas y programas sociales.
Un punto a resaltar es que tanto el modelo de consecucin de objetivos como el de
evaluacin de impacto no toman en cuenta como elemento principal la percepcin de sa-
tisfaccin los benefciarios en la valoracin de los resultados del programa o poltica.
El modelo cualitativo participativo
En general, la evaluacin cualitativa participativa de impacto es un mtodo basado en
los procesos, instancias e impacto en los benefciarios y otros actores de un proyecto
(Zapata, 1999); es decir, ms que evaluar la bondad de un proyecto con base en el
seguimiento de objetivos, recursos ejecutados, fondos de fnanciacin o entidad eje-
cutora, le interesa conocer lo que qued del proyecto, a partir de la perspectiva de las
personas que se encuentran involucradas en una situacin problema a resolver. Evaluar
de acuerdo con estos criterios bsicos, implica asumir una perspectiva terica en la cual
la poblacin benefciaria ya no es un objeto de intervencin o ente pasivo, sino que se
constituye como actor o grupo de inters que interacta con determinados equipos o
instituciones que intervienen en los problemas que les afecta.
La evaluacin cualitativa participativa parte de la identifcacin de los objetivos del
proyecto, para luego estimar el cumplimiento de las metas a partir de la interaccin
directa con la comunidad benefciaria, de tal manera que se pueda indagar sobre el
impacto de un proyecto; esto incluye, por supuesto, la identifcacin de resultados no
esperados que puedan afectar a la comunidad o a otros. En trminos generales, en este
modelo, el impacto se mide a travs de la satisfaccin de los benefciarios y de la coin-
cidencia y pertinencia social entre las carencias o necesidades bsicas identifcadas por
el proyecto y las comunidades benefciarias.
La evaluacin cualitativa participativa conviene realizarla en el transcurso de la
puesta en marcha del programa o en el intermedio del mismo, pues el propsito es que
los evaluadores puedan recolectar las expectativas, preocupaciones e intereses de los
participantes para que estas repercutan en la evaluacin; en este sentido, son los parti-
cipantes los que deben proporcionar los problemas a investigar y desde ah el evaluador
comienza a construir el anlisis reconociendo la informacin pertinente e integrando
a los afectados e implicados a la evaluacin. A diferencia del modelo de impacto, el de
participante no seala de manera especfca qu problemas plantear y cules preguntas
formular, porque estas se desarrollan a medida que se realiza la investigacin.
As, las partes interesadas intervienen en todas las etapas de evaluacin, determi-
nando los objetivos, identifcando los indicadores y participando en la recopilacin
y resultados de los datos. No obstante, la evaluacin participativa no se aparta de la
evaluacin de impacto, toda vez que se utiliza como una metodologa cualitativa que
460
permite complementar el anlisis cuantitativo; de esta forma, la evaluacin participativa
puede dar pistas sobre las preguntas clave de la evaluacin de impacto, permite cono-
cer la estratifcacin de la muestra cuantitativa y analizar el marco social, econmico,
cultural y poltico en el que se desarrolla el programa.
En la evaluacin participativa se supone que los evaluadores deben ser sensibles a
las preocupaciones de los participantes y tener un contacto con los afectados e involu-
crados en el programa; para ello, se utiliza una serie de metodologas que permiten ese
contacto entre el evaluador y los participantes, que van desde la observacin directa
hasta la interaccin con los participantes por medio de entrevistas.
Entre los mtodos ms destacados se encuentran (Moser, 2004): a) la evaluacin
del benefciario, que se disea a partir de una gua de entrevista la cual permite la reco-
pilacin de la informacin a travs del dilogo entre benefciarios y evaluadores, y luego
los evaluadores analizan la informacin recopilada; b) evaluacin rural rpida (ERR)
y valoracin rural participativa (VRP), que pone un mayor nfasis en la participacin
de la comunidad y cuyo objetivo es lograr que la informacin pueda ser apropiada
por los evaluadores para que estos se acerquen a las realidades de los participantes,
de manera rpida y con efciencia de costos, y mediante el uso de tcnicas verbales y
visuales; c) El aprendizaje y la accin de participacin, que usa varias metodologas
las cuales permiten la plena participacin de los implicados en el aprendizaje de sus ne-
cesidades, oportunidades y las acciones a emprender; d) la Sarar, una metodologa que
utiliza la autoestima, la fortaleza asociativa, la recursividad, la planeacin de acciones y
la responsabilidad, con el objetivo de construir capacidad local para planifcar el desa-
rrollo de la comunidad y crear conciencia sobre temas que la afectan; esta metodologa
utiliza variados instrumentos participativos preparados por los evaluadores, como lo
es la ayuda visual.
Algunas caractersticas del mtodo cualitativo participativo son:
Legitima la percepcin de los actores principales de los problemas sociales que
deben ser abordados por los proyectos, dado que permite que afore la vivencia y el
conocimiento de estos actores.
Permite profundizar en el conocimiento sobre los problemas sociales, porque el rol
del evaluador cambia, en el sentido que este comparte las vivencias y el conocimiento
de los actores sociales. Se requiere que el evaluador tenga un contacto directo con
la poblacin benefciaria.
La evaluacin cualitativa de impacto permite que los datos emerjan y, en este sentido,
que los resultados de la evaluacin sean crebles.
La recoleccin de la informacin para hacer efectiva la evaluacin exige procesos
participativos e inductivos, lo que garantiza un mayor acercamiento a la realidad.
461
En este tipo de evaluacin el entrevistador puede generar una mayor confanza y,
por tanto, las respuestas de la comunidad estarn ms ajustadas a la realidad.
Es posible que a travs de este tipo de evaluacin se pueda obtener informacin en
distintos niveles y que surjan aspectos relacionados con el gnero, las relaciones y
diferencias entre los grupos, etc.
La evaluacin participativa, caracterstica de este mtodo, puede generar mayor
capacidad de apropiacin y gestin de los programas por parte de la comunidad.
Desde el punto de vista tico, este mtodo es mucho ms consistente, en el sen-
tido de que permite el acceso o participacin de los grupos beneficiados a los
resultados de los programas ejecutados.
Es probable que la evaluacin no se limite a comprobar la consecucin de los ob-
jetivos del programa, sino que, de una manera amplia, sea posible identifcar otras
variables relacionadas con el programa.
Es muy frecuente el uso de la evaluacin cualitativa de impacto para complementar,
perfeccionar, modifcar o interpretar conclusiones derivadas del anlisis de otras
metodologas.
2. Evaluacin de polticas y programas sociales en Colombia
Como se mencion arriba, en la primera parte se present un anlisis terico conceptual
que pretende resaltar y comparar los puntos de partida de cada modelo, los mtodos que
se utilizan en la recoleccin de la informacin, las ventajas y desventajas de cada uno. En
esta segunda parte se presentan tres ejemplos ilustrativos de la aplicacin los mtodos
arriba descritos, en la evaluacin de algunos programas sociales en Colombia. As, se usa
el modelo de evaluacin de consecucin de objetivos en el caso del programa Bogot
sin hambre, de la Alcalda Mayor de Bogota (2004-2006); para ejemplifcar el modelo
de evaluacin de impacto cuantitativo, se presenta el programa Familias en Accin, de
Accin Social del Gobierno Nacional (2002-2004); y para mostrar el modelo cualitativo
participativo, se tiene en cuenta el programa de vivienda de inters social de la Red de
Solidaridad Social (2000).
2.1. Evaluacin de consecucin de objetivos del programa Bogota sin
hambre (2004-2006)
En este apartado se presenta el programa Bogot Sin Hambre (BSH), de la actual ad-
ministracin distrital, y la evaluacin que de este se desarroll por parte de Jairo Nez
y Laura Cuesta, quienes para el momento de su realizacin hacan parte del Centro de
Estudios de Desarrollo Econmico (CEDE) de la Universidad de los Andes. La evalua-
cin a la que se hace referencia fue contratada por la Personera de Bogot y abarca el
periodo de 2004 a 2006; fue realizada durante la ejecucin del citado programa de la
Alcalda de Bogot (Nina, 2007).
462
a. Objetivo del programa
El programa BSH es una iniciativa consignada en el Plan de Desarrollo 2004-2008
Bogot Sin Indiferencia, de la alcalda de Luis Eduardo Garzn, que busca articular
las estrategias de seguridad alimentaria y nutricional, y de abastecimiento de alimen-
tos para Bogot. Se enfoca en la atencin a la poblacin ms pobre y vulnerable de
la ciudad, con el fn de que esta pueda acceder a la cantidad de alimentos necesaria para
asegurar una ingesta nutricional adecuada. Se dise como un programa que sera eje-
cutado por distintas entidades del distrito, pero que sera coordinado por una ofcina
creada especialmente para este fn. Entre las entidades que participan en la ejecucin
de BHS se encuentran El Instituto Distrital para la Niez y la Juventud (Idipron), La
Secretaria de Educacin del Distrito (SED), La Secretaria Distrital de Salud (SDS), El
Departamento Administrativo de Bienestar Social (DABS), que se encargan de la puesta
en marcha de los proyectos del eje social.
Gran parte del accionar de BSH se materializa a travs de los comedores comuni-
tarios, los cuales son operados por el DABS (orientados a la generalidad de poblacin
objetivo), por el Idipron (orientado hacia los nios y jvenes pobres o en riesgo) y la
SED (comedores escolares). No obstante, BSH no solo busca garantizar el acceso a los
alimentos, sino tambin crear estilos de vida saludables con respecto a la nutricin. La
SDS es la encargada de los proyectos relacionados con lo anterior, enfocndose en la
importancia de la lactancia.
Por otro lado, como se mencion anteriormente, BSH tambin abarc el tema del
abastecimiento de alimentos para la ciudad, punto neurlgico de esta iniciativa, ya que
de este depende que BSH pueda cumplir sus metas en cuanto a seguridad alimentaria y
nutricional. La Unidad Especial de Servicios Pblicos (UESP) fue la entidad encargada
de ejecutar los proyectos de esta rea: la creacin del Banco de Alimentos y la puesta
en marcha de la Red de Nutritiendas.
b. Resultados de la evaluacin al Programa Bogot sin hambre 2004-2006
La Personera de Bogot contrat una evaluacin de la evolucin de BSH con el CEDE, la
cual fue liderada por Jairo Nez y Laura Cuesta, investigadores de la Universidad de
los Andes. Esta evaluacin se estructur en cuatro segmentos: el primero, el cual hace
referencia a la descripcin del programa; el segundo, una evaluacin orientada al cliente,
a travs de una encuesta de percepcin; el tercero, una evaluacin por consecucin
de objetivos, y el cuarto, recomendaciones para el desarrollo de esta poltica. Hay que
recordar que esta evaluacin fue aplicada durante la ejecucin de BSH, en 2005.
Evaluacin orientada al benefciario
Esta evaluacin tuvo como herramienta fundamental una encuesta de percepcin a los
benefciarios del programa, la cual, en trminos generales, estaba orientada a obtener
463
informacin acerca de la participacin en los proyectos, los procesos de inscripcin,
priorizacin y seleccin de los benefciarios, calidad y cantidad de los alimentos ofrecidos
por BSH, infraestructura de los comedores, as como solicitudes, quejas y reclamos.
La encuesta fue realizada a 3.924 personas, que corresponden al 7% del total de
benefciarios (54.238), todas mayores de edad, con el fn de obtener resultados objetivos.
El ejercicio se llev a cabo en la ltima semana de mayo de 2006, y fue ejecutado por 75
funcionarios de la Personera, los cuales visitaron 169 comedores y mantuvieron una
conversacin de 15 minutos con cada persona.
A grandes rasgos, los resultados positivos de las encuestas indican que la mayora
de la gente se enter de los benefcios del programa por un amigo, que los comedores
se encuentran bien ubicados; asimismo, fue un porcentaje mnimo el que manifest
mal trato y demora en los comedores; la mayora de los benefciarios consider que los
alimentos son de buena calidad y la cantidad es sufciente, y que BSH ha favorecido la
economa familiar de la poblacin participante. Es pertinente aclarar que la evaluacin
orienta al cliente slo evalu el eje social de BSH, ignorando la ejecucin de los proyectos
del eje urbano regional.
Evaluacin de consecucin de objetivos
Esta evaluacin se realiz a travs de la valoracin del logro de los objetivos establecidos
para este programa. Segn el Plan de Desarrollo 2004-2008, los objetivos de BSH son:
1. Alcanzar una cobertura de 625.000 personas con apoyo alimentario y nutricional dia-
rio, con preferencia por los nios, adultos mayores y personas con discapacidad.
2. Disminuir en 30% el ndice de desnutricin de los benefciarios del programa.
3. Orientar, formar y capacitar en nutricin y hbitos de vida saludable a 125.000
personas.
4. Promover una red de bancos de alimentos, a partir de la alianza con el Banco
Arquidiocesano.
Estos objetivos fueron medidos a travs de una serie de indicadores tambin especi-
fcados en el Plan de Desarrollo. Estos indicadores refejan el progreso alcanzado en el
cumplimiento de las metas de BSH. Tericamente, estas mediciones deberan hacerse
semestralmente, pero segn los autores la disponibilidad de informacin acerca de
estas es baja.
Las conclusiones a las que lleg esta evaluacin afrman que para el objetivo nmero
1, en 2005 se estaba cerca de la meta propuesta, se atendan 528.162 usuarios. Para el
objetivo nmero 2, en el ao en que se realiz la evaluacin an no exista un ejercicio
de este tipo que estableciera el impacto nutricional de BSH. Para el objetivo nmero
464
3, al 2006 no existan datos que dieran cuenta del logro de esta meta. Para el objetivo
nmero 4, hasta el ao de la evaluacin no se haba cumplido la meta. Los evaluadores
afrman que este ha sido una de las debilidades de BSH.
Finalmente, Nez y Cuesta sugieren unos indicadores extra para medir la evolucin
del programa. Entre estos se destacan unos propios de la evaluacin econmica de
polticas pblicas, que dan cuenta de la rentabilidad de la inversin en BSH. Finalmente,
recomiendan la aplicacin de una evaluacin de impacto cuantitativa.
2.2. Evaluacin de impacto al Programa Nacional de Lucha contra la
Pobreza: Familias en Accin
El programa Familias en Accin es un programa nacional que surge luego de la crisis
social como efecto de la recesin econmica de 1999. Este programa fue apoyado por
el Banco Mundial, el Banco Interamericano de Desarrollo (BID) y el Departamento
Nacional de Planeacin. Estas mismas entidades contrataron a la frma privada Unin
Temporal Econometra - Instituto de Estudios Fiscales de Londres para la Evaluacin Ex-
terna de los Impactos (Preliminares) del Programa Familias en Accin (DNP, 2004).
a. Objetivo del programa
El programa Familias en Accin busca promover y fomentar la acumulacin del capital
humano en la poblacin pobre identifcada por el puntaje socioeconmico del Sistema
de Identifcacin de Potenciales Benefciarios de Programas Sociales (Sisben) estratos
1 y 2, de los municipios con menos de 100.000 habitantes, a travs de subsidios mone-
tarios en tres frentes principales: nutricin, salud y educacin. El programa tiene tres
componentes principales: nutricin, salud y educacin. Los dos primeros consisten en
un subsidio monetario entregado a las familias (ncleos familiares) benefciarias con
nios menores de 7 aos de y al cumplimiento de controles de crecimiento y desarrollo
de los nios.
En particular, las madres deben llevar sus hijos a los controles de crecimiento y desa-
rrollo, que incluyen vacunacin, y participar en algunos eventos sencillos de capacitacin
sobre prevencin de salud. Los subsidios para educacin estn condicionados a que las
madres garanticen una mnima asistencia de sus hijos a los planteles educativos. El
programa se encontraba focalizado en su primera etapa, hasta 2002, en 622 municipios
de 26 departamentos, donde se tena a 362.403 familias benefciarias.
Es de mencionar que el subsidio de nutricin, para familias benefciarias con ni-
os entre cero y 6 aos, es una alternativa a los Hogares Comunitarios del Instituto
Colombiano de Bienestar Familiar, dado que los nios no pueden participar en los dos
programas simultneamente.
465
b. Resultados de la evaluacin de impacto
Mtodo cuasi-experimental
Segn el documento del Departamento Nacional de Planeacin (DNP), la metodologa
empleada fue el mtodo cuasiexperimental y se basa en la comparacin de los resultados
con muestras de tratamiento (benefciarios) y control (no benefciarios) de la lnea de
base, en seguimientos realizados uno y dos aos despus de iniciado. La muestra abarc
cerca de 10.000 hogares en 122 municipios. La lnea de base caracteriza la poblacin
benefciaria segn demografa, educacin, ingresos y fuerza laboral, pobreza, nutricin,
salud y condiciones de la mujer. Puesto que la muestra incluy tanto municipios de tra-
tamiento con pago (TCP) como sin pago (TSP), ello permiti una evaluacin preliminar
de impacto al comparar los dos grupos.
Los municipios fueron agrupados de acuerdo con la cantidad de familias elegibles exis-
tentes, para constituir las Unidades Primarias de Muestreo (UPM). Del universo de UPM
tratamiento, se seleccionaron 50 UPM con un diseo muestral estratifcado aleatorio. A
dichas UPM tratamiento seleccionadas, se parearon 50 de control que no estaban incluidas
en el programa, pero que eran razonablemente similares a las de tratamiento.
El pareamiento o emparejamiento fue realizado dentro de los estratos, defnidos
previamente sobre la base de variables geogrfcas, socioeconmicas y de infraestructura,
de tal manera que cada UPM de control fuera similar a la UPM tratamiento seleccionada
en el estrato. La mayora de las UPM de control son poblaciones con establecimientos
de educacin bsica primaria y secundaria, y con infraestructura de salud, pero sin un
establecimiento bancario.
En cada una de las 100 UPM de tratamiento y control muestradas, se seleccion
una muestra de familias elegibles, por el mtodo aleatorio estratifcado. La metodologa
cuasiexperimental contempla la comparacin de los resultados de inters en la totalidad
de las muestras tratamiento y control. Dado que la asignacin de las UPM tratamiento
y control no fue aleatoria, las muestras respectivas tienen inevitables diferencias. Para
afrontar este problema se utiliz una metodologa de pareamiento por probabilidad de
similitud (PPS) (Propensity Score Matching) para la comparacin de los hogares con
familias tratamiento y control.
Como la asignacin al programa no fue aleatoria, una comparacin sencilla o directa
entre estos grupos podra llevar a conclusiones equivocadas. Estos problemas fueron ma-
nejados con la metodologa PPS, la cual establece la comparacin de hogares tratamiento
con hogares similares de control, habiendo sido la similitud defnida estadsticamente,
en trminos de variables individuales y comunitarias.
466
Impactos del programa
En nutricin. El promedio de meses que dura la lactancia en los nios de los municipios
TCP es sensiblemente superior a la de los TSP, (8,7 vs. 76), dado que en los primeros
las madres han acudido en mayor proporcin a seminarios donde se tratan temas de
nutricin del nio y cuidados prenatales. En los TCP, el nmero de das de consumo
de huevos, carne y verduras a la semana es signifcativamente mayor que en los TSP
(0,7; 0,9 y 1,3 das, respectivamente). Asimismo, se observ que el Programa Familias
en Accin ha infuenciado positivamente el peso de los nios en la zona rural (indicador
de peso/mediana de peso para la edad de 91, 93 en TCP vs. en 89,48 en TSP).
De igual manera, hay indicadores de desnutricin aguda y global claramente infe-
riores en los municipios TCP (1,2% y 8,7%) vs. TSP (1,9% y 12,2%). La poblacin del
Programa Familias en Accin presenta una diferencia importante en cuanto a desnu-
tricin crnica frente a la media colombiana (22,9% vs. 13,5%, segn la encuesta de
Profamilia de 2000).
En el rea de salud. El 14,3% de los nios de 0 a 6 aos estudiados en los munici-
pios tratamiento presentaron enfermedad diarreica aguda (EDA) en 15 das previos a
la encuesta. Esta tasa es considerablemente menor (12,3%) en los municipios TCP, en
especial en zona urbana (12,5% vs. 19,4% en TSP). En consecuencia, el Programa de
Familias en Accin ha reducido en forma signifcativa (-10,2%) la probabilidad de sufrir
de diarrea en esta zona, donde tambin ha tenido impactos notorios en la asistencia
a charlas sobre diarrea. La infeccin respiratoria aguda (IRA) present una prevalencia
tres veces ms alta (42,1% de los nios), consistente con lo observado en las grandes
encuestas nacionales de salud de 1965, 1980 y 1987. Diferencias claras entre TCP y TSP
se observaron solamente en las zonas urbanas (39,4% vs. 47,8%), lo que sugiere un
efecto precoz de la intervencin del Programa en este frente.
Evaluacin cualitativa al Programa de Vivienda de Inters Social (VIS) de la
Red de Solidaridad Social
Esta evaluacin fue realizada por la Red de Universidades (Reunirse), lideradas por el
Centro Interdisciplinario de Estudios Regionales (Cider) de la Universidad de los Andes.
La evaluacin interinstitucional, especfcamente, fue desarrollada por el investigador
Ral Ernesto Crdenas y su equipo. Se trata de un evaluacin cualitativa; esto signi-
fca que est orientada al cliente, lo que se quiere medir es la satisfaccin del cliente
y la capacidad de responder a los gustos, objetivos y expectativas, preocupaciones y
necesidades de los benefciarios; es descriptiva y se realiza expost y las actividades que
comnmente se llevan a cabo tienen que ver con un anlisis a la oferta de los servicios
ofrecidos (Vedung, 1997), en este caso en particular para la evaluacin se tomo como
clientes al grupo de entidades y a los mismos
467
Evaluacin cualitativa participativa
Para el caso de la evaluacin interinstitucional del modelo de gestin de los progra-
mas de vivienda de la Red de Solidaridad Social, se toma una serie de procedimien-
tos, bsicamente desarrollados en talleres en los cuales se indag sobre la percepcin
que tienen los representantes de las instituciones del programa, tanto nacional como
regionalmente, el cual cumple tres aos y medio de desarrollo y que adems pretenda
considerar elementos innovadores en la poltica social de este subsector. Estos talleres
fueron realizados en la ciudad de Bogot y en el departamento de Santander.
Este modelo presenta los siguientes componentes:
Defnicin de las instituciones (gubernamentales, no gubernamentales, solidarias, entre
otras) involucradas directas o indirectamente en el tema de la vivienda urbana.
Convocatoria de dichas instituciones y diseo metodolgico de talleres partici-
pativos.
Realizacin de los talleres, uno a nivel nacional y otro regional, en Santander. La
evaluacin se realiz en tres componentes temticos: modelo de gestin, benefciarios
y entidades territoriales.
Desarrollo de sesiones grupales, por separado en cada tema, en donde se entregaba
a cada participante del evento una propuesta, donde se enunciaban hiptesis va-
lorativas alrededor de los distintos puntos que tenan que ver con cada tema para
realizar una refexin crtica.
Conformacin de parejas para sesiones de discusin (40 minutos).
Desarrollo de plenarias (dos horas) para la discusin general y planteamiento de
conclusiones.
Metodologa del taller participativo
Se trabaj por sesiones en los siguientes temas: modelo de gestin, benefciarios y en-
tidades; estos, a su vez, contaron con subcomponentes.
Los resultados de estas indagaciones sobre la percepcin de este programa se desarro-
llaron por cada eje temtico. En el modelo de gestin se evalu que a pesar de contener
elementos innovadores en la participacin, esta se cuestiono, valorndose su calidad,
la defnicin de las competencias y el desempeo que cuestiona su validez. Asimismo,
se estableci que se hace necesario en la defnicin de objetivos y responsabilidades,
dimensionar la realidad de los actores e instancias de acuerdo con sus capacidades
(Crdenas, 1999).
En cuanto a la modifcacin de los ciclos, la evaluacin plantea que se deben esta-
blecer unos techos presupuestales a nivel nacional, empezando por determinar las
necesidades de las comunidades locales y su capacidad para ejecutar los recursos. En
468
los mecanismos de participacin, el Instituto Nacional de Vivienda de Inters Social y
Reforma Urbana (Inurbe) opin que la capacidad de los actores en las instancias donde
fnalmente se toman las decisiones no son para nada compatibles con las decisiones
de los comits tcnicos y esto obstruye una buena focalizacin (Crdenas, 1999).
Para los benefciarios, se evaluaron subtemticas tales como las capacidades organi-
zativas de las comunidades receptoras del programa, sobre todo en lo concerniente a la
acumulacin de capital social y las potencialidades dirigidas a propiciar externalidades
positivas en los procesos de organizacin comunitaria; sin embargo, los resultados an
muestran debilidades en la sostenibilidad de dichos procesos de participacin luego de
terminarse el proyecto. Otras subtemticas hicieron referencia al control entre las orga-
nizaciones y las entidades territoriales, la participacin y coordinacin entre Viviendas
de Inters Social (VIS) y otros programas de vivienda, entre otros.
Para las entidades territoriales, las temticas abordadas recogen el papel del alcalde
como gerente y actor determinante en la gestin del proyecto y en la oferta institucional
de gestin del municipio; es decir, que las instituciones acten de forma mancomuna-
da; la desarticulacin desde el orden nacional frente a las gobernaciones y municipios,
sobre todo en el tema de los desembolsos y la ejecucin de los proyectos, el papel de
los comits tcnicos sectoriales en la localidad, la gerencia y los planes de desarrollo
territorial, el poder local y el clientelismo, el papel de los Fondos de Vivienda de Inters
Social (Fovis), entre otros.
Este procedimiento podra resumir los pasos de la evaluacin:
Trabajo sesiones.
Cada participante recibi una propuesta con la hiptesis valorativa alrededor de los
tems que tienen que ver con cada tema.
Refexin individual y crtica.
Espacio de discusin por parejas, con un tiempo de 40 minutos.
Plenaria.
Conclusiones generales sobre la evolucin interinstitucional.
Relatora del taller como insumo para entrega del informe.
Entrega de informe fnal.
Para fnalizar, se presentar una breve comparacin entre la evaluacin de tipo
cuantitativa y una cualitativa participativa.
Las diferencias para ambos casos son muy marcadas, ya que en el modelo cuantitati-
vo, por ejemplo, el aplicado en el programa Familias en Accin, se recoge informacin
casi netamente estadstica, es decir, de manera agregada, generando as una serie de
469
datos operables aritmticamente, aspticos, externos al investigador y a los investigados,
los cuales surgen de una realidad fctica (Alonso, 1998, p. 38).
Para el caso de la evaluacin del Programa de Vivienda de la Red de Solidaridad Social
se trata de indagar sobre una realidad simblica estructurada por signifcaciones y
smbolos determinados en una discursividad, desde la perspectiva de lo que Habermas
denominara el mundo de la vida, en donde se dan las relaciones cara a cara, dentro de
una interaccin discursiva y sobre una accin comunicativa, en un escenario lingstico
y semiolgico (Nina, 2007).
En el primer caso, los datos implican una realidad manifesta en donde los resulta-
dos son exteriores a las conciencias individuales, determinndolos como objetivos,
situacin contraria al segundo caso, en donde opera ms una percepcin subjetiva,
pero que corresponde ms al sentido mentado de los actores que externamente evalan
un producto, bajo la recreacin discursiva con otros actores, tal como se realiza en los
talleres temticos (Nina, 2007).
En trminos operativos, la evaluacin cuantitativa realizada en el programa Familias
en Accin tiene una mayor cobertura en la indagacin frente a los grupos temticos de
viviendas de la Red, esto determinado por los estilos metodolgicos. En trminos
de los impactos, se podra decir que en el programa de Familias se obtienen resulta-
dos de cobertura y asistencia, mientras que en Viviendas el resultado es ms sobre las
externalidades que se generaron con el proyecto. Este ltimo caso permite correctivos
ms estructurales que en Familias, ya que dirigira la mirada evaluativa hacia opciones
relacionadas con el desarrollo y progreso social, y en benefcios en calidad de vida,
entendida, como lo expresara Sen, como una expansin de las libertades individuales,
mediante la generacin de una serie de logros y capacidades (Sen, 2000).
Ha sido tal la infuencia del positivismo en los procesos evaluativos que en el campo de
las ciencias sociales se han venido utilizando modelos que se han trasladado de proyectos
de ciencias exactas, lo que ha generado una serie de resistencias de los cientfcos sociales,
as como difcultades, puesto que esos modelos, a veces impuestos por las agencias de
fnanciacin o cooperacin internacional, son poco adaptables en los escenarios sociales
donde los proyectos tienen lugar (Nirenberg, Brawerman y Ruiz, 2000).
Como recomendacin, se sugiere complementar ambas metodologas en la medida
en que se tengan los recursos fnancieros y la logstica para hacerlo. Por ejemplo, la eva-
luacin del programa Familias en Accin puede complementarse con la realizacin
de grupos focales de mujeres cabeza de familias, nios, padres o los mismos alcaldes,
que ilustren su aprendizaje y empoderamiento gracias al programa; los cambios en
las relaciones intrafamiliares; la reactivacin de las economas locales; los efectos en las
relaciones entre las comunidades; la movilidad de las familias de las veredas hacia los
cascos urbanos; el papel de los no benefciarios; efectos no esperados; frustraciones de
las familias; aumento de las capacidades de los individuos, en su hacer y su ser, y otros
470
asuntos que pueden relacionarse con las variables cuantitativas de la lnea de base y de
la evaluacin de impacto.
3. Conclusiones
La escogencia de uno u otro modelo de evaluacin depende, en ltimas, de los criterios
con que se quiera hacer la valoracin de un programa. Decir que un modelo es mejor
o peor que otro, en abstracto, no tiene sentido. Siempre se tiene que pensar en los
modelos aplicados a una realidad concreta y a un programa especfco. Cada modelo
simplemente provee ciertos insumos que pueden servir o no en un determinado con-
texto. As, la evaluacin de consecucin de objetivos puede ser adecuada si se pretende
dar cuenta de si los objetivos estn bien orientados o si deben ser ajustados para una
prxima implementacin.
De igual manera, la evaluacin de impacto puede ser importante en casos donde
se est dudando del impacto real que est teniendo el programa, y donde existen otros
factores que tambin pueden estar incidiendo en los cambios observados en ese contexto
especfco. Asimismo, es importante realizar una evaluacin participativa cuando se
busquen procesos democrticos de evaluacin de las acciones del Estado. Finalmente,
algo que no hay que olvidar es que la escogencia de un modelo sobre otro es una deci-
sin poltica y epistemolgica, en la cual se le est dando prioridad a cierta manera de
conocer, o a veces de esconder, la verdad.
La sociedad colombiana es compleja y diversa, por ello requiere un conjunto de
metodologas de evaluacin que se complementen a s mismas, considerando la escasez
de recursos para estos procedimientos. Una recomendacin, entonces, gira en torno a
considerar la realizacin de evaluaciones que busquen valorar y rescatar la expansin
de las capacidades humanas de los benefciarios mucho ms all de que la valoracin
de la cobertura de programa, que es factor importante; asimismo, que se busque una
combinacin de metodologas que permita la ampliacin de los marcos interpretativos
de la evaluacin de los impactos de las polticas y programas sociales; por ejemplo, desde
una perspectiva incluyente de la percepcin de los benefciarios considerados sujetos
de la poltica pblica.
Referencias bibliogrfcas
ALONSO, L. (1998). La mirada cualitativa en Sociologa. Madrid: Fundamentos.
BAKER, J. (2000). Evaluating the Impact of Development Projects on Poverty. A Hand-
book for Practitionary. Washington: The World Bank.
BAMBERGER, M. Y HEWITT, E. (1986). Monitoring and Evaluating Urban Develop-
ment Programs. World Bank Technical Paper Number 53. Washington: The
World Bank.
471
BANCO MUNDIAL (2004) Seguimiento y evaluacin: instrumentos, mtodos y enfoques.
Washington: Banco Mundial.
CRDENAS, R. (1999). La evaluacin interinstitucional del modelo de gestin de los
programas de vivienda de la Red. En Reunirse, Pobreza y vivienda de inters
social en Colombia. Bogot: Universidad de los Andes-
COHEN, E. Y FRANCO, R. (1992). Evaluacin de proyectos sociales. Mxico: Siglo
XXI.
MOSER, C. (2005). Pueden los pobres infuenciar las polticas? Bogot: Alfaomega-
NINA, E; GARCA, A.; BAUTISTA, J.; CRDOBA, C. y BOTELLO, D. (2006). Evaluacin
de impacto. Notas de clase del curso Evaluacin de polticas y programas sociales,
Maestra y Especializacin en Poltica Social, Bogot, Pontifcia Universidad
Javeriana. (mimeo).
NIRENBERG J; BRAWERMAN, J Y RUIZ, V. (2000). Evaluar para la transformacin.
Innovacin en la evaluacin de programas y proyectos sociales. Argentina:
Paids.
NEZ, J. (2006). Evaluacin Bogot Sin Hambre. Bogot: CEDE - Universidad de
los Andes.
RACzyNSkI, D. y SERRANO, C. (2002). La funcin de evaluacin de polticas sociales
en Chile. Asesora para el Desarrollo (mimeo).
SARMIENTO, A. et al. (2005). Evaluacin de la gestin de los colegios en concesin
en Bogot 2000-2003. Archivos de Economa, DNP. Documento 291 (medio
magntico).
SEN, A. (2000). Desarrollo y libertad. Planeta.
VALADEz, J. y BAMBERGER, M. (1994). Monitoring and Evaluating Social Programs
in Developing Countries. Economic Development Institute of The World Bank.
Washington: World Bank.
VEDUNG, E. (1997). Evaluacin de polticas pblicas y programas. Madrid: IHP.
WIESNER, E. (1999). Funcin de evaluacin de planes, programas, estrategias y
proyectos. Serie Gestin Pblica N 4, ILPES.
ZAPATA, J. G. (1999). Evaluacin de impacto del Programa de Mejoramiento de Vivi-
enda Urbana de la Red de Solidaridad Social 1994-1997. En Reunirse, Pobreza
y vivienda de Inters Social en Colombia.

Modelos de Evaluacion Esteban Nina

Cargado por

Copyright:

Formatos disponibles

Modelos de Evaluacion Esteban Nina

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Modelos de Evaluacion Esteban Nina

Cargado por

Copyright:

Formatos disponibles

449

Filsofo boliviano; magster en Economa, Pontifcia Universidad Javeriana, Mgister en Desarrollo

También podría gustarte