IIPE - Buenos Aires J fflj

f f l Sede Regional del 0 m

Instituto Internacional de Planeamiento de la Educación :

10° Curso Regional sobre

“Planificación y Formulación de Políticas Educativas”

ELEMENTOS CONCEPTUALES Y METODOLÓGICOS PARA LA

EVALUACION DE POLÍTICAS Y PROGRAMAS SOCIALES

Nerio Neirotti

Buenos Aires, octubre de 2007

 C O N T E N ID O S

1. Introducción
2. ¿Qué es evaluación?
Definición de evaluación
Requisitos de una buena evaluación
Relación de la evaluación con otras actividades emparentadas
Aspectos políticos y técnicos de la evaluación
Niveles de aplicación de la evaluación
3. Tipos y criterios de evaluación
Según el momento, el objeto y el alcance de la evaluación
Según quién evalúa
Según la perspectiva de los involucrados
Criterios de evaluación
4. Perspectivas teóricas y metodológicas de la evaluación
El debate metodológico
Modelos de comparación
5. Pasos para llevar a cabo una evaluación
5.1. Planteamiento de la evaluación y toma de decisiones
5.2. Diseño de la evaluación
Objetivos y preguntas clave
Marco teórico e hipótesis
Dimensiones, variables, indicadores y unidades de análisis
Fuentes, técnicas e instrumentos
Matriz de evaluación
5.3. Recolección de información y procesamiento
Programación de actividades
Selección y entrenamiento del equipo
Recolección de información y manejo de instrumentos
Procesamiento de la información
5.4. Análisis de la información
 5.5. Comunicación y diseminación
6. Conclusiones
1. INTRODUCCIÓN

La evaluación es una forma de indagación o investigación de tipo valorativo, es

decir, generadora de juicios de valor en función del patrón normativo de los
involucrados en la intervención social. En ese sentido produce conocimiento con
el propósito de brindar elementos para la toma de decisiones, transferir los
aprendizajes surgidos de experiencias innovadoras y poner la información a
disposición de la ciudadanía — esto último, a los efectos de darle transparencia a
la gestión de gobierno y de promover la participación social.

Los países de la región han llevado a cabo, con distintas características y

extensión, reformas de sus aparatos estatales, entre las que se incluye la
transformación de las áreas sociales. Están desarrollando también líneas de
acción tendientes a brindar educación en condiciones equidad y calidad, a la vez
que están implementando políticas de reducción de la pobreza y la exclusión
social. En este marco se llevan a cabo programas “modelo” que cumplen
funciones de experimentación, articulación e integración entre distintas áreas
sociales.

Nos encontramos entonces frente a múltiples imperativos: redefinición de las

políticas sociales en general, y en particular, transformaciones en al área
educativa; rediseño del aparato estatal y de sus funciones; y desarrollo de nuevas
prácticas de articulación entre el Estado y las organizaciones de la sociedad civil.
Dado que no existen recetas para abordar los cambios, el avance por
experimentación parece ser la forma más indicada de avizorar las soluciones.
Esto implica otorgar importancia a las innovaciones que se ponen en marcha en
ámbitos locales, en instituciones educativas o grupos de escuelas, que tienen
carácter experimental y de las cuales pueden surgir interesantes conocimientos a
ser diseminados con la posibilidad de transferirlos a otros contextos.

Entrando al campo de la educación, se ofrece un amplio repertorio de

innovaciones expuesto por Brunner:

Por de pronto, hay que re- conceptualizar y progresivamente rediseñar todo el

proceso de enseñanza; hay que cambiar la cultura organizacional de los
establecimientos; hay que disponer de tiempo y recursos para innovar; se debe
formar de otra manera a los profesores y al personal directivo de las escuelas;
las funciones de los organismos gubernamentales; los sistemas de supervisión y
 los métodos de evaluación tienen que cambiar; es necesario desarrollar los
currículos bajo un principio de adaptación continua y escribir nuevos textos; se
debe aprovechar el potencial de las nuevas tecnologías y dar espacio a la
experimentación; las innovaciones exitosas tienen que ser identificadas. En fin,
pasar del eje de la modernización al eje de las innovaciones como principio de la
reforma conlleva girar al sistema en 180 grados, poniéndolo a funcionar como
un organismo adaptativo cuando hasta aquí ha operado esencialmente como un
mecanismo de conservación. (...) Lejos por tanto de cualquier determinismo
tecnológico, la reforma de las innovaciones necesitará apoyarse en los profesores
y alumnos en primer lugar; en la organización de la escuela y las capacidades de
su personal directivo, enseguida y, en tercer lugar, en las redes de agentes que
pueden contribuir a la innovación, como los padres, miembros activos de la
comunidad local, personal de investigación y desarrollo que trabaja en
innovaciones educacionales, ágencias de transferencias y difusión de tecnologías
innovadoras, empresarios comprometidos con la renovación educacional,
facultades de pedagogía y universidades” 1.

Las innovaciones educativas son procesos complejos que podrían ser concebidos
como configuraciones novedosas de recursos, prácticas y representaciones en las
propuestas educativas de un sistema, subsistema y/ o institución educativa,
orientados a producir mejoras2.

Para desarrollar innovaciones educativas no basta con contar con más o nuevos
recursos, sino que es preciso incorporar nuevas acciones y traslucir las
innovaciones en la prácticas educativas. Es decir, es necesario que los actores
involucrados den forma a un nuevo estilo de gestión y produzcan una
transformación de las prácticas institucionales cotidianas.

Además de los recursos y las prácticas, una tercer dimensión es necesaria para
definir las innovaciones educativas: las representaciones, creencias y valores que
subyacen en los puntos anteriores, es decir, los supuestos que existen por detrás
de las prácticas y los recursos empleados, el grado de internalización que existe y
el nivel de compromiso.

Considerar sólo uno de estos aspectos (sólo recursos, o prácticas o

representaciones) implicaría mantener una concepción restringida. Los recursos

1 J. J. Brunner, Educación: escenarios de futuro. Nuevas tecnologías y sociedad de la

información, Santiago de Chile, PREAL, 2000 p. 45
2 N. Neirotíi y M. Poggi, Alianzas e innovaciones en proyectos de desarrollo educativo local,
IIPE- UNESCO Buenos Aires, 2004 p. 175-177
suelen ser la faceta más visible de las innovaciones, sin embargo, un cambio en
las prácticas y en las representaciones resultan ser los aspectos más claros de
que la innovación ha sido implementada, y a la vez los más complejos de
promover.

Por otra parte, es fundamental que las innovaciones se inserten en escuelas,

movimientos o tradiciones pedagógicas a los efectos de que se instalen en el
debate sobre las transformaciones educativas. Igualmente, no podría ser efectiva
una innovación si no logra producir un anclaje a nivel institucional3.

Las reflexiones precedentes sobre innovaciones educativas sugieren la necesidad

de instalar una cultura de la evaluación y desarrollar capacidades en este sentido
a fin de que los cambios en marcha puedan ser efectivos y asegurar un proceso
continuo y acumulativo de transformaciones. Ya sea que se trate de tener en
cuenta la complejidad de las innovaciones (recursos, prácticas y
representaciones) como de prestar atención a sus posibilidades de inserción en
tradiciones pedagógicas y de anclaje institucional, la evaluación, concebida como
instrumento de aprendizaje, se agrega como un desafío más - en este caso, de
carácter instrumental - para brindar luz y contribuir a encontrar atajos en medio
de un sendero que tiene un importante margen de incertidumbre.

Sólo de este modo se puede ir incrementando la escala de las innovaciones a

través de un proceso que no es lineal y que en muchos casos se presenta como
enmarañado y confuso, dado que tiene las siguientes características4:

• es interactivo: involucra docentes, escuelas, distritos, especialistas en

educación, autoridades, políticos;
• es adaptativo: incorpora las reaciones de los involucrados;

• es iterativo: con reflexión y aprendizaje sobre la marcha;

Diseminar, demostrar, brindar información para el debate, generar evidencia para

fundamentar nuevos cursos de acción, son actividades que requieren producir
conocimiento válido y oportuno, accesible para quienes toman decisiones en

3 J. C. Tedesco, “Algunas hipótesis para una política de innovaciones educativas”, en Proyecto

Génesis, Innovación escolar y cambio social, Bogotá, Fundación FES- CONCIENCIAS, 1997 p.
57-67
4 Glennan, Thomas K., Bodily, Susan J., Galegher Jolene R., Kerri A. Kerr Expanding the Reach
o f Education Reforms: Perspectives from leaders in the Scale-Up o f educational
interventions. RAND Corporation , 2004 p. 650
todos los niveles. En este marco, el presente documento ofrece conceptos sobre
evaluación y herramientas para su implementación que se inscriben en la
concepción de la misma como actividad sistemática de reflexión, entendimiento
entre actores diversos y recomendación de nuevos caminos de acción.

2. ¿QUÉ ES EVALUACIÓN?

Haremos una aproximación a la idea de evaluación a partir de algunas

definiciones que provienen de organismos con gran ascendiente sobre el tema y
de autores que han hecho el esfuerzo de reunir conceptos comunes vertidos por
especialistas varios.

El Joint Committee on Standards for Educational Evaluation afirma:

“la evaluación es el enjuiciamiento sistemático de la valía o el mérito de un

objeto”5

A su vez, UNESCO en el Glosario de términos de tecnología de la evaluación ofrece

diversas acepciones del término evaluación:

❖ “ 1. Término genérico para designar el conjunto de operaciones de apreciación,

de control y de medición de un resultado, de una estrategia, de un sistema, de
una persona, etc. 2. Proceso tendente a delimitar, obtener y reunir la
información útil para juzgar alternativas de decisión, controlar la eficacia de la
ejecución de la actividad y ju zga r su interés. 3. Proceso de cuantifvcación o de
calificación del rendimiento de un individuo, grupo, dispositivo o material”.

5 Citado por Stufílebeam, Daniel L. y Anthony J. Shinkñeld, Evaluación sistem ática. Guía teórica
y práctica, Barcelona, Paidos / M.E.C., 1995, p. 19.
SIEMPRO (Sistema de Información, Monitoreo y Evaluación de Programas
Sociales), con la inquietud de fortalecer la institucionalidad social y con el
propósito de desarrollar conocimientos y capacidades sobre planificación y
evaluación en el ámbito estatal y de la sociedad civil, produjo un manual que
contiene la siguiente definición:

❖ “un proceso permanente de indagación y valoración de la gestión del programa

para generar conocimiento y aprendizaje que alimente la toma de decisiones”6.

Por su carácter comprehensivo también se considera útil incluir la siguiente

definición que aportan María José Aguilar y Ezequiel Ander-Egg en su libro
“Evaluación de servicios y programas sociales”:

❖ “la evaluación es una form a de investigación social aplicada, sistemática,

planificada y dirigida; encaminada a identificar, obtener y proporcionar de
manera válida y fiable, datos e información suficiente y relevante en que apoyar
un juicio acerca del mérito y el valor de los diferentes componentes de un
programa (tanto en la fase de diagnóstico, programación o ejecución), o de un
conjunto de actividades específicas que se realizan, se han realizado o
realizarán, con el propósito de producir efectos y resultados concretos;
comprobando la extensión y el grado en el que dichos logros se han dado, de
form a tal, que sirva de base o guía para una toma de decisiones racional e
inteligente entre cursos de acción o para solucionar problemas y prom over el
conocimiento y la comprensión de los factores asociados al éxito o al fracaso de
sus resultados”7.

6 SIEMPRO / UNESCO, Gestión integral de programas sociales orientada a resultados.

Manual metodológico para la planificación y evaluación de programas sociales, México,
Fondo de Cultura Económica, 1999, p. 55.
7 Aguilar, M. J. y Ander-Egg, E., Evaluación de servicios y programas sociales, Madrid, Siglo
XXI, 1992, p. 18.
Definición de evaluación

Los aportes anteriores nos sugieren los aspectos centrales delconcepto de

evaluación, que podrían sintetizarse en las siguientes notas:

• Proceso: No se trata de una actividad estática, que se realiza deuna vez

para siempre, sino que está en continuo desenvolvimiento.
• Indagación sistemática: Se busca generar conocimiento, y para ello se
utilizan los recursos y métodos propios de la investigación.
• Valoración: Evaluar significa “valorar” , asignar valor, y esta actividad se
desarrolla en función de preferencias y prioridades sociales, que definen
los involucrados en el procesos evaluativo.

• Aprendizaje: En contraposición a una visión arcaica sobre la evaluación,

que considera que su función es el control o la fiscalización, se hace
hincapié en el aprendizaje, como instrumento para mejorar la gestión y las
políticas.
• Toma de decisión: El conocimiento producido por la evaluación no tiene
fines académicos sino que está al servicio de la acción, y por lo tanto, de
la toma de decisiones.
• Transparencia: El conocimiento que resulta de la evaluación tiene que ser
un instrumento de utilidad para todos aquéllos a los que les concierne la
acción evaluada.

En función de las contribuciones precedentes y siguiendo las notas que

distinguen la evaluación, se ofrece la siguiente definición:

La evaluación es un proceso de indagación sistemático, valorativo, cuyo

propósito es generar aprendizaje sobre la intervención de un programa o
política con el fin de mejorar la toma de decisiones y de otorgarle mayor
transparencia a la gestión.
A la vez permite:

• mejorar la eficacia, eñciencia y efectividad de los programas

• producir conocimiento sobre las distintas experiencias

• diseminar y difundir las lecciones aprendidas a partir de modelos

en marcha

• fortalecer lazos y entendimiento entre los diversos actores

involucrados.

Para complementar esta definición, se podría agregar que la evaluación tiene la

finalidad de retroalimentar la gestión de un programa, suministrando
información para tomar decisiones con respecto a:

• La pertinencia del programa y la consistencia de su planificación.

• La viabilidad, factibilidad y sustentabilidad de los objetivos y

actividades del programa.
• Los procesos de distinto tipo que se generan en la ejecución del
programa y las distintas funciones que se cumplen: dirección /
coordinación, organización, presupuestación, gestión de recursos
humanos, comunicación, programación de actividades.
• La relación del programa con el contexto.
• La articulación y sinergia del programa en relación con otros que
contribuyen a logra fines similares.
• La perspectiva de los beneficiarios y de la institución que ejecuta el
programa acerca de los procesos y los resultados del mismo.

Requisitos de una buena evaluación

Un gran número de condiciones han sido señaladas como necesarias para que la
evaluación resulte adecuada. En algunos casos se han llegado a elaborar check
lists que deberían ser seguidas como instrumentos de verificación. Como ejemplo,
se incluyen los Estándares Para la Evaluación de Proyectos del Joint Committee
on Standards for Educational Evaluation que presenta en su libro Rocío
 Fernández-Ballesteros8. Estos estándares fueron diseñados con el objetivo de
asegurar la concreción de evaluaciones útiles, factibles, éticas y adecuadas y
contienen 30 normas:

' •••
Estándar
• '
Criterio • ' ■. ■ ;•••• ■ .
.■ ; l...
•"
< .
.
,
•
■ .
• ■ . . . . ... .... í V , -• ■ - - .. •> • •

' .
1. Iden tificación de im plicados (de tal forma cjug sus ncccsidadcs

pueden ser tenidas en cuenta)

2 . C redibilid ad del ev alu ad or (deben ser dignas de confianza y

competentes)
. . • - •••-■■ •;
' ' : ' ' ■ ■ 3 . Á m b ito de la in form ación y selección (debe ser sensible a las

UTILIDAD necesidades del cliente, etc)

- ■' '
4 . Iden tificación de valores (las perspectivas, los procedimientos y

la lógica utilizada deben ser descriptas)

■' ■ -.vi-:;'... 5. C laridad del In form e (el informe de evaluación debe describir el
.
■ . ... ■•
-- ,_ ■ - •
■ .
• ■ ’ ’’ v "■ programa, su contexto, objetivos y procedimientos y resultados de la
evaluación)
V } 'A ’
- • •' - 6. O po rtun idad y difusión del inform e (los hallazgos
.. . '■
• ; _ •■ -
significativos deben ser difundidos)

'' . .
7. Im pacto de la evalu ación (las evaluaciones deberían estimular el
■ ’ ■ • V,5 ■• seguimiento continuado por los involucrados)
1. P rocedim ien tos prácticos (los procedimientos evaluativos deben
ser prácticos para minimizar los trastornos que puedan producirse en
FACTIBILIDAD la recogida de información)
2. V ia b ilid ad po lítica (debe anticipar las diferentes posiciones de los

•
■
• . ■' ■
. ■■■
- '.-'y - y , ■
’■ grupos implicados para conseguir su particpación)
■■

. ••• . •: ... •; - 3. C oste efectividad (debe ser eficiente y producir información de

■: •■ :• "' ' : ■
suficiente valor de tal manera de justificar los recursos invertidos)

1 . O rien tación de servicio (debe ayudar a las organizaciones a

■ . "■ - . atender a las necesidades de todos los participantes)

2. C o n ven ios form ales (las responsabilidades de las partes

implicadas deben ser acordadas mediante un documento)

8 Femandez-Ballesteros, R o c ío “Evaluación de Programas. Una guia práctica en ámbitos

sociales, educativos y de salud” Madrid, 1996, p. 108-112
 y . : . '. - 3. D erech os de los su jetos h um an os (deben respetar los derechos

y bienestar de los sujetos humanos)

4. E v alu ado tes deben respetar la dign idad h u m an a y su

PROBIDAD
■ . ' - •' r - -- ■
v a lo r (de manera que los participantes no estén amenazados y no se
■ , *'/■ ' '
■ vean perjudicados)
.. .. - •- . .
'i: 5 5 . E valu ación com pleta y adecuada (debe ser completa y
' •. '
. r. - - adecuada en su análisis de los puntos fuertes y débiles del programa)

6. D eclaració n de resultados (las partes contratantes de la

• ... •.:•• • : ■■ 1 ■ . ’' evaluación deben asegurar que el conjunto de los resultados sean
• - “ t " . c. accesibles a las personas afectadas)

■ ' . 7. C onflicto de intereses (deben ser manejados con apertura y

honestidad de tal forma que no comprometan al proceso de evaluación)

8. R espon sabilidad fiscal (asignación del evaluador y otras

partidas deben reflejarse contablemente)

. • - .
. ........... . „
. 1. D ocum en tación sobre el p rogram a (el programa evaluado
. •
debe ser descrito y documentado de tal forma de que puede ser
identificado)
• v, ‘ : .

. ., - ■ ". . ' • ’ . ■■ ■ 2. A n álisis del con texto (debe ser examinado con suficiente detalle

de modo de identificar posibles influencias.)

■ ’ . •
3. D escrip ción de propósitos y procedim ien tos (deben ser

controlados y descritos de manera que puedan ser identificados y

evaluados)
4. F uen tes de inform ación adm isibles (las fuentes deben ser
ADECUACIÓN
■ .• . ■ •• descriptas de manera que la interpretación sea valida)

5. In form ación v alida (los procedimientos de recogida de

información deben asegurar una interpretación válida)

' .
. •
.
■ . i -.
■
6. In form ación viable (los procedimientos de recogida de
. * ' '■ ‘ •
■ ' ’ - - • . ' . • '
información deben asegurar que información es fiable)

7. In form ación sistem ática (la información debe ser

sistemáticamente revisada y cualquier error corregido)
■ ' ' - .
8. A n á lisis de in form ación cu an titativa (debe ser apropiada y
' .. ' ■ . • ■ V - *. ‘

sistemáticamente analizada)

9. A n á lisis de in form ación cu alitativa (debe ser apropiada y

■ • ü , : • ? . '* '• . v - ; ; ''- . ,

sistemáticamente analizada)

” : ir v 10. Ju stificación de las con clu sion es (deben ser explícitamente

• . : •• . : ;
- - ^ 5sí , '• justificadas de modo tal que los implicados puedan valorarlas)
 11. In form e im parcial (los procedimientos del informe deben ser
salvaguardados contra la distorsión causada por sentimientos
personales y sesgos)

12. M etaevaluación (la evaluación debe ser formativa y sumativa

de tal modo que su ejecución sea apropiadamente guiada y que los
implicados puedan examinar sus puntos fuertes y débiles)

En este documento se ofrecen los requisitos mínimos indispensables para

garantizar una buena evaluación o para analizar una evaluación9 que ya ha sido
realizada:

• Validez: Debe apoyarse en metodologías científicas de recolección y

análisis de información.
• Pertinencia: Debe haber correspondencia entre el problema (necesidades
de información) que da origen a la evaluación y los propósitos de ésta.
• Relevancia: La magnitud de conocimiento producido por medio de la
evaluación debe estar a la altura de las necesidades y de los propósitos
planteados.

• Utilidad: Los resultados de la evaluación deben ser accesibles a los

tomadores de decisiones y a los involucrados en general, y las
recomendaciones deben estar ligadas con la toma de decisiones y las
necesidades de brindar mayor transparencia a la gestión.

• Oportunidad: Los resultados de una evaluación deben llegar a tiempo

como para tomar decisiones cruciales, corregir el rumbo de las
intervenciones y favorecer la discusión pública.
• Costo-efectividad: El costo de la evaluación (en recursos y tiempo) debe
ser proporcional a las soluciones que brinda.

Relación de la evaluación con otras actividades emparentadas

Tanto en el sector público como en el privado se han llevado a cabo actividades

que están emparentadas en algún grado con la evaluación por estar orientadas a
garantizar un buen servicio o producto. A su vez, estas actividades han sido
organizadas como funciones en el sentido que tienen responsables específicos y
requieren cierto grado de especialización. Al respecto pueden mencionarse las
siguientes: auditoría, control de gestión y supervisión.

La auditoría es una función que tiene por objeto garantizar el buen uso de los
recursos del Estado y de la empresa en cuanto a la adquisición de insumos,
buscando evitar acciones negligentes o delictivas. El control de gestión va más
allá, en el sentido que atiende a los procesos de conversión de los insumos en
productos, es decir, a las actividades y los resultados esperados de la misma, en
cantidad y calidad. Por su parte, la supervisión se orienta a observar que los
procesos se desarrollen según lo previsto, incorporando actividades de apoyo o
asesoramiento. Como se podrá observar, si bien todas estas funciones se apoyan
en el propósito de garantizar las mejores condiciones de la gestión, no brindan
insumos sistemáticos de conocimiento que permitan arrojar luz para llevar a
cabo procesos transformadores.

Pero hay otras actividades que brindan estos insumos y que también se
diferencian de la evaluación. Las experiencias que llevan a cabo las
organizaciones de la sociedad civilrequieren, por su carácter singular e
innovador, llevar a cabo procesos de sistematización. Del mismo modo, sus
exploraciones suelen ser objeto de atención de los investigadores. En tal sentido,
resulta conveniente distinguir y delimitar los procesos de sistematización,
investigación y evaluación.

Lo primero que interesa señalar es que no hay una relación jerárquica, ni de

inclusión o subordinación entre la sistematización, la investigación y la
evaluación. En realidad se trata de tareas distintas aunque, por cierto, están muy
relacionadas, por eso es conveniente que exista una articulación entre las
mismas.

La sistematización consiste en recoger y ordenar información con el propósito de

hacer una memoria de la propia práctica y aprender de ella. Es un proceso de
objetivación por medio del cual se extraen (de acuerdo con determinados
parámetros) conocimientos sobre la labor que se realiza para capitalizar la
experiencia y reorientarla. Por eso, cada proceso de intervención constituye un
esfuerzo creativo único quQ tiene una gran dosis de experimentación. Durante la
implementación de un programa se generan descubrimientos, se producen
debates, se construyen conceptos y se organizan sistemáticamente. Este proceso
es dinámico, puesto que la sistematización tiene una lógica explicativa provisoria,
abriendo paso a nuevas dudas que deberán ser respondidas en el futuro y dando
lugar a renovados esquemas de relación entre los hechos y el ordenamiento de la
información.

La investigación, por su parte, supone hacer un recorte de la realidad y un

análisis en profundidad de algunos aspectos, indagando acerca de la existencia
de correlaciones y/o relaciones causales entre los fenómenos que se observan, ya
sea interpretándolos a la luz de la teoría deductivamente o “creando” teoría
inductivamente a partir de dichos fenómenos. En investigación es más acotado el
margen de fenómenos o aspectos que se eligen para analizar, mientras que la
sistematización se hace con un abordaje más comprehensivo de todo el proceso
de intervención. Además, la investigación es más rigurosa desde el punto de vista
metodológico y sus conclusiones son de más peso. También difieren en cuanto al
propósito de cada una.

La sistematización cumple con la función de ordenar información y aprendizajes

para encaminar la propia práctica, una producción al servicio del proceso de
intervención. En cambio la investigación está al servicio del conocimiento, sin
condicionamientos propios de la acción, donde el público al que se dirige la
información no es el propio equipo del programa, sino los circuitos académicos y
ámbitos de debate científico.

La evaluación, por último, es una investigación aplicada, y en este sentido se

rige por los mismos principios epistemológicos y metodológicos de toda
investigación. Sólo que la investigación básica tiene como propósito el
descubrimiento del conocimiento, mientras que la evaluación apunta a conocer
los resultados de un programa y los efectos que producen. La evaluación puede
también ser tipificada como “policy oriented research”, puesto que el
conocimiento producido por la evaluación siempre será utilizado en algún nivel de
toma de decisiones, desde los ámbitos estratégicos desde los que se conducen
políticas hasta los espacios operativos, pasando por los escalones intermedios de
la gestión.
Otro de los aspectos que distingue a la evaluación es que incorpora de manera
explícita los valores. Precisamente, evaluar significa valorar y la evaluación
siempre supone juicio sobre el objeto evaluado: mejor o peor, más cercano o más
lejano a lo deseado, más o menos ajustado, etc. Al tomar como referencia los
efectos deseados se está pensando en un horizonte al que se considera como el
más conveniente o adecuado, y esto significa que se está partiendo de
preferencias, prioridades y elecciones, todas las cuales se basan en los valores de
los involucrados.

Aspectos políticos y técnicos de la evaluación

En toda evaluación entran en juego aspectos técnicos y aspectos políticos. Toda

vez que se tiene en cuenta la relación entre los medios y los fines entra a jugar la
perspectiva técnica. Esta se refleja cada vez que nos preguntamos cómo se
organizaron los recursos (ya sean humanos, materiales, tecnológicos o
financieros), qué uso se hizo de los mismos, qué resultados se lograron, etc. Los
aspectos técnicos tienen que ver con disciplinas y saberes específicos propios de
las distintas áreas del quehacer (economía, salud, educación, medio ambiente,
etc.)como así también con las profesiones que priman en cada campo
(educadores, médicos, economistas, ingenieros, etc.).

Pero también está el aspecto político (en un sentido amplio, no partidario) de la

evaluación, que es el que tiene que ver con los actores, sus valores y sus
intereses, y con las instituciones. Por ello es tan importante saber quiénes son los
actores que están involucrados en la intervención, cuáles son sus fortalezas y sus
debilidades, qué persiguen, cómo van a participar y con qué grado de
involucramiento, qué grado de participación tienen en la evaluación. El aspecto
político está presente cada vez que nos preguntamos por los valores que orientan
las opciones que se eligen y las prioridades que se establecen, cuando analizamos
las limitaciones y potencialidades de tipo institucional (normas, procedimientos,
reglas del juego), cuando indagamos sobre las relaciones de poder, las disputas o
los consensos.

En una evaluación no se puede prescindir de los aspectos técnicos ni de los

políticos. Si nos concentráramos solamente en los primeros correríamos el riesgo
de ser poco realistas, de imaginar procesos y de identificar resultados desde una
perspectiva ajena al escenario social donde suceden los acontecimientos.
Evaluaríamos en términos ideales, sin ofrecer conocimiento útil para la toma de
decisiones. Y lo que es peor, aplicaríamos nuestros propios valores, puesto que
no existen posiciones técnicas avalorativas. Si, por el contrario, sólo nos
apoyáramos en argumentos de orden político, estaríamos menospreciando el
saber científico-técnico que ha sido probado a través de la experiencia y que ha
dado lugar a la conformación de campos específicos del saber.

Niveles de aplicación de la evaluación.

Los niveles de aplicación de la evaluación se corresponden con los niveles de

organización de los procesos de decisión y acción, a saber: política, plan,
programa, “cluster” y proyecto.

Las políticas públicas son procesos de decisiones y acciones (también omisiones

e inacciones) socialmente construidos, orientados por objetivos (con diferentes
grados de explicitación y estructuración) y que están orientados por el interés
general (razón por la cual, aunque no incluyan necesariamente al Estado como
único actor, lo cuentan como un involucrado imprescindible).

Las políticas públicas adquieren un carácter operativo a través de planes,

programas, proyectos u otras formas de acción/decisión organizadas.

Los planes son las unidades más generales de organización de procesos de

decisión y acción. Desde la perspectiva de la planificación estratégica, los planes
contienen los fines, objetivos, estrategias y sectores de intervención, esbozados
en grandes líneas, de modo tal de permitir la elaboración de versiones
(interpretaciones, adecuaciones, recreaciones) específicas a las distintas áreas,
sectores, regiones o localidades involucradas por el plan.

Los programas adquieren un nivel de mayor especificidad que los planes (no
necesariamente tienen que depender de un plan). Están a su vez conformados
por componentes (puede ser también por proyectos), que constituyen partes
relacionadas entre sí funcionalmente, es decir, los componentes o proyectos
cumplen funciones que coadyuvan al alcance de los objetivos del programa y
tienen entre sí una relación de tipo sistémico. Los programas suelen ser
continuados o tener períodos de duración no claramente delimitados puesto que
finalizan cuando dejan de subsistir los problemas que les dieron origen.

A su vez, los proyectos tienen un nivel de especificidad mayor que los programas
y pueden ser parte de estos (al igual que la relación entre programa y plan, la
relación entre proyecto y programa es de inclusión y parte). Cabe la misma
aclaración que se hizo en referencia a los programas: los proyectos no
necesariamente deben estar incluidos en un programa, puesto que es muy
común encontrar proyectos que existen de modo independiente. Los proyectos
tienen un período y un fin claramente delimitados y sus productos son obras, o
bienes y servicios que generan un efecto multiplicador.

Se llama cluster (racimo, grupo, haz) a un conjunto de proyectos o programas

que están reunidos por dos razones posibles:

• Porque constituyen procesos de intervención (proyectos o programas) en

pos de un fin común sobre una misma población y territorio. En este caso
la relación entre las partes es de tipo funcional.
• Porque son procesos de intervención con un mismo ideario o filosofía, que
tienen objetivos diversos aunque emparentados y que intervienen sobre
distintas poblaciones y territorios. En este caso la relación entre las partes
no es funcional (no coadyuvan al alcance de un mismo fin) sino que están
reunidos con el objeto de experimentar en diferentes escenarios con
prácticas similares o comparables y de aprender en común.

Las actividades de evaluación son diferentes según el nivel de gestión del que se
trate. Los proyectos son más sencillos de reconstruir y resultan en principio más
inteligibles, puesto que incluyen objetivos, productos y procesos de intervención
acotados. En muchos casos contienen unas pocas líneas de acción y los
involucrados, además de no ser muy numerosos, se reúnen con expectativas
claras y funciones bastante delimitadas.

Los programas tienen un nivel mayor de complejidad, puesto que contienen más
líneas de acción y suelen incluir varios componentes o proyectos. En su caso
resulta más difícil delimitar las responsabilidades propias del grupo operativo de
aquéllas que tienen que ver con el medio institucional o social en el que se
implementan los programas. Los involucrados son más numerosos y las
relaciones entre los mismos son más complejas, a la vez que la normas y las
reglas del juego en el marco de las cuales se desarrollan son más imbricadas. Al
ascender del nivel del proyecto al de programa se hace más difícil hacer una
evaluación comprehensiva, razón por la cual hay que acotar el objeto a evaluar,
es decir, hay que definir algunas dimensiones en detrimento de otras.

La evaluación de cluster puede ser de dos tipos. Si se trata de una agrupación

funcional (cluster de tipo a) la evaluación es similar a la de programa, aunque el
cluster tiene una diferencia en relación con un programa: en éste las partes que
se relacionan funcionalmente trabajan en el marco de una misma organización
responsable que conduce o coordina; en esta organización no existe sino que los
diferentes programas o proyectos sólo coexisten o, en todo caso, tienen una
articulación de tipo horizontal o en red. En este sentido, la evaluación es aún
más compleja y cobran mayor peso los asuntos que tienen que ver con las
relaciones entre las partes.

Si el cluster no es de tipo funcional (tipo b), la evaluación sigue los caminos de la

investigación comparativa. Cada programa o proyecto que compone el clúster es
tomado como un caso que se desarrolla en un escenario diferente y se eligen
algunas dimensiones que permiten comparar las intervenciones para poder hacer
un análisis transversal. Desde ya, en este caso no es posible hacer evaluación de
objetivos (puesto que son diferentes), aunque muchas veces los proyectos o
programas del cluster son impulsados por alguna iniciativa o línea de
financiamiento y/o apoyo técnico lanzada por un gobierno o agencia de
cooperación, razón por la cual se puede hacer una evaluación combinada de la
iniciativa (a través de sus objetivos y lineamientos generales) y de los proyectos a
partir del análisis comparado.

La evaluación de planes se ubica en un nivel de mayor complejidad y generalidad

que la de los programas y proyectos y aunque se puede evaluar en función de los
objetivos y efectos logrados, se invita a hacer mayores recortes (aspectos,
dimensiones) del ángulo de la evaluación.

En el caso de las políticas públicas, la evaluación se puede hacer de las maneras

siguientes:
 • A través de la evaluación de programas, clusters o proyectos, lo cual
equivale a seleccionar determinadas líneas de acción que se han puesto en
marcha y que constituyen una parcialidad de la política en ciernes.

• Se toma uno o más aspectos a evaluar (participación, equidad,

institucionalidad, etc) y se hace una investigación aplicada en torno al
mismo, abarcando el conjunto de líneas de acción de esa política.

• Una combinación de las anteriores

3. TIPOS Y CRITERIOS DE EVALUACION

Para entender qué significa evaluar, luego de haber avanzado con la

aproximación conceptual, resulta útil hacer una aproximación descriptiva.
Según los diferentes autores existen varios tipos de evaluación, pero a los efectos
de hacer inteligibles todas las denominaciones que existen se ha intentado
primero establecer los criterios con base en los cuales se hacen las clasificaciones
corrientes. Estos son:

a) el momento en que se evalúa,

b) el objeto de evaluación,
c) el alcance de la evaluación,
d) quién evalúa,
e) la perspectiva de los involucrados.

El presente cuadro sintetiza los principales criterios a tener en cuenta.

Según el Según el objeto Según el Según Según la
momento en de evaluación alcance quien perspectiva de
que se evalúa evalúa los involucrados

Ex - ante > De diseño De decisión > Los

> De viabilidad beneficiarios
y factibilidad > Los
> De financiadores
> Externa
Sustentabilidad > El poder
> Interna
De proceso > Monitoreo Formativa político
> Autoev.
> De Gestión > El equipo de
> Mixta
Ex - post > De efectos Sumativa gestión

> De impacto > Otros

> De > Combinaciones

satisfacción

Existe correlación entre los primeros tres criterios, dado que según el tiempo,
corresponden distintos objetos o aspectos a evaluar y el alcance también es
correlativo, tal como se explica a continuación.

Según el momento, el objeto y el alcance de la evaluación

Evaluación ex - ante. Es la evaluación que se lleva a cabo en un tiempo anterior

a la existencia del programa. Los objetos o aspectos a evaluar son el diseño del
programa, su viabilidad y factibilidad, y también la sustentabilidad del mismo.

En relación con el diseño, es necesario comprobar: a) si existe correspondencia

entre el problema analizado en el diagnóstico y los objetivos del programa
diseñado; b) si el diseño es consistente, es decir, si hay una adecuada relación
entre actividades, los insumos necesarios para llevarlas a cabo, los productos
(prestaciones, bienes y servicios) que resultan de éstas y los objetivos (que
constituyen los efectos deseados).

En cuanto a la factibilidad, se trata de analizar si se reúnen las condiciones

económico-financieras y técnicas para poder llevar a cabo el programa. En
relación con la viabilidad, lo que se busca conocer es si están dadas las
condiciones políticas (en un sentido amplio, de acuerdo de actores involucrados
y de gobernabilidad) e institucionales (normativa y de reglas del juego no
escritas) para impulsar el programa.

En lo concerniente a la sustentabilidad (como sinónimo de sostenibilidad) la

evaluación busca garantizar que el programa cuente con las posibilidades de
subsistir, más allá del período limitado de financiamiento que brinda el gobierno
o una agencia de cooperación (por medio de recursos propios o contando con
fuentes alternativas de financiamiento) . Pero tan importante o más aún que los
recursos financieros son las capacidades organizativas, institucionales, de
conocimiento y de gestión con que tiene que contar el equipo del programa. No
está demás mencionarlo, en este tipo de evaluación se deberá incluir también la
apreciación sobre la existencia de soportes políticos para poder seguir llevando a
cabo las acciones.

Como se podrá observar, todos estos tipos de evaluación están relacionados con
la toma de decisión previa a la iniciación de un programa que responde a la
siguiente pregunta: ¿Existen las condiciones para ponerlo en marcha? Según
cuál sea la respuesta se hará la opción. Por esta razón, con base en el criterio
del alcance se ubica la evaluación ex-ante como evaluación “de decisión” .

Evaluación de proceso. Esta evaluación se lleva a cabo cuando el programa está

en marcha, es decir, durante su fase de implementación, y tiene por objeto
analizar el desempeño del mismo. Según la extensión e intensidad del análisis,
los tipos de evaluación son el monitoreo y la evaluación de gestión.

El monitoreo es el procedimiento por el cual verificamos la eficiencia y eficacia de

la ejecución de un programa, mediante la identificación de sus logros y
debilidades. Se trata de un análisis periódico de distintos aspectos de un
programa con el propósito de verificar si se avanza según lo programado y de
identificar los posibles desvíos. Entre los aspectos a verificar se pueden
mencionar: a) actividades previstas, b) disponibilidad de recursos y desembolsos
presupuestarios, c) productos (bienes y servicios), tanto intermedios como finales,
que deben resultar de las actividades previstas, d) cobertura, o sea, beneficiarios
que han recibido los productos programados. Para hacer un seguimiento de
todos estos aspectos se construyen indicadores que permiten verificar el
cumplimiento de metas a lo largo del proceso.

Si bien éste es un tipo de monitoreo que relaciona las actividades y productos

generados en relación con lo programado, existen otros que relacionan el
desempeño del programa en relación con promedios o con estándares de máximo
desempeño.

Se podría decir que el monitoreo ofrece una visión del movimiento del programa,
aunque superficial. Mientras que la evaluación de gestión se detiene a analizar
diferentes funciones de la misma en profundidad. El monitoreo se asocia a una
película y la evaluación de gestión a una fotografía con detalles más rigurosos.
Las funciones que pueden ser abordadas en una evaluación de gestión son
variadas y se eligen según la necesidad: a) organización del programa,
incluyendo la división del trabajo, responsabilidades y jerarquías; b) secuencia de
actividades, relación entre las mismas y ubicación en el tiempo; c) asignaciones
presupuestarias y cronograma de erogaciones; d) organización de recursos; e)
dirección y coordinación; f) comunicación interna y externa; g) reclutamiento,
organización, capacitación e incentivos de recursos humanos; h) el clima de
trabajo; i) los productos y los efectos inmediatos; j) aspectos institucionales; k) la
planificación y el monitoreo mismos.

Dado que la evaluación es un aprendizaje, se puede afirmar que el alcance de la

evaluación de proceso es “formativo”.

E v a lu a c ió n e x - p o s t. Este tipo de evaluación se efectúa generalmente una vez

que ha concluido el programa o cuando ha finalizado una etapa del mismo, de
modo tal que se pueden conocer sus resultados.

Por evaluación de efectos se entiende aquélla que indaga sobre los cambios en la
realidad producidos por el programa, es decir, nuevos estados o condiciones en
las personas, en las cosas o en las instituciones que son producto de la
intervención del programa, ya sea que respondan o no a los objetivos planteados.
Algunos programas tienen objetivos o propósitos que se limitan a la construcción
de infraestructura o equipamiento, y en este caso sólo se evalúan sus productos,
pero en general, los efectos son consecuencia de los bienes o servicios prestados
por el programa.
La evaluación de impactos busca analizar los cambios producidos por el
programa en un período mayor de tiempo (mediano y largo plazo) conjuntamente
con otros factores intervinientes.

Por último, la evaluación se hace con el propósito de conocer no sólo lo que se

observa objetivamente sino también lo que sienten, perciben, valoran y resulta de
interés para los beneficiarios.

A esta evaluación se la llama “sumativa” , si se tiene en cuenta el alcance de la

misma, puesto que al finalizar la vida de un programa o una etapa del mismo se
logra contar con un cúmulo de conocimientos que resultan de lo que se aprendió
antes del inicio y durante todo el proceso de implementación.

Según quién evalúa

Un cuarto criterio a tener en cuenta es quien evalúa y en relación al mismo hay

tres posibilidades: evaluación externa, interna y mixta. Por evaluación externa
se entiende una intervención desarrollada por entidades y/o individuos que no
intervienen en el programa o proyecto a evaluar. Cuenta con la ventaja de una
mayor objetividad, aunque se corre el riesgo de acarrear también mayor
desconocimiento de la realidad a evaluar. Otra ventaja es su mayor grado de
independencia (o menor implicación), es decir, que los evaluadotes tienen menos
intereses comprometidos con los resultados de la evaluación. Por último, la
evaluación externa suele estar a cargo de especialistas, los cuales tienen un
conocimiento metodológico asentado a través de la experiencia.

En el otro extremo, la evaluación interna, desarrollada por una unidad y/o

personas que dependen de la gerencia o dirección del programa, cuenta con la
ventaja del mayor conocimiento del objeto a evaluar y probablemente, mejor
comunicación con los actores cuya acción es evaluada, aunque su visión puede
estar sesgada por la falta de distancia y perspectiva. Es decir, la evaluación
interna puede estar teñida de subjetivismo y sus resultados pueden estar
condicionados por la necesidad de complacer a los responsables del programa o
al equipo en su conjunto. Sin embargo, favorece el fortalecimiento del desarrollo
profesional a la vez que facilita una mayor participación y apropiación de los
resultados de la evaluación.
La autoevaluación es un tipo especial de evaluación interna, donde quienes la
realizan son los mismos involucrados en la gestión. La evaluación interna no
necesariamente es autoevaluación, puesto que, como se señaló anteriormente,
esta últim a puede ser responsabilidad de un equipo que sea externo al proceso de
gestión aunque pertenezca a la planta del programa.

Con la evaluación mixta se busca reunir las ventajas de ambos tipos, a través de
la conformación de equipos que reúnen agentes internos y externos. Existen
diferentes grados de asociación (mayor proporción de agentes externos o internos)
dependiendo de la medida en que cada parte coopera en el proceso de evaluación.
En algunos casos se opta por reunir evaluadores externos e internos en número
similar, en otros se opta por un equipo externo que cuenta con apoyos internos, y
en otros se prefiere organizar equipos internos con la inclusión de especialistas
externos. Desde esta última perspectiva, el evaluador externo aparece en la
bibliografía especializada bajo la figura del “agente provocador” o “amigo crítico”,
términos que dejan claramente planteada la idea de una interlocución crítica y
reflexiva que puede potenciar aún más las ventajas de la auto evaluación,
otorgando al agente externo independencia pero posibilidad de estar inmerso en
el proyecto.

Según la perspectiva de los involucrados

Por último, queda por señalar que existen distintos tipos de evaluación según la
perspectivas de los involucrados, sean éstos los beneficiarios, los financiadores, el
poder político y las autoridades, el equipo de gestión, otros o combinaciones de
los mencionados.

Cada organización hace sus evaluaciones según las necesidades, el desarrollo de

la cultura de la evaluación en su interior y en el medio social en el que trabaja, la
experiencia que posee, la capacidad adquirida y los recursos que dispone. Cada
evaluación es una “obra de arte” que se diseña ad hoc para cada organización,
cada programa y cada circunstancia. Asimismo, en la medida que se avanza en
la práctica evaluativa, las organizaciones van desarrollando sus propios “sistemas
de evaluación”, contando con equipos y logística para llevar a cabo el monitoreo y
múltiples evaluaciones a medida que se avanza en el tiempo.
Es conveniente reiterar el carácter sistémico que debe tener la práctica evaluativa
en dos sentidos: a) concebir a la evaluación (y el monitoreo) como una función de
la gestión que se integra a las demás funciones (planificación, organización,
dirección, presupuestación, etc.); b) articular las distintas evaluaciones (por
ejemplo: evaluaciones ex - ante, monitoreo, evaluaciones de efectos, etc.) en un
todo estructurado, de modo que confluyan diseños, bases de datos, capacidades y
recursos. El montaje de un sistema de información permite garantizar la práctica
de la evaluación como un proceso permanente en una organización o programa.

Criterios de evaluación

Mucho se ha hablado de evaluación de efectividad, eficacia, o eficiencia. En

realidad estos no son tipos de evaluación sino criterios que hacen que el trabajo
se concentre en determinados aspectos que dicen la bondad del programa o
proyecto. A continuación se presenta una explicación sobre cada uno de estos
criterios.

Efectividad: refiere a la comparación de los resultados obtenidos respecto de los

esperados. La efectividad implica conocer si la teoría implícita en cada programa,
con sus correspondientes expresiones metodológicas y técnicas aporta las
respuestas que se buscan y genera los cambios que se requieren. También
interesa estimar si esta teoría podría ser aplicable a otros campos o población
beneficiaría. Con el análisis de efectividad se indaga sobre la capacidad de un
programa a partir de su concepción y diseño, incluyendo la pertinencia
(capacidad de respuesta a los problemas que le dieron origen), la consistencia y la
adecuada visualización del medio en el que se desarrolla.

Eficacia: refiere a la capacidad de un programa o de alguno de sus componentes

para alcanzar sus objetivos en el tiempo esperado. La eficacia contempla el
cumplimiento de objetivos en tiempo, sin importar el costo o el uso de recursos, y
tiene relación fundamentalmente con la capacidad organizativa, de flexibilidad y
adaptación frente a la situación de cambio a la que están sometidos generalmente
los programas. Con el análisis de eficacia se indaga sobre la capacidad de gestión
de un programa, más allá de cómo fue diseñado y teniendo en cuenta incluso la
posibilidad de logro de efectos que no estaban señalados en los objetivos.
Eficiencia: se define como la relación entre los productos o resultados esperados
de un programa y los costos de los insumos o procesos de apoyo o
funcionamiento que implica, Debe brindar elementos de juicio para identificar
alternativas de acción que permitan obtener mejores resultados con igual
cantidad de recursos o bien los mismos resultados con una mejor combinación o
utilización de los recursos existentes. La eficiencia tiene relación con la
maximización del impacto del gasto público, el que siempre enfrenta desafíos
asociados al costo de oportunidad de asignar recursos a determinados programas
en relación a otros, en un contexto de variadas y complejas necesidades sociales
no satisfechas. Es importante aclarar que la eficiencia no se logra sencillamente
minimizando costos. La eficiencia obliga a poner un estándar a la minimización
de costos: cumplir el objetivo, a mínimo costo o generar el mayor logro, para un
determinado costo.

4. PERSPECTIVAS TEÓRICAS Y METODOLÓGICAS DE LA EVALUACIÓN

No existe una única concepción de evaluación y consecuentemente, hay varias

perspectivas teóricas y metodológicas que la sustentan, las cuales han sido objeto
de intensos debates que permanecen hasta hoy. Una primera clasificación que se
puede hacer proviene de distinguir la evaluación tradicional de los enfoques
alternativos que le sucedieron, dando diversas respuestas en oposición a aquélla.
A continuación se exponen brevemente los autores y fundamentos de cada una:

a) Evaluación tradicional centrada en objetivos (Definición clásica,

desarrollada inicialmente por R. W. Tyler en el trabajo Eight Year Study en 1942)
Utiliza como parámetro de referencia los objetivos del programa a evaluar,
realizando análisis comparados entre lo que se buscaba y lo que se logró. Este
enfoque busca determinar la congruencia entre los resultados alcanzados y los
propuestos por un lado, y entre el trabajo (las operaciones) y los objetivos por el
otro.

b) Enfoques alternativos. Estos enfoques rechazan la visión de supuesta

imparcialidad y objetividad de la evaluación centrada en objetivos, de corte
positivista, y resaltan los valores y las opiniones de la pluralidad de actores
involucrados en el programa a evaluar. Reconoce la diversidad de intereses en
juego, la multiplicidad de perspectivas y prom ueve_ activamente la participación
de los diferentes actores en la evaluación. Varias versiones de este enfoque
fueron emergiendo a lo largo del siglo pasado, pero vale la pena puntualizar las
siguientes:

• Evaluación múltiple (Desarrollado por C. H. Weiss y G. Majone): dada

la existencia de múltiples partes afectadas por un programa y la
complejidad del contexto político donde se desenvuelve la intervención,
este enfoque propone la utilización de las distintas perspectivas de los
actores involucrados en la evaluación.

• Evaluación libre de objetivos (Desarrollado por M. Scriven, H.J. Brown

y Wildavsky) considera objetos de evaluación a todos los efectos
provocados por el programa y no sólo aquellos previstos inicialmente.
Propone analizar el impacto sobre la población objetivo y también sobre
grupos que no lo sean; el impacto sobre las condiciones actuales,
futuras, sobre los costos en relación con los recursos utilizados y sobre
los costos indirectos o costos de oportunidad. Este enfoque se presenta
como menos intrusivo, más adaptable a los cambios repentinos de metas
y más propenso a buscar efectos secundarios.

• Evaluación naturalista - evaluación mediación (E. G. Guba y Y.S.

Lincoln): considera a la evaluación como una investigación aplicada que
puede no proporcionar conclusiones objetivas e imparciales sobre el
programa a evaluar, sino que aporta herramientas para re definir los
medios para alcanzar los objetivos propuestos. Propone consensuar los
resultados del análisis con los participantes de la evaluación, para
incorporar sus percepciones y opiniones al informe final.

• Evaluación orientada a la utilización (M. Q. Patton): cada decisión del

evaluador debe ir precedida de una pregunta sobre las consecuencias de
la opción elegida en términos de utilidad, constituyéndose en un proceso
dinámico e interactivo.
El debate metodológico

A la par de la discusión teórica sobre evaluación se encuentra el debate

metodológico y se pueden también apreciar ciertos paralelismos entre ellos,
aunque no de modo determinante. En términos metodológicos, la evaluación ha
incorporado un debate que corresponde a la investigación en ciencias sociales,
entre las orientaciones de orden cuantitativo y las de tipo cualitativo. Ambas
responden a diferentes paradigmas epistemológicos que son, respectivamente, el
positivista - empírico y el fenomenológico - constructivista. No es raro encontrar
afirmaciones tales como que existen tipos de evaluación distintos, cuantitativo o
cualitativo, pero es importante dejar sentado que se trata de diferentes abordajes
metodológicos que, como se verá más adelante, no necesariamente son
excluyentes.

La perspectiva cuantitativa se apoya en el paradigma epistemológico positivista

- empírico. El mismo parte del supuesto de que la realidad se puede captar de
manera objetiva, más allá del observador, con categorías preestablecidas que se
toman de una teoría. El método predominante es el deductivo y se trabaja con
datos de tipo cuantitativo (muchas veces de tipo estadístico). Tiende a sacar
conclusiones generales y los resultados de sus investigaciones son también
generalizables. Una indagación de este tipo debe ser amplia y detalladamente
planificada antes del comienzo del proceso de evaluación. Este paradigma es
generalmente aplicado en evaluaciones de programas de gran alcance o en
indagaciones de gran alcance sobre programas masivos.

La perspectiva cualitativa responde al paradigma fenomenológico -

constructivista. Se apoya en el supuesto de que la realidad es captada a través
de la lente del observador, quien introduce a priori sus categorías subjetivas para
el análisis. No pretende garantizar la objetividad sino más bien comprender
actitudes, valores y motivaciones internas de las personas (indagación de la
subjetividad). Por esta razón más que buscar datos intenta examinar discursos y
hacer análisis de contenidos y de casos. No se pretende sacar conclusiones
generales sino obtener un conocimiento exhaustivo de las particularidades. A su
vez, sus resultados son limitados en su generalización. El diseño de una
evaluación de este tipo es, en el comienzo, provisorio; es decir, es un diseño que
emerge en el proceso. Generalmente, estos métodos se ajustan a las evaluaciones
de programas locales o de aspectos locales de los programas.

Ejemplos de técnicas que se ajustan al paradigma cuantitativo son las encuestas

y entrevistas estructuradas y el análisis estadístico. Ejemplos de técnicas propias
del paradigma cualitativo son las entrevistas en profundidad, los grupos focales,
el análisis del discurso y de contenidos.

De un tiempo a esta parte se ha superado el histórico divorcio entre las

metodologías de un cuño u otro, para dar paso a las propuestas “multiplistas”,
que adoptan enfoques y técnicas de ambos según convenga al objeto a indagar y
a la perspectiva del evaluador.

Como se señaló anteriormente, estos enfoques no son necesariamente

contrapuestos ni excluyentes. Tal como sugieren Cook y Reichart, es conveniente
emplear los métodos que resulten más adecuados según la ocasión y si resulta
posible, hacer uso de ambas perspectivas de modo combinado10.

Existen varias ventajas potenciales del empleo y la articulación de ambas

metodologías. En primer lugar, dado que la evaluación generalmente tiene
múltiples propósitos, éstos deben ser atendidos con referencia a una variedad de
métodos. Esto supone, en otros términos, atender tanto al proceso como a los
resultados y considerar, en muchos casos de manera simultánea, los objetivos
vinculados con la comprobación, la valoración del impacto y la búsqueda de
explicaciones sobre los aspectos evaluados.

En segundo término, la utilización de manera articulada de ambos métodos

puede contribuir a su potenciación mutua. Esto implica que uno no puede
sustituir al otro, dado que aportan formas diferentes de abordar el objeto de
evaluación y que, en consecuencia, requieren su complementariedad. Si bien,
cabe aclarar, no se trata de pensar que ésta resulta de una simple sumatoria
sino, por el contrario, que implica atender a los problemas que resultan de su
combinación.

Por último, dado que no hay método que no presente problemas, dificultades o
inconvenientes, la tercera ventaja que ofrece la articulación de ambos enfoques es

10 T. D. Cook y Ch. S. Reichardt, Métodos cualitativos y cuantitativos en investigación

evaluativa, Madrid, Morata, 1986, p. 40 y 41.
la de posibilitar la triangulación de métodos que permitan disminuir los sesgos
propios a cada uno de ellos. La triangulación puede darse entre distintas
perspectivas teóricas , entre distintas perspectivas metodológicas, entre técnicas
cuantitativas y cualitativas, entre tipos de información disponible
(documentación, informantes de todo tipo, observación) y entre distintos tipos de
informantes

Modelos de comparación: experimentales, cuasi-experimentales y no

experimentales.

Habiendo presentado el debate metodológico, cabe pasar a la presentación de los

modelos de comparación. Cada vez que se hace una evaluación puede existir la
posibilidad de hacer dos tipos de comparación: a) entre los grupos beneficiarios
del programa y los que no han accedido a él; y b) dentro del mismo grupo, a lo
largo del tiempo. Se trata de definir si se trabajará o no con grupos de control, si
se optará por series temporales -y cuántos cortes se efectuarán- y si, en
consecuencia, se construirá o no una línea de base. De acuerdo con Cohén y
Franco11, los modelos de comparación son de tres tipos: experimental clásico,
cuasi-experimental y no experimental.

Modelos experimentales: El método experimental clásico implica la

conformación de dos poblaciones, una de las cuales recibe el estímulo,
constituyéndose en el grupo experimental, mientras que la otra no es sometida a
ese tratamiento y conforma el grupo de control o grupo testigo. El eje central es
poder variar un factor a la vez, manteniendo el resto constantes. La dificultad es
encontrar dos poblaciones idénticas al menos en los factores pertinentes al
estudio.

El elemento fundamental para el control del experimento y para evitar introducir

sesgos en la selección de los miembros de cada uno de los grupos es la
aleatorización. De esta manera se distribuirán al azar los factores incontrolables.

Una vez conformados ambos grupos se trata de comparar la situación en que se

encontraban “antes” de la intervención y “después”.

11 Cohén, Ernesto y Franco, Rolando Evaluación de proyectos sociales Buenos Aires, 1988 p. 134
La aplicación de este modelo requiere la selección aleatoria de los integrantes de
los dos grupos. Esta exigencia implica que la muestra debe ser sustancialmente
mayor y , por lo mismo más caro. Pero además el modelo ha sido cuestionado por
otras dos razones fundamentales: a) una razón ética: por el hecho de que
experimentar con personas interfiere en la vida personal y social de las mismas;
b) una razón política: este modelo implica excluir a un grupo de personas de los
posibles y eventuales beneficios que genera un programa o política

Modelos cuasiexperimentales son aquellos donde los grupos (experimental y de

control) no se seleccionan aleatoriamente.

a) Señes temporales: se construyen sobre la base de mediciones periódicas

efectuadas “antes”, “durante” y “después” de la realización del proyecto. Según
las formas que adopten las curvas, es posible determinar el impacto del
programa. La dificultad reside en que los modelos cuasiexperimentales no
permiten aislar los efectos legítimamente atribuibles al proyecto de aquéllos
que no lo son.

b) Grupos de control no equivalentes o de comparación: estos grupos se forman

asumiendo que sus miembros tienen características semejantes a las del
grupo al cual se aplica el proyecto. Se efectúan mediciones “antes” y “después”
de introducir el estímulo.

Modelos no experimentales: En aquellos casos en que la población objetivo no

puede ser comparada con grupos testigo, surgen estas alternativas para descartar
los efectos exteriores no atribuibles al proyecto.

a) Modelos “antes”- “después”: trabaja sobre un solo grupo y compara las

mediciones realizadas “antes” de la puesta en práctica del proyecto, con los
valores obtenidos con los resultados de las mediciones realizadas “después”.
El modelo no permite eliminar los factores exógenos, y determinar en qué
medida los cambios son imputables al proyecto. Para ello puede:

- utilizar grupos de comparación que no han sido establecidos en función

del diseño y que permiten sólo una aproximación no rigurosa

— a través de variables de control que faciliten la estimación de la

incidencia de las variables exógenas.
b) Modelo sólo “después” con grupo de comparación: se aplica cuando resulta
imposible seleccionar un grupo de control que cumpla con los pre-requisitos
que establece el modelo experimental. Contrasta los resultados obtenidos en el
grupo del proyecto con los de un “grupo de comparación” que opera como
testigo. j

c) Modelo sólo “después”: es el más débil de todos los modelos. Considera un

solo grupo, donde la medición se efectúa “después” de la intervención. Luego
de la medición el evaluador reconstruye la situación inicial con la información
a al que ha tenido acceso. Pueden identificarse variables de control, dentro del
grupo experimental, que den indicaciones de los impactos imputables al
proyecto.

5. PASOS PARA LLEVAR A CABO UNA EVALUACIÓN

Se cuente o no con un sistema de evaluación, cada vez que hay que “crear” esta
obra de arte que es la evaluación es menester seguir los siguientes pasos:

» Planteamiento de la evaluación y toma de decisiones.

• Diseño de la evaluación.
• Recolección de información y procesamiento.
• Análisis de la información.

• Comunicación de los resultados.

5.1 Planteamiento de la evaluación y toma de decisiones.

Toda evaluación surge de una carencia de información. En ese sentido la

evaluación es una respuesta a un problema o necesidad. Se desea saber qué
posibilidades hay de poder llevar a cabo con éxito un programa si es que no ha
funcionado aún, o bien cuáles han sido sus resultados si lleva un tiempo
considerable de intervención, o cuáles son sus principales dificultades y
fortalezas en la implementación. Como producto de esta necesidad de
información, los decisores se preocupan por llevar a cabo una evaluación, ya sea
por iniciativa propia, por demanda de los involucrados o simplemente porque la
necesidad se instaló en la agenda de la organización impulsora del programa o en
la agenda del medio social en el que se actúa.

Nunca una evaluación está clara ni bien emerge la necesidad. Es necesario

estructurar esta necesidad / problema en diálogo de actores, y estructurar la
respuesta que se le dará. A esto se le llama también “estructurar la demanda” .
Con este propósito hay que plantearse y responderse varios interrogantes:

• ¿Cuál es el problema / necesidad que hay que resolver / satisfacer en

términos de conocimiento? ¿Qué aprendizaje hay que generar?

• ¿Quiénes son los actores involucrados? En este caso hay que distinguir
los actores directos (tienen injerencia en el “proceso de conversión” de
insumos en productos, ya sea como responsables, agentes intervienientes
en el programa, como proveedores o como beneficiarios) de los actores
indirectos (aquéllos que son concernidos por el programa pero que no
participan en su proceso de conversión). ¿Cuáles son sus intereses, sus
fortalezas, sus debilidades, sus recursos?

• ¿Cuáles son los propósitos u objetivos de la evaluación? ¿Cuál es la fase

de desarrollo del programa? ¿Qué aspectos se evaluarán?

• ¿Quiénes serán las audiencias (destinatarios principales) a los que se

harán llegar los resultados de la evaluación?

• ¿Con qué recursos se cuenta (financieros, humanos, materiales,

tecnológicos) y con qué tiempo? ¿Cuáles serán los costos aproximados de
la evaluación? ¿Qué obstáculos se encontrarán?

Luego de contestar estas preguntas se estará en condiciones de esbozar la

evaluación y de tomar decisiones sobre su puesta en marcha.

Una vez que se haya decidido es necesario conformar el equipo operativo de la

evaluación.

Es conveniente detenerse para hacer algunas consideraciones en torno al análisis

de actores. Tanto al identificar los problemas / necesidades como al definir los
aspectos a evaluar y los objetivos la referencia a los actores es obligada. Los
problemas tienen un carácter subjetivo (son estructurados por personas, grupos,
instituciones, partidos; y son también priorizados en función de las pujas de
poder entre aquéllos), al igual que la definición, selección y jerarquización de
objetivos.

El análisis de actores no sólo nos permitirá conocer qué visión tienen de los
problemas que emergen en el diagnóstico sino que también contribuirá a avizorar
quién estará a favor y quién en contra de un conjunto de decisiones, cómo se
opondrán o apoyarán, cuánto y hasta qué punto estarán dispuestos a hacerlo.
Sinónimos de actores involucrados podrían ser afectados (beneficiados o
perjudicados), interesados, implicados o concernidos.

El siguiente cuadro refleja los principales puntos a tener en cuenta para analizar
los actores sociales involucrados. En primer lugar es conveniente establecer un
patrón de clasificación y agruparlos (públicos, privados, sociedad civil / técnicos,
políticos, administradores/ por regiones / por tipo de institución/ etc.) En la
primera columna enunciamos los grupos que intervienen, luego cuáles son los
intereses de cada uno de ellos, sus fortalezas y debilidades, los recursos que
aportan y, por último, cuales son los potenciales conflictos que pueden ocasionar.

Grupos Intereses Fortalezas y Recursos que Conflictos

debilidades aportan potenciales

Algunas consideraciones en torno a la participación (tanto en la toma de la

decisión inicial como en el proceso posterior): Ésta se puede presentar en formas
diferentes. Es necesario distinguir entre quienes simplemente proveen
información, quienes dan opinión, quienes son invitados a participar
esporádicamente de una decisión y quienes se sientan en la mesa permanente de
decisiones. Existen diferentes esquemas, tales como la conformación de equipos
permanentes, las instancias de consulta eventual o esquemas radiales de
consulta puntual por parte del equipo operativo de la evaluación. Lo que resulta
claro es que no se puede evaluar haciendo asamblea permanente, puesto que hay
que seguir un rigor técnico y ordenado en la producción de conocimiento. Esto
requiere la existencia de un equipo operativo que hace sus aportes técnicos, se
retira a organizar el proceso en todas sus instancia, se aísla para preparar los
canales de participación y análisis de la información y luego vuelve al conjunto de
los involucrados.

Otro aspecto a señalar es la tensión entre la evaluación deseable y la evaluación

posible, donde se entremezclan elementos de factibilidad y de viabilidad. La
factibilidad refiere a la técnica, a las personas que conocen sobre el tema, a los
sistemas de información con los que se cuenta, al tiempo, todo lo cual va
“limitando” la acción. La viabilidad está ligada en primer lugar a los aspectos
políticos (voluntades, intereses y valores de los actores), es decir, refiere a las
posibilidades de generar consenso en torno a la evaluación o dejar sentadas las
diferencias para demarcar caminos de negociación. La viabilidad también refiere
a los aspectos institucionales, esto es, a la normativa y reglas del juego que
gobierna el movimiento de las organizaciones.

Por otra parte es necesario considerar la limitación que tiene que ver con los
recursos: dinero, tiempo, si se cuenta con el marco institucional y el marco
político adecuado. En otras palabras, no existe la evaluación ideal, toda
evaluación es diseñada a medida y en función de circunstancias y de un
escenario en la que juegan todos estos factores técnicos y políticos.

Dentro de la fase del planteamiento también es necesario preguntarse sobre los

aspectos a evaluar: productos, efectos, impactos, aprendizajes, aspectos
organizativos, manejo de los recursos, articulación de los diversos actores,
funcionamiento de las redes y alianzas, estilos de dirección, construcción y
fortalecimiento del clima de trabajo, etc. Es decir, el arco de posibilidades es muy
amplio y no basta con dejar sentado “qué se quiere evaluar” y establecer un
acuerdo sobre ello, sino que es menester avanzar sobre el tipo de evaluación que
se desea hacer. Llegar a esta definición implica tomar decisiones acerca de los
aspectos hacia los que apuntará la evaluación y por lo tanto hacer un recorte de
las aspiraciones.

Antes de finalizar, cabe resaltar que, en términos óptimos, es de desear que la

evaluación sea planteada y luego diseñada en el momento mismo en que se
formula un programa. De este modo se podrán prever todos los pasos a
desarrollar, convocar con antelación a los informantes, ordenar la documentación
y calcular los recursos necesarios. Además, de este modo se podrá también
hacer una recolección de información sobre la situación inicial del programa, a la
cual se le llama línea de base.

5.2. Diseño de la evaluación

Una vez tomada la decisión de evaluar sobre la base de un esbozo, es necesario

darle forma a la idea prefijada, es decir, diseñar la evaluación.

Un diseño de evaluación debe contar con los siguientes elementos:

Objetivos y preguntas clave

Objetivos: Son los enunciados que orientan de manera global la formulación de

la evaluación. Debe expresar el cambio esperado en el problema o carencia de
conocimiento que da origen al proceso. Supongamos que se debe llevar a cabo
una evaluación de un programa de alfabetización de adultos, impulsado por el
Estado y ejecutado por organizaciones de la sociedad civil. Luego de
transcurridos seis meses de su implementación sólo se pueden sacar
conclusiones relativas al inicio y el proceso. Un objetivo podría ser el siguiente:
“Conocer los primeros avances en la implementación del programa, a saber, a)
organización y articulación de recursos; b) reclutamiento y capacitación de
docentes; c) convocatoria de alumnos; d) dinámica de las actividades de
enseñanza y aprendizaje; e) primeros resultados en el aprendizaje” .

Preguntas clave: Sobre la base de los objetivos cabe hacerse preguntas

generales acerca del funcionamiento de un programa. Estas preguntas son las
grandes orientadoras del trabajo y darán lugar a la elaboración del marco teórico
y de las hipótesis de evaluación. El equipo operativo deberá hacerse sus propias
preguntas e invitar a los actores involucrados a formular las suyas.
Posteriormente deberán ser ordenadas en función de los siguientes criterios:

a) juntar las preguntas repetidas o similares,

b) subsumir las preguntas específicas en otras más generales

c) agruparlas por tema, área o aspecto común

 d) organizarías según las relaciones causales que existan entre las mismas.

Marco teórico e hipótesis

Marco teórico: El marco teórico, marco referencial o marco conceptual tiene el

propósito de dar al proceso evaluativo un sistema coordinado y coherente de
conceptos y proposiciones que permitan abordar el problema. De éste dependerá
el resultado del trabajo. Significa poner en claro para el propio evaluador sus
postulados y supuestos, asumir los frutos de investigaciones anteriores y
esforzarse por orientar el trabajo de un modo coherente. El fin que tiene el marco
teórico es el de situar a nuestro problema dentro de un conjunto de
conocimientos, de modo tal que permita orientar nuestra búsqueda y nos ofrezca
una conceptualización adecuada de los términos que utilizaremos. El punto de
partida para construir un marco de referencia lo constituye nuestro conocimiento
previo de los fenómenos que abordamos, así como las enseñanzas que
extraigamos del trabajo.

Este encuadre teórico o conceptual no es inmóvil, sino que cambia conforme van
emergiendo evidencias a partir de la intervención. Estas obligan a modificar las
perspectivas desde las que se observa e interpreta la realidad. Por esta razón, se
habla de la necesidad de poner al día el marco teórico, haciendo un análisis
crítico de las suposiciones que dieron sustento a la acción en el pasado.

Hipótesis: Una hipótesis es un planteamiento y/o supuesto que se busca

comprobar o refutar con evidencia empírica, siguiendo las normas establecidas
por el método científico. En otras palabras, se trata de una respuesta adelantada
a una o más preguntas, que debe ser confirmada con la información que se
recogerá en el trabajo de campo. Las hipótesis surgen de las grandes preguntas
clave que han hecho previamente.

Supongamos que debemos evaluar la gestión de un programa, en cuyo caso se

podría trabajar con la siguiente hipótesis: “El programa presenta dificultades en
sus resultados porque a) el estilo de dirección es poco participativo, b) se ha
brindado escasa atención a las opiniones de los beneficiarios, c) no hay una clara
asignación de funciones a los agentes que tienen a cargo su implementación” .

Las hipótesis pueden ser de tres tipos:

• Descriptiva: Se corroboran los logros, hayan sido planificados o no, cómo así
también los problemas.

• De correlación: Existe relación entre dos fenómenos.

• De causalidad: Un fenómeno genera otro.

Dado que todo programa supone una hipótesis de intervención (“si se llevan a
cabo tales actividades, de las que surgen tales prestaciones, se lograrán tales
objetivos”), en gran parte de las evaluaciones, con la hipótesis de evaluación se
propone corroborar el grado en que se cumplió la hipótesis de intervención.
Luego, al preguntarse “por qué”, pueden aparecer varias razones (causas) o
correlaciones (hechos relacionados sin que se pueda considerar que uno da
origen al otro). Hay hipótesis que tienen relación con la totalidad de las
dimensiones y otras sólo interpretan lo que ocurre en relación a una sola
dimensión.

Dimensiones, variables, indicadores y unidades de análisis

Dimensiones: Grandes bloques conceptuales que corresponden a aspectos de la

realidad a evaluar, relacionados con los resultados y los procesos. Para
ejemplificar, supongamos que debemos evaluar un programa de desarrollo social
a nivel local, que tiene diferentes líneas de intervención: productiva, educativa,
de salud, de vivienda y comunitaria. Las dimensiones de la evaluación
corresponderán a cada una de estas líneas.

Variables: Atributos observables de la realidad que refieren a una o más

unidades de análisis. Se agrupan en torno a las dimensiones. Para ejemplificar,
tomemos una de las dimensiones del ejemplo anterior: la educativa. Las
variables a analizar serán los distintos aspectos educativos respecto de los cuales
esperamos encontrar cambios luego de la intervención, tales como “el clima
escolar”, “la eficiencia interna de los centros educativos, “los logros en el
aprendizaje”, etc.

Indicadores: Signos que permiten percibir los movimientos de las variables. Una
variable es captada o descripta por medio de uno o más indicadores. Siguiendo
los ejemplos anteriores de variables propias de la dimensión educativa, podemos
seleccionar la variable “eficiencia interna de los centros educativos”, para la cual
los indicadores podrían ser “tasa de permanencia” (o su opuesta: deserción), “tasa
de prom oción” (o su opuesta: repetición) y “tasa de asistencia” (o su opuesta:
inasistencia).

Existen distintos tipos de indicadores y dependen del tipo de evaluación a

realizar: A) Indicadores de proceso (signos que brindan información sobre
“intangibles”, tales como liderazgo, consenso, clima o comunicación; sobre
“producción” , tales como programación, estructura, recursos, técnicas de
producción y distribución de bienes y servicios; y sobre “proyección”, tales como
imagen, posición en el sector, previsiones de futuro, etc. B) Indicadores de
producto (permiten cuantificar la producción de bienes y servicios que brinda el
programa en un periodo de tiempo dado). C) Indicadores de cobertura (población
que recibe beneficios sociales en un período definido).

Es necesario explicar que estamos trabajando en un proceso de

operacionalización, en el mismo sentido que se hace en toda investigación.
También es importante señalar que todos estos son términos relativos. Es decir,
las dimensiones incluyen a las variables y éstas a los indicadores, o viceversa, a
través de un conjunto de indicadores se puede “leer” o interpretar el
comportamiento de las variables- siempre mediado por el análisis -, y a su vez el
análisis de un conjunto de variables permite sacar conclusiones acerca de los
hallazgos y resultados en torno a un bloque temático (dimensiones).

En relación a la construcción de indicadores, las características de un buen

indicador se pueden enunciar en los términos siguientes12:

• su pertinencia;

• su capacidad para resumir la información sin deformarla;

• su carácter coordinado y estructurado, que permite ponerlo en relación

con otros indicadores para efectuar un análisis global del sistema;

• su precisión y comparabilidad;

• su fiabilidad.

12 Sauvageot, Claude Indicators fo r educational planning: a practical guide, UPE- UNESCO,

1997 . - - .
Un buen indicador debe permitir:

• medir cuán cerca o cuán lejos estamos en relación con un objetivo;

• identificar las situaciones problemáticas o inaceptables;

• responder a las preocupaciones políticas y al cuestionamiento que ha

conducido a su elección;

• comparar su valor con otro valor de referencia, una norma o consigo

mismo calculado para otro período de observación.

Unidades de análisis: Recorte teórico- metodológico de la realidad a los efectos

de ser analizada. Puede tratarse de personas, grupos de personas, instituciones,
objetos o programas. El universo está compuesto por el conjunto de unidades de
análisis. Siguiendo con el ejemplo anterior, las unidades de análisis relativas a
los indicadores de la variable “eficiencia interna de los centros educativos” son,
en todos los casos, los alumnos. Si se tomara la variable “clima escolar”, las
unidades de análisis serían los centros educativos. En cuanto al universo, estará
compuesto en estos ejemplos por la totalidad de alumnos que son beneficiarios
del programa y por la totalidad de centros educativos que participan en él,
respectivamente.

Fuentes de información, técnicas e instrumentos

Fuentes de información: Proveedores de información. Puede tratarse de

documentación en diferentes registros (escrito, audio, audiovisual); la realidad
directamente observada; o actores con algún tipo de relación con el programa.

Las fuentes pueden ser secundarías, cuando brindan información cuya

elaboración no ha estado guiada por el fin de brindar insumos para la evaluación
sino por otros propósitos (investigaciones, alimentación de bases de datos de uso
general, acervos estadísticos, etc.); o primarias, cuando son abordadas con el
objeto específico de brindar insumos de información para la evaluación.

Distintos tipos de documentos pueden ser reunidos:

• Documentos sobre planificación del programa. En este bloque se ubican los

documentos preparatorios que contienen diagnósticos y análisis de
 factibilidad / viabilidad de los programas, el texto del programa con sus
anexos.
• Información de contexto, o sea del medio en el que se desarrolla el programa.
Se trata de información geográfica, histórica, demográfica, económica, socio -
cultural y educativa. De especial utilidad será la información sobre política y
práctica educativa en el lugar.

• Documentación de trabajo: manuales operativos, instructivos, guías / pautas

de trabajo, registros e informes internos.
• Materiales de difusión, capacitación y diseminación.
• Información periodística.
• Documentación sobre la organización coordinadora y otras organizaciones que
conformen la alianza, que contengan información sobre su historia, objetivos,
actividades, estilos de gestión, organización, etc.
• Investigaciones relacionadas con el programa (sí las hubiera).

Respecto de las otras fuentes (informantes, observación) serán retomadas a

través de las técnicas de recolección de información.

Técnicas de recolección: formas de abordar las fuentes para obtener

información. Suponen un proceso lógico por el cual el abordaje de esa fuente dará
como resultado la obtención de información significativa, relevante,
representativa y válida.

Surge durante esta etapa el debate entre técnicas de cuño cuantitativo y

cualitativo. Si bien la distinción entre unas y otras suele tener, en sentido
estricto, fronteras difíciles de delimitar, se insiste en que no existen metodologías
contrapuestas, sino que para cada evaluación se hace la selección y organización
de técnicas que más se ajustan a las necesidades de la indagación. Cabe aclarar
que la orientación cuantitativa o cualitativa no depende sólo de la técnica que se
utiliza para recoger información, sino además del tipo de tratamiento de la misma
en el análisis.

Sin pretender hacer un listado exhaustivo, se mencionan a continuación algunas

técnicas:

> Análisis documental: El análisis documental es un paso obligado de toda

evaluación, tanto de resultados como de procesos. Siempre existe en el
 análisis documental un ejercicio de tipo exploratorio y otro de carácter más
pautado en el que la búsqueda de información es regida por categorías,
preguntas, dimensiones y variables previamente construidas. La
documentación a ser analizada deber ser previamente seleccionada,
distinguiendo documentación principal de aquélla que tiene carácter
complementario. La documentación no está organizada según los fines de la
evaluación sino conforme a otras necesidades (programación, sistematización,
capacitación, difusión, etc.), razón por la cual el análisis documental deber
intentar construir respuestas a los interrogantes de la evaluación atravesando
transversalmente los diversos materiales. Para ello puede resultar pertinente
construir previamente guías o pautas de análisis documental que orienten
“qué preguntar” en relación con estas fuentes. Por eso es importante no
confundir, aún más en este caso, la fuente secundaria con el instrumento con
el que se releva información para la evaluación.

A continuación se recomiendan los siguientes pasos para la elaboración de

una guía de análisis documental:

1) Hacer un listado de documentos que pueden proveer información y una

breve descripción de sus contenidos (títulos, índices, abstracts, etc.) y
ubicación de los mismos.

2) Establecer la correlación entre la matriz de evaluación13 y los documentos

(cuáles son las actividades / resultados / indicadores sobre los cuales habrá
información en cada documento).

3) Elaborar una guía para la búsqueda de información, partiendo de los

documentos más generales a los más específicos.

> Entrevista: La entrevista es una técnica adecuada para abordar informantes

clave, tales como aquéllos que tienen responsabilidades en organizaciones
participantes del programa, experiencia relevante, participación en períodos
prolongados, conocimientos de aspectos singulares de la realidad sobre la que
se indaga, etc. Puede ser estructurada o abierta, o de tipo combinado como la
entrevista semiestructurada.

13 Al finad del apartado sobre diseño de la evaluación se ve en qué consiste la matriz.

> Encuesta: Se utiliza cuando se busca información proveniente de un número
elevado de personas y cuando no resulta indispensable tomar contacto directo
con el respondente.

A continuación se ofrece un listado de pautas básicas para la elaboración de

una encuesta:

1) Identificación de actividades / resultados / indicadores sobre los cuales

pueden proveer información cada una las fuentes seleccionadas (docentes,
directivos, alumnos etc.)

2) Definición de características que tendrá la encuesta:

• Según las preguntas que se hagan puede ser estructurada /

semiestructurada / no estructurada

• Según como se aborda a los encuestados puede ser administrada o

autoadministrada.

3) Elaboración de preguntas correspondientes a cada actividad / resultado /

indicador (siguiendo el orden de la matriz)

4) Reordenamiento de las preguntas, armando bloques temáticos y elaborando

un orden lógico que se semeje al proceso de una conversación.

5) Lenguaje claro y accesible

6) Economía de preguntas.

7) Introducción que explique el objetivo, la duración y dinámica de la

encuesta.

8) Diseño de la muestra.

> Grupo focal: También llamado “grupo de discusión”, tiene por objeto encontrar
el sentido de la acción del grupo, las diferencias o matices de opinión,
percepción, valoración e intereses entre sus integrantes como así también las
relaciones entre ellos y sus posiciones relativas.

> Táller: Esta técnica es útil cuando es necesario profundizar en el estudio de

causas, relaciones con el contexto y análisis de alternativas. El taller es una
actividad de indagación en sí misma, para lo cual se brinda a sus
 participantes elementos de metodología que son usados en un análisis
concreto.

> Observación: La observación se puede realizar antes de la aplicación de otras

técnicas, después o concomitantemente. Constituye un recurso que debe ser
diferenciado de las otras fuentes de información, tanto secundarias como
primarias. En este sentido, es menester señalar que, más allá del nivel de
estructuración con que se organice la observación, ésta debe ser siempre
sistemática, en el sentido de establecer pautas orientadoras.

Instrumentos: herramientas de trabajo que dependen de la técnica a utilizar y

que se elaboran ad hoc para cada investigación evaluativa. Se trata de
herramientas de trabajo que dependen de la técnica a utilizar, de las preguntas
clave de la evaluación —y consecuentemente, de las dimensiones / variables y los
respectivos indicadores que surgen de aquéllas— y de la realidad sobre la que se
opera.

Con la recolección de información están relacionadas las guías de observación,

los textos de las encuestas (con sus respectivas preguntas e instructivos para
llenarlas o guiarlas), las guías de análisis documental, las pautas para dirigir
grupos de discusión o para llevar a cabo las entrevistas, etc. En otro grupo de
instrumentos se ubican aquéllos relacionados con el procesamiento de los datos y
que son útiles para “volcar” ordenadamente la información, tales como matrices,
tablas, cuadros, etc.

Se señalan algunos cuidados a considerar en el proceso de diseño de los

instrumentos que responden a problemas encontrados en la práctica de la
evaluación:

• Asegurar la coherencia entre las dimensiones de evaluación, las variables e

indicadores y el contenido de los instrumentos que se elaboren. Es
importante asegurarse, en concreto, que todos los indicadores estén
representados en uno o más instrumentos. Aún más, en ciertos
indicadores de relevancia, puede resultar útil recoger la información a
partir de más de un instrumento y a través de la utilización de diferentes
técnicas para contrastar la información que puede resultar en uno y otro
caso.
 • Probar con anticipación los instrumentos que se van a utilizar y, a partir
de ellos realizar los reajustes pertinentes. Esta prueba supone controlar
tanto la redacción de las consignas (en el caso de instrumentos cerrados) o
la constatación sobre la pertinencia de las categorías que organizan una
guía (por ejemplo, para la observación o para una entrevista
semiestructurada) como los tiempos previstos en cada caso para el
relevamiento de la información.

• Cuidar el encuadre: en el caso específico de la autoevaluación de proyectos

sociales, ésta requiere un cambio de rol y la construcción de una distancia
óptima, que es preciso no perder de vista.

• Es menester destacar que, aún en el caso de los abordajes más abiertos, es

también necesario elaborar una guía que se referencie en el marco
conceptual, para no perder de vista en todo momento los propósitos que
orientan la indagación.

Matriz de evaluación

Para la construcción de la matriz de evaluación, se sugiere trabajar con un

esquema que parta de las concepciones más abstractas y se acerque
gradualmente a las instancias más concretas. Es decir, el circuito que se propone
queda esquematizado de la siguiente manera:

¿Qué ocurre?

Dimensiones ^ Variables Indicadores15# PreSu^ as

orientadoras

¿Con qué?

Unidades de análisis

¿Cómo obtengo la información?

Fuentes Técnicas In stru m e n to s

 De esta manera la matriz debería poder contemplar la siguiente información:

Unidades
Dimensiones Variables indicadores J ■. Técnicas Fuentes Instrumentos
orientadoras de analisis

Luego de ordenar las dimensiones, sería oportuno avanzar sobre el proceso de

operacionalización y definir con mayor precisión el pasaje de dimensiones a
variables y luego a la construcción de indicadores, así como las preguntas que
orientarán todo el proceso de evaluación. Estas preguntas no son las que se
efectuarán a las unidades de recolección de la información, sino que servirán de
guía a la evaluación. Deberán entonces identificarse las unidades de análisis
sobre las que se predicarán los resultados y las fuentes de donde se obtendrá la
información. Luego deberán definirse cuáles son los instrumentos que permitirán
obtener la información.

La siguiente etapa corresponderá a la elaboración de los instrumentos de

recolección de la información. Para ello previamente se ha debido someter a la
matriz a un procedimiento de compactación. Muchas veces sobre una misma
fuente o técnica se reiteran los indicadores, también puede hacerse la misma
pregunta reiteradas veces a distintas fuentes, o puede suceder que a una misma
unidad de recolección de la información se le hagan preguntas que son de
distintos indicadores. Es por ello que es necesario revertir la matriz, empezar a
trabajar en el sentido inverso: instrumento, fuente, unidad de análisis. Así,
aparecen todas las preguntas o todos los indicadores y se puede definir cuál es el
instrumento que hay que construir para esta técnica, cuál va hacer la fuente de
información, cuál la unidad de análisis a abordar, etc.

Es decir, deberán identificarse todas las veces que se ha hecho mención al mismo
tipo de instrumento para recolectar información de diferentes tipos de unidades
de análisis e indicadores, para construir y aplicar una misma herramienta que
permita obtener todos los datos buscados. Toda vez que se haga referencia a
encuesta, por ejemplo, deberá tabularse, de modo que cuando esa encuesta sea
elaborada recoja todos los indicadores a los cuáles se hizo referencia y recoja
información de todas las unidades de análisis a las cuáles remite.

En síntesis, el esquema a seguir sería el siguiente:

A través de un

Instrumento

Obtengo información provista por una

Unidad de
recolección

Sobre diferentes aspectos de la realidad

Dimensiones
Variables
Indicadores

Relacionados con diferentes

Unidades de análisis

5.3. Recolección de información y procesamiento

El tercer paso del proceso sería la recolección de información, seguida del

procesamiento de la misma. Recoger información significa obtener datos de la
realidad a través de las fuentes ya establecidas en el diseño, por medio de las
técnicas elegidas, utilizando los instrumentos elaborados de modo especial para
este menester. Es decir, a través de las fuentes, técnicas e instrumentos se
obtiene información sobre diferentes aspectos de la realidad (dimensiones,
variables e indicadores) con el fin de vincularlos con las hipótesis y el marco
teórico referencial.

A su vez, procesar información significa ordenar y “volcar” la información

obtenida en cada una de las variables que se han construido para la evaluación.
De este modo, se construirán “carpetas”, tanto virtuales como de material
impreso, en un número equivalente a la cantidad de variables construidas, para
“volcar” la información recogida de distintas fuentes y a través de distintas
técnicas.

Programación de actividades

El proceso de recolección de información, su posterior procesamiento y el de las

siguientes tareas relacionadas con los pasos del análisis y la comunicación,
requiere ser organizado a través de un programa. El diseño de la evaluación
previamente elaborado constituye una parte de este programa que debe ser
complementada con los siguientes elementos:

• Secuencia de actividades (relaciones entre las mismas) y cronograma

(relación de las actividades con el tiempo de realización). En ambos casos
señalando los productos parciales y finales.

• Organigrama (asignación de responsabilidades por funciones y/o

actividades).

• Matriz de recursos. Se trata de un cuadro de doble entrada, donde una

señala los tipos de recursos (materiales, humanos, financieros,
tecnológicos) y otra los actores (instituciones, organizaciones, e incluso
personas) que proveerán estos recursos.

• Presupuesto (distinguiendo también tipos de recursos, ítems, unidad,

costo unitario y costo final).

• Calendario de erogaciones (desembolsos según ítems, por períodos de

tiempo establecidos -semanas, meses, trimestres, etc-).
 • Vías de comunicación con los proveedores de información.

• Reclutamiento, selección y capacitación del personal que hará el

trabajo de campo.

• Dinámica de funcionamiento (trabajos individuales, grupales y reuniones

conjuntas; frecuencia; toma de decisiones).

Selección y entrenamiento del equipo

Antes de iniciar el trabajo de campo deberá realizarse la selección y

entrenamiento del equipo que realizará la salida en búsqueda de la
información. Es importante identificar el perfil que se desea para esta tarea, y
luego realizar la búsqueda respetando esas características. Durante el proceso de
reclutamiento es necesario aclarar, a quienes se les está ofreciendo esta tarea,
cuanto tiempo durará el trabajo de campo, cuáles serán las exigencias del equipo
y cuáles serán los principales inconvenientes que pueden encontrar durante la
recolección.

Habiéndose conformado el equipo de campo, deberá iniciarse la etapa de

capacitación del mismo. Se deberá informar sobre los objetivos del proyecto y
sobre los responsables. Luego deberá realizarse un entrenamiento detallado sobre
la aplicación de los instrumentos de recolección de la información con los cuales
trabajarán. Tendrán que leerse detenidamente cada una de las preguntas, aún
aquellas que parecen sencillas, respetando el orden sugerido por el instrumento,
y explicarse qué se busca con cada una de ellas, cuál es el propósito de que sean
formuladas de esa manera y en ese momento. El objetivo de esta etapa es que
todos los miembros del equipo de campo conozcan y entiendan a la perfección el
instrumento a aplicar, de modo que lo apliquen todos de la misma manera (para
que el estímulo sea el mismo), y no que existan tantos criterios de aplicación
como miembros tenga el equipo de campo.

Durante la capacitación se deberá informar al equipo de campo sobre la identidad

que deberá adoptar cada uno de sus miembros en su presentación ante las
unidades de análisis y/o recolección, recordar las dificultades con las que puede
encontrarse en le trabajo de campo, los tiempos de duración del mismo y definir
claramente quiénes serán sus unidades de análisis y recolección.

Por último, es importante desarrollar un instructivo por escrito para entregar al

equipo de campo con las principales apreciaciones y disposiciones para realizar la
recolección de los datos.

Recolección de información y manejo de instrumentos

Realizar el trabajo de campo implica ir en búsqueda de la información. Es

importante que todos los miembros del equipo de campo que apliquen el mismo
instrumento a diferentes unidades de análisis realicen el trabajo de campo
durante el mismo período de tiempo. De esta manera se busca garantizar que la
recolección de la información no sea afectada por variables externas que puedan
estar relacionadas con acontecimientos temporales.

Por otra parte, es importante que cuando el equipo de campo esté realizando sus
tareas de recolección, pueda contactarse con miembros del equipo evaluador en
caso que le surgiera alguna duda o inconveniente.

También es importante que si el trabajo de campo fue diseñado con una amplia
duración en el tiempo, existan entregas intermedias del material recogido. De esta
manera, a través de la edición de ese material, se puede sugerir al equipo de
campo que realice ciertas modificaciones en las próximas salidas a campo, que
enfatice ciertos aspectos, o que continúen en la línea en que venía
desarrollándose. Estas entregas intermedias, además, aceleran los tiempos de
procesamiento, puesto que pueden realizarse cargas parciales aún no habiendo
finalizado todo el trabajo de campo.

Además es necesario que cada uno de los instrumentos aplicados pueda ser
identificado con la persona que lo aplicó. De esta manera, cuando, durante las
etapas de edición y codificación, surgieran dudas, pueda contactarse fácilmente a
la persona y evacuar las dudas.

Se sugiere la posibilidad de aplicar una supervisión al trabajo de campo, si el

equipo evaluador lo considerase necesario. La utilidad de este proceso es
asegurarse la confiabilidad del proceso de recolección de información y la
verificación de una muestra representativa de los datos recogidos.

Al finalizar el trabajo de campo, e incluso en la última etapa de éste, se podrá

avanzar sobre las tareas de volcado de los datos y su codificación. Una vez que se
hayan incluido todos los datos en la matriz de datos o en el mecanismo de
sistematización que el equipo evaluador haya seleccionado, se podrá avanzar
sobre el procesamiento de los mismos, para finalizar con el análisis y redacción
del informe de campo.

Procesamiento de la información

Una vez que se ha recogido la información se procede al volcado en carpetas

físicas y/o virtuales ordenadas por variables. Cada carpeta deberá contener la
información de las distintas fuentes correspondientes que figuran en la matriz.
Cuando se trate de encuestas y entrevistas estructuradas, se elaborarán cuadros
de salida. A su vez, las carpetas de variables deberán agruparse por dimensiones.

De este modo se transita el camino inverso al de la recolección de información.

En aquel caso se va de las variables y unidades de análisis a las fuentes /
técnicas, la información correspondiente a las variables se busca a través de
varias fuentes técnicas, como se diagrama a continuación.
El camino inverso es el que va de las fuentes / técnicas a las variables,
indicadores y unidades de análisis. Las variables son las unidades más
pertinentes en este análisis. Es así que en esta etapa se organiza la información
que se obtiene de las fuentes técnicas según las variables, agrupando toda
referencia a la variable en un mismo lugar físico y electrónico. También existe
información proveniente de las fuentes que no corresponde a ninguna variable.
Esta información debe ser agrupada por separado, ya que es información “extra”
o “residual” pero puede llegar a ser muy relevante a la evaluación.

Posteriormente hay que Indagar qué insuficiencias pudo haber habido en el

diseño de los instrumentos (las cuales obligarían a relativizar ciertos resultados
arrojados por la información recogida) y qué problemas pudo haber habido en
relación con la recolección de información (resistencia a brindar información,
ausencia de actores clave, otros problemas que impidieron obtención de
información conforme a las expectativas iniciales)

Para finalizar, se construye la estructura para el análisis de la información del

siguiente modo:
•En primer lugar, se elaboran los cuadros de salida.
•Luego se elaboran hipótesis provisorias
a)Por variables
b)Por dimensiones
c) Integrales
5.4 Análisis de la información

El análisis de la información sigue al procesamiento, como producto del cual se

cuenta con tantas carpetas como variables de evaluación se han construido.
Siguiendo la estructura para el análisis propuesta en el paso anterior, en primer
lugar hay que hacer un análisis variable por variable, siguiendo los indicadores
que permiten interpretarlas y sacando conclusiones provisorias. Posteriormente
se relacionan las variables entre sí, para hacer un análisis por dimensiones.
Finalmente se relacionan las dimensiones entre sí para hacer un análisis global
de todo el programa, siguiendo (corroborando o refuntando y, por lo tanto,
rehaciendo) las hipótesis generales de la evaluación.

Al hacer el análisis de la información se debe volver a los propósitos iniciales de

la evaluación, respondiéndose a las preguntas que dieron lugar a las hipótesis de
la investigación. En este sentido es conveniente seguir los siguientes pasos:

• Repasar el marco conceptual y corroborar las hipótesis de intervención

• Repasar las preguntas clave y corroborar o modificar las hipótesis de la

evaluación, en el caso de que las hubiera.

• Indagar nuevamente qué insuficiencias pudo haber habido en el diseño de

los instrumentos (las cuales obligarían a relativizar ciertos resultados
arrojados por la información recogida)

Indagar qué problemas pudo haber habido en relación con la recolección de

información (resistencia a brindar información, ausencia de actores clave, otros
problemas que impidieron obtención de información conforme a las expectativas
iniciales)

El análisis de información está signado por la tensión entre dos polos:

1) la rigurosidad técnica (respeto de los procedimientos establecidos o

construcción de nuevos instrumentos);

2) amplia participación a los distintos involucrados.

Es un trabajo iterativo donde el equipo operativo interpreta, ordena, sintetiza y

devuelve, para que los involucrados hagan sus aportes y los retornen nuevamente
al grupo.
En general el análisis de los datos obtenidos tras una evaluación culminan con
algún tipo de recomendación o sugerencia, de modo de reafirmar el carácter de
aprendizaje que la evaluación implica. Estas recomendaciones pueden versar en
trono a la modificación de algún aspecto, a la permanencia, a la posibilidad de
replicabilidad o a las particularidades del proyecto.

5.5. Comunicación y diseminación

Finalmente el último paso sería la comunicación de la evaluación y la

diseminación de los resultados, con el objeto de que quienes de manera
inmediata puedan beneficiarse de esto tengan una adecuada apropiación del
conocimiento. Es necesario aclarar que hacer un informe de evaluación, lo cual
aparece como un proceso muy vulgar y burocrático, es todo un arte, porque
significa hacer un informe atractivo, interesante, que convoque, que suscite
entusiasmo y opinión, una tarea extra diferente al análisis de la información.
Aquí es donde se pone en juego la “capacidad de argumentar”.

Si en el diseño de la evaluación y en la recolección y análisis de la información se

ponen en ju ego los requisitos de validez, pertinencia y relevancia de la evaluación,
en la comunicación se pone a prueba la utilidad y la oportunidad. Para que la
evaluación sea útil no basta con que los resultados y las recomendaciones estén
bien argumentadas, sino que también es necesario trabajar sobre la audiencia
para demostrar la conveniencia de hacer uso de ese aprendizaje.

En cuanto a la diseminación, es una condición para que otros que estén llevando
a cabo experiencias parecidas o estén interesados en seguir caminos similares
puedan apropiarse del conocimiento producido. No se trata de replicar
experiencias mecánicamente, sino de transferir capacidades para la
transformación, especialmente la de aprender a innovar. De allí la importancia
de acercar los resultados de las evaluaciones a congresos, seminarios, ámbitos
académicos, medios de comunicación, ámbitos de decisión política, agencias de
cooperación, sindicatos, fundaciones empresariales, organizaciones no
gubernamentales, redes, etc.

Entre las recomendaciones de las evaluaciones figuran aquéllas que tienen que
ver con el programa mismo (continuar, suspender, modificar, ampliar el respaldo,
generar mayor participación de los involucrados, etc.), con decisiones de política,
con necesidades de llevar a cabo nuevas experiencias o de profundizar el
conocimiento a través de ciertas líneas de investigación.

Se agregan algunas sugerencias para organizar el proceso de comunicación:

• El informe final debe estar en relación con los objetivos planteados la

evaluación y responder a las preguntas que se hayan construido.

• Se debe prestar atención a las distintas audiencias: el proceso de

transferencia supone una preparación del informe y una adaptación en
función de cada una de ellas.

• También deben ser considerados los interesados potenciales: aquellos que

pueden tener inquietudes de emprender acciones similares a las de los
proyectos. En este sentido, es menester definir qué acciones se pueden o
no replicar.

• Programar la devolución y transferencia de conocimientos a través de

reuniones con los equipos de trabajo, con los distintos grupos de
involucrados y con aquéllos a quienes se les solicitó información.

• Resulta conveniente diseñar una estrategia para la diseminación que

incluya eventos de divulgación (seminarios, conferencias, etc.),
publicaciones, redes de intercambio de información, entre otras.

Finalmente, se ofrecen algunas recomendaciones para la elaboración de informes

de evaluación:

• Antes de entregar los resultados a los destinatarios hay que someter a

discusión las conclusiones que se han formulado.

• En la elaboración del informe final se sugiere:

o Utilizar lenguaje sencillo y concreto.
o Centrarse en los resultados y recomendaciones fundamentales.
o Presentar observaciones concretas y recomendaciones útiles para
ayudar a la toma de decisiones.
 o Cuando el informe está destinado a responsables políticos, conviene
iniciarlo por las conclusiones y recomendaciones, seguido de los
resultados
o La propuesta debe ser práctica, fácilmente utilizable, con
correcciones o modificaciones realizables (no se trata de proponer lo
óptimo sino lo posible),
o Datos necesarios: no hay que confundir a la audiencia con datos
interesantes pero no necesariamente vitales,
o Utilizar recursos gráficos y visuales

• Si se trata de informes escritos:

o Comenzar con la información más importante
o Resaltar los puntos más importantes
o Informe legible

• Si se trata de presentaciones orales:

o Exposición interesante y variada
o Estilo natural, fluido, confiado y cómodo,
o Ayudas visuales grandes y simples,
o Involucrar a la audiencia en la exposición.

6. CONCLUSIONES

Como se habrá podido reflexionar a lo largo de la lectura de este documento, la

evaluación constituye una práctica de aprendizaje sobre la realidad del medio
social y educativo sobre el que se actúa, sobre el área específica de intervención,
sobre la propia organización (estatal, de la sociedad civil o privada) que impulsa o
participa en el diseño e implementación de programas, y sobre los actores
involucrados, directa o indirectamente. Este aprendizaje que se da “entre todos”
constituye una fuente de reconocimiento facilitadora del encuentro aunque
también es un medio para explicitar diferencias y, si resulta posible, saldarlas.

La evaluación siempre constituye un momento reflexivo de la acción, en el que

entran a jugar las comparaciones entre lo buscado o deseado — es decir, lo
normativo— y lo que se ha realizado, poniendo a prueba de este modo la
estrategia implementada y los pasos operativos. La evaluación es, a la vez que
ordenador de la intervención, instancia de apertura y de reconexión con el futuro.
Este ejercicio de combinación entre análisis y síntesis contribuye a desarrollar
valiosas capacidades en los equipos de los proyectos.

La práctica de la evaluación ayuda a tomar mayor conciencia de las limitaciones,

obligando a identificar desde el comienzo las amenazas y oportunidades que el
medio depara como así también las propias fortalezas y debilidades de los actores
involucrados en la gestión. Del mismo modo — la cara opuesta de este
fenómeno— evaluar contribuye a desarrollar la capacidad de búsqueda de nuevos
aliados y fuentes de recursos para compensar las limitaciones de las que se toma
conciencia.

Adquirir conocimientos a través de la evaluación implica — como paso previo—

aprender a sistematizar experiencias y — como paso posterior— a comunicar
adecuadamente, prestando atención a las inquietudes y necesidades de las
distintas audiencias interesadas o que se podrían interesar por los resultados de
la evaluación. Construir relatos con sentidos y significación adecuados a las
audiencias reales o potenciales es una capacidad que sólo puede desarrollarse

sobre la práctica.

A la vez que se ha aprendido sobre la problemática, los desafíos y la gestión de los

propios proyectos, se ha avanzado también sobre la importancia de la evaluación,
su conveniencia y las técnicas para llevarlas a cabo.

Aunque parezca de perogrullo decirlo, si la evaluación es un aprendizaje, es

necesario “aprender a efectuar este aprendizaje” . Es menester aprender la forma
de llevar a cabo estos procesos, tarea para la cual no existen recetas sino más
bien criterios y herramientas. No hay matrices, mapas, cuestionarios, listados,
indicadores, etc. que puedan ser copiados o extrapolados de una realidad a otra.
Cada evaluación debe ser creada, cada negociación debe ser experimentada y
cada alianza debe ser construida en función de necesidades específicas.

Por otra parte, en tanto instrumento de la gestión, la evaluación no debería

obstaculizar procesos sino más bien facilitarlos. Por eso es de suma importancia
un proceso y un diseño consensuado de alta participación, que permita a todos
apropiarse de sus frutos y poder colaborar sin menoscabo de las tareas
habituales que tienen a su cargo en los programas.

Por último, la evaluación es una actividad que requiere pasión. En primer lugar
por las actividades que los programas desarrollan, por los beneficios que se
proponen brindar a la población, y en segundo lugar por la verdad, por el
esclarecimiento de situaciones que requieren ser iluminadas.
BIBLIOGRAFIA SUGERIDA PARA SU LECTURA

BALLART, XAVIER (1992), ¿Cómo evaluar programas y servicios públicos?

Aproximación sistemática y estudios de caso, Ministerio para las Administraciones
Públicas (España), Madrid. Cap. IV y V

FERNÁNDEZ BALLESTEROS, ROCÍO (edit.) (1996), Evaluación de programas.

Una guía práctica en ámbitos sociales, educativos y de salud, Síntesis, Madrid.
Cap. 1,3 y 4.

NEIROTTI, NERIO y POGGI, MARGARITA (1999) Evaluación de proyectos de

desarrollo educativo local pp. 15-56 y 565-578

NIREMBERG, OLGA, BRAWERMAN, JOSETTE y RUIZ, VIOLETA (2000) Evaluar

para la transformación. Innovaciones en la evaluación de programas y proyectos
sociales, Paidós, Buenos Aires cap. 5 y 6

SIEMPRO-UNESCO (1999), Gestión integral de programas sociales orientada a

resultados. Manual metodológico para la planificación y evaluación de programas
sociales, FCE, Buenos Aires. 51-117

SITIOS WEB SUGERIDOS PARA CONSULTAR SOBRE EVALUACIÓN

• UNDP Evaluation Office

• http: / /www.preval.org/main.html
• World Bank Operations Evaluation Department (OED)

• Virtual Evaluation Library

• International & Cross-Cultural Evaluation Topical Interest Group,
• The American Evaluation Association
• The Canadian Evaluation Society
• The Australasian Evaluation Society
• The European Evaluation Society
• The Brazilian Evaluation Network
• French Evaluation Society (Societé Francaise de l’Évaluation)
• Germán Evaluation Society
• International Development Evaluation Association ÍIDEAS)
• UN Evaluation Forum
• UNESCO Bureau of Programming and Evaluation
• www.unicef.org/reseval
• International Association for the Evaluation of Educational Achievement

• United Nations Inter Agency Working Group on Evaluation

• IADB - Inter-American Development Bank Office of Evaluation and Qversight
• World Bank Group's Evaluation Monitoring and Oualitv Enhancement
• IDRC - International Development Research Centre
• INTEVAL - International Evaluation Research Group

• MEASURE Evaluation
• Resources for Methods in Evaluation and Social Research