Elementos Metodológicos en La Evaluación de Impacto y de Resultados

Elementos metodológicos en la evaluación de impacto y de
resultados
Tarea
Francisco Herrera Mendoza
En la evaluación de resultados y del impacto de un programa es necesario tener en consideración, al

menos, tres elementos: a) ¿qué resultados o efectos se van a evaluar?; b) ¿qué estrategias se van a
utilizar para poder atribuir los cambios encontrados al programa de intervención?, y c) ¿cómo se
van a analizar dichos cambios? El desarrollo de este apartado pretende seguir el hilo de estas tres
preguntas a través de los siguientes subapartados: qué evaluar y cómo registrar la información, los
diseños de evaluación y, finalmente, el análisis de los datos.
En la evaluación de resultados, las medidas de las variables y/o condiciones sociales que el
programa espera cambiar constituyen las variables dependientes. El evaluador deberá estimar cuál o
cuáles son los indicadores más apropiados para tales objetivos, de suerte que el indicador se
convierte en la unidad que permite medir el alcance de un objetivo específico mediante un referente
empírico. El rigor exigible a todo el proceso de evaluación implica, en este punto, la consideración
de las propiedades psicométricas de las diferentes medidas o indicadores, de tal manera que se
garantice la fiabilidad y validez de la información que proporcionan y que estos sean sensibles a los
potenciales efectos del programa. Es aconsejable que las metas establecidas de manera cuantitativa
se expliciten haciendo referencia a algún punto de comparación, bien con una situación ideal, bien
con los resultados de años anteriores o de programas.
los indicadores pueden constituirse en datos con significado estadístico, recogidos básicamente a
través de instrumentos cuantitativos, o en palabras organizadas en discursos con contenido
semántico obtenidas a través de métodos cualitativos. Ya hemos hecho referencia somera a la
polémica cuantitativo vs. Cualitativo.
Brevemente, con las técnicas de recogida de información de índole cuantitativa se pretende obtener
una medida, un dato de calidad preciso, válido y fiable. Para ello, idealmente, se utilizarán
instrumentos con garantías científicas ya probadas. Algo que, como resalta Hernández, es difícil de
cumplir en este ámbito donde, dado el carácter de singularidad del programa a evaluar, es frecuente
desarrollar instrumentos de recogida de información ad hoc.
En la práctica, si la función de la evaluación es determinar si se han alcanzado los objetivos y metas
del programa, el evaluador puede encontrarse con diversas situaciones. La situación ideal es que
estos estén bien definidos, y cada uno de ellos señale y concrete al menos un indicador de su
cumplimiento. Sin embargo, la situación ideal no suele ser la habitual, y lo más probable es
encontrarse con objetivos generales del programa, lo que obliga al evaluador a especificar los
objetivos concretos y a determinar los indicadores que reflejarán cada objetivo y la manera de
medirlos.
Más problemática es la situación en la que se solicita evaluar un programa que ni siquiera ha

concretado los objetivos generales. En tales casos, la tarea del evaluador comenzará por indagar, a
través de diferentes fuentes o de las audiencias implicadas y a través de múltiples instrumentos de
recogida de información, cuáles son esos objetivos.
Un conocimiento en profundidad del programa y de la teoría subyacente al mismo, incluido el

conocimiento de otros programas similares, ayudará al evaluador a proponer los indicadores o
medidas de efectos no contemplados por el programa y a mantener una cierta actitud flexible y
abierta para detectar su aparición. Si existe la posibilidad de utilizar indicadores e instrumentos
estándar se contará entre otras ventajas con la de poder conocer sus garantías científicas, además de
permitir las comparaciones interculturales o Inter programas si se utilizan en situaciones
semejantes.
Cuando el mismo programa se está implementando en lugares diversos cabe la posibilidad de

utilizar los diseños con asignación aleatoria de grupos enteros que, aunque en principio tienen
menor validez interna que el diseño con asignación aleatoria de individuos, permiten descartar
algunas amenazas a la validez interna propias de los diseños cuasiexperimentales al tiempo que
ganan en validez externa. La lógica es estimar el efecto de las intervenciones a través de diseños de
grupos aleatorios donde la unidad de aleatorización son pueblos, comunidades, colegios, hospitales,
barrios; de esta manera, se pueden superar algunas de las limitaciones prácticas y éticas de la
asignación aleatoria individual.
Concluyendo: a pesar de que los diseños experimentales son los que más garantías ofrecen en
relación a la validez interna, en el contexto de evaluación de programas se debe reconsiderar su
aplicación bajo determinadas condiciones: cuando el programa esté en sus primeras fases y sea fácil
que se produzcan variaciones en la intervención, cuando no se pueda proceder con la asignación
aleatoria por cuestiones prácticas o éticas, o cuando impliquen una desproporcionada inversión de
tiempo y de recursos en relación a la relevancia del programa objeto de evaluación.
Diseños cualitativos o naturalistas
Si bien la metodología experimental (y cuasiexperimental) es útil para determinar la existencia de

efectos derivados de un programa y su magnitud, las limitaciones éticas y prácticas que se han ido
comentando con llevan que otras preguntas relevantes en la evaluación del programa en cuestión no
puedan responderse completamente desde este enfoque. los métodos cualitativos son una estrategia
de evaluación apropiada. En cualquier caso, observe el lector que muchas de estas preguntas se
pueden contestar también desde un enfoque cuantitativo y que la mayoría de ellas se dirigen a una
evaluación de proceso del programa y no tanto a una evaluación de resultados.
El análisis de datos
Las funciones principales del análisis de datos en la evaluación de los resultados o impacto de un
programa son:
«a) describir de manera comprensiva conjuntos de datos en bruto;
b) ayudar a decidir si alguna relación aparente en los datos puede admitirse con confianza o, por el
contrario, podría considerarse una relación espuria debida al azar;
c) estimar las magnitudes, especialmente cantidades de cambio o diferencias,
d) determinar si ciertos efectos que aparecen en la información alcanzan un nivel relevante en el

contexto del programa»
La primera función se realizará, básicamente, a través de la aplicación de los estadísticos

descriptivos adecuados. Función en absoluto trivial, puesto que la comprensión de la información
presentada a las diferentes audiencias es un requisito para que los resultados de la evaluación sean
utilizados. es necesario presentar la información estadística de manera que sea «significativa» para
las diversas audiencias, sabiendo que éstas, por lo general, están familiarizadas en un grado muy
desigual con los métodos estadísticos.
Los estadísticos serán comprensibles si son fáciles de entender por la mayoría haciendo las mínimas
suposiciones sobre el conocimiento estadístico de los implicados y evitando la utilización de jerga
estadística. Un estadístico será interpretable cuando su métrica o unidad de medida esté
fundamentada en una explicación fácil y familiar y, por último, será comparable si se puede
comparar de manera directa sin necesidad de ninguna manipulación adicional.
Por su parte, la estadística inferencial se encargará de cubrir el resto de las funciones (b, c y d). Para
ello, la información contenida en los resultados de la(s) muestra(s) y el cálculo de probabilidades se
combinan para hacer inferencias acerca de la población o acerca de cómo de probable es que los
resultados tras un programa hayan sido obtenidos por azar bajo determinadas circunstancias.
Concretamente, sobre la segunda función indicada además de las pruebas inferenciales más clásicas
en la última década se han desarrollado modelos estadísticos centrados en el análisis del cambio de
gran aplicación en la evaluación de resultados. En estos modelos se plantean básicamente dos
estrategias analíticas. Desde la primera se estiman las diferencias relativas entre los grupos tratando
de incorporar factores asociados con la implementación y/o teoría del programa a través de, por
ejemplo, análisis multivariados. En un primer nivel se analizan las medidas repetidas intrasujetos en
términos de sus valores iniciales, y la razón y forma del cambio; en un segundo nivel se comparan
las curvas de crecimiento individuales para determinar las diferencias sistemáticas entre ellas.
Los métodos estadísticos para evaluar los cambios a través de curvas de crecimiento permiten la
utilización de múltiples indicadores de los efectos, como el porcentaje de participantes que mejoran,
empeoran o muestran algún cambio. la significación estadística no es guía suficiente para medir la
magnitud del cambio. Aunque existen propuestas para medir la importancia del cambio, ninguna de
ellas, de momento, ha sido adoptada de manera generalizada. Una de estas propuestas es la
utilización del tamaño del efecto que reflejan la fuerza o intensidad de una relación, como la
diferencia media estandarizada o la razón de ventajas.
Para programas que impliquen psicoterapia se ha desarrollado el concepto de significación clínica

frente al de significación estadística.
Para finalizar este apartado, nos hacemos eco de la denuncia de Lipsey sobre el poco uso que hacen
los evaluadores de la evidencia acumulada en la investigación y en las evaluaciones previas de
programas de intervención similares. Es cierto que cada programa social es único, como lo podemos
decir de cada persona, pero ello no quiere decir que no pertenezcan a una misma familia de
programas y que estos no se puedan categorizar.

Elementos Metodológicos en La Evaluación de Impacto y de Resultados

Cargado por

Copyright:

Formatos disponibles

Elementos Metodológicos en La Evaluación de Impacto y de Resultados

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Elementos Metodológicos en La Evaluación de Impacto y de Resultados

Cargado por

Copyright:

Formatos disponibles

Elementos metodológicos en la evaluación de impacto y de

Francisco Herrera Mendoza

En la evaluación de resultados y del impacto de un programa es necesario tener en consideración, al

Más problemática es la situación en la que se solicita evaluar un programa que ni siquiera ha

Un conocimiento en profundidad del programa y de la teoría subyacente al mismo, incluido el

Cuando el mismo programa se está implementando en lugares diversos cabe la posibilidad de

Si bien la metodología experimental (y cuasiexperimental) es útil para determinar la existencia de

«a) describir de manera comprensiva conjuntos de datos en bruto;

c) estimar las magnitudes, especialmente cantidades de cambio o diferencias,

d) determinar si ciertos efectos que aparecen en la información alcanzan un nivel relevante en el

La primera función se realizará, básicamente, a través de la aplicación de los estadísticos

Para programas que impliquen psicoterapia se ha desarrollado el concepto de significación clínica

También podría gustarte