Desarrollo de instrumentos-

Aspectos prácticos

Ana Cristina Santana Espitia PhD

 CONSTRUCCIÓN DE ÍTEMS
EN PRUEBAS DE EJECUCIÓN
MÁXIMA
 TEST DE EJECUCIÓN MÁXIMA

• Obtención de una medida del nivel del sujeto en

habilidades y rendimientos.
• Existe un criterio inequívoco para calificar la
respuesta del sujeto como acertada o errónea
• Tests de juicios
 Ítem

• Un ítem puede definirse como la enunciación de una tarea a

partir de cuya respuesta se infiere la habilidad o dominio
para desarrollar la tarea planteada. Es una situación
demandante, intencionalmente diseñada para
poner en evidencia la habilidad de quien se enfrente a ella
 ESTRUCTURA DE UN ÍTEM
Instrucciones

Contexto
Enunciado

Opciones de respuesta

Distractor
Clave
Distractor
Distractor
ELABORACIÓN DE ÍTEMS EN EDUCACIÓN: Taxonomía de Objetivos Educativos de
Bloom (1956)

Tomado de
Narváez (2018)
Taxonomía de Lorin Anderson y David R. Krathwohl, 2001
Tomado de http://www3.gobiernodecanarias.org/medusa/edublog/cprofestenerifesur/2015/12/03/la-taxonomia-de-bloom-una-herramienta-
imprescindible-para-ensenar-y-aprender/
Ejemplo de resultados de aprendizaje
por niveles de Taxonomía de Bloom
Tomado de ICFES, 2015, p. 9
Taxonomía de Bloom en la era digital (Churches, 2008)
 Diseño centrado en evidencias
Este enfoque permite operacionalizar las competencias en
términos de afirmaciones, evidencias y tareas, de manera que los
desempeños del estudiante en dichas tareas se constituyen en
insumo y evidencia para caracterizar y sustentar las inferencias
acerca del nivel de desarrollo de las competencias (Mislevy,
Almond & Lukas, 2003).
 REFLEXIONESINSTRUMENTOS
ACERCA DE MEDICIÓN DE EMOCIONES
DE MEDICIÓN

DiseñoRed nomológica
Centrado
en Evidencias
Una estructura conceptual que establece
los contenidos y relaciones entre contenidos
que soportan
Es un modeloelque
diseño de un instrumento
transforma la
(en torno a un constructo, Procter, 2021).
evaluación en un proceso de recolección
de evidencias que pueden tener algún rol
inferencial (sustentan que, hacen cierto
que, etc.) lo cual permite al evaluador
expresar afirmaciones sobre competencias,
¡Es una aproximación!
personas, procesos psicológicos, etc. que
busca medir.
Como todas las cosas se pueden
seguir perfeccionando
 Estratos del Diseño Centrado en Evidencias
REFLEXIONESINSTRUMENTOS
ACERCA DE MEDICIÓN DE MEDICIÓN DE EMOCIONES

01 traduce en la formulación que permite identificar los conocimientos,

Red nomológica
Responde a la pregunta ¿Qué quiero evaluar en los estudiantes?, lo cual se

Dominio habilidades, destrezas que serán objeto de evaluación.

Una estructura conceptual que establece

los contenidos y relaciones entre contenidos

02
que soportan el diseño de un instrumento
(en torno a un constructo, Procter, 2021).
Consisten en una operacionalización de las competencias, habilidades o
destrezas, en tanto se responde a la pregunta ¿Qué quiero decir sobre
Afirmación los conocimientos, las habilidades o las competencias de los estudiantes?

¡Es una aproximación!

03 Responden a la pregunta ¿qué debe saber hacer adecuadamente un
estudiante para que su ejecución me proporcione información relevante
Evidencias acerca de la afirmación?

Como todas las cosas se pueden

seguir perfeccionando
04 Situaciones que se proponen para responder a la pregunta
¿cómo estructurar las situaciones que se requieren para obtener
Tareas las evidencias correspondientes?
 REFLEXIONESINSTRUMENTOS
ACERCA DEestructura
Ejemplo de MEDICIÓN
DE MEDICIÓN
DCE DE EMOCIONES
- Especificaciones para Matemáticas, grado 5° -

Red nomológica

- Especificaciones para Competencias Comunicativas en Lenguaje: Lectura, grado 5° -

¡Es una aproximación!

Como todas las cosas se pueden

seguir perfeccionando
Integración de modelos en el DCE
Estratos del Diseño Centrado en
Evidencias (ICFES, 2018)
 Ejemplo: SABER PRO-PSICOLOGIA (ICFES,
2018)
• AFIRMACIÓN

 Ítem
 FORMATO DE ÍTEMS

• Corresponde a la manera en que se presentan, estructuran o disponen

sus partes para plantear la tarea de evaluación. Dependiendo de lo que
debe hacer el evaluado para responder el ítem, hay dos grandes
categorías de formatos: los que demandan que el evaluado elija o
seleccione una respuesta dentro de un grupo de opciones de respuesta
dadas por el evaluador o los que demandan que el evaluado construya
su respuesta a partir de unas instrucciones dadas.

• Tradicionalmente, a cada formato se le asocia la capacidad para provocar

en el evaluado procesos cognitivos particulares; no obstante, más que el
formato en sí mismo, es la combinación de la formulación de la tarea de
evaluación, la naturaleza del objeto evaluado y las características de la
población lo que determina que un formato resulte más apropiado para
evaluar unos procesos cognitivos que otros.
Formato de ítems

Tomado de Pardo & Rocha, 2009

 Formatos de preguntas en pruebas objetivas
NOMBRE ELEMENTOS CARACTERISTICAS

Un enunciado y cuatro o cinco Sólo una de las opciones completa correctamente el enunciado. Puede
Elección múltiple con única opciones de respuesta utilizarse para evaluar cualquier objetivo educativo especialmente
respuesta recuerdo, comprensión y aplicación.

Un enunciado y cuatro (4) Una, dos, tres o todas las opciones de respuesta pueden completar
Elección múltiple con múltiple opciones de respuesta correctamente el enunciado, el examinado debe elegir una combinación
respuesta de ellas. Adecuado para evaluar cualquier objetivo educativo.

Un problema y dos informa- Una o las dos informaciones pueden ser necesarias y suficientes para
ciones relacionadas con el resolver el problema o pueden ser necesarias pero no suficientes. El
Información suficiente mismo evaluado no debe resolver el problema, sólo evaluar la información
disponible. Excelente para evaluar aplicación.

Una afirmación y dos postu- Tanto la afirmación como los postulados son VERDADEROS. El examinado
lados evalúa la relación lógica entre ellos. Excelente para evaluar análisis.
Análisis de postulados

Dos afirmaciones separadas Tanto la afirmación como la razón pueden ser VERDADERAS o FALSAS. El
por la palabra PORQUE examinado evalúa tanto su valor de verdad como la relación lógica entre
Análisis de relaciones ellas. Excelente para evaluar análisis.
Elección múltiple con única respuesta

Tomado de ICFES, 2014, P. 10

Elección múltiple con múltiple respuesta
Información suficiente
Análisis de relaciones
Análisis de postulados
Ítems de emparejamiento
 Ítems de elección alternativa
Julio Verne nació en:
a.Nantes
b.Amiens
Ítems de falso-verdadero
Pisba es un municipio de Boyacá
a. Falso
b. Verdadero

Ítems de falso-verdadero múltiple

 Ítems de analogías- Relaciones

• Relación causa – efecto. Ejemplos: éxito - orgullo, calor - sofoco, pérdida -

frustración.
• Relación parte – todo. Ejemplos: dedo - mano, llanta - carro.
• Relación continente – contenido. Ejemplos: pan - harina, oxígeno - agua.
• Relación agente – objeto. Ejemplos: médico - enfermedad, profesor -
ignorancia.
• Relación agente – producto. Ejemplos: abeja - miel, escritor - ensayo.
• Relación conjunto – elemento. Ejemplos: pared – ladrillo, libro - hoja.
• Relación objeto – función. Ejemplos: abanico - airear, fogata - calentar.
• Relación polos opuestos. Ejemplos: alto - bajo, dadivoso - egoísta.
Ítems dependientes del contexto
 Formatos de ítems de producción de
respuesta
ELEMENTOS BÁSICOS
•Un contexto que delimita las condiciones para
responder.
• Una tarea de evaluación que indica lo que se
espera que el evaluado produzca.
• Unos criterios que delimitan las condiciones
esperables del producto.
 Ítems de completamiento
• El resultado de multiplicar 18 por 15 y sumarle 30 es
____________

Ítems de ensayo
A partir de la lectura hecha del libro Los viajes de Gulliver, escriba un texto
de no más de dos páginas tamaño carta, en el cual usted presente: a) un
breve resumen del libro, b) su interpretación personal de la problemática
social que intenta plantear el autor de la obra y c) una propuesta personal
de finalización diferente de la historia.
Del texto que usted presente se evaluará, en cuanto a forma: ortografía,
aplicación de normas gramaticales, ilación. En cuanto a contenido: que
incluya respuesta a las tres tareas planteadas, que el resumen sea completo
en cuanto a tema de la historia, personajes, sitio en donde se desarrolla la
historia, nudo y desenlace; que la interpretación de la problemática sea
plausible y la originalidad en cuanto a la propuesta de finalización.
 Ítems de expresión oral

Realice una presentación oral de 15 min sobre la prueba psicométrica que construyó
durante el desarrollo de la asignatura.

Ítems de productos no escritos

evaluación de competencias laborales, la evaluación por proyectos y la evaluación a
través de portafolios, maquetas, obras de arte, proyectos, montajes, coreografías, etc.
 Características que deben tener las
preguntas

• Aspectos formales o calidad técnica (Claridad, sencillez y

comprensibilidad)
• Equidad
• Pertinencia (Representatividad)
• Importancia o relevancia
• Diversidad
• Dificultad
• Probable poder discriminativo.
 ¿Cómo contribuyen las preguntas al objetivo de la
prueba?
1. Ajustarse a los objetivos de la prueba y evaluar los
contenidos que evalúa la prueba total.
2. Ser una unidad independiente con un objetivo espe-
cífico dentro de la prueba.
3. Incluir toda la información necesaria para responder.
4. Expresarse tan claramente como sea posible.
 ¿Cómo contribuyen las preguntas al objetivo de la
prueba?

5. Tener un nivel de dificultad que corresponda a las exigencias del

objetivo que se está evaluando, a las características de los examinados y
a los propósitos de la prueba.
6. Ser preciso en todas y cada una de sus partes
7. Emplear un lenguaje adecuado al nivel de la población examinada,
simple, directo y libre de ambigüedades.
8. Evitar cualquier señal que conduzca al examinado a la respuesta
correcta aún cuando no posea el conocimiento evaluado.
9. Evitar implicaciones partidistas, religiosas, sexuales o regionales que
puedan viciar la respuesta con connotaciones emocionales.
10. Evitar, en la medida de lo posible, el uso de negaciones que
compliquen la estructura gramatical y eleven el nivel de dificultad de la
pregunta.
Directrices para construcción de ítems de selección múltiple
(Moreno et al, 2004)
A. Elección del contenido que se desea evaluar
01. Debe ser una muestra representativa del contenido recogido en una tabla de
especificación, evitando ítems triviales
02. La representatividad deberá marcar lo sencillo o complejo, concreto o abstracto,
memorístico o de razonamiento que deba ser el ítem, así como el modo de expresarlo
 Directrices para construcción de ítems de selección múltiple
(Moreno et al, 2004)

B. Expresión del contenido en el ítem

03. Lo central debe expresarse en el enunciado. Cada opción es un
complemento que debe concordar gramaticalmente con el enunciado
04. La sintaxis o estructura gramatical debe ser correcta. Evitar ítems
demasiado escuetos profusos, ambiguos o confusos, cuidando además las
expresiones negativas
05. La semántica debe estar ajustada al contenido y a las personas evaluadas
 Directrices para construcción de ítems de selección múltiple
(Moreno et al, 2004)

Tomado de Narváez, 2018

 Directrices para construcción de ítems de selección múltiple
(Moreno et al, 2004)

• C. Construcción de las opciones

• 06. La opción correcta debe ser sólo una, acompañada por distractoras
plausibles
• 07. La opción correcta debe estar repartida entre las distintas ubicaciones
• 08. Las opciones deben ser preferiblemente tres
• 09. Las opciones deben presentarse usualmente en vertical
• 10. El conjunto de opciones de cada ítem debe aparecer estructurado
• 11. Las opciones deben ser autónomas entre sí, sin solaparse ni referirse
unas a otras. Por ello, deben evitarse las opciones «Todas las anteriores» y
«Ninguna de las anteriores»
• 12. Ninguna opción debe destacar del resto ni en contenido ni en
apariencia
 Directrices para construcción de ítems de selección múltiple
(Moreno et al, 2004)

Tomado de ICFES, 2018

Tomado de Narváez, 2018

 Referencias
American Psychological Association, American Educational Research Association, y National Council on
Measurement in Education (1966, 1974, 1985, 1999, 2014). Standards for educational and
psychological test y manuals. Washington, DC: American Psychological Association
Cano, F. (s.f). Manual de construcción de preguntas. ASCOFAPSI.
Carrington, A. Rueda de la Pedagogía.
Cronbach, L., y Meehl, P. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4),
281-302.
Förster, C., y Rojas-Barahona, C. (2008). Evaluación al interior del aula: Una mirada desde la validez,
confiabilidad y objetividad. Revista Pensamiento Educativo, 43, 285-305.
García, J., Aguilera, J. R., & Castillo, A. (2011). Guía técnica para la construcción de escalas de actitud.
Odiseo, revista electrónica de pedagogía, 8 (16). Recuperado de: http://www.odiseo.com.mx/2011/8-
16/garcia-aguilera-castillo-guia-construccion-escalas-actitud.html
Herrera, A. N. (2003). Notas de Psicometría. Universidad Nacional de Colombia.
Instituto Colombiano para la Evaluación de la Educación. (2015). Saber 3º, 5º y 9º 2014
Cuadernillo de prueba Ejemplo de Preguntas Saber 5º Matemáticas. Bogotá: ICFES.
https://bit.ly/2DjvFa2
ICFES (2003). Cuadernillo ECAES Psicología 1° sesión
ICFES (2018). Cuadernillo de preguntas. Módulo de análisis de problemáticas psicológicas. Bogotá,
ICFES.
 Referencias
Mislevy, R., Almond, R., & Lukas, J., (2003). A brief introduction to evidence-centered
design (Research Report 03- 16). Princeton, NJ: Educational Testing Service.
Recuperado de https://www.ets.org/Media/Research/pdf/RR-03- 16.pdf
Morales, P. (2010). Guía para construir escalas de actitudes. Madrid: Universidad
Pontificia Comillas
Moreno, R., Martínez, R., & Muñiz, J. (2004). Directrices para la construcción de
ítems de elección múltiple. Psicothema, 16(3), 490–497.
http://www.psicothema.com/psicothema.asp?id=3023
Muñiz, J., Hernández, A., & Ponsoda, V. (2015). Nuevas directrices sobre el uso de los
tests.: Investigación, control de calidad y seguridad. Papeles del Psicólogo, 36(3),
161-173.
Muñiz, J., & Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test.
Psicothema, 31(1), 7–16. https://doi.org/10.7334/psicothema2018.291
Narváez, R. (2018). Construcción de ítems (material de trabajo). Universidad
Nacional de Colombia
Pardo, C., y Rocha, M. (2009). Reglas para elaborar ítems de selección y producción.
Santiago: OREALC/UNESCO y LLECE.