QPAP
QPAP
QPAP
CUESTIONARIO PARA LA
EVALUACIÓN DE PROBLEMAS EN
ADOLESCENTES
RESUMEN DE LA VALORACIÓN DEL TEST
Descripción general
Características Descripción
Q-PAD. Cuestionario para la Evaluación de
Nombre del test
Problemas en Adolescentes.
Autor C. Sica, L.R. Chiri, R. Favili y I. Marchetti
Valoración general
Adaptación Excelente 5
Fiabilidad: equivalencia - -
Fiabilidad: TRI - -
Fiabilidad: inter-jueces - -
2
Comentarios generales
La valoración global del test es positiva. Los autores de la adaptación conocen y han
sido sensibles a las prácticas psicométricas actuales, además de haber aplicado correctamente
los procedimientos estadísticos adecuados durante la adaptación y el análisis de las
propiedades métricas del cuestionario. El cuestionario está presentado con calidad y bien
documentado, con abundantes pruebas de fiabilidad y validez y una amplia muestra de
tipificación. Además, en el manual se sugiere el manejo de documentación complementaria
cuando es pertinente y se adquiere el compromiso de aportar actualizaciones futuras en
relación con los baremos más débilmente soportados en el momento de la publicación. La
cualificación necesaria para administrarlo e interpretarlo está detalladamente explicada, y las
referencias metodológicas son oportunas y actualizadas. Las indicaciones para un uso
responsable del cuestionario tanto con respecto a su aplicación, como a la interpretación de las
evaluaciones, son, sin duda, uno de los puntos fuertes. Los materiales aportados son a su vez
de elevada calidad. También la estructura del manual es muy cómoda, facilitando la lectura a
diferentes niveles de profundidad (aplicación, fundamentos psicométricos, fundamentos
teóricos). Los conceptos que se miden quedan pues bien argumentados, aunque tal vez la
derivación de los ítems concretos del cuestionario original pudo quedar mejor documentada. En
cuanto a los ámbitos de aplicación, el contenido del manual sustenta claramente la
aplicabilidad del cuestionario al ámbito escolar-educativo, con evidencias también relativas a su
uso en el ámbito clínico y forense. Por otra parte, las pruebas cualitativas de validez de la
adaptación española son sólidas y variadas, se han guiado por las directrices de la
International Test Commission adelantadas en Muñiz, Elosua y Hambleton (2013) diseñando un
plan de trabajo en 8 etapas que abarca desde la traducción hasta los análisis de las evidencias
de validez. El procedimiento de traducción seguido con un exhaustivo proceso de revisión
basado en la consideración de especialistas de distintos ámbitos y atendiendo también a las
reacciones de la población diana es muy positivo. Precisamente, una de las pocas mejoras
que podría sugerirse para el proceso de adaptación hubiera sido la inclusión de las opiniones
de personas de la población diana en relación con el lenguaje utilizado en los ítems, algo que
sólo se reflejó a través de la opinión de profesionales que tienen contacto directo con
adolescentes. Hubiera sido de interés proporcionar un análisis como tal de la equivalencia
entre las mediciones aportadas por la versión original y la versión adaptada.
En relación con las pruebas cuantitativas de calidad psicométrica del cuestionario, en el
manual se aportan muchas y variadas, algunas basadas en los estudios originales italianos,
otras en la adaptación española, y otras en comunidades latinoamericanas. Se estudian las
relaciones, bien sea entre los ítems del cuestionario, o bien de las escalas del Q-PAD con otros
cuestionarios que forman parte de su red nomológica, con las valoraciones de especialistas
clínicos, por comparación de grupos entre los que se espera encontrar respuestas
3
diferenciales, y a través de re-test. La mayor parte de los resultados apoyan las hipótesis de
partida, aportando un buen paquete de evidencias favorables de validez y fiabilidad. En
cambio, un aspecto mejorable es la falta de información relacionada con el nivel y la
variabilidad de las respuestas bien sea a cada ítem o bien en relación con las puntuaciones
totales de cada escala. Es de valorar los acertados comentarios sobre el tamaño del efecto que
se incluyen en la comparación de datos test-retest o entre grupos.
En cuanto a la baremación, la muestra de tipificación española es muy convincente
tanto por su tamaño como por su representatividad.
Tal como queda reflejado en este resumen, en el manual se afrontan con claridad y
profesionalidad la mayoría de las inquietudes que podrían tener los profesionales usuarios del
test, bien sean especialistas en el ámbito educativo, clínico, forense o académico. En cuanto a
las necesidades de otro de los grupos interesados en los resultados, la población de
adolescentes, su opinión se refleja a través de profesionales que están en contacto con ellos, y
se atiende a la posible diversidad mediante instrucciones sobre como adaptar la administración
del cuestionario a personas con discapacidad visual o con dificultad lectora. Aunque la
recomendación de atender a las necesidades de todos los grupos humanos interesados en los
resultados es relativamente reciente en los textos normativos (AERA, APA, NCME, 2014),
parece necesario incorporarla al crear y/o adaptar cuestionarios en el momento actual.
4
ANÁLISIS DETALLADO DE LA PRUEBA
1. DESCRIPCIÓN GENERAL DEL TEST
5
o Ansiedad: Evalúa la presencia de manifestaciones subjetivas de ansiedad,
tensión y preocupación tanto a nivel cognitivo como emocional y
fisiológico.
o Depresión: Evalúa la presencia de manifestaciones subjetivas de tristeza,
melancolía, anhedonia o desesperanza.
o Abuso de sustancias: Evalúa la presencia de abuso de sustancias y el
grado en que puede condicionar el funcionamiento del adolescente en
diferentes contextos de su vida.
o Problemas Interpersonales: Evalúa la presencia de insatisfacción y
dificultades tanto a la hora de relacionarse con los demás como de
gestionar los conflictos.
o Problemas familiares: Los ítems de esta escala hacen referencia a
conflictos y experiencias de incomprensión familiares, así como al nivel en
que estos problemas afectan a su funcionamiento y comportamiento.
o Incertidumbre sobre el futuro: Los ítems de esta escala hacen referencia a
la indecisión y preocupación sobre su futuro escolar, académico o laboral
que afectan al bienestar del adolescente y que requiere de intervención y
orientación.
o Índice de Riesgo Psicosocial: Evalúa el grado en que la persona tiene
dificultades para adaptarse a las reglas sociales, para saber controlar su
comportamiento e inhibir las conductas que impliquen un riesgo para su
persona y para los demás, ya sea por impulsividad o desinterés.
o Escala de Bienestar (Autoestima y bienestar): Proporciona una medida
global y sintética del nivel de bienestar del adolescente. Evalúa su grado
de satisfacción consigo mismo, con su entorno y con su estado físico.
1.12. Áreas de aplicación:
§ Psicología clínica, Psicología educativa y Psicología forense. Los autores también
señalan la investigación como área de aplicación.
1.13. Formato de los ítems:
§ Respuesta graduada.
1.14. Número de ítems:
§ Número total de ítems 81
o Insatisfacción corporal: 7 ítems.
o Ansiedad: 10 ítems.
o Depresión: 8 ítems.
o Abuso de sustancias: 10 ítems
o Problemas Interpersonales: 8 ítems.
o Problemas familiares: 9 ítems.
6
o Incertidumbre sobre el futuro: 9 ítems.
o Índice de Riesgo Psicosocial: 24 ítems (8 de los cuáles no están incluidos en el
resto de escalas).
o Escala de Bienestar (Autoestima y bienestar): 12 ítems.
1.15. Soporte:
§ Papel y Lápiz
1.16. Cualificación requerida para el uso del test de acuerdo con la documentación aportada:
§ Nivel C
1.17. Descripción de las poblaciones a las que el test es aplicable:
§ El cuestionario es aplicable a hombres y mujeres de edades comprendidas entre los 12
y los 18 años que estudian desde 1º de ESO a 2º de Bachillerato. Además de los datos
para población española, se aportan datos de validación en Latinoamérica. El test
resulta aplicable a personas con discapacidad visual o dificultad lectora mediante la
acomodación por el profesional de las instrucciones y enunciados de los ítems: la
lectura de los mismos y la utilización de ejemplos para entrenar en el uso de las
categorías de respuesta.
1.18. Existencia o no de diferentes formas del test y sus características:
§ -
1.19. Procedimiento de corrección:
§ Automatizada por ordenador (plataforma Teacorrige), el profesional accede de forma
independiente y autónoma a una plataforma on-line de corrección donde introduce las
respuestas a la prueba y obtiene el perfil de resultados de forma gráfica y numérica.
1.20. Puntuaciones:
§ Aunque por seguridad el procedimiento para obtener las puntuaciones directas no se
explica, es importante decir que en el apéndice (pág. 135) se ofrece una tabla que
indica los ítems que componen cada escala del Q-PAD. También se proporciona el
error estándar de medida en unidades de puntuación directa (p. 65). Los puntos de
referencia incluidos en el manual se refieren únicamente a las puntuaciones relativas
expresadas en percentiles que se obtienen por corrección automática en la página
http://www.teacorrige.
§ Un punto fuerte de la obtención de puntuaciones se refiere a lo que los autores
denominan “Evaluación de la validez del protocolo”. Por “validez del protocolo”
entienden el grado en el que la persona ha contestado de forma sincera y prestando
atención a las preguntas. Así, el manual ofrece 5 indicadores para evaluar la validez
del protocolo: a) presencia de omisiones (4 o más omisiones en una hoja de
respuestas invalida la aplicación, 2 o más en los ítems de una escala invalida la
escala); b) tiempo de respuesta, diferentes a los promedios habituales (más de 45
7
minutos); c) presencia de puntuaciones extremas: percentil 99; d) percentil 95 extremo
en las escalas de autoestima y bienestar; y e) percentiles muy bajos en en la mayoría
de las escalas clínicas: percentiles inferiores a 30. Es importante tener en cuenta que
el sistema de corrección informatizado no permite la corrección de casos con 4 o más
respuestas omitidas, y si hay 2 o más omisiones en alguna escala específica del Q-
PAD no se podrá obtener la puntuación en dicha escala.
8
2. VALORACIÓN DE LAS CARACTERÍSTICAS DEL TEST
Contenido
Valoración Puntuación
2.1. Calidad de los materiales del test Excelente 5
Buena-
2.2. Calidad de la documentación aportada 4,5
Excelente
Adecuada-
2.3. Fundamentación teórica 3,5
Buena
2.4. Adaptación del test Excelente 5
2.11. Validez
9
2.11.2. Evidencias de validez basadas en la relación entre las
puntuaciones del test y otras variables
10
Contenido Valoración Puntuación
Buena-
2.11.3.1. Resultados del análisis factorial 4,5
Excelente
2.11.3.2. Funcionamiento diferencial de los ítems - -
11
extensamente las formas de validación del protocolo, puesto que dentro del cuestionario no se
incluyen escalas concretas para valorar la credibilidad de las respuestas.
Los estudios de relación con variables externas se atribuyen fundamentalmente a los
estudios con el cuestionario en su version original (evidencias obtenidas en población italiana)
y tal vez por este motivo, faltan detalles importantes sobre el procedimiento de selección de las
muestras y los procedimientos utilizados. En cuanto a los resultados, las escalas del
cuestionario mostraron las correlaciones esperadas con el juicio de expertos (p. 82), un dato
que aumentaría su capacidad de convicción si se detallara la calidad del criterio, indicando, por
ejemplo, si la evaluación de cada persona fue realizada por dos expertos. También sería
necesario aportar datos de las características de los expertos, en el manual se mencionan que
son profesionales pero no se indica años de experiencia, profesión, ni otras características
relevantes para evaluar su grado de experiencia. También se estudió la relación de cada uno
de los aspectos que mide el Q-PAD con los mismos constructos medidos por cuestionarios más
reconocidos, esto es el Cuestionario de 90 Síntomas-Revisado (SCL-90-R), el Assessment of
Interpersonal Relation (AIR) o el Multidimensional Self-Concept Scale (MSCS). En la
adaptación española, únicamente se aportan los datos de las relaciones con el Inventario de
Evaluación de la Personalidad para Adolescentes (PAI-A) en una parte no especificada de la
muestra clínica incidental de un total de 46 adolescentes. Los resultados presentados en
relación con la validez convergente son acordes con las hipótesis tal y como se indica en el
manual, igualmente, se obtienen correlaciones cercanas a cero con variables que no deberían
estar correlacionadas con cada uno de los constructos. En general, las evidencias obtenidas de
dichos análisis son sólidas y refuerzan las interpretaciones previstas para las evaluaciones con
el Q-PAD. Sin embargo, podría merecer algún comentario específico algunos resultados
relativos a la validez discriminante. Por ejemplo, la escala de problemas familiares presenta
una correlación de 0,82 con la escala de Sensibilidad interpersonal del SCL-90-R (Tabla 5.18,
p. 79), lo que se destaca correctamente como acorde con lo esperado. Sin embargo, no se
menciona que esta misma escala de problemas familiares también presenta una correlación
similar (0,83) con la escala de ansiedad del SCL-90-R, un valor que es ligeramente más
elevado que la correlación entre la escala de ansiedad del Q-PAD y la escala de ansiedad el
SCL-90-R, que es de 0,75, aunque se trate de problemas que con mucha frecuencia se dan
conjuntamente tal como se explica en la página 74 (párrafo 1). En la adaptación española se
aportan resultados basados en la comparación de grupos tanto clínicos como de menores
infractores que, en general, están en la línea esperada, aunque como el mismo autor indica,
deben interpretarse con cautela debido a los pequeños tamaños muestrales. Para las
comparaciones de población general con grupos clínicos se seleccionó a partir de la muestra
principal de tipificación una submuestra emparejada en sexo, edad y nivel de estudios.
Los estudios de validación sobre la estructura interna, basado en la muestra de
tipificación y una muestra clínica, consisten en a) una serie de análisis sobre la dimensionalidad
12
del cuestionario mediante análisis factoriales exploratorios y confirmatorios; y b) el análisis
comparativo de las matrices de correlaciones de las puntuaciones en las diferentes escalas
entre la muestra de tipificación y una muestra clínica. Los análisis factorials fueron realizados
siguiendo las practices recomendadas y están perfectamente documentados, aportando
resultados acorde con lo esperado: se identifican los ocho factores que se esperaban y éstos
muestran suficiente validez discriminante. Se aportan análisis unidimensionales,
multidimensional confirmatorio y también exploratorio de forma justificada. También merece
valoración positiva el que los resultados del análisis factorial confirmatorio se corroboren en
una muestra colombiana y otra mexicana. Sería mejorable la explicación de porqué el autor
prefiere proporcionar los parámetros estimados con el análisis exploratorio cuando también
concluye que el análisis confirmatorio arroja índices de ajuste apropiados. De nuevo, en la
Tabla 5.13 (p. 71) y dentro del texto se destacan aquellas cargas factoriales que son acordes
con lo esperado, que son muchas, pero sería oportuno comentar también las pocas que no se
comportan de acuerdo con las hipótesis. Así por ejemplo, los ítems número 24, 42 y 57 que
según el apéndice son casi la mitad de los ítems de la escala de Depresión, no pesan de forma
clara en ningún factor, o el ítem 75 que forma parte de la escala de Ansiedad, tiene un peso
destacado en el factor de depresión.
Por otra parte, sería interesante aportar estudios de relación con variables externas
para la muestra de tipificación latinoamericana.
2.12. Fiabilidad
13
2.12.3. Consistencia interna
14
estudios de consistencia interna y con tamaños algo más pequeños (alrededor de 80 casos)
para los estudios test-retest. En cuanto a la consistencia interna, los resultados son muy
buenos con un promedio de los coeficientes alfa de Cronbach de 0,84. Aunque, tal y como el
autor señala (p. 16) este promedio sería de 0,85 considerando el tamaño muestral y empleando
para el cálculo del valor promedio la transformación de Hakstian y Whalen (1976). Para valorar
la estabilidad de las puntuaciones aportadas por el Q-PAD, se estimaron coeficientes test-
retest (promedio obtenido 0,83) a partir de una muestra de 80 adolescentes de entre 12 y 17
años (M=13,2; DT= 1,1), 40% de varones y 60% de mujeres, de centros públicos y
concertados, en su adaptación española, y de otra muestra de Sica et al. (2011) de 60
adolescentes (M=16,4; DT=1,1). El tamaño muestral es reducido y no se aporta información
sobre la variabilidad de las mediciones en el grupo. Además, se aporta también el error
estándar de medida para la puntuación directa de cada escala para cada grupo de sexo y
edad.
15
Comentarios generales sobre baremación e interpretación de las
puntuaciones
16