4ema1 Gabriel Migliarino

“Taller de Validación de Métodos”
Verificación de Procedimientos de Medidas

Cualitativos: Enfermedades Infecciosas
PONENTE: Gabriel A. Migliarino

Agenda
• Introducción
• Evaluación de Procedimientos de Medida
• Valor de Corte
• Requisitos de la Calidad
• Precisión
• Sensibilidad y Especificidad Diagnóstica
• Conclusiones
Introducción
¿ Cuál es el tema principal de esta

presentación?
Evaluar las características de

desempeño de los
procedimiento de medida
cualitativos:
“Enfermedades Infecciosas”
Introducción
• Procedimientos de medida cualitativos
- Tienen dos interpretaciones posibles
• Positivo/Negativo
• Reactivo/No Reactivo
• Reactivo/Negativo
• Presente/Ausente
• “> al valor de corte/<al valor de corte”
Introducción
• Uso previsto de los procedimientos de

medida cualitativos:
• Para tamizar
• Diagnóstico
• Confirmatorio
• Monitoreo
Introducción
• Procedimientos de Medida para Tamizar
- Tamizar una población “sana” en busca de una

enfermedad o condición oculta.
- Los resultados inicialmente positivos son seguidos
por otro tipo de pruebas.
- Altamente sensibles.
Introducción
• Procedimientos de Medida para Tamizar
- Resultados Falsos Negativos con severas
consecuencias.
• Transfusiones sanguíneas
• Condiciones graves no tratadas
- Producen falsos positivos.
• Existen pruebas de confirmación
• Consecuencias sociales/económicas leves
Introducción
• Procedimientos de Medida para

Diagnóstico
- Se emplean para diagnosticar una enfermedad
o condición que se presume presente.
- Sensibles y Específicos.
- Si existe prueba confirmatoria puede tolerarse
una pequeña disminución de la especificidad.
Introducción
• Procedimientos de Medida de
Confirmación
- Permiten establecer un diagnóstico al médico
tratante a través de la confirmación o verificación de
resultados.
- Altamente específicos.
- Alto valor predictivo positivo.
- No tan sensibles.
Introducción
• La utilidad clínica de estos

procedimientos de medida esta dada por:
• Sensibilidad
• Especificidad
• Valore predictivo
• Prevalencia de la enfermedad o condición en la
población examinada
Agenda
• Introducción
• Valor de Corte
• Precisión
• Conclusiones
Evaluación de Procedimiento de Medida
• Evaluación:
“término genérico para cualquier estudio que mide la

capacidad de desempeño de un ensayo;
NOTA: El término evaluación se puede aplicar a un
procedimiento que es menos estricto que el
requerido para la validación y verificación .”
http://login.clsi.org/termsall.cfm
• Validación:
“Verificación de que los requisitos especificados
son adecuados para un uso previsto.”
(2.45 JCGM 200:2008)
“Cconfirmación, mediante el suministro de evidencia

objetiva, de que se han cumplido los requisitos para
una utilización o aplicación específica prevista.”
(ISO 9000)
• Verificación:
“Aportación de evidencia objetiva de que un elemento
satisface los requisitos especificados.
Ejemplo 2 La confirmación que se satisfacen las
propiedades de funcionamiento declaradas o los
requisitos legales de un sistema de medida.”
(2.44 JCGM 200:2008)
“Confirmación, mediante el suministro de evidencia
objetiva, de que se han cumplido los requisitos
especificados.”
(ISO 9000)
“Estudios que se realizan para determinar si un método
cumple con los requisitos de calidad del usuario y/o
especificaciones de desempeño del fabricante”
Validaciones y/o
Verificaciones
Aleatorio Evaluación de errores Sistemático
Protocolos Empleo de herramientas estadísticas

Magnitud del error Utilidad clínica del resultado
TE Sigma TEa
EVALUACIÓN
VALIDACIÓN VERIFICACIÓN
Procedimiento
de medida
Marca IVD/CE
Desarrollo
Aprobados Modificados Mezclas
casero
FDA
Verificación Validación Validación Validación

• Parámetros de desempeño a ser evaluados:
Validación Verificación
Precisión (Repetibilidad) Precisión (Repetibilidad)
Precisión (Intralaboratorio o Intermedia) Precisión (Intralaboratorio o Intermedia)
Exactitud Diagnóstica (Sensibilidad, Exactitud Diagnóstica (Sensibilidad,
Especificidad, Valores predictivos, Tasas de Especificidad)
falsos positivos y falsos negativos)
Recuperación (Sensibilidad Analítica) No aplica
Selectividad (Especificidad Analítica) No Aplica
Valor de Corte No Aplica
Agenda
• Introducción
• Valor de Corte
• Precisión
• Conclusiones
Valor de Corte
• Son establecidos por los fabricantes.

- uso previsto del procedimiento de medida
- Sensibilidad Diagnóstica deseada
- Especificidad Diagnóstica deseada
• Los estudios de precisión se deben realizar
cerca de la zona de corte.
Valor de Corte
Valor de corte “Cut Off”
 En un mundo ideal!!!
 En el mundo real!!!
Valor de Corte
• Zona de Incertidumbre
“Corresponde a la región en la cual se
obtienen respuestas falsas
(falso negativo o falso positivo)”
Valor de Corte
Repito el ensayo 100 veces
95%
Y 50 veces me da (+) y otras 5%
50 veces (-)
Repito el ensayo 100 veces

Repito el ensayo 100 veces Repito el ensayo 100 veces
Repito el ensayo 100 veces Y 95 veces me da (+) y otras
Y 95 veces me da (-) y otras y las 100 veces me da (+)
y las 100 veces me da (-) 5 veces (-)
5 veces (+) 0 veces (-)
0 veces (+)
5% 95%
dil. dil.
dilución dilución
Valor de Corte
Valor de Corte
• S/CO
S : Valor de lectura de la muestra
CO : Valor de lectura del punto de corte
“Relación de positividad”
Valor de Corte
• C5: ?
¿Qué ocurre si repito una muestra varias veces cuya
S/CO esta por debajo de C5?
• C95: ?
¿Qué ocurre si repito una muestra varias veces cuya
S/CO esta por encina de C95?
• Intervalo C5 – C95 ; C50:?

¿Qué ocurre si repito una muestra varias veces que se
encuentra justo en el medio de este intervalo C50?
Agenda
• Introducción
• Valor de Corte
• Precisión
• Conclusiones
Requisitos de la
Calidad
• Premisa: Debemos contar con un
requisito de la calidad (TEa) para el
procedimiento de medida evaluado.
- Fuente para establecer (TEa)

“Estado del arte”
- Fuente de los datos
a)- Esquemas de Evaluación externa de la calidad
b)- Esquemas Interlaboratorio
c)-Control estadístico interno de la calidad
Requisitos de la Calidad
Estimación del
TEa a partir del
resumen anual EQAs
• Vamos a trabajar con los datos del grupo
par de comparación.
Z Score
Estimación del
TEa a partir del
resumen anual EQAs
(1) Identifiquemos en el resumen de datos
de final de ciclo los coeficientes de variación
del grupo par de comparación y la cantidad de
datos.
CV: Coeficiente de variación

N: Cantidad de datos
TEa: Requisito de calidad
Estimación del
TEa a partir del
resumen anual EQAs
(2) Multiplicar para cada encuesta el Coeficiente
de variación del grupo par por el N del grupo
par.

Estimación del
TEa a partir del
resumen anual EQAs
(3) Efectuar una sumatoria del N de los grupo
par y de la columna CV*N.

Estimación del
TEa a partir del
resumen anual EQAs
(4) Dividir la sumatoria de CV*N entre la
sumatoria de N.
Sumatoria de CV*N = 1511.73
Sumatoria de N = 180
1511.73
= 8.4 %
180

Coeficiente de variación ponderado del grupo TEa: Requisito de calidad
par de comparación del ciclo 2011

8.4 %
Estimación del
TEa a partir del
resumen anual EQAs
(5) Multiplicar por tres “3” el coeficiente de
variación ponderado del grupo par de
comparación obtenido para el procedimiento de
medida en el ciclo en estudio para obtener una
estimación del requisito de calidad del
procedimiento de medida de acuerdo al estado
del arte.
TEa = 8.4 % * 3

TEa = 25.2 % N: Cantidad de datos
Estimación del
TEa a partir del
resumen anual EQAs
TEa = 25.2 %

Estimación del
Coeficiente de
Variación Ponderado
• Vamos a trabajar con un nivel de control
de HBsAg.
• Vamos a juntar los datos de control interno del
nivel del control seleccionado para el HBsAg.
• Vamos a armar una planilla con los datos.
• Vamos a estimar el coeficiente de variación
promedio ponderado para el nivel de control
seleccionado.
Estimación del
Coeficiente de
Estimación del
Coeficiente de
• Vamos a generar una tercera columna
multiplicando “CV” por “n”.
Estimación del
Coeficiente de
• Vamos a efectuar la sumatoria de datos de la
columna “n” y “CV*n”.
Estimación del
Coeficiente de
• Recordemos la formula para estimar el CV
promedio ponderado:
CV (ponderado) = ∑ CV * n
∑n
Estimación del
Coeficiente de
∑ CV * n = 1412.1
∑ n = 255
Estimación del
Coeficiente de
• Recordemos la formula para estimar el
CV promedio ponderado:
CV (ponderado) = ∑ CV * n ∑ CV * n = 1412.1
∑ n = 255
∑n
CV (ponderado) = 1412.1 CV (ponderado) = 5.5%
255
Estimación del
TEa a partir del
Coeficiente de Variación Ponderado
• Los resultados acumulados del control
estadístico interno de la calidad de un
procedimiento de medida son reflejo del estados
del arte.
• A partir de estos datos podemos acceder a
información sobre el estado del arte del
procedimiento evaluado.
• Vamos a trabajar con el coeficiente de variación
promedio ponderado para establecer un
requisito de la calidad.
Estimación del
TEa a partir del
Coeficiente de Variación Ponderado
Multiplicar por tres “3” el coeficiente de
variación ponderado obtenido para el
procedimiento de medida a partir de los datos de control
estadístico interno de la calidad de varios meses para
obtener una estimación del requisito de la calidad del
procedimiento de medida de acuerdo al estado del arte.
CV (ponderado) = 5.5% TEa = 5.5 % * 3
TEa = 16.5 %
Agenda
• Introducción
• Valor de Corte
• Precisión
• Conclusiones
Precisión
• La precisión debe ser evaluada cerca

del valor de corte.
(1) Experimento cualitativo cerca del valor de corte.
(2) Repetibilidad y precisión intermedia para
procedimientos de medida con relación de
positividad S/CO.
(3) Repetibilidad y precisión intermedia para
procedimientos de medida de expresión binaria.
Precisión
• (1) Experimento cualitativo cerca del valor

de corte C50.
- Determinar si un intervalo, por ejemplo C50 + 20 %
incluye el intervalo C5 – C95.
- Mas del 20 % de los resultados son precisos.
- Dos posibilidades:
1)- Valor de corte provisto por el
fabricante
2)-Valor de corte no provisto por el
fabricante
Precisión
• Preparar 3 muestras de buen volumen:

Muestra Concentración
Muestra 1 C50 + 20 %
Muestra 2 C 50
Muestra 3 C50 – 20 %
• Procesar cada muestra 40 veces y calcular el %

de resultados positivos y negativos para cada
muestra.
Precisión
¿ Está bien preparada la C50?

- Tomamos los 40 resultados de la C50.
Total de resultados Cantidad de Porcentaje Conclusión
resultados (+)
40 13 o menos 32,5 C50 incorrecta
40 27 o más 67,5 C50 incorrecta
40 Entre 14 y 26 35 % a 65 % C50 correcta
Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas
Precisión
¿Contienen el intervalo c50+ 20 % al
rango C5- C95?
Si
Concentración Total de Total de resultados Total de resultados Porcentaje

muestras positivos negativos
C50 + 20 % 40 35 o menos --- 87,5 % o menos

C50 – 20 % 40 --- 35 0 menos 87,5 % o menos
C50 - 20 % C50 C50 + 20 %
C5 C50 C95
Precisión
• En este caso:
Muestras > C50 + 20 %

Muestras < C50 – 20 %
Pueden no arrojar
resultados
consistentes
Precisión
¿Contienen el intervalo c50+ 20 %
al rango C5- C95?
Si
Concentración Total de muestras Total de resultados Total de resultados Porcentaje

positivos negativos
C50 + 20 % 40 36 o más --- 90 % o más

C50 – 20 % 40 --- 36 0 más 90 % o más
C50 - 20 % C50 C50 + 20 %
C5 C50 C95
Precisión
• En este caso:
Muestras > C50 + 20 %

Muestras < C50 – 20 %
Resultados
Consistentes
Precisión
al rango C5- C95?
Si

C50 + 20 % 40 36 o más --- 90 % o más

C50 – 20 % 40 --- 35 0 menos 87,5 % o menos
C50 - 20 % C50 C50 + 20 %
C5 C50 C95
Precisión
• En este caso:
Resultados
Muestras > C50 + 20 % Consistentes
Pueden no arrojar
resultados
Muestras < C50 – 20 % consistentes
Precisión
al rango C5- C95?
Si

C50 + 20 % 40 35 o menos --- 87,5 % o menos

C50 – 20 % 40 --- 36 0 más 90 % 0 más
C50 - 20 % C50 C50 + 20 %
C5 C50 C95
Precisión
• En este caso:
Pueden no arrojar
resultados
Muestras > C50 + 20 % consistentes
Resultados
Muestras < C50 – 20 % Consistentes
Precisión :
Definiciones
Precisión :
Definiciones
Repetibilidad (Sr)
- El mismo procedimiento de medida

- El mismo laboratorio
- El mismo operador
- El mismo equipo
- Repeticiones en un intervalo corto de tiempo
“Es lo que comúnmente denominamos precisión

intracorrida o intraserie”
Precisión :
Definiciones
Expresión:
Repetibilidad
Sr (Desvío Estándar)
SDr (Desvío Estándar)
CVr (Coeficiente de Variación)

Precisión :
Definiciones
Precisión :
Definiciones
Precisión Intermedia o Intra laboratorio (Si)
- El mismo laboratorio
- El mismo operador o no
- El mismo equipo
- Repeticiones en un intervalo prolongado de tiempo
“Es lo que se conoce como precisión intra laboratorio”

“También se la conoce como precisión total”
Precisión :
Definiciones
Expresión:
Precisión Intermedia o Intralaboratorio
Si (Desvío Estándar)
SDi (Desvío Estándar)
CVi (Coeficiente de Variación)

Precisión :
Definiciones
Expresión:
Precisión Intermedia o Intralaboratorio
SRW (Desvío Estándar)
SDRW (Desvío Estándar)
CVRW (Coeficiente de Variación)

Precisión :
Definiciones
Precisión :
Definiciones
Reproducibilidad (SR)

- Distinto lote de reactivo o no
- Distinto lote de calibrador o no
- Distinto laboratorio
- Distinto operador
- Distinto equipo
- Distinto entorno
Precisión :
EP 15 A2
• (2) Repetibilidad y precisión intermedia

para procedimientos de medida con
relación de positividad S/CO.
Precisión :
EP 15 A2
Precisión (EP 15 A2)

¿Qué necesito?
a)- El protocolo.
b)- 2 materiales de control
- niveles de decisión médica
(*) Positivo débil
(*) Positivo
c)- Planillas de cálculo o software
Precisión :
EP 15 A2
Día 1 Día 2 Día 3 Día 4 Día 5
Rep. Rep. Rep. Rep. Rep. Rep. Rep. Rep. Rep. Rep.
1 3 1 3 1 3 1 3 1 3
Rep. Rep. Rep. Rep. Rep.

2 2 2 2 2
Desvío Estándar Repetibilidad (Sr)

Varianza para las medias diarias (Sb2)
Desvío Estándar Intralaboratorio (Si)
Grados de Libertad Efectivos (T)
Precisión :
EP 15 A2
• Fundamento:
- Estimar la desviación estándar en
condiciones de repetibilidad “Sr” (recordar 3
replicados por día).
- Estimar la desviación estándar entre días
(recordar triplicados, media diaria,5 días).
- Combinar varianzas y estimar la desviación
estándar intermedia o intralaboratorio “Si” (antes
llamada total).
Precisión :
EP 15 A2
- Trabajar las especificaciones del inserto del

fabricante para llevarlas a la concentración del
material que nosotros usamos.
Precisión :
EP 15 A2
Datos de inserto
HCV S/CO
Concentración Repetibilidad Precisión Intermedia
SDr CVr SDi CVi
2.100 0.0210 1.0 0.0252 1.2
Mis datos
HCV S/CO
SDr CVr SDi CVi
1.984
Precisión :
EP 15 A2
HCV S/CO
CV %
SDr CVr SDi CVi
2.1000 0.0210 1.0 0.0252 1.2
Concentración : 1.984
CVr : 1.0 %
SDr : ??
1.0
1.984 2.100 S/CO

Precisión :
EP 15 A2
CV = SD x 100 SDr = CVr * Media

Media
100
SDr = 1.0 * 1.984 CVr : 1.0 %
100
SDr = 0.01984
SDr = 0.020
Precisión :
EP 15 A2
HCV S/CO
CV %
SDr CVr SDi CVi
2.1000 0.0210 1.0 0.0252 1.2
CVi : 1.2 %
SDi : ??
1.2
1.984 2.100 S/CO

Precisión :
EP 15 A2
CV = SD x 100 SDi = CVi * Media

Media
100
SDi = 1.2 * 1.984
CVi : 1.2 %
100
SDi = 0.0238
SDi = 0.024
Precisión :
EP 15 A2
HCV S/CO
SDr CVr SDi CVi
1.984 0.020 1.0 0.024 1.2
SDr= 0.020 SDi= 0.024
CVr = 1.0 CVi = 1.2

Precisión :
EP 15 A2
- Comparar la desviación estándar obtenida en

condiciones de repetibilidad con la
especificación adaptada obtenida a partir del
inserto del fabricante para repetibilidad o de ser
necesario con su valor de verificación.
Precisión :
EP 15 A2
Repetibilidad
Si Sr (datos propios) < SDr (fabricante) Repetibilidad

verificada
Si Sr (datos propios) > SDr (fabricante) Repetibilidad

Aplicar verificación
Precisión :
EP 15 A2
Si Sr (datos propios) < V.V. SDr (valor de verificación)
Verificación de
Repetibilidad
Aceptada
Si Sr (datos propios) > V.V. SDr (Valor de verificación)
Verificación de
Repetibilidad
Rechazada
Precisión :
EP 15 A2
- Comparar la desviación estándar

obtenida en condiciones de precisión
intermedia con la especificación adaptada
obtenida a partir del inserto del fabricante para
precisión intermedia o de ser necesario con su
valor de verificación.
Precisión :
EP 15 A2
Precisión Intermedia
Si Si (datos propios) < SDi (fabricante) Precisión Intermedia

verificada
Si Si (datos propios) > SDi (fabricante) Precisión Intermedia

Aplicar verificación
Precisión :
EP 15 A2
Si Si (datos propios) < V.V. SDi (valor de verificación)
Verificación de
Aceptada
Si Si (datos propios) > V.V. SDi (Valor de verificación)
Verificación de
Rechazada
Precisión :
EP 15 A2
Retornemos a nuestro caso de aplicación!!
HCV en suero (S/CO)
Instrumento: SuperViral
Reactivo: SuperViral Plus
Precisión :
EP 15 A2
CV = (SD/Media) * 100 SD = (CV * Media) / 100
SD = (2.1 * 2.42) / 100 SD = 0.051

Precisión :
EP 15 A2
CV = (SD/Media) * 100 SD = (CV * Media) / 100
SD = (6.6 * 2.42) / 100 SD = 0.160

Precisión :
EP 15 A2
Especificaciones del
fabricante tomadas del
inserto
Precisión :
EP 15 A2
Triplicados durante 5 días

Precisión :
EP 15 A2
No fue necesario trabajar con los valores de verificación

Precisión:
Modelo
Simplificado
• Procedimiento para Repetibilidad:
- Seleccionar un material con concentración
desafiante (control positivo débil).
- Procesar el material de control 20 veces dentro
de la misma corrida analítica.
- Estimar: Media, desviación estándar y
coeficiente de variación (estos estadísticos han
sido obtenido en condiciones de repetibilidad).
Precisión:
Modelo
Simplificado
Replicado Resultado Unidades
1 2,78 S/CO Criterio para verificación de
2 2,97 S/CO
3 3,01 S/CO precisión en condiciones de
4 2,68 S/CO
5 2,59 S/CO repetibilidad
6 3,00 S/CO
7 2,89 S/CO
8 2,76 S/CO
9
10
2,65
2,73
S/CO
S/CO
CVr < TEa* 0,25
11 2,98 S/CO
12 3,03 S/CO
13 2,67 S/CO
14 2,76 S/CO
15 2,89 S/CO
16 2,54 S/CO
17 2,98 S/CO
18 3,00 S/CO
19
20
2,67
2,69
S/CO
S/CO
TEa = 25 %
Media 2,814 S/CO
DEr 0,1600 S/CO
CVr 5,7 %
N 20
Precisión:
Modelo
Simplificado
Replicado Resultado Unidades
1 2,78 S/CO Criterio para verificación de
2 2,97 S/CO
3 3,01 S/CO
precisión en condiciones de
4
5
2,68
2,59
S/CO
S/CO
repetibilidad
6 3,00 S/CO
7 2,89 S/CO
8 2,76 S/CO CVr % < TEa* 0,25
9 2,65 S/CO
10 2,73 S/CO
5,7 % < 25 * 0,25
11
12
2,98
3,03
S/CO
S/CO
5,7 % < 6,25
13
14
2,67
2,76
S/CO
S/CO
“Repetibilidad Aceptada”
15 2,89 S/CO
16 2,54 S/CO
17 2,98 S/CO
18 3,00 S/CO
19 2,67 S/CO TEa = 25 %
20 2,69 S/CO
Media 2,814 S/CO
DEr 0,1600 S/CO
CVr 5,7 %
N 20
Precisión:
Modelo
Simplificado
• Procedimiento para Precisión intermedia o
intralaboratorio
- Seleccionar un material con concentración
desafiante (control positivo débil).
- Procesar el material una vez por día durante 30
días.
- Estimar: Media, desviación estándar y
coeficiente de variación (estos estadísticos han
sido obtenido en condiciones de precisión
intermedia).
Precisión:
Modelo
Simplificado
Fecha Resultado Unidades
01/03/2013
02/03/2013
2,78
2,98
S/CO
S/CO Criterio para verificación de
03/03/2013 3,03 S/CO
04/03/2013
05/03/2013
2,76
2,49
S/CO
S/CO
precisión intralaboratorio
06/03/2013 2,98 S/CO
07/03/2013 3,10 S/CO
08/03/2013 2,67 S/CO
09/03/2013 2,87 S/CO
10/03/2013
11/03/2013
2,56
2,87
S/CO
S/CO
CVi < TEa* 0,33
12/03/2013 2,98 S/CO
13/03/2013 3,03 S/CO
14/03/2013 3,01 S/CO
15/03/2013 2,98 S/CO
16/03/2013 2,67 S/CO
17/03/2013 2,56 S/CO
18/03/2013 2,56 S/CO
19/03/2013 3,01 S/CO
20/03/2013 2,98 S/CO
21/03/2013 2,46 S/CO
22/03/2013 2,67 S/CO
23/03/2013 2,56 S/CO
24/03/2013
25/03/2013
2,89
2,90
S/CO
S/CO
TEa = 25 %
26/03/2013 3,02 S/CO
27/03/2013 2,98 S/CO
28/03/2013 2,39 S/CO
29/03/2013 2,78 S/CO
30/03/2013 2,87 S/CO
Media 2,813 S/CO
DEi 0,2049 S/CO
CVi 7,3 %
N 30
Precisión:
Modelo
Simplificado
Fecha Resultado Unidades
01/03/2013
02/03/2013
2,78
2,98
S/CO
S/CO
Criterio para verificación de
03/03/2013
04/03/2013
3,03
2,76
S/CO
S/CO precisión intralaboratorio
05/03/2013 2,49 S/CO
06/03/2013 2,98 S/CO
07/03/2013 3,10 S/CO
08/03/2013
09/03/2013
2,67
2,87
S/CO
S/CO CVi < TEa* 0,33
10/03/2013 2,56 S/CO
11/03/2013
12/03/2013
2,87
2,98
S/CO
S/CO
7,3 % < 25 * 0,33
13/03/2013
14/03/2013
3,03
3,01
S/CO
S/CO 7,3 % < 8,25 %
15/03/2013 2,98 S/CO
16/03/2013 2,67 S/CO
17/03/2013 2,56 S/CO
18/03/2013
19/03/2013
2,56
3,01
S/CO
S/CO “Precisión intralaboratorio
20/03/2013 2,98 S/CO
21/03/2013
22/03/2013
2,46
2,67
S/CO
S/CO
Aceptada”
23/03/2013 2,56 S/CO
24/03/2013 2,89 S/CO
25/03/2013 2,90 S/CO
26/03/2013 3,02 S/CO
27/03/2013 2,98 S/CO
28/03/2013 2,39 S/CO
29/03/2013 2,78 S/CO
DEi
30/03/2013
Media
2,87
2,813
0,2049
S/CO
S/CO
S/CO
TEa = 25 %
CVi 7,3 %
N 30
Precisión
• (3) Repetibilidad y precisión intermedia

para procedimientos de medida de
expresión binaria.
- De los controles positivos débiles se esperan
resultados positivos
- De los controles positivos se esperan resultados
positivos
Precisión
Grupo 1 Verificación
Verificación de un ensayo IVD/CE o de un sistema de para la detección de anticuerpos
virales específicos, detección de antígenos virales o pruebas de acido nucleícos .
Cantidad de Muestras Necesarias

Pruebas de detección de Antígenos o
Parámetro Anticuerpos Ácidos Nucleícos (NAT)
Cualitativas Cuantitativas
1 muestra (+) por Cualitativas Cuantitativas
Veracidad triplicado en una
1misma
muestra (+d ) por
corrida
Positivas 3 3 3 3
triplicado en una
analítica3
Positivas Débiles 3 misma corrida analítica 3 3
Negativas 3 3 3 3
1 muestra (+) una
Repetibilidad (SDr) ves por día durante
1 muestra (+d ) por3día
Positivas 1
días
durante tres
4 días 1
Con excepción de:
3
Positivas Débiles 1 3 1HIV( 1y 2), HTLV (1y2),
3
Hepatitis B, C y D
Precisión Intermedia (SDi) Series de 10 diluciones de
Positivas 1 2 una muestra positiva por
1 1
Positiva Débil 1 1 duplicado 1 1
Linealidad
Positiva 0 0 0 1
Agenda
• Introducción
• Valor de Corte
• Precisión
• Conclusiones
Grupo 1
Se establecen diferencias para:
Grupo 2
Sensibilidad y
Especificidad
Diagnóstica
Verificación
Grupo 1
Verificación de un ensayo IVD/CE o de un sistema de para la detección de anticuerpos
virales específicos, detección de antígenos virales o pruebas de acido nucleícos .
Cantidad de Muestras Necesarias

Pruebas de detección de Antígenos o
Parámetro Anticuerpos Ácidos Nucléicos (NAT)
Cualitativas Cuantitativas
1 muestra (+) por Cualitativas Cuantitativas
Veracidad triplicado en una
1misma
muestra (+d ) por
corrida
Positivas 3 3 3 3
triplicado en una
analítica3
Positivas Débiles 3 misma corrida analítica 3 3
Negativas 3 3 3 3
1 muestra (+) una
Repetibilidad (SDr) ves por día durante
1 muestra (+d ) por3día
Positivas 1
días
durante tres
4 días 1
Con excepción de:
3
Positivas Débiles 1 3 1HIV( 1y 2), HTLV (1y2),
3
Hepatitis B, C y D
Precisión Intermedia (SDi) Series de 10 diluciones de
Positivas 1 2 una muestra positiva por
1 1
Positiva Débil 1 1 duplicado 1 1
Linealidad
Positiva 0 0 0 1
Sensibilidad y
Especificidad
Diagnóstica
HIV I y II,
Hepatitis A,B,C y D
HTLV I y II
Grupo 2
Verificación
Sensibilidad y
Especificidad
Diagnóstica
HIV, HCV, HBsAg, HTLV

Requisitos
Mínimos
¿Qué?
20 Muestras
- Sensibilidad Diag. 7 7
Positivas Negativas
- Especificidad Diag.
6
- Precisión Positivas
Débiles
Grupo 2 1
1
Positivo
Positivo
Verificación Débil
Sensibilidad y
Especificidad
Diagnóstica
HIV, HCV, HBsAg, HTLV
¿Cómo?
- Sensibilidad Diag. EP 12 A2
- Especificidad Diag. EP 12 A2
- Precisión EP 15 A2
Grupo 2
Verificación
Sensibilidad y
Especificidad
Diagnóstica
• Alguna definiciones:
- Sensibilidad Diagnóstica
“La probabilidad de obtener un resultado positivo por
el método evaluado en presencia de la condición
estudiada”
- Verdadero Positivo
“Muestra que se sabe positiva para la condición
evaluada y es clasificada como positiva por el método
evaluado”
Sensibilidad y
Especificidad
Diagnóstica
- Falso Negativo
“Muestra que se sabe positiva para la condición
evaluada y es clasificada como negativa por el
método evaluado”.
- Especificidad Diagnóstica
“La probabilidad de obtener un resultado negativo por
el método evaluado en ausencia de la condición
estudiada”.
Sensibilidad y
Especificidad
Diagnóstica
- Falso Positivo
“Muestra que se sabe negativa para la condición
evaluada y es clasificada como positiva por el método
evaluado”.
- Verdadero Negativo
“Muestra que se sabe negativa para la condición
evaluada y es clasificada como negativa por el
método evaluado”.
Sensibilidad y
Especificidad
Diagnóstica
- Sensibilidad Analítica (límite de detección)

“Es la cantidad mas pequeña que podemos detectar
para medir la condición estudiada ”.
- Especificidad Analítica
“Es la capacidad del método para detectar lo que
verdaderamente queremos detectar”.
Sensibilidad y
Especificidad
Diagnóstica
- Valor predictivo Negativo (%)

“Es el porcentaje de individuos con resultados
negativos por el método evaluado que
verdaderamente no poseen la condición en estudio ”.
- Valor Predictivo Positivo (%)

“Es el porcentaje de individuos con resultados
positivos por el método evaluado que verdaderamente
poseen la condición en estudio”.
Sensibilidad y
Especificidad
Diagnóstica
- Prevalencia
“Frecuencia de la condición de interese
expresada como porcentaje del número total de
individuos de la población estudiada.”
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y Especificidad
¿Qué necesitamos?
a)- El protocolo.
b)- Muestras desafiantes con criterio de exactitud
diagnostica para la condición en estudio.
(*) Paneles
(*) Muestras de pacientes
c)- Planillas de cálculo o software.
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
 Necesito aproximadamente 20 pacientes

que no posean la condición en estudio.
(con criterio de exactitud diagnóstica)
 Se buscan muestras desafiantes .
 No se tiene en cuenta la prevalencia de la condición

en estudio en la población target.
Sensibilidad y
Especificidad
Diagnóstica
Referencias Referencias
Positivas Negativas
Referencia
Positivo Negativo
Método de Campo
Positivo
Negativo
Método de Campo
TP: Positivos Verdaderos

FN: Falsos Negativos
FP: Falsos Positivos
TN: Negativos Verdaderos
Sensibilidad y
Especificidad
Diagnóstica
Referencias Referencias
Positivas Negativas
Referencia
Positivo Negativo
Método de Campo
Positivo
TP FP
Negativo
FN TN Método de Campo

Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo
Positivo TP FP TP+FP
Negativo FN TN FN+TN
TP+FN FP+TN

Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo TP: 11
FN: 1
Positivo 11 1 12
Negativo 1 11 12 TN:11
12 12 FP: 1
TP +FN: 12 TP +TN: 12 FN: Falsos Negativos
TN +FP:12 FN +TN:12
Sensibilidad y
Especificidad
Diagnóstica
Tablas de Contingencia
• Permiten calcular 4 parámetros de desempeño
- Falsos Positivos
- Falsos Negativos
- Sensibilidad
- Especificidad
• Permiten calcular 2 valores predictivos

- Probabilidad de Resultado positivo (PVP)
- Probabilidad de Resultado negativo (PVN)
Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo
TP+FN FP+TN
Sensibilidad = TP
TP + FN
Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo
TP+FN FP+TN
Especificidad = TN
TN + FP
Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo
TP+FN FP+TN N
Prevalencia = TP +FN N: Número total de muestras evaluadas
N
Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo
TP+FN FP+TN
Valor predictivo positivo = TP
TP + FP
Sensibilidad y
Especificidad
Diagnóstica
Referencia
Método de Campo
Positivo Negativo
TP+FN FP+TN
Valor predictivo Negativo = TN
FN + TN
Sensibilidad y
Especificidad
Diagnóstica
Retornemos a nuestro caso de aplicación!!
HCV en suero (S/CO)
Instrumento: SuperViral
Reactivo: SuperViral Plus
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
Especificaciones de inserto
Sensibilidad: 100%
Especificidad: 99.76 %
Sensibilidad y
Especificidad
Diagnóstica
 La sensibilidad declarada por el fabricante

se encuentra dentro del intervalo de confianza
de la sensibilidad obtenida.
 La especificidad declarada por el fabricante se

encuentra dentro del intervalo de confianza de
la especificidad obtenida.
Sensibilidad y
Especificidad
Diagnóstica
• Factores Críticos
- Muestras con criterio de exactitud
diagnóstica.
- Grado de acuerdo / Sensibilidad y
Especificidad.
- Cantidad de muestras.
- Intervalos de confianza para las estimaciones
de sensibilidad y especificidad.
Sensibilidad y
Especificidad
Diagnóstica
• Criterio de Exactitud Diagnóstica

“Los mejores criterios disponibles en la
actualidad para establecer la presencia o ausencia de
la condición, evento o característica de interés
utilizando un único método o combinación de métodos
que incluyen las pruebas de laboratorio, estudios por
imágenes, patología, y la información clínica,
incluyendo el seguimiento.”
http://login.clsi.org/termsall.cfm
Sensibilidad y
Especificidad
Diagnóstica
• Validación de un procedimiento de medida
- Prevalencia.
diagnóstica.
Sensibilidad y
Especificidad
Diagnóstica
• Validación de un procedimientos de
medida
• Sensibilidad
• Especificidad
• Valores predictivos
• Grado de acuerdo
Sensibilidad y
Especificidad
Diagnóstica
• Verificación de procedimiento de medida

diagnóstica.
• Sensibilidad
• Especificidad
Sensibilidad y
Especificidad
Diagnóstica
• Verificación de procedimiento de medida

- Se comparan dos o más métodos
analíticos.
- Ninguno de los métodos genera resultados
con criterio de exactitud diagnóstica.
• Grado de acuerdo positivo
• Grado de acuerdo negativo
Sensibilidad y
Especificidad
Diagnóstica
• Cantidad de muestras
- Depende del uso previsto del estudio y el
grado de confianza deseado sobre las
estimaciones.
- La composición de la muestra depende de la
prevalencia de la condición en estudio en la
población de interés.
- Sugerencia para validaciones mínimo de 50
muestras positivas y 50 negativas.
- CE: (2009/886/CE) aplica a fabricantes.
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
• Cantidad de muestras
- Muestras desafiantes (Verificaciones)
- Evaluar la cantidad de muestras necesarias de
acuerdo a la amplitud deseada para el intervalo
de confianza de las estimaciones.
- Paneles con muestras con criterio de exactitud
diagnóstica y distinto nivel de reactividad.
Sensibilidad y
Especificidad
Diagnóstica
• Intervalos de Confianza para Sensibilidad

y Especificidad
- Existen diferentes modelos.
- Intervalos de confianza para proporciones
binomiales (falla para tamaños de muestra
pequeños).
- Método de Clopper Pearson (Complejo).
- Sugerido: “score confidence intervals” de
Wilson.
Sensibilidad y
Especificidad
Diagnóstica
• Sensibilidad
Intervalo de Confianza del 95 %
100 x ( Q1,se – Q2,se), 100 x (Q1,se +Q2,se)

Q3,se Q3,se
TP : Positivos Verdaderos
FN : Falsos Negativos
Sensibilidad y
Especificidad
Diagnóstica
• Especificidad
Intervalo de Confianza del 95 %
100 x ( Q1,es – Q2,es), 100 x (Q1,es +Q2,es)

Q3,es Q3,es
TN : Negativos Verdaderos
FP : Falsos Positivos
Sensibilidad y
Especificidad
Diagnóstica
• Vamos a simular distintas situaciones
- Requisitos mínimos.
- Presencia de falsos negativos.
- Duplicar tamaño de muestra.
- Impacto de falsos negativos sobre muestras
mas grandes.
- Requisitos de la CE para los fabricantes.
Requisitos mínimos
(Sensibilidad)
Validación : 50 (+)
Verificación : 7 (+)
6 (+)d
Requisitos mínimos
(Sensibilidad)
1 FN
5 (+)d
1 FN
Tamaño de Muestra
(Sensibilidad)
12 (+)d
Tamaño de Muestra
(Sensibilidad)
1 FN
11 (+)d
1 FN
Tamaño de Muestra
(Sensibilidad)
2 FN
10 (+)d
2 FN
Tamaño de Muestra (fabricantes CE)
(Sensibilidad)
HBsAg : 430 (+)
HIV 1 y 2 : 530 (+)
Requisitos mínimos
(especificidad)
Validación : 50 (-)
Verificación : 7 (-)
Requisitos mínimos
(especificidad)
1 FP
1 FP
Tamaño de Muestra
(especificidad)
Tamaño de Muestra
(especificidad)
1 FP
1 FP
Tamaño de Muestra
(especificidad)
2 FP
2 FP
(Especificidad)
HBsAg : 5300 (-)
HIV 1 y 2 : 5300 (-)
(Especificidad)
HBsAg : 5298 (-)
2 FP
HIV 1 y 2 : 5298 (-)
2 FP
Sensibilidad y
Especificidad
Diagnóstica
Sensibilidad y
Especificidad
Diagnóstica
Agenda
• Introducción
• Valor de Corte
• Precisión
• Conclusiones
Conclusiones
-Conocer el desempeño del método en

condiciones estables
-Verificar si el desempeño es aceptable según

nuestros requisitos de calidad
hacer correctamente….
el control de calidad…..
correcto !!!!!!
Conclusiones
¿Por Qué?
Objetivo Principal del Laboratorio

“Resultados Clínicamente útiles”
Conclusiones
La calidad no es un destino
…la calidad es una jornada continua
…que nos mantiene en la dirección correcta!!!!!!!!

Por su
participación
¡GRACIAS!

4ema1 Gabriel Migliarino

Cargado por

Copyright:

Formatos disponibles

4ema1 Gabriel Migliarino

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

4ema1 Gabriel Migliarino

Cargado por

Copyright:

Formatos disponibles

“Taller de Validación de Métodos”

Verificación de Procedimientos de Medidas

PONENTE: Gabriel A. Migliarino

¿ Cuál es el tema principal de esta

Evaluar las características de

• Procedimientos de medida cualitativos

- Tienen dos interpretaciones posibles

• Uso previsto de los procedimientos de

- Tamizar una población “sana” en busca de una

• Procedimientos de Medida para

• La utilidad clínica de estos

“término genérico para cualquier estudio que mide la

“Cconfirmación, mediante el suministro de evidencia

Aleatorio Evaluación de errores Sistemático

Protocolos Empleo de herramientas estadísticas

Verificación Validación Validación Validación

• Son establecidos por los fabricantes.

Repito el ensayo 100 veces

S : Valor de lectura de la muestra

CO : Valor de lectura del punto de corte

• Intervalo C5 – C95 ; C50:?

- Fuente para establecer (TEa)

CV: Coeficiente de variación

CV: Coeficiente de variación

CV: Coeficiente de variación

CV: Coeficiente de variación

par de comparación del ciclo 2011

CV: Coeficiente de variación

CV: Coeficiente de variación

CV (ponderado) = 1412.1 CV (ponderado) = 5.5%

CV (ponderado) = 5.5% TEa = 5.5 % * 3

• La precisión debe ser evaluada cerca

• (1) Experimento cualitativo cerca del valor

• Preparar 3 muestras de buen volumen:

• Procesar cada muestra 40 veces y calcular el %

¿ Está bien preparada la C50?

Concentración Total de Total de resultados Total de resultados Porcentaje

C50 + 20 % 40 35 o menos --- 87,5 % o menos

C50 - 20 % C50 C50 + 20 %

Muestras > C50 + 20 %

Concentración Total de muestras Total de resultados Total de resultados Porcentaje

C50 + 20 % 40 36 o más --- 90 % o más

C50 - 20 % C50 C50 + 20 %

Muestras > C50 + 20 %

Concentración Total de Total de resultados Total de resultados Porcentaje

C50 + 20 % 40 36 o más --- 90 % o más

C50 - 20 % C50 C50 + 20 %

Concentración Total de Total de resultados Total de resultados Porcentaje

C50 + 20 % 40 35 o menos --- 87,5 % o menos

C50 - 20 % C50 C50 + 20 %

- El mismo procedimiento de medida

“Es lo que comúnmente denominamos precisión

SDr (Desvío Estándar)

CVr (Coeficiente de Variación)

“Es lo que se conoce como precisión intra laboratorio”

SDi (Desvío Estándar)

CVi (Coeficiente de Variación)

SRW (Desvío Estándar)