Fiabilidade A.V
Fiabilidade A.V
Fiabilidade A.V
Universidade Save
Chongoene
2024
2
José Chilaule
Universidade Save
Chongoene
2024
3
Indices
1.Introdução.....................................................................................................................................4
1.1.Objectivos..................................................................................................................................5
1.1.1.Objectivo geral........................................................................................................................5
1.1.2.Objectivos específicos............................................................................................................5
1.2.Metodologias.............................................................................................................................5
2.Fiabilidade....................................................................................................................................6
2.1.Factores que influenciam a fiabilidade......................................................................................7
2.1.1.Variabilidade da amostra de sujeito........................................................................................8
2.1.2.Comprimento do teste.............................................................................................................9
2.1.3.A formula do Spearmen-Brown..............................................................................................9
2.3. Principais métodos para cálculo de fiabilidade......................................................................10
2.3.1. Métodos de teste reteste.......................................................................................................11
2.3.1.1. Vantagens.........................................................................................................................11
2.3.1.2. Desvantagem.....................................................................................................................11
2.3.2. Método de formas paralelas.................................................................................................11
2.3.2.1. Vantagens.........................................................................................................................11
2.3.2.2. Desvantagens....................................................................................................................12
2.3.3.1Métodos das duas metades..................................................................................................12
2.3.Procedimento Matemático e Estatistico...................................................................................13
2.4. Principais teorias do cálculo da fiabilidade............................................................................15
2.4.1. Teoria clássica dos testes.....................................................................................................15
2.4.2. Teoria de resposta ao item...................................................................................................16
2.4.2.1. Parâmetros da TRI: dificuldade, discriminação e acerto casual.......................................16
2.4.2.2. Pressupostos da TRI: unidimensionalidade e independência local..................................17
2.4.2.3. Modelos de TRI................................................................................................................18
3.Conclusão...................................................................................................................................18
4.Referências bibliográficas..........................................................................................................19
4
1.Introdução
O presente trabalho visa debruçar sobre a fiabilidade, os factores que a influencia e os principais
métodos para o calculo da mesma. É um parametro da validade dos testes que, segundo Pasquali
(1998) vem sendo refenciado sob uma série elevada de nomes, a destacar, a confiabilidade, a
fidedignidade, precisão e outros.
Ela se baseia na consistência e precisão dos resultados do processo de mensuração. Para terem
um certo grau de confiança nos escores, os usuários de teste exigem evidências de que os escores
obtidos seriam consistentes, se os testes fossem repetidos com os mesmos indivíduos ou grupos,
e de que são razoavelmente precisos.
Neste trabalho faz-se uma reflexão em volta… (em que se baseia a reflexão, destacando o facto
de esta ser feita no ambito da psicometria)
5
1.1.Objectivos
1.1.1.Objectivo geral
Compreender fiabilidade na Avaliação Psicológica
1.1.2.Objectivos específicos
Definir os Principais Métodos para Cálculo de Fiabilidade
Explicar os Principais Teorias do Cálculo de Fiabilidade
Descrever os factores que influencia a fiabilidade
1.2.Metodologias
A metodologia define o processo seguido no desenvolvimento da pesquisa. Para LUFT (1991:
420) “ metodologia é o tratado dos métodos, onde o método é a ordem seguida de investigação,
no estudo de persecução de quaisquer objectivos”.
Neste contexto, para a elaboração deste trabalho, recorreu se a: Consultas bibliográficas que
consistiu na leitura e interpretação de diversas de vários autores que sustentam sobre o assunto
em estudo; analise e interpretação que consistiu na análise e compilação da matéria estudada.
6
2.Fiabilidade
Fiabilidade é a consistência de escore obtidos pelas mesmas pessoas examinadas pelo mesmo
teste, em diferentes ocasiões ou em diferentes conjuntos de itens equivalentes.
Segundo pasquali, 1998 o parâmetro da fiabilidade dos testes vem referenciado sob uma serie
elevada de nomes. Alguns destes nomes resultam do próprio conceito deste parâmetro, isto é,
eles procuram expressar o que ele de facto representa para o teste. Estes nomes são,
principalmente, precisão, fiabilidade e confiabilidade. Outros nomes deste parâmetro resultam
mais directamente do tipo de técnica utilizada na colecta empírica da informação ou da técnica
estatística utilizada para a análise dos dados empíricos colectados.
A fiabilidade ou precisão de um teste diz respeito à característica que ele deve possuir, a
saber, a de medir sem erros, donde os nomes, precisão, confiabilidade ou fiabilidade.
Medir sem erros significa que o mesmo teste, medindo os mesmos sujeitos em ocasiões
diferentes, ou testes equivalentes, medindo os mesmos sujeitos na mesma ocasião,
produzem resultados idênticos, isto é, a correlação entre estas duas medidas deve ser de
1. Entretanto, como o erro esta sempre presente em qualquer medida, esta correlação se
afasta tanto de 1 quanto maior for o erro cometido na medida (Pascoal, 1998).
Fiabilidade se baseia na consistência e precisão dos resultados do processo de
mensuração. Para terem um certo grau de confiança nos escores, os usuários de teste
exigem evidências de que os escores obtidos seriam consistentes, se os testes fossem
repetidos com os mesmos indivíduos ou grupos, e de que são razoavelmente precisos.
Enquanto a fiabilidade na mensuração implica consistência e precisão, a falta da
fiabilidade implica inconsistência e imprecisão, ambas resultarem erros de mensuração.
(Susana Urbina 2014)
Alem das características dos próprios itens e do teste há outros factores externos ao conteúdo do
teste que afectam a fidedignidade do mesmo. Dois destes factores são particularmente relevantes
a saber: a variabilidade da amostra e o comprimento do teste. Esta é uma das instâncias
importantes em que se evidenciam diferenças fundamentais entre a psicométria Clássica e a
Teoria da Resposta ao Item (TRI). As características dos itens e do teste em sua totalidade
depende directamente dos sujeitos (amostra) em que elas foram estabelecidas e um item depende
dos outros itens do teste em sua caracterização individual. O item tem essas características e não
outras (dificuldade, discriminação etc.) porque este inserido neste conjunto de itens (testes) se
estivesse em outro conjunto manifestaria características diferentes (teste-dependente)
para estimar o aumento de fiabilidade. Há fórmulas estatísticas para estimar o aumento deste
índice com o aumento da variabilidade da amostra. Uma das fórmulas se baseia na variância erro
que se supõe ser idêntica nas duas amostras (a de menor variabilidade e a de maior variabilidade)
nas quais o índice de fiabilidade do teste é calculado. Assim segundo a equação 7.4 temos.
S E 1= ST 1 √ 1−r 11
S E 2= ST 2 √ 1−r 22
2 2 2 2
S (1-r1I) =S2 ·(1−· 22·).Ou S (1-r 11)= S - S r
T3 T1 T 2 T 2 22
Resolução para r 22 dá
2
s
r 22= T 1
x
2.1.2.Comprimento do teste
Segundo (PASQUALI, 2011) o mais comum consiste no cálculo de coeficientes de fiabilidade a
partir de medições repetidas ou de comparações split-half. Tipicamente, com base em dois
conjuntos de medidas (ou porque o mesmo teste foi aplicado duas vezes sobre o mesmo
individuo ou porque o teste foi dividido em duas partes) calcula-se um coeficiente de correlação
adequado ao tipo de medidas em causa.
Uma medida pode então dizer-se fiável se o desvio padrão for reduzido ou se o coeficientede
fiabilidade (correlação) for elevado.
Também o número de itens do teste afecta a fidedignidade do mesmo. Quando maior número de
itens tiver o teste, maior será seu índice de precisão, pois o erro tende a zero quando o numero se
aproxima do infinito, segundo o famoso teorema de Bemoulli (cf,cap.2).
Por exemplo, no caso do cálculo do coeficiente de precisão pela técnica das duas metades, o teste
original (a metade1)foi aumentado duas vezes, a saber. Metade1+metade2. Neste caso a fórmula
de Spearmen-Brown será:
2 r tt
r TT =
1+ r tt
Resposta
30+20
n= =, 1,670 teste foi aumentado 1,67 vezes. Então
30
1 , 67 ×0 , 80
r TT = =0,87
1+(1 , 67−1)×0 , 80
Assim aumentando o tamanho de teste de 30 para 50 itens, o teste ganha em precisão, passando
esta de 0,80 para 0,87
Exemplo
Um teste de 200 itens teve índice de fidedignidade de 0,96. Se tiramos 100 itens, qual será 0
novo índice de precisão?
Resposta
10
200−100
n= =0,50 o teste foi reduzida pela metade. Então,
200
0 ,50 × 0 ,96
r TT = =0,92
1+(0 , 50−1)×0 , 96
Assim a retirada de 100 itens dos 200 originais reduziu o índice de fidedignidade do teste de 0,96
para 0,96.
Aplica se o mesmo teste T aos mesmos sujeitos em duas ocasiões diferentes O1 e O2 ecalcular a
correlação rO1O2
2.3.1.1. Vantagens
Há garantia de equivalência (paralelismo) pois aqui se trata de mesmo teste T.
2.3.1.2. Desvantagem
Definir o intervalo ideal de tempo entre o O1 e O2.
É a coexistência das medidas feitas com o mesmo instrumento de medidas em ocasião diferentes.
11
2.3.2.1. Vantagens
Bate directamente com o conceito da fidedignidade são testes aplicados numa só ocasião.
12
2.3.2.2. Desvantagens
É difícil conseguir formas perfeitamente paralelas porque mede se o mesmo traço latentes
com itens diferentes.
Dividir o teste T em duas partes equivalentes (itens pares vs impares) primeira e segunda metade
aplica se a correlação de Sperman-brawn.
Desvantagens
No caso da técnica das duas metades, a correlação entre os dados das metades deve ser corrigida
através da fórmula de Spearmen-Brown. Esta correlação se impõe dado que a correlação se
baseia somente na metade do tamanho da escala, o comprimento do teste afecta bastante o
coeficiente de precisão (isto será explicitado mais adiante no ponto III). O exemplo da tabela 7-3
ilustra o cálculo da correcção do Spearmen-Brown, onde m1 e m2 são os desvios de M1 e M2
em relação as suas respectivas média.
S M 1=
√ √
∑ m 21 = 183
10
,6
=4,28 M 2=
√ ∑ m 22 =
N
√ 94
10
= 3,07
13
=
∑ m1 m2 = 78
= 0,59
NS1 S2 10 X 4 , 28 X 3 , 07
2
n
∑S i
∝= (1- )
n−1 2
S
T
Onde
n: número de itens
2
∑ S i ; soma das variâncias dos n itens
2
S ; variância total dos escorres do teste
T
A obtenção do coeficiente alfa demanda o cálculo de três parâmetros: a variância total do teste (S
2 2 2
), a variância de cada item individualmente (S ) e a soma das variâncias destes itens (∑ S ).
T i i
Esta formula deixa entre ver que será maior o índice alfa quando a variância específica de cada
item for pequena e for grande a variância que eles em conjunto produzem. Significa que a soma
das variâncias dos itens individuais se reduz e aumenta a variância que eles têm em comum, que
é aquela que garante a congruência (consistência interna) entre os itens do mesmo teste. Isto
2
significa que, no estremo, toda a variância produzida pelo teste (S ) seria co-variância. O
T
coeficiente alfa vai de 0 a 1, o 0 indicando ausência total de consistência interna dos itens e o 1,
presença de consistência de 100%.
14
2 ∑ 2 14 , 8
S = t = =2,96
T N 5
2
S =0,16+0,24+0,24+0,24+0,24+0,16=1,28
;
n 2 6 1 ,28
∝= (1-∑ s )= (1- )=o,681
n−1 1 6−1 2 ,96
Método estatístico
Há uma serie de técnicas de estimativa de coeficientes de precisão que resultam da analise
estatísticas dos dados de uma única aplicação de um teste a uma amostra representativa de
sujeito. Eles visam verificar a consistência interna do teste através da análise da consistência
interna dos itens, isto é, verificando a congruência que cada item do teste tem com o restante dos
itens do mesmo teste. O caso mais geral deste tipo de análises é o coeficiente alfa de Cronbach,
tendo como casos particulares uma serie de outros coeficientes, tais como o de Rulon, Guttman-
Flanagan e Kuder-Richardson.
O Coeficiente alfa
1=resposta certa, 0=resposta errada; t=T-T
Para efectuar os cálculos acima é preciso computar primeiro a variância de cada item
individualmente. Este calculo esta ilustrada na tabela.
S =∑ =
2 x 2 0 , 80 2 4 1
=0.16 ou S =pq= × =0,16
I N 5 I 5 5
15
São três os elementos que constituem o postulado fundamental da teoria: ou seja, o escore
empírico é a soma do escore verdadeiro mais o erro, que se define como (GULLIKSEN, 1950):
T = escore bruto ou empírico do sujeito, que é a soma dos escores obtidos no teste;
V = escore verdadeiro, que seria a magnitude real daquilo que o teste quer medir no sujeito e que
seria o próprio T se não houvesse erro de medida e;
E = o erro cometido nesta medida.
É importante ressaltar que o erro de medida está presente em qualquer operação empírica, assim,
o objectivo da TCT é dispor de técnicas estatísticas que visem controlar ou predizer o tamanho
do erro na aplicação dos testes (MUÑIZ, 1994; PASQUALI, 2009). Assim, é razoável assumir
que erro é definido como a diferença entre o escore verdadeiro (a pontuação real do sujeito) e o
escore observado (o escore do sujeito no teste), ou escore empírico (LORD, 1959).
É necessário também destacar que o erro é aleatório, assistemático, isto é, ao realizar várias
vezes o teste, o sujeito obterá diferentes pontuações, e essas pontuações poderão ser maiores ou
menores que a pontuação verdadeira. Portanto, como o erro é um evento casual, sabe-se que a
média do erro é 0 (MUÑIZ, 1994).
São três os pressupostos fundamentais do modelo, dos quais não podem ser empiricamente
comprovados de forma directa (MUÑIZ, 1994). O primeiro suposto diz que a pontuação
verdadeira (V) é a esperança matemática da pontuação empírica (T): V = E(T). Isso significa que
se o teste fosse aplicado infinitas vezes, a pontuação verdadeira seria a média da pontuação
empírica. O segundo suposto diz que não há correlação entre a pontuação verdadeira e os erros
de um teste, ou seja, a correlação é zero: p (V, E) = 0. Não há razões para supor que o tamanho
da pontuação verdadeira está associado ao tamanho do erro, se assim fosse, o erro seria
16
sistemático, portanto, controlável. O terceiro suposto assume que os erros em dois testes distintos
não se correlacionam: p (Ej, Ek) = 0. Assim, se os testes são aplicados adequadamente, os erros
serão aleatórios em cada teste.
Outro aspecto importante na TCT é a definição de testes paralelos. Assumindo que é possível
elaborar, diz ser paralelos dois testes que medem a mesma coisa, mas com itens diferentes
(MUÑIZ, 1994): são “tau equivalentes” quando possuem pontuações verdadeiras iguais e com
variância de erro não necessariamente igual e “essencialmente tau equivalentes” quando as
pontuações dos sujeitos são iguais em um e outro teste mais uma constante: V1 = V2 + K.
O índice de discriminação também é um parâmetro que pode ser considerado nos itens. Ele
informa a capacidade deste em distinguir sujeitos com habilidades (aptidão) distintas, sendo
representado pela letra a. Assim, quanto mais o item consegue diferenciar sujeitos com
magnitudes próximas de habilidade, mais discriminativo ele é (LAROS, 2009).
3.Conclusão
Chegado ao fim do nosso trabalho de pesquisa, concluímos que a fiabilidade de um teste diz
respeito à característica que ele deve possuir, a saber, a de medir sem erros, donde os nomes,
precisão, confiabilidade ou fiabilidade. Medir sem erros significa que o mesmo teste, medindo os
mesmos sujeitos em ocasiões diferentes, ou testes equivalentes, medindo os mesmos sujeitos na
mesma ocasião, produz resultados idênticos.
Em suma, a palavra fiabilidade alem de ser repercussiva, traz consigo um vasta matéria que por
sua vez vem o definindo e explicando sobre os factores que a influencia, também falando dos
principais métodos para o calculo da fiabilidade abrange também o coeficiente correlacional de
Spearman Brown.
4.Referências bibliográficas
Anastasi, A., & Urbina, S. (2000). [Testagem psicológica] (7ª ed.). (M. A. V. Veronese, Trans.).
Porto Alegre: Artmed Editora.
20
Arbuckle, J. L., & Wothke, W. (1995-1999). Amos 4.0 user’s guide. Chicago: SmallWaters
Corporation.
Pasquali, L. (2003). Psicometria: Teoria dos testes na psicologia e na educação. Petrópolis, RJ:
Editora Vozes.
BILLINTON R., "Power System Reliability Evaluation", Gordon and Breach, Science
Publishers, New York, 1970
SMITH, S.A., "Spare Capacity Fixed by Probabilities of Outage", Electrical World, Vol.
103,Fevereiro 1934