Introdução À Investigação. Metodologia: Instrumentos de Avaliação em Psiquiatria
Introdução À Investigação. Metodologia: Instrumentos de Avaliação em Psiquiatria
Introdução À Investigação. Metodologia: Instrumentos de Avaliação em Psiquiatria
.,
...
Metodologill de itrvestigllfllo
Cienda e Cmnportamento
RIIIIfiro Vuissiltw
Considera~oes previas
Epistemologia: saber e ciencia
./ SisttSmica (TGS)
Fase conceptual
./ Escolha do tema
./ Revisilo bibliognifica
• Fontes e documentos
Metod 0
Etiea
./ Queste>es eticas e de humanismo
Desenho (eseolhas metodol6gieas)
./ Populayao e amostragem
• Variaveis
• Nominais, ordinais e intervalares/contlnuas
• Estudos
• Transversais e estudos longitudinais
• Descritivos, comparativos e/ou de relacionamento
./ Procedimentos
Fase empirica
./ Trabalho de campo
./ Analise
Aspectos praticos
./ 0 computador como instrumento de investigay8.0
• Redac¢o do relat6rio
• Apresent~ao
Bibliografia
3
Metodologill de investiga¢o
Ciencia e C4~portaJilento
IntrodD~io aos Metodos de Investiga~o
Ramiro. Vei'ls$img
Considera~oes previas
Objectivo .
Ultrapassando a mem dedu~ da f6rmu1a, mais do que apresentar tecnicas ou instromentos, este workshop
pretende discutir alguns conceitos seminais estruturantes para uma possivel .framework do trabalho de
investig~.
Apresental;io
( ... )
EvoloyllD e ontogenia
Morfogenese gestBltica
Evolu~ do conhecimento:
Construyfio do mundo
Esp~
Tempo: tendencias e previsibilidade
ExtensOes hurnanas
2. Sistemica (TG$)
Termodinamica
Segundo principio: uma transfonnay3o cujo (mico resultado final seja transferir calor de urn corpo a dada
temperatura para outro corpo a temperatura mais elevada e impossivel. Este postuIado prey! que num sistema
energeticamente isolado as diferen~ de temperatura tendem a anular-se espontaneamente, isto 6, no interior de
tal sistema a temperatura e uniforme, nao podendo aparecer diferen~ de potencial Mrmico entre diferentes
regiOes. Ora urn sistema nestas condiyOes de isolamento, tal como 0 Universo, tende para a degI'lldayao energetica,
o que se traduz na entropia
Primeiro principio (cia conserval;io da energia): cia equival8ncia entre calor e trabalho· mecamco resulta a
impossibilidade de construir uma m3quina que possa criar energia na medida em que a variayDo de energia de urn
sistema durante qualquer transfo~ 6 igual Ii quantidade de energia que 0 sistema recebe cia sua vizinllanya. Se
nenhuma forya externa actua sobre 0 sistema, a energia manMm-se constante.
Exemplificando 0 seu significado e compatibilidade atraves do simples movimento de urn gas concentrado em urn
de dois compartimentos comunicantes de urn sistema fechado para 0 exterior e expandindo-se de urn para 0 outro
ate a completa homogeneidade. Vejamos entao 0 que acontece:
(1) Fenomeno cia conserva~o: a quantidade de gas existente no sistema no inicio e no tim do processo e
rigorosamente a mesma (2) Fenomeno probabilista: 6 0 movimento browniano, que explica simultaneamente 0
aparecimento de urn claro fluxo d.ireccional que perdura enquanto houv~ diferenyag de densidade no sistema, 0
enfraquecimento progressivo deste fluxo e a compens~ das passagens iima vez atingicla a homogeneidade. (3)
Fenomeno de transformal;io cia energia: se a exisWncia de urn fluxo orientado permite produzir inicialmente urn
-----
Mesttvdo em hiqllilztria e 8f11lde MeJItaJ
movimento utilizavel pelo homem, esta possibilidade decresce e desaparece Amedida que a passagcm em ambos
os sentidos se compensa. (4) Fenomeno de orienta~o e irrevenibilidade do tempo: de facto 0 sistema tern uma
dimensao diacr6nica, designadamente a da sua de~Bo irreversfveI, posta que as probabilidades que 0
conduziram aentropia tam.b6m 0 mantBm nessa si~.
o dem6nio de Mowell- Ao conceber dois recintos comunicantes com moleculas rapidas e lentas, conclufmos
atr8s que elas se misturavam ate compensar as diferen9as de temperatura. James Clm Maxwell criou urn ente
hipotetico que, de dimensOes microsc6picas, estaria postado no orificio de comuni~ entre os dois recintos
cheios de urn gas de forma a deixar passar num sentido as molCculas de elevada energia e no outro somente as
lentas. Ao provocar um gradiente de temperatura sem consumo aparente de energia este dem6nio era a antftese do
de Laplace pois que actuava no. mundo A base da info~ recebida, designadamente sobre a velocidade da
molecula que se aproximava do furo. Separar molecuIas lentas e rBpidas, porem, e criar ordem a partir da entropia
inicial, 0 que vai contra 0 Z' principio da termodindmica, permitindo criar wna fonte de energia disponivel. E a
flecha do tempo nBo contempla impossfveis como 0 do copo partido que se recomp('ie ou 0 do ~r que
salta da 3gua para 0 trampolim quando passamos 0 filme vIdeo para tras.
Com efeito, a recolha de info~ sobre as velocidades das mol6culas n8D e gratuita, antes consome
necessanamente um.a cem quantidade de energia que no balan~ final compensa exactamente a diminuiyao de
entropia do sistema. Temos pois que qualquer medida / aquisiyao de infunn~ supOe um.a int:erll.cy8o
consumidora de energia; e aqui reside a equivalBncia de infu~ e neguemropia.
Homeostasia (Cannon)
Crise
Personalidade e 0 metassistema que resulta da inte~ do sistema pessoa com 0 sistema sociedade.
(Ashby)
A psicopatologia mostra clanunente que a disfiu19iJo mental e uma perturbayiJo de urn sistema, muito mais do que
uma perda de fun90es isoladas. (Bertalanffy)
Metodologill de investiga¢o
Fase conceptual
1. Escolha do tems
2. Revisio bibliognifica
2.1. Fontes e documentos
3. Planeamento: elabora~o do projecto
3.1. Apresenta~o do tema/objecto de estudo
3.2. Enquadramento teOrico de refer8ncia
3.2.1. Formula~ do modelo
3.2.2. VariAveis no quadro do modelo
3.3. Defini~o do problema I identifica~o do(s) objectivo(s) - pergunta de partida
3.4. EJ:plicita~o/rormula~o da bip6tese
4. Cronograma
------- ---
MestrtUlo em Psiquiotrill e Sailtle Menttll
Metodo
Rtiea
1. Questoes eticas e de humanismo
1.1. Publica~o e acesso aos dados
1.2. Confidencialidade e privacidade
1.3. Rela~o riscoslbeneficios
1.4. CODseotimento livre e esclarecido
1.4.1. Pessoas vulneraveis
1.5. Comissoes de etica
Para muitas das variaveis referentes a caracterfsticas hUffi!lIlas, sejam elas de ordem biol6gica
como a altura, 0 peso, a glicemia, etc. -, psicol6gica - QI, performance academica, limiar de
ansiedade, etc. -, ou social, a distnbuir;:l1.o das frequencias representada por esta curva, dita
Metodologio de investigt19'Jo
frequl!ucia normal. assume tipicameme tuna fonna simetrica em "'sino", com uma "'cauda" inferior a
esquerda e outra superior adireita. Ora esta curva normal e particularmente importante. apresentando,
como veremos em parte, algwnas propriedades notliveis.
• Estatisticas descritivas
Organizados os nossos dados, para os sumariar temos de recorrer a determinados nlimeros capazes,
por si 56, de representar muitos outros: e 0 que se entende por estatlstica descritiva. Nesse sentido
recorremos por urn Iado, a medidas ditas de tendencia central; e por outro as de variabilidade.
Medidas de undenda central: Media
Quanta as primeiras, isto 6, quanto as medidas de tendencia central, destaca-se muito em particular
a media. Com efeito, obtida atraves da divisao do somat6rio de todos os valores determinados pelo
nlimero de detemrina¢es. . X L
X 0;:;# = -
N
a media representa 0valor central da distribui~, sendo um valor com propriedades que diriamos
"rnagneticas" em rel~llo 80S que the estllo em seu redor, na medida em que e 0 que consegue ser mais
aproximado de urn maior m'imero de valores
determ.inados; e como tal, obedecendo as
DM
2: (X - X)
N
Varilneia
Mas como os afastamentos podem ser positivos ou negativos, isto e, como os valores tanto podem ser
superiores como inferiores a media, recorre-se a uma "artimanha", grosso modo, para obviar ao
N
Desvio padrio
E extraindo depois a raiz quadrada 80 resultado. 0 que conduz 80 que se conhece como desvio
padrlio:
(j = ~L eX ..- X ); s ~L ex - X )
Este representa afinal uma medida unitaria de desvio da media que descreve por excelencia a
dispersao em tomo da mesma
9
Mestrado em Psiquilltriil e Salule Me1ltlll
z = ( X s-% YJ
Por este processo, para 0 caso da pontuavao linear derivada Z, a media sera de zero e 0 desvio-padrlk>
igual a 1; pelo que saberemos logo se urn detenninado valor estli acima ou abaixo cia media conforme
e positivo ou negativo. E deste modo podemos comparar efectivamente pon~s de diferentes
testes, porquanto se passaro a exprimir numa unidade comum.
No entanto 0 que tambtm se conclui e que, sendo a posiylio relativa dos valores entre si invariavel, a
sua situaylk> no esp~ eperfeitamente arbitrliria. Ou seja, pode-se somar urn qualquer valor amedia,
que a posit;So relativa en1re os valores n!o se altera; e por outro lado tamMm se pode multiplicar 0
desvio-padrAo por urn determinado valor diferente de zero, que nos estaremos a limitar a mudal' a
unidade de medida para os desvios da media, sem com isso perturbar de facto a sua posiylio relativa a
mesma:
z =( X s-% XJ ~ s x ( X :% X) +M
ou (estandardiza~o)
( -J
X-X
ss= - s - x(novos)+(novaX)
MetodologilJ de inJ1eStlgllfJUJ
E e precisamente este 0 principio que permite obter OS diferentes tipos de pontu8QOes Iineares
derivadas; seja evitando pon~ decimais ou negativas. Assim temos as now Z com uma media
de 0 e urn desvio-padrlio de 1
Notas z s =1; X = 0
E para obter pontua~ T vamos atribuir urn valor de 50 amedia e 10 ao desvio-padrao: T = lOx Z
+50.
Notas T s=1O;X=50
Logo podendo concluir que pessoas com valores que se situam entre os 40 e os 60 fazem parte de urn
grupo populacional constitufdo por 68.26% de elementos com valores medianos da variavel estudada;
ou se quisermos situar entre 95.44% da mesma popul~, entre os 30 e os 70.
!{{)%
60%
4()r~,
20%
O~:f
40 .'1"5 70 85 100 11.'1 UO 145 loG
Para 0 quociente de inteligfulcia, por exemplo, faz-se coincidir a media com 0 100 e 0 desvio padr!o
com 15 (Wechsler) ou 16 (Stanford-Binet) conforme 0 caso. Ja 0 College Entrance Examination
Board usa medias de 500 e desvios-padrao de 100.
PODtua~6es Dormatizadas de superficie
Se assumirmos que a distribui~ das notas do grupo normativo com 0 qual comparamos 0 individuo,
segue a Lei Normal, entao podemos encontrar a pontu~ normalizada de superficie Zn
determinando a ordem do percentil correspondente a nota desse individuo (baremo) e procurando
depois a correspond8ncia na tBbela da Lei Normal. A partir destas pontua¢es padr!o Zn poderemos
depois calcular as mesmas pontuIlyOes que a partir das pontuayOes derivadas lineares Z: Tn (= 10 x
Zn + 50), QIWechsIer, QI Stanford-Binet, etc.
• Precislio da medida
Erro padrio (da media): desvio padrlIo da distribui~ amostral de urna estatistica
Descreve a variabilidade amostral, e portanto (sendo pequeno) a fiabilidade da estimativa do
parametro estimado.
Intervalo de confiaD~ I Divel de cODfian~: conhecido 0 erro padrao da media podemos 10calizar a
media populacional com determinado grau de probabilidade.
X-ZSi '5, p5.X+zS:;
Assim teremos, para urn intervalo de confianya. de 95%, Z = 1.96, e para 99%, Z = 2.59
Hip6tese Nuta
Ho:X=p ;Hl:X-:t:p:,a=.05
Erro de Tipo I: rejeitar a hip6tese nula sendo esta de facto verdadeira. A probabilidade e dada pelo
n. Aceita-la quando a deverlamos rejeitar constitui urn erro de Tipo II e a sua probabilldade e dada
por 13. 0 poder de um teste (probabilidade de rejeitar a hip6tese nula quando esta e falsa) e dado por
p=(1 - 13).
11
----------
Mestrado em P8iquiatria e StuUle Mental
• Testar hipoteses
Diferen~ entre medias: 0 teste t de Student
Perante duas amostras, sejam elas a do grupa dito experimental (ou em estudo, melbor dito) e wna
outra do de controlo, a pergunta que se pOe desde logo (hip6tese a1ternativa) e: sera estas duas
amostras representam de facto duas papula¢es distintas (quanto avariAvel em estudo)? au (hip6tese
nula) sera que a variabilidade entre elas se deve unicamente so erro amostral, pcrtencendo ambas de
facto a uma mesma popul~? Om 0 teste de significancia para responder a esta questao. em tennos
probabillsticos naturaImente, repousa precisameme no erro padrao da media; Le., a hip6tese nula
pastu1a que se 0 tamanho das amostras {osse infinito, as respectivas medias se sobrepunham. E assim
sendo, podemos estimar a variabilidade da diferen~ entre as medias assumindo que a variabilidade de
diferen9ftS a1eat6rias entre as medias - erro padrao da diferen~ entre as medias - e propareional a
variabilidade entre as medias consideradas isoladamente (raiz quadrada da soma dos quadrados dos
erros padrllo das medias);
SE -
X.-X c
-- = -V/SE -2
Xc
+ SE -2
X.
Assim, se determinannos a diferen~ entre as medias amostrais, e a dividirmos pelo erro padrao da
diferenfilR descrito acima, obtemos urn indice (razSo) em unidades de erro padrao que nos permite
consultando a respectiva tabela de distribuiylio - rejeitar, ou nlio, a hip6tese nula para. urn
determinado myel de significtlncia
• Medidas de relacionamento
Em que reo declive (media dos produtos cruzados) da regresslio de Y sobre X quando ambos sao
expressos em unidades standard. Mede pais a forya da associa¢o entre ambas.
Varlavel independente y == a + bX
Causalidade
Vanous kinds of connections ~ difficulty to assign causality
Association
Prediction
Contribution
Stimulation
Cause: Direct vs indirect
Necessary vs sufficient
Single vs multiple
Proximate vs distant (temporal and spatial)
MetodologiB de investigllfdo
13
Mestrtulo em !:!!!"itlirio e SaIuJ.e MeJItIJ1
Vma impli~ destas consi~s e que 56 com muitas reservas e que se pode esperar poder
extrapolar os resultados das po~ em psiquiatria de uma s~ para outra. Por ex.emplo entre
diferentes grupos de pacientes, entre diferentes avaliadores, entre diferentes euIturas e. para urn
mesmo gropo, em alturas diferentes.
Sendo assim, como e que se pode tentar ultrapassar estas enormes dificuldades? Para encurtar a
resposta pode dizer-se que foi atraves de uma enonne dose de pragmatismo e de defini9kS diligentes,
empenbadas. A resposta longa constitui 0 objecto dos manuais inteiramente devotados a este assunto.
Na realidade 0 investigador pragm8tico aceita as fragilidades do conhecimento relativo 110 sen
objecto, e mede com a precisio possfvel, dadas as circunstfulcias - a prova do pudim consiste em
come-Io. Se as medidas fOTern inapropriadas ou pouco precisas, entllo os resultados terAo pouco
significado ou nao serao replicAveis. A diligCncia em definir os termos (operacionaliza-Ios) e 0
elemento mais importante desta abordagem pragmJitica. uma vez que para possibilitar a
compreenstlo comum sao essenciais a possibilidade de comunicar e a aplicabilidade geral dos
resultados. 0 sucesso desta abordagem essencialmente pragmatica pode ser avaliado pela evoluyao do
conhecimento nesta area durante as Ultimas decadas. Mas as SIlaS limita¢es tambem sAo bern
aparentes atraves do grande nUmero de questOes Binda por responder, ou mesmo scm resposta
possivel.
o desenvolvimento de escalas em psiquialria comeya e acaba pois como urn modo de estandardizar a
pnltica e a compreensllo clinica. Ha alguns criterios extemos em rel~ 80S quais os diagn6sticos
podem ser avaliados, e s6 os mais s6lidos podetn ser valldados. Isto porque nllo s6 0 objec:to das
escalas de pontua~o 6 invisfvel, mas tarnbem porque estA sempre a mudar. Basta reparar por
exemplo nas alter~es do conceito de esquizofrenia, em termos de investi~ clfnica, 80 longo das
Ultimas dezenas de BOOS. Estas alte~s reflectiram-se na multiplicidade de criterios de diagn6stico
- e de algum modo tamb6m. nas escalas de po~ - neeesslirios para ir de encontro a diferentes
concep~s da doenya. Poderiamos mesmo dizer com Wing (1978), em relayao ao processo de
designar as doenyas e ao cuidado a p6r na sua avaliayGo: "As doeru;as sao names dados as teorias e
nao propriamente names dados a eoisas."
E IS deste modo que se torna possfvel ultrapassar 0 paradoxo de tentar medir algo cuja identidade se
desconhece. As esca1as de po~ operacionalizmn doenyas, i.e., definem 0 que 0 investigador
quer dizer, por exemplo, com 0 termo depress40. E definindo as caraeteristicas a ser utilizadas para
avaliar a gravidade, criam frases que permitem comunicar a gravidade da si~. Por outras
palavras, n!o e necessario conhecer a natureza das coisas antes de agir sobre elas. Antes pe/o
contririo, a natureza das coisas revela-se, vai-se tomando aparente, atraves das intera~es entre
investigador e fen6menos.
Ha dois tipos principais de escalas usadas em psiquiatria:
1. Esealas de tipo Likert: escalas categoriais, Le., que consistem num certo nUmero de categorias
(sintomas), cada urna das quais e pontuada em termos de gravidade, habitualmente - confonne
recomenda Likert (1932) - numa escala de 5 pontos (0-4).
2. Esealas anal6gicas ou grMicas: nestas escalas combina-se uma linha recta com indica¢es
verbais, e a avaliayao resuJta em assinalar, com uma marca na Iinha, onde se situa 0 gran de
gravidade. Ha-as de varios tipos; por exemplo:
a) Escala unipolar
Sem quaisquer Extremamente triste
sinais tristeza
b) Escala bipolar
Feliz como nunca Triste como nunca
c) Escala anaJ6gica discreta
o 1 234 5 6 7 8 9 10
Sem depressao Depressilo ligeira Depressilo moderada DepressAo grave
3.3.1. Enviesamento de item
Com implicayl'ies directas na validade (~), seja no valor facial (~) e na validade de conteudo (~), 0
enviesamento de item refere-se ao facto do conteudo da escala poder represenmr melhor um .
detenninsdo aspeeto ou outro dentro de um determinado sindromo em particular. Tome-se como
exemplo 0 caso da depressao, para a qual. se reconhecem as seguintes categorias de itens:
• Hurnora.is: tristeza, anedoma, choro e vari~ circadiana
Metodologia deinvestigll¢o
% Pontua~lio obtida
4~ Oa30
24 31 a50
40 51a60
75 61 a 70
80 71a80
86 81a90
90 91 a 100
3.3.2. Pontua~o
Carla item da escala e pontuado de acordo com criterios pre-estabelecidos. 0 modo mais simples 6 0
de obter respostas de aim ou Mo, presente ou ausente. E 0 que se usa em inventarios, em que a
poIJtu8\:lkl coincide com 0 nt'imero de sintomas / itens presentes. Este m6todo tem no entanto 0 contra
de nllo entrar em linha de conta com a gravidade relativa de cada sintoma, ou com 0 facto de por
vezes ser diflcil decidir da presen9R ou ausenciR do sintoma. E assim 6 que, entre ausente e presente,
se pode acrescentar urn grau de duvidoso, subdividindo depois 0 presente entre ligeiro, moderado e
grave; com uma atribuiylk> de valores entre 0, 1 e 2, 3 e 4. No entanto esta atribuigllo de valores
nurn6ricos parte de urn certo nt'imero de pressupostos, pois trata-se de converter uma esca1a nominal
numa intervalar. Em que medida 6 que 6 Hcito considerar duvidoso como equivalente a metade de
ligeiro? De facto por este meio nada pennite concluir que ligeiro 6 realmente metade de grave. Temos
e
de aceitar que uma escala genuinamente intervalar niIo 6 aetualmente exequivel, se que alguma vez
15
MestnuJo em PsiqllWria e Sailde MenJDl
vai ser. Mas isso 1110 invalida a necessidade de avaIiar a gravidade; donde a necessidade de elaborar
escalas com wn minimo de distoryllo.
Para a1em desta escala intervalar foryads, hl\ depois 0 problema dos criterios para estabelecer a
po~. Em que se deve basear 0 avaliacior para estabelecer a gravidade do sintoma? Sera grave se
estiver quase setnpre presente? Ou se for insuportavel quando presente. embora mro? Algumas
escalas, como a de Zung (1965), baseiam-se exclusivamente na d~; por exemplo entre nunca (0),
porvezes (I),jrequentemente (2) e sempre (3). Outras, como a de Beck: et al (1961), voltam-se para a
gravidade do sintoma quando presente. 11\ a de Hamilton (1967), embora fome98 orien~. da
liberdade so pontuador, najusta medida em que acentua a necessidade de prepar8¥Do e treino previos.
Em boa verdade sintomas h8, como os ataques de pAnico, que nIIo se prestam pontua¢es de du~;
enquanto outros, como a ansiedade flutuante, sim. E dai a importBncia do fraseado do item, de modo a
fazer sentido em rel~ so sintoma a que se refere.
Quanto aprofundidade da descri940 dos criterios de gravidade, vai depender muito do grau de 1reino
previo do entrevistador. Na pmtica, porque a linguagem laica do respondente e uma prioridade, as
escalas de auto-avali~ deixwn so paciente a avali~ da gravidade recorrendo a termos como
pOllco, ou bastante.
Quanto ao nUmero de gratIS para carla item, isso vai depender do engenho do autor em criar pontos
intermedios, mas deve ter em conta a experiBncia do aplicador para que a fiabilidade se nIIo degrade.
Habitualmente pode ir ate urn maximo de 5 ou 6. Outro factor a ter em conta e 0 de que urn nilmero
fmpar tern uma posiylio central que tende ser exageradamente usada (distoryllo dita de tenclCncia
central); e essa a razIo dos 4 pontos no GHQ (Golldberg, 1972). Mas as escalas concebidas para
serem sensfveis a mUdan98 babitualmente usam mais pontos. S6 que se aparecem 7 pontos, em regra
s6 sao usados 5, dada a relutancia em assinalar as pontuayOes extremas; embora se usem mais pontos
do que numa escala de 5, em que se recorre essenciaImente a tees.
3.3.2.1. PODtua~O global
Ate que ponto e Ifcito, ou pelo contnlrio problematico, usar 0 somat6rio das pon~es individuais
dos itens como um fndice de gravidade global? De facto, tal como somar urn peso de gelo com urn de
queijo, tamb6m. nllo parece 16gico somar pontuay5es de itens tIIo diferentes quanto a perda de peso, a
ansiedade e tuna i~ suicida Mas pode sempre contra-argumentar-se:
I. Eventualmente pode fazer sentido juntar gelo e queijo; seja quando ambos estao num mesmo saco
de transporte. Sem ser rigoroso do ponto vista estatistico, pode fazer a1gum sentido juntar itens
que de algum modo se conseguem agrupar numa mesma categoria, Le., que se relacionam do
mesmo modo e namesmadirecy§o do conceito que se pretende avaliar (Snaith, 1981).0 modo de
o garantir e 0 que se conhece como objectividade especffica (Q) e coertncia interna ou
hornogeneidade (Q).
2. Ternos por outro lade 0 "argumento do pudim": depois de rneio s6culo de uso de escalas em
Psiquiatria, pode afirmar-se sem qualquer ambiguidade que isso resulta, Le., que elas permitem
distinguir de facto popuiayOes diversas e demonstrar alteI'a¢es verificadas com a passagem do
tempo. Consequentemente "a prova do pudim C{)/'lSiste em come-lo".
3. A validade dos resultados depende ate certo ponto do procedimento estatistico seleccionado para a
anAlise. Dado que as escalas sao de facto ordinais, Le., grave e pior do que ligeiro, mas nllo par
forya duplamente pior, entlIo em boa verdade deveriam usar-se metodos nao-parametricos para
anlllise dos resultados. 0 certo e que a maior parte dos investigadores recorre a metodos
parametricos; sobretudo quando reeolhem uma quantidade rnzoavel de dados. 0 que s6 cleveria
acontecer caso se demonstrasse que as popu.\a.c;lks-a1vo assumiam urns distribuir;Bo normal em
relayllo As pon~es das escaIas (Hamilton, 1968; Bech et al, 1981). E por outro lado a media da
populayllo em estudo tambem deveria ser proxima da media te6rica da escala; ou seja, metade da
pontuayllo m8xima. Alero disso. as pontua¢es da popu1ayllo deveriam abranger todo 0 espectro
possivel e adoptar urna distribuiyllo nIIo-assimetrica (Guilford, 1954). Em boa verdade raramente
se verificara tudo isto.
3.3.3. Profundidade da informa~o
Isto quer unicamente dizer que a inforrnaylio que se pode obter atraves de uma escaIa depende em
grande parte dos itens e do modo de aplicay&o. Uma escala de auto-aplicar;Bo nlIo permite avaliar em
pleno a funomenologia subjacente, mas tIIo-somente inquirir circunstancialmente sobre sinais como a
agitayllo ou a lentificayilo. No sentido de colmatar este tipo de insuficiencia vllo as enirevistas
estruturadas, em que a opyllo entre as v6rlas questOes passfveis de serem colocadas depende das
respostas obtidas anteriormente.
Metodologill de ;II11es1igllflJo
3.3.4. Utilidade
A utilidade, neste contexto, refere-se Ii. facilidade de administra~o (Carrol et aI, 1973). No entanto
tsmhem pode ser usada para referir a utilidade factual da rnedida: em que medida sllo uteis as
conclusftes que se podem tirar de uma observ~? Seja por exemplo 0 caso de tuna pontull9io de 7
no General Hospital Questionnaire (GHQ).
3.3.5. Validade
Entende-se por validade de um teste a medida em que este permite avaliar 0 que se prop6e
avaliar. A ideia nuclear e a de qual 0 significado, ou a ~ possfve~ das pon~ que se
obtem.
Ora no processo de estandard~ das escalas, urn dos aspectos testados 6 precisamente 0 da
validade, no que assumem particular importancia a validade de criterio e a validade constmcto
validade concorrente e valor preditivo-.
1. A validade de criterio ref'ere..se Ii. concordAncia entre a poutua~o da escala e criterios
extemos. Mas se num teste neurol6gico se pode demonstrar tuna lesllo cerebral, ja em rel~ a
escalas de aval~ em Psiquiatria 6 necess8rio recorrer a tuna abordagern mais tautol6gica, dada
a inexistencia de mis crit6rios extemos. Sera 0 caso da sensibilidade as al~s clfnicas; urn
aspecto importante da validade quando se pretende avaliar a gravidade. Urn dos crit6rios que tern
sido usados, por exemplo, repousa na assumpyllo de que os doentes mais graves silo mais
dependentes e necessitam de mais cuidados; ou seja, a valid~ resulta de verificar se as
pon~es mais elevadas se obteIn em doentes internados, e progressivamente mais baixas em
doentes em hospital de dia, da consulta externa, de clfnica geraI e, finalmente, da comunidade em
geral. Embora com algumas fraquezas, este argumento, a nIIo se verificar, sugere falta de
validade. 0 rnetodo habitual consiste em testar a escala em rel~1Io it avali~1Io pericial de urn
clinico, registada numa escala numerica oscilando entre 3 e 11 ~es. No entunto, para
assegurar fiabilidade do criterio necessario se torna testar tambem. a fiabilidade de tal avali~ao
clinica.
2. A validade de constructo comporta dois aspectos:
a) A validade crnzada que resulta do rnetodo de comparar correlacionahnente (r.q) a escala
com outros instrumentos ja reconhecidos. .
b) As escalas psiqui8tricas raramente silo validadas atraves do seu valor preditivo; no entanto
algumas ha, que foram concebidas para predizer 0 resultado de uma determinada forma de
tratamento.
Neste contexto dois outros conceitos, fulcrais para uma selecyao adequada do instrumento a usar em
fun9110 do objectivo, silo a sensibilidade e a especificidade.
3. Sensibilidade
Defini9llo: refere-se concretamente it propor~o de casos positivos correctamente
identificados; no que a maior sensibilidade remete para 0 Erro de tipo I: mais casos falsamente
identificados como positivos.
E essencial em estudos epidemiol6gicos no sentido de detectar todos os casos no seio de urna
determinada popuI~; ainda que a custa de alguns nIIo-casos falsamente reconhecidos como
casos. Pense-se por exemplo no rastreio da tuberculose. No ambito da Psiquiatria para aqui se
remete a generalidade das escalas de gravidade, passando a situar a questao no estabelecimento
dos chamados pontos de corte.
4. Especificidade
Definiyiill: refere-se coneretamente a propor~o de casos negativos - normais - que sao
correctamente exclufdos; no que tamhem se pode entender como poder discriminativo em
re~ as diferen9llS entre grupos, resultando a elevada especificidade em Erro de tipo n, Le., na
nao identifi~ lexclusilo de casos falsamente considerados negativos.
Na clinica, quando esta em causa 0 diagn6stico, temos de ter a certeza de que a escala nao d8.
resultados elevados em pacientes com outros problemas. Pense-se de novo no caso da
tuberculose, em que nIIo se pode tratar a doen~ com base num diagn6stico duvidoso. Na
realidade em Psiquiatria 6 dificil que as pontua96es altas sejam obtides unicamente pela
popul~ alvo, pelo que a maior parte des escalas de gravidade, cobrindo os sintomas da doen~
estli concebida para ser aplicada a popula¢es previamente diagnosticadas. Ou seja, antes de
aplicar escalas de gravidade, devem usar-se primeiro entrevistas diagn6sticas mais restritivas. E
17
Mestrado em Psiqllitltritz e Sdde Mental
aqui 0 que aconteee e que essa especificidade restritiva passa habitualmente por incluir cl8.usu1as
de exclusao; seja por exemplo 0 caso, para a depressao, de certos sintomas de esquizofrenia.
embom nIo de outros como os de ansiedade. Tome-se 0 exemplo da entrevista da OMS para
avali~1lo estandardizada da depressBo, a qual inclui 4 categorias de exclusao; 0 que acontece e
que, uma vez removidas estas, a especificidade diagn6stica baixa de 90 para 20%.
Prendem-se a este conceito aspectos de validade relacionados com a constru~ que nIo podem
ser verdadeimmente testados. E designadamente a validade de conteudo, referindo-se a
adeq~ do Dlimero e confeudo das pergun.tas no sentido de avaliar 0 que se pretende; por
outras palavras, a abrangSncia e ~ da amostragem. de perguntas em re~1lo ao objectivo
pretendido para 0 indice confonne estabelecido pelo enquadramento conceptual. Mas tambem 0
valor facial da escala. 0 qual pretende ser a medida em que ela cIA efectivamente conta do que se
propOe avaliar - estilo e adeq~ dos itens ao fun em vista.
3.3.6. Objectividade (teoria cia geoeralizabiliclade): fUlbilidade e reprodatibilidade dos resultados
Preocupando-se com 0 erro da medida, a fiabilidade - ou coerincia - pretende ser a medida em
que a pontua~o de uma escala reflecte uma hipotetica "pontua~o verdadeira"; ou pelo
contnirio a influ@ncia de interferincias espurias.
Refere-se sobretudo a possibilidade de replicar os resultados, no que passa por coer!ncia ao longo do
tempo - estabilidade - , coer&1cia de resultados obtidos em casas idetlticos, co~ncia de valoI'flQllo
por parte de diferentes entrevistadores e coerencia intema.
1. Fidedignidade inter-avaliador (Inter-rater)
S6 se aplica a escalas pontuadas pelo entrevistador. Refere-se a probabilidade de se obter uma
mesma pontu8Qllo atribuida a urn mesmo sujeito por parte de avaliadores diferentes. 0 processo
de avaliayilo optimiza-se fazendo os obseIVadores pontuar uma mesma entrevista, em lugar de os
pllr a conduzir diferentes entrevistas.
2. Estabilidade teste-reteste (rn)
o teste e aplicado 80S mesmos sujeitos em duas ocasilles diferentes, e a concordBncia entre as
pon~es cia-nos 0 grau de fiabilidade ao longo do tempo. No entanto se esta e uma prova litil
quando esti em causa avaliar ~s de personalidade, ja enecessario ter mais cautela quando se
avaliam estados que se podem modificar, como pode ser 0 caso na depressllo ou ansiedade.
Muitas escalas destinam-se mesmo a avaliar altera¢es do estado.
Sem esquecer que 0 afastamento no tempo pode resultar em altera¢es devidas a evoluyao do
estado clinico, tambem nllo podemos deixar de ter em conta - dada a tendencia para responder
de modo coerente - 0 papel do factor mem6ria quando teste e reteste se aplicam muito pr6ximos.
Numa tentativa de contornar este efeito Sheffield e Kellner (1970) testarnm urna verslio do
Symptom Rating Test indagando sobre a semana transaeta, usando testes irrelevantes durante 0
inteIValo para tentar mascarar a mem6ria do primeiro grupo de questiSes; no entanto. apesar da
boa prova de fiabilidade pretendida, nllo deixa de pennanecer a questao de saber se nao teni 0
processo de mascamr a mem6ria falhado. .
3. Coe~neia interna on homogeneidade
o paradoxo da coer!ncia intema e 0 de que os itens altamente inter-correlacionados silo
redundantes; Le., nada acrescentam a avali~iio dos demais. Mas a redu~ do seu nfunero
tambem empobrece de modo correspondente a inforIIIayllo a que se refere a escala. podendo
mesmo torna-la demasiado instavel na sua grande dependencia de muito poucas respostas. E
assim e que, em escalas de gravidade, se costuma considerar urn nlimero minimo aceitXvel de pelo
menos6.
a) Split-half
Em testes com muitos itens a contribuir para uma mesma variavel, podem dividir-se em duas
metades equivalentes para ver ate que ponto se correlacionam entre si. No entanto este m6t:odo
tern de ser afastado muitas vezes, dado 0 esforvo para tomar as escalas breves, no sentido de
reduzir 0 tempo de aplicayll:o e 0 consequente esfo~ que se solicita ao entrevistado.
b) Correl~ao item-total
Urn dos meios usados habitualmente para avaliar a coerencia interna e a corre~1lo item-total,
seodo que os itens que se correlacionam mms debilmente pOIVentura devem ser abandonados.
c) fndice a de Cronbach
MetodoIogiIJ de ilrvestiga¢o
d) AnAlise factorial
Um outro meio de avaliar a utilidade da po~ global consiste em proceder a Ulna arullise
factorial dos resultados obtidos numa popuiayao diagnosticada; considera-se que 0 factor mais
importante a contribuir para a vari8ncia e a gravidade, caso todos os itens contribuam
positivamente para 0 primeiro factor.
3.3.6.1. ErrOl I tendencias deformadoras
Ao pontuar, que erros podem dar azo a uma reduyllo da fiabilidade, e consequentemente da
replicabilidade?
Ao a:lribuir valores altos ou baixos os entrevistadores podem estaI' a ser tendenciosos, dado lugar a
erro por generosidade ou clem!ncia; e dai a necessidade de sess(}es de estandar~1io antes de iniciar
o estudo, de furma a poder calcular a fiabilidade inter-rater e a permitir instruir devidamente aqueles
que se afastam dos crit6rios tidos como adequados.
Outre tendencia de resposta resulta de pontuar mais do lado esquerdo que do direito, ou vice-versa.
Neste contexto 0 facto da resposta "desejavel" estar sempre do mesmo lado pode agravar ou constituir
em si urn problema; ultrapassAvel em parte por meio de quesUSes pontuadas de modo inverso.
Urn enviesamento particular resulta da tendencia central de resposta, Le., do evitamento sistematico
dos eJdremos da escala. Reconhece-se tambem urn certo efeito de halo, 0 qual descreve a tendencia
para fazer uma avaliayllo global precocemente, aplicando-a depois a todos os itens subsequentes; sera
o caso do avaliador que parte logo do principio de que 0 paciente se encontra numa situayiio grave. 0
erro liigico, por seu turno, resulta da assunyllo de que todos os itens que se afiguram parecidos se
pontuam do mesmo modo; seja 0 caso de assumir que se 0 paciente que pontua alto em "delirio de
culpa" tambem 0 fara em "auto·desvaloriz~". 1£1 0 erro de proximidade resulta da tendCncia para
pontuar de modo identico os itens contiguos.
De tun modo geral as distol¢es ao pontuar podem dever-se a:
1. Variabilidade da informayaD
Mais do que na perfcia do pontuador ou no modo de entrevistar, 0 problema aqui reside na
diversidade da informayllo prestada aos diferentes entrevistadores (pelo mesmo paciente); ao que
se tenta obviarjuntando uma entrevista estruturada it escala de pontu~.
2. Variabilidade da observ~ao
Embora observando a mesma coisa os pontuadores podem valoriza-Io de modo diferente; seja por
exemplo porque urn observa, entrevista e pontua, enquanto outro se limita a observar e a pontuar.
3. Variabilidade da terminologia
Embora observando os mesmos fen6menos da mesma maneira, os entrevistadores podem chegar
aparentemente a conc1usOes diversas, pela simples razllo de recorrerem a termos diferentes; 0 que
podera em parte ser ultrapassado fomecendo urn glossArio (definiyOes nosol6gicas) e por meio de
treino adequado.
4. Ignortlncia dos fen6menos clinicos
Esta e urna fonte de variabilidade particularmente dificil de ultrapassar em escalas de auto
aplic~ ou quando sao utilizados entrevistadores inexperientes.
Quando estao em causa escalas de auto-avaliat;oo vanas outras tendencias deformadoras assumem
particular importancia; 0 que em parte faz com que estas sejam menos fiaveis. Sobretudo em meio
19
Mestrado em P~lliotrio. e SoUth Mental
clfnico, as pacientes tendem em regra para. a aDuenaa; Le., para responder sim as questOes que Ihe
possam ser cOlocadas. Mas tambem podem, pelo contrBrio, tender para uma resposta de nilo em caso
de maior defeDsividade e desconfianya. 0 que tambem se prende com a eventual falsidade da
resposta em fun~ do aceitabi/idade social (Langevin e Stancer, 1979); Le., da tend&.cia para
escolher a resposta que se considera ser socialmente mais aceitavel. E resta ainda a queslAo do
falseamento dehberado - meDura -, como seja, quando e pressentido que da av~ pode
resultar consequ!ncia signifieativa (eg, peritagens judiciais, avali~ em contexto laboraJ. etc).
3. Procedimentos
Metod%gill de investiga¢o
Fase empirica
1. Trabalho de campo
2. Amilise
3. Discussio/interpreta~o dos resultados
21
MesJrtulo em Psitpliatria e SfIild/! Menlol
Aspectos pniticos
1. 0 computador como instrumento de investiga~o
2. ComuDica~o dos resultados
2.1. Checklist para elabora~o do relatOrio c:ientff'1CO
(1) Plagiarismo
(2) Titulo: Da uma indi~ breve mas clara do contetido?
(3) Contetido: As ptlginas estao numeradas? Foi incluicla uma pagina de conteUdo (fndice) com uma lista des
principais secy<les do relat6rio?
(4) Resumo I sumBrio: 0 resumo cobre os objeetivos, variaveis independente e dependentes, participantes,
desenho, medidas, principais resultados estatisticos e conclusOes do projecto de investi~? Embom
breve, consegue-se obter uma impressao do essencial cia investigayHo em menos de 200 palavras?
(5) Introducio: Foi dada urna perspectiva gem). des quesWes e conceitDs relevantes para 0 tOpico de fonna a
pennitir enquadrar contextualmente a investigayHo? Da-se conm de estudos identicos ou relacionados?
Foi explicado 0 porque de lever a cabo este estudo? Foram explicados os principais objectivos cia
investig~llo? As hip6teses (caso cxistam), incluicla a nula, foram claramente estabelecides em termos de
previsOes insofismaveis?
(6) Metodo: Os leitores disporlW de elementos suficientemente deta.Ihados para reproduzir 0 estudo
exaetamente da mesma maneim em que foi feno? Foram escolhidos subtftulos adequados que
esquematizem claramente a info~?
(7) Desenho; Foi indicada 0 tipo essencial do desenho? 0 motivo pelo qual foi esse 0 desenho escolhido?
Foi explicada a razao de ser para os diferentes grupos, e indicados nUmeros relativos a carla urn deles?
Foram indicadas as vari3.veis independentes e dependentes e condi~es observadas? Foram indicados
quais os meios de verifi~ e controlo introduzidos?
(8) Participantes: Picou claro quem silo eles e como foram seleccionados ou contaetados? Foram inclufdos
elementos adicionais relevantes para a investig~1lo (idade, sexo, escolaridade, nfvel s6cio-econ6mico)?
(9) Materiais I instrumentos: Foram descritos de modo a poderem ser replicados? Foram incluidos, onde
necessUrio, desenhos ou diagramas? Foi descrito qualquer dispositivo teCDico? Foram incluidos
inventBrios, questionanos, etc.?
(10) Proc:edimentos: Foi explicado de modo sequencial exactamente 0 que fez 0 investigador e pelo que
passou cada participante? Forum descritas em pormenor quaisquer instru~oes relevantes que tenham sido
dadas (C6pias no ap8ndice)? Fica clara a impressllo de como decorreram os acontecimentos?
(11) ResultJldos: Foi inclufdo urn quadro resumo dos resultados com totais, medias, desvios-padI'lW ou
equivalentes? Os dados bmtos, na sua extensao, foram incluidos no ap8ndice? Foi cuidada a
oportunidade de apresen~ visual? Os quadros, gnlficos e tabelas estllo claramente legendados e
numerados? Foram devidamente explicados os sistemas de po~, codifi~lio ou outros quaisquer
meios de manipulllQllo dos dados antes cia llIllilise?
(ll) AnAlise I tratamento: Foi explicada e justificada a escolha do metodo de an3.lise estat.lstica? Foram
. indicados os resultados dos testes, 0 seu significado, os graus de hberdade, nUmero de caudas? Silo
apresentados os calculos no ap8ndice ou e explicado 0 modo como foram efectuados (seja 0
computador)? Silo feitas observ~oes sobre a rejei~ ou nllo cia hip6tese nula?
(13) Discussio: Ha uma descri~llo verbal (nlio estatlstica) dos resultados? Explica-se qual 0 modo como os
resultados se relacionam com a(s) hip6tese(s) ou qualquer teoria anterior ou investigayHo previa? SIlo
consideradas explica¢es altemativas para os resultados? Face BOS resultados, sAo sugeridas
modifi~es, explor~es ulteriores, ou novas linhas de investigllQllo?
(14) Refer@ncias: Fomm listados todos os estudos referidos no texto (com data entre parenteses)? As
referi!ncias obedecem asnormas em vigor (eg iIltimo nome, iniciais (data), titulo do livro, local da
publi~§o: editora ou iIltimo nome, iniciais (data), titulo do artigo, revista, Vol. pp.)?
(15) Apeodice: Estao claramente designados? Dilo continuidade A p~lio? Foram inclufdos na p8gina de
conteUdo (fndice) e devidamente referenciados no texto onde adequado?
Metodologia.de}.IJ~.!estiga¢o
23
MestrtuJo em Psiquiotria e Sai.U Mental
Bibliograim I Referencias
1. American Psychiatric Association. Diagnostic and Statistical Manual ofMenial Disorders. Washington: APA.
2. Ashby WR. A Aplica9Ao da CibemCtica B Psiquiatria. In Isaac Epstein (org). Ciberrretica e Comunica¢o. Sio Paulo: Editora
Cultrix:, 1973; pp 191-206
3. Bech P, AlIerup P, Gram LF. Reisby N, Rosenberg R, Jacobsen 0 and Nagy A The Hamilton depression scale: evaluation of
objectivity using logistic models. Acta Psychiatr Scand 1981; 63: 290-299.
4. Beck AT, Ward CH, Mendelson M, Mock J and Erbaugh 1. An inventory for measuring depression. Arch Gen Psychiatry 1961;
4: 561-571.
5. Bleuler E. The fundamental symptcms oftkmentia praecox or the group ofschizophrenias, 1911. Trans. Zinkin J. New York:
International University Press, 1950.
6. Carrol BJ, Fielding 1M and BJ.8shki TG. Depression rating scales: a critical review. Arch Gen Psychiatry 1973; 28: 361-366..
7. Cohen S, Kessler RC and Gordon LU (cds). Measuring Stress. A Guide for Health and Social Sciences. New York: Oxford
University Press, 1997.
8. Coolican H. R83earch Methods and Statistics in Psychology (2ad ed). London: Hodder & Stoughton, 1994.
9. Cronbach LJ. Response set and test validity. Ed Psych Measurement 1946; 6: 475-495.
10. Cronbach U, Gieser GC, Nanda H and Rajaratnan N. The Dependability of Behtnioral Mea3II1Ttments: Theory of
Generabilizahiltty for Scores and Profiles. New York: Wiley, 1972.
11. Dias MO. Metodos e Teenicas de Estudo e E/aborl1flio de Trohalhos CienJ{ficos. Coimbra: Livraria Minerva Editora, 1999.
12. Foms M, Buira C, Domenrch J. Psicodiagnastico e Estatfstica. Mem Martins: CETOP, 1980.
13. Fortin Marie-Fabienne. Le processus de 1lJ recherche: de la conception a 1lJ realisation. Decarie Editeur. 1996 [tf port N
Salgueiro.O Processo de Investiga¢o: da concep~lJc a rea/iza¢o. Lomes: Lusociencia, 1999, 2000, 2003]
14. Guilford JP. Psychometric Methods. New York: McGraw-Hill, 1954.
15. Goldberg DP. The detection of psychiatric illness by questionnaire. In Mmvisley Monograph 21. London: Oxford University
Press, 1972.
16. Hamilton M. Development ofa rating scale for primary depressive illness. Br J Soc Clin Psychiat 1967; 6: 278-296.
17. HamiltonM. Some notes on rating scales. Statistician 1968; 18: 11-17.
18. Hill MM, Hill A Investiga~lJc por Questiaruirio (2' 00). Lisboa: Ediylles Silabo, 2002.
19. Kline P. Handbook ojPsychologica/ Testing (2ad ed). London: Routledge, 2000.
20. Likert R. A technique for the measurementofattitudes. Arch Psychol 1932; 140: 1-55.
21. McDowell I and Newell C. Measuring Health. A Guide w Rating Scales and Questionnaires (2nd ed). New York: Oxford
University Press, 1996.
22. Montgomery SA and Asberg M A new depression rating scale designed to be sensitive to change. Br J Psychiatry 1979; 134:
382-389.
23. Moore D. Statistics: COlWepts and Controversies (2ad ed). New York: W. H. Freeman and Co, 1985.
24. Neale J and Liebert R. Science and Behaviour: An Introt:/u(;tian to Methods of Research (3 rd ed). London: Prentice-Hall
International, 198§.
25. Phillips D. Bastc Statisticsjor Health Science Students. New York: W. H. Freeman and Co, 1978.
26. Phillips J. Statistical Thinking: a structllTal approach (2ad ed). San Francisco: W. H. Freeman and Co, 1982.
27. Piaget J (org) L6gica e Conhecimento Ciendfico. Porto: Livraria Civiliza~, 1981.
28. Rosnay Joel de. 0 Macroscopio: para IIl1Iavislio global. VN Gaia: Estrategias Criativas, 1995.
29. Rust J, Golombock S. Modem Psychometrics. The Science ofPsychological A.ssessment (2M ed). London: Routledge, 2000.
30. Sederer LI and Dickey B (OOs). Outcomes A.ssessment in Clinical Practice. Baltimore: Williams and WilJdns, 1996.
31. Sheffield BF and Kellner R. The temporai stability of selfratings of neurotic symptoms. Br J Soc Clin Psycho11970; 9: 46-53.
32. Snaith RP. Rating Scales. BrJ Psychiatry 1981; 138: 512-514.
33. Swinscow T. Statistics at Square One (8 th ed). London: British Medical Association, 1983.
34. Thompson C. The Instruments ojPsychiatric Research. London: John Wiley & Sons, 1989.
35. Tsuang M. Tohen M, Zahner G (cds). Textbook in Psychiatric Epidemiology. New York: John Wiley & Sons, inc, 1995.
36. Wing JK.. Reasoning about madness. London: Oxford University Press, 1978.
37. ZlIDg WWK. A self-rating depression scale. Arch Gen Psychiatry 1965; 12: 63-70.
38. Zung WWK.. Factors influencing the self rating depression scale. Arch Gen Psychiatry 1967; 16: 543-547.