Guião para a elaboração de provas de

avaliação de conhecimentos
v1.0 - 2018-08-08
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Índice

Introdução 2
Tipos de perguntas 3
Perguntas com respostas pré-definidas 3
Escolha múltipla 3
Verdadeiro e falso 3
Correspondência 3
Perguntas de resposta aberta 4
Resposta curta 4
Espaços em branco 4
Ensaio 4
Elaboração de perguntas 6
Escolher o tema 6
Recomendações gerais 6
Escolha múltipla 7
Verdadeiro e falso 9
Correspondência 10
Resposta curta 10
Espaços em branco 10
Revisão das perguntas 12
Elaboração de uma prova 13
Abrangência 13
Relevância 13
Dificuldade 13
Organização 13

1
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Introdução

A avaliação é um componente essencial do internato médico de medicina geral e familiar.

Através dela é possível validar a aprendizagem dos médicos internos e certificar as suas
competências. Ao mesmo tempo, a avaliação permite auditar a qualidade da formação que
é oferecida pelas unidades formadoras.
A avaliação de conhecimentos tem por finalidade apreciar o cumprimento dos objectivos do
programa de formação ao longo do internato. Ao optar por realizar provas escritas, a
Coordenação de Internato Médico de Medicina Geral e Familiar da região Lisboa e Vale do
Tejo procura uniformizar os critérios de avaliação, colocando em igualdade de
circunstâncias todos os médicos internos, ao mesmo tempo que reduz os recursos
humanos e materiais necessários para avaliar um número muito elevado de médicos
internos.
Para que estas metas sejam alcançadas, é importante que as provas de avaliação tenham
uma qualidade elevada. A colaboração dos orientadores de formação é indispensável para
aumentar a validade facial das perguntas, construindo perguntas ligadas à prática e aos
diversos desafios que esta coloca no dia-a-dia. Contudo, muitos orientadores de formação
identificam como obstáculo à sua participação neste processo a falta de conhecimento e
treino na elaboração de perguntas para provas escritas.
Este guia procura apoiar os orientadores de formação na elaboração de perguntas para as
provas de avaliação de conhecimentos e guiar as direcções de internato médico na recolha
dessas questões para formar uma prova completa.

2
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Tipos de perguntas

Uma prova escrita pode ser composta por diferentes tipos de perguntas. Cada tipo
apresenta vantagens e desvantagens na elaboração, resposta e correcção. Assim, é
importante conhecer os tipos de perguntas e saber quando devem ser utilizados.

Perguntas com respostas pré-definidas

Algumas perguntas podem indicar à partida um conjunto de respostas possíveis. A pessoa
que responde deve escolher apenas de entre as hipóteses que já foram colocadas por
quem elaborou a pergunta.

Escolha múltipla
As perguntas de escolha múltipla são compostas por um enunciado e várias respostas
possíveis. Na maior parte das provas, apenas uma das opções de resposta é correcta.
Existem modelos em que várias opções são correctas, em que o avaliado deve assinalar
todas e é penalizado por assinalar respostas incorrectas. Frequentemente são utilizadas
quatro ou cinco hipóteses de resposta.
A construção de perguntas de escolha múltipla é morosa, pois muitas vezes é difícil
encontrar opções plausíveis. A resposta é bastante rápida, bastando assinalar a opção
escolhida e a probabilidade de resposta correcta de forma aleatória é 20 a 25% (com 5 ou 4
opções, respectivamente). A correcção é também muito rápida, podendo até ser feita de
forma automatizada por comparação com uma chave de respostas.

Verdadeiro e falso
As perguntas de verdadeiro e falso são compostas por uma ou mais afirmações em que
existem apenas duas respostas possíveis: verdadeiro ou falso. O enunciado da pergunta é
habitualmente bastante simples, limitando-se a identificar o tipo de pergunta e o tema.
A construção de perguntas é mais simples, pois cada afirmação é independente e podem
ser avaliadas áreas diferentes dentro da mesma temática (por exemplo, diagnóstico e
terapêutica). A resposta é bastante rápida, mas a probabilidade de resposta correcta de
forma aleatória é elevada (50%). Para diminuir esta probabilidade, poderão ser construídas
questões onde várias afirmações têm de ser respondidas de forma correcta (por exemplo,
com quatro afirmações, a probabilidade de uma resposta aleatória ser correcta é 0,5 x 0,5 x
0,5 x 0,5 = 6,25%), contudo, isso torna a questão mais difícil que uma pergunta de escolha
múltipla. A correcção é idêntica às perguntas de escolha múltipla, podendo ser feita de
forma automatizada.

Correspondência
As perguntas de correspondência são compostas por termos ou definições, que devem ser
emparelhados com uma de várias opções possíveis. O enunciado da pergunta é, à
semelhança das perguntas de verdadeiro e falso, simples e identifica o tipo de pergunta e o

3
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

tema. A correspondência poderá fazer-se numa razão de um para um ou de um para vários,

devendo isso ser claro no enunciado.
Tal como nas perguntas de verdadeiro e falso, a construção das perguntas é relativamente
simples, pois cada par definição - opção é independente. A resposta é mais demorada, pois
o avaliado necessita de emparelhar cada definição e opção. A correcção é idêntica às
perguntas de escolha múltipla, podendo ser feita de forma automatizada. Podem ser
atribuídos pontos por cada par com resposta correcta ou apenas se a totalidade das
correspondências for respondida correctamente.

Perguntas de resposta aberta

Noutras perguntas não existem respostas definidas à partida, sendo a pessoa que responde
livre de escrever o que entender.

Resposta curta
As perguntas de resposta curta são compostas por um enunciado que exige uma resposta
em texto livre de um número reduzido de palavras (idealmente uma ou duas). Em alguns
casos, a resposta poderá resultar de um cálculo a efectuar.
A construção das perguntas é bastante rápida, pois não é necessário construir opções de
resposta. A resposta é rápida, mas não é possível acertar de forma aleatória como nos tipos
anteriores. Contudo, a correcção é mais demorada e pode ser subjectiva quando a pergunta
não recai sobre um facto ou um conceito simples a resposta precisa de ser dada num
número elevado de palavras. É, no entanto, possível construir critérios de correcção
uniformes e aplicáveis a todos os avaliados.

Espaços em branco
As questões de espaços em branco são uma variante das perguntas de resposta curta. Em
vez de um enunciado em forma de pergunta que solicita uma resposta em texto livre, são
apresentadas uma ou mais afirmações em que parte do conteúdo foi censurado, pedindo-se
ao avaliado que complete uma ou mais palavras em falta.
A construção destas questões é um pouco mais trabalhosa do que as perguntas de
resposta curta, uma vez que é necessário garantir que há apenas uma forma de completar
o espaço em branco. Tal como nas perguntas de resposta curta, a resposta é rápida e não
é possível acertar de forma aleatória. Também como nas perguntas de resposta curta, a
correcção é mais demorada e pode ser subjectiva, mas uniforme.

Ensaio
As perguntas do tipo ensaio são compostas por um enunciado que exige uma resposta
longa (de alguns parágrafos até algumas páginas) e argumentativa.
A construção destas questões é relativamente simples, mas a elaboração dos critérios de
correcção é mais trabalhosa. A resposta é demorada e depende do conhecimento, da
capacidade de integração e da criatividade do avaliado. Poderá ser útil colocar limites de
palavras, parágrafos ou páginas às respostas. Porém, a correcção é complexa, demorada e

4
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

poderá não ser uniforme, sobretudo quando existe mais de um avaliador ou quando um
avaliador não corrige todas as respostas na mesma ocasião.
Devido às desvantagens no momento da correcção, as perguntas do tipo ensaio não estão
actualmente a ser utilizadas pela Coordenação.

5
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Elaboração de perguntas

As perguntas são a unidade fundamental de cada prova de avaliação. Devem ser bem
construídas e avaliar os objectivos do estágio.

Escolher o tema
O tema da pergunta deverá estar de acordo com os objectivos do programa de formação
(publicado como anexo à Portaria n.º 45/2015, de 20 de Fevereiro). Deverá incidir sobre um
aspecto relevante na prática da especialidade, pela sua frequência ou importância.
Quando um grupo de orientadores procura elaborar perguntas, poderá ajudar seleccionar
um tema (por exemplo, um capítulo da Classificação Internacional de Cuidados Primários,
versão 2) e/ou um estágio (por exemplo, Medicina Geral e Familiar 1). É mais produtivo que
cada pessoa tenha uma tarefa concreta, por exemplo, fazer duas pergunta sobre o
diagnóstico da diabetes; do que uma tarefa vaga, como fazer duas perguntas sobre um
tema à escolha.
Algumas estratégias adicionais para encontrar temas de perguntas são, por exemplo:
- Escolher um problema encontrado na última consulta do dia;
- Retirar do MIM@UF a lista dos principais problemas observados no ano anterior;
- Sortear um capítulo da Classificação Internacional de Cuidados Primários;

Recomendações gerais
Escolha um tema com boa prova científica para suportar a resposta. Evite perguntas sobre
temas controversos, em que autores diferentes podem recomendar formas de actuação
diversas, ou em que a actuação recomendada é baseada em provas pouco sólidas, como
opinião de peritos. Se pretender fazer uma pergunta sobre um tema controverso ou com
pouca prova científica, utilize a incerteza nessa área como tema da pergunta.
Valide a sua pergunta com uma fonte externa, como uma orientação clínica ou uma
ferramenta de síntese como o Dynamed (de acesso gratuito na região - contacte a sua
Direcção de Internato Médico se não conhecer as credenciais de acesso). Consulte a
bibliografia indicada no Manual de Formação publicado pela Coordenação.
Anote fontes bibliográficas que sustentam a pergunta e a resposta, de forma a poder
responder mais facilmente a eventuais contestações.
Construa uma pergunta clara, em que é imediatamente perceptível o que se pretende.
Evite o uso de siglas ou abreviaturas, sobretudo quando não forem de uso comum. Evite
frases complexas ou demasiado longas. Evite descrições ambíguas ou mal definidas,
afirmações absolutas ou generalizações excessivas (sempre, nunca).
Assegure-se que todos os dados necessários para responder estão contidos na pergunta,
mas não forneça informação desnecessária (que irá aumentar o tempo necessário para
responder à pergunta). Não forneça no enunciado pistas óbvias sobre a resposta.

6
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Nas perguntas sobre números, evite avaliar a capacidade para memorizar um número
preciso e prefira avaliar a compreensão questionando sobre uma ordem de grandeza.

Escolha múltipla
O enunciado pode ser uma pergunta simples ou conter uma vinheta clínica seguida de uma
pergunta sobre o caso. Alguns exemplos:
Qual o antibiótico recomendado no tratamento da cistite aguda não complicada na
mulher não grávida?
A Joana, de 32 anos, saudável, vem à consulta de doença aguda por queixas de
disúria e poliúria há 3 dias. Não tem febre, náuseas ou vómitos e não está grávida.
O exame sumário de urina mostra leucócitos e nitritos. Que tratamento deve
prescrever à Joana?

Evite formulações em que não existe pergunta (assinale, indique):

Assinale qual dos seguintes é um antibiótico recomendado no tratamento da cistite
aguda não complicada na mulher não grávida.
As formulações sem pergunta são mais difíceis de interpretar, aumentando o tempo
necessário para responder.

Evite perguntas em que a resposta não é possível apenas a partir do enunciado, mas
exigem a leitura das opções:
Qual dos seguintes fármacos pode ajudar no tratamento sintomático da disúria?
Deve fazer sempre o exercício de tentar responder à pergunta tapando as opções de
resposta. Uma boa pergunta deve ser respondida sem o auxílio das opções de resposta.

Evite formulações na negativa (não, excepto):

Em que situações não deve pedir uma urocultura numa cistite aguda não complicada
na mulher não grávida?
As formulações feitas pela negativa causam confusão no leitor, aumentando o tempo de
resposta e a probabilidade de uma resposta errada apesar do conhecimento a avaliar estar
presente. Além disso, é mais difícil provar a falsidade do que a verdade, o que aumenta a
conflituosidade da pergunta. Na maior parte dos casos, essas perguntas podem ser
transformadas para evitar a negação:
Em que situações pode ser dispensada uma urocultura numa cistite aguda não
complicada na mulher não grávida?

7
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Evite formulações em que a resposta do avaliado será sempre correcta (o que considera, na
sua opinião):
Qual o antibiótico que considera dever ser prescrito no tratamento da cistite aguda
não complicada na mulher não grávida?
Nesta circunstância, mesmo que a resposta assinalada seja errada à luz do conhecimento
científico, o avaliado pode argumentar que a sua resposta é correcta face à pergunta
formulada (o que o avaliado considera e não o que é tecnicamente recomendado pela
generalidade dos profissionais).

As opções de resposta deverão ser todas plausíveis para serem verdadeiros distratores.
Evite indicar opções que são claramente erradas:
Qual é o antibiótico recomendado no tratamento da cistite aguda não complicada na
mulher não grávida?
a. Amoxicilina
b. Ciprofloxacina
c. Fosfomicina
d. Vancomicina

Procure que cada opção de resposta seja o mais curta possível e tenha aproximadamente a
mesma dimensão das restantes, evitando criar opções muito maiores ou muito mais curtas,
que podem dar pistas para a resposta correcta:
Em que situação é recomendado pedir urocultura numa mulher saudável com cistite
aguda?
a. Na algaliação de longa duração
b. Na diabetes
c. Na mulher com mais de 60 anos
d. Nas infeções complicadas ou recidivantes da mulher adulta

Evite dar pistas repetindo uma palavra em apenas parte das opções de resposta:
Quais são os antibióticos recomendados no tratamento da cistite aguda não
complicada na mulher não grávida?
a. Amoxicilina e fosfomicina
b. Ciprofloxacina e fosfomicina
c. Fosfomicina e nitrofurantoína
d. Nitrofurantoína e trimetoprim

8
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Evite utilizar opções de resposta que misturam áreas diferentes (anamnese, diagnóstico e
tratamento):
A Joana, de 32 anos, saudável, vem à consulta de doença aguda por queixas de
disúria e poliúria há 3 dias. Não tem febre, náuseas ou vómitos e não está grávida.
O que deve fazer?
a. Questionar sobre infecções urinárias anteriores
b. Realizar a palpação abdominal
c. Pedir um exame sumário de urina
d. Prescrever empiricamente fosfomicina

Evite sobreposições dentro das opções que permitam fazer inferências sobre que a
resposta correcta ou excluir opções erradas:
A Joana, de 32 anos, saudável, está com um primeiro episódio do que parece ser
infecção urinária. Como deve fazer o diagnóstico?
a. A urocultura pode ser dispensada
b. Deve ser pedido hemograma
c. Deve ser doseada a PCR
d. É indispensável a urocultura

Não utilize como opção de resposta “todas as anteriores” ou “nenhuma das anteriores”.

Existe uma tendência natural de cada pessoa para colocar a resposta correcta na mesma
posição das opções possíveis. Para evitar criar um padrão, depois de elaborar a pergunta
ordene as opções de resposta por ordem alfabética, crescente ou utilizando outra
ordenação natural.

Verdadeiro e falso
O enunciado pode conter informação apenas sobre o tema ou uma vinheta clínica. Em
ambos os casos, deve ser dada a indicação que cada afirmação deve ser classificada como
verdadeira ou falsa.
Relativamente ao diagnóstico das infecções urinárias, classifique as afirmações
seguintes como verdadeiras (V) ou falsas (F).
A Joana, de 32 anos, saudável, vem à consulta de doença aguda por queixas de
disúria e poliúria há 3 dias. Não tem febre, náuseas ou vómitos e não está grávida.
Classifique as informações seguintes sobre a situação da Joana como verdadeiras
(V) ou falsas (F).

Evite a apresentação de frases negativas, complexas ou longas.

Se a pergunta for composta por várias afirmações, tente que o número de afirmações
verdadeiras e falsas seja semelhante e não inclua afirmações que se contradigam entre si.

9
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Correspondência
O enunciado pode conter informação apenas sobre o tema ou uma vinheta clínica. Em
ambos os casos, deve ser dada a indicação que deve ser feita a correspondência entre dois
conjuntos. Um dos conjuntos deve corresponder a um termo ou conceito e o outro à sua
descrição ou a um exemplo.
O tratamento empírico recomendado em Portugal para as infecções urinárias varia
consoante a indicação e o doente a tratar. Faça corresponder a cada situação clínica
o respectivo antibiótico de primeira linha (pode utilizar cada antibiótico em mais de
uma situação clínica e não precisa utilizar todos antibióticos listados):
a. Bacteriúria assintomática na mulher grávida
b. Cistite aguda não complicada na mulher grávida
c. Cistite aguda não complicada na mulher não grávida
d. Pielonefrite ‐ casos ligeiros a moderados

1. Amoxicilina + ácido clavulânico

2. Ceftriaxona + cefuroxima
3. Fosfomicina
4. Levofloxacina

Depois de elaborar a pergunta, ordene ambos os conjuntos por ordem alfabética, crescente
ou utilizando outra ordenação natural.
Evite opções complexas e longas e assegure-se que o conteúdo das opções é homogéneo.

Resposta curta
O enunciado pode conter uma pergunta simples, ou uma vinheta clínica seguida de uma
pergunta.
Qual o antibiótico recomendado como primeira linha em Portugal no tratamento da
cistite aguda não complicada na mulher grávida no primeiro trimestre?
A Joana, de 32 anos, saudável, grávida de 7 semanas, vem à consulta de doença
aguda por queixas de disúria e poliúria há 3 dias. Não tem febre, náuseas ou
vómitos e não está grávida. O exame sumário de urina mostra leucócitos e nitritos.
Que antibiótico é recomendado como primeira linha em Portugal?

Faça uma questão directa e assegure-se que existe apenas uma resposta válida possível.

Espaços em branco
O enunciado pode conter informação apenas sobre o tema ou uma vinheta clínica. Em
ambos os casos, deve ser dada a indicação que se pretende que sejam preenchidos os
espaços em branco. Seguem-se uma frase ou um conjunto de algumas frases, onde são
censuradas algumas palavras que o avaliado deve preencher.

10
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Na mulher jovem saudável, o agente mais comum da cistite aguda não complicada é
a bactéria ___________, sendo o tratamento antibiótico recomendado com _______
na dose de ________ mg em toma única ou com _________ na dose de _______
de 6/6 horas durante 5 a 7 dias.

Deve ser claro o que precisa de ser preenchido em cada espaço em branco. Assegure-se
que existe apenas uma resposta válida possível em cada espaço.

11
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Revisão das perguntas

Finalize o seu trabalho dando resposta a estas questões, que ajudam a rever e melhorar as
suas perguntas:
1. A pergunta inclui:
a. a vinheta,
b. a questão a responder,
c. nas perguntas com opções de resposta pré-definidas, as opções de resposta
2. A vinheta inclui todos os elementos necessários para chegar à resposta e não inclui
elementos desnecessários?
3. A questão a responder está formulada de forma clara e na positiva (isto é, não são
palavras operacionais da pergunta “não”, “excepto” ou “falsa”)?
4. A questão a responder é mais dirigida à aplicação de conhecimentos do que à
memorização?
5. A questão a responder é dirigida a conhecimentos fundamentais à boa prática
clínica?
6. Nas perguntas com resposta pré-definida:
a. As opções de resposta são homogéneas no tamanho?
b. As opções são tendencialmente curtas?
c. As opções estão ordenadas (alfabética, ordem de grandeza numérica,
outra)?
d. Nas perguntas de escolha múltipla, é possível responder sem ler as opções
de resposta?

12
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

Elaboração de uma prova

A prova deve conter um conjunto harmonioso de perguntas, assegurando coerência interna.

Abrangência
Uma prova de avaliação de conhecimentos deve conter um conjunto de questões
seleccionadas de forma a avaliar de forma abrangente os objectivos do estágio. Ao construir
a prova, é útil enumerar os objectivos do programa de formação para aquele estágio e
atribuir um peso (número de perguntas alvo) a cada um. O número de perguntas por cada
objectivo não precisa de ser o mesmo, devendo antes representar a importância relativa e a
extensão de cada um. Deve, contudo, ser garantida a avaliação de todos os objectivos do
estágio. Um trabalho semelhante deve ser feito para os temas dentro de cada objectivo,
procurando que as perguntas abarquem um conjunto vasto de conhecimentos.

Relevância
A larga maioria das perguntas da prova deve avaliar situações frequentes na prática clínica
do médico de família. As situações menos frequentes também devem fazer parte da prova,
sobretudo aquelas que dizem respeito a situações potencialmente graves, em que o seu
reconhecimento é decisivo para a actuação do médico de família.
As questões devem ser adequadas ao contexto do exercício da Medicina Geral e Familiar
em Portugal, evitando áreas ou modos de actuação que não estão de acordo com a
organização dos serviços de saúde no nosso contexto.

Dificuldade
A prova de avaliação de conhecimentos deve conter um conjunto de perguntas de nível de
dificuldade baixo, que avaliam os conhecimentos mínimos necessários para obter
aprovação no estágio; e um conjunto de perguntas de dificuldade mais elevada, que
permitem distinguir as pessoas com conhecimentos mais aprofundados. Como orientação,
um especialista em medicina geral e familiar deve ser capaz de responder de imediato e
sem qualquer hesitação a cerca de 75% das perguntas da prova. Nos restantes 25% das
perguntas, é admissível que nem todos os especialistas consigam responder correctamente
sem alguma preparação para a prova.

Organização
A prova deve conter instruções iniciais indicando o estágio a que se refere, o número total
de perguntas, os tipos de perguntas presentes e a forma de responder a cada um, a
duração e outras observações importantes.
O rodapé deve conter a data da realização da prova e a numeração das páginas.

13
CIMMGFLVT Guião para a elaboração de provas de avaliação de conhecimentos

As perguntas devem ser ordenadas por tema ou objectivo a que dizem respeito, de forma a
facilitar a organização mental de quem responde.
As perguntas devem ser numeradas e a sua formatação deve ser uniforme ao longo da
prova. Devem sempre ser utilizadas as ferramentas de numeração automática para permitir
alterar a ordem das opções de resposta ou de aparecimento das perguntas sem
necessidade de correcção manual da numeração.
O número de perguntas que constituem a prova deve ser aferido, por um lado, face à
duração da prova e, por outro, ao grau de dificuldade das perguntas e à morosidade em
responder.

14