A Construção de Um Referencial Teórico Sobre A Avaliação de Desempenho de Programas de Capacitação
A Construção de Um Referencial Teórico Sobre A Avaliação de Desempenho de Programas de Capacitação
A Construção de Um Referencial Teórico Sobre A Avaliação de Desempenho de Programas de Capacitação
Resumo
A capacitação, como parte integrante da formação continuada, deve ser balizada
pela reflexão e aprendizagem, oportunizadas, em grande medida, pela avaliação.
No entanto, a sustentação de um processo de avaliação demanda a construção
de um referencial teórico que espelhe o conhecimento acadêmico mais relevante
e atual nesta área. Assim, a pesquisa desenvolvida teve como objetivo construir
um referencial teórico sobre a avaliação de programas de capacitação, através
de uma revisão sistêmica de artigos selecionados por sua relevância acadêmica
e aderência ao contexto pesquisado. No que diz respeito ao enquadramento
metodológico, este trabalho, quanto à natureza do objetivo, é exploratório, e
pela natureza do artigo, teórico. A lógica de pesquisa foi indutiva e a coleta
de dados utilizou dados secundários. Já a abordagem do problema se deu de
forma qualitativa. Este estudo é aplicado e o procedimento técnico utilizado foi
a pesquisa bibliográfica. Como resultados, este artigo apresenta a análise dos
aspectos teóricos da avaliação de desempenho, das ferramentas utilizadas para
a avaliação de programas de treinamento, dos estudos de caso desenvolvidos
e dos eixos teóricos de pesquisa, além da análise crítica quanto ao referencial
teórico e as ferramentas utilizadas em relação à Metodologia Multicritério de
Apoio à Decisão – Construtivista (MCDA-C).
Palavras-chave: Avaliação. Avaliação de desempenho. Capacitação. Treinamento.
MCDA-C Metodologia Multicritério de Apoio à Decisão – Construtivista.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
204 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Introdução
No contexto educacional, ambiente em que se desenvolve este estudo, os processos
de capacitação emergem diante da demanda por uma atualização contínua e um
processo de formação permanente que resulte em profissionais ativos e autônomos,
capazes de grandes mudanças nas atividades pedagógicas (PIMENTEL; PALAZZO;
BALSANULFO, 2009). Castro e Porto (2012, p. 53), pela mesma perspectiva, destacam a
relevância da capacitação “para o conhecimento, o aprimoramento de competências,
a reciclagem profissional e de forma geral a necessidade de atualização”.
Em grande parte, a idéia de avaliação de programas pode ser rastreada até ao trabalho
de Tyler (1950), para quem a avaliação era considerada parte integrante do processo
educacional (WONG; WONG, 2003). Tyler (1950) postulava que o processo educacional
seria composto por três elementos principais: objetivos, experiências de aprendizagem
e avaliação (avaliação de procedimentos). Nesse contexto, a avaliação era vista,
principalmente, como a avaliação do desempenho dos alunos, em termos dos objetivos
do programa, avaliação esta que tinha um papel crítico na melhoria da educação.
Infelizmente, segundo Wong e Wong (2003), desde meados dos anos de 1960, a avaliação
tem sido por vezes, encarada como uma atividade relacionada a justificar os recursos
financeiros investidos, como apenas um meio voltado a satisfazer as agências governamentais
financiadoras e não como parte integrante de um empreendimento educacional.
Para Wong e Wong (2003), o termo “avaliação de programas”, também, gera muita
confusão. Em relação a programas educacionais, seu significado varia desde um conjunto
de materiais instrucionais e atividades em nível nacional até experiências educacionais
com um único aluno. Em um nível mais geral, a avaliação tem sido definida como uma
avaliação formal da qualidade do fenômeno educacional. No entanto, na visão de Wong
e Wong (2003), as definições de “avaliação formal” e “qualidade” são vagas.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 207
Diante desse contexto, Tasca, Ensslin e Ensslin (2012) promoveram à avaliação do processo
de capacitação dos policiais militares instrutores do Programa Educacional de Resistência
às Drogas – PROERD, em Santa Catarina utilizando, como instrumento de intervenção, a
Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C). A aplicação do
Proerd em escolas públicas e privadas com a finalidade de promover a prevenção ao uso
de drogas pela educação e a exigência de novos conhecimentos, habilidades e atitudes que
permitam ao policial militar exercer esse novo papel como educador social (PEROVANNO,
2006) transformam a capacitação dos policiais militares instrutores do Proerd em um dos
aspectos críticos do programa e justificam a adoção de um rigoroso processo de avaliação.
Para responder a essa questão, a pesquisa realizada teve como objetivo construir um
referencial teórico sobre a avaliação de programas de treinamento, por meio de uma
revisão sistêmica de artigos que contêm estudos alinhados ao contexto pesquisado e
relevância acadêmica, e que permitem apurar as potencialidades ou/e limitações das
ferramentas empregadas para este fim na amostra em relação à MCDA-C. O alcance
desse objetivo geral foi possível com a consecução dos seguintes objetivos específicos:
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
208 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Metodologia da pesquisa
Enquadramento metodológico
A inexistência de um padrão estabelecido que permita a adoção de um
procedimento único, no que diz respeito à metodologia de pesquisa, faz a
escolha do enquadramento metodológico variar de acordo com as percepções do
pesquisador e os objetivos da pesquisa (PETRI, 2005). Logo, as definições acerca
desse tema têm como ponto de partida, a seleção da estrutura metodológica mais
adequada à natureza da pesquisa. Compartilhando desta visão, optou-se pela
estrutura metodológica apresentada na Figura 1, onde se encontra destacado
o enquadramento deste trabalho
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 209
No que diz respeito ao instrumento utilizado, apesar da MCDA-C ter sido utilizada
como referência para o desenvolvimento do processo destinado à revisão sistêmica,
não houve a sua aplicação nem de nenhuma outra ferramenta específica, sendo o
processo construído no decorrer do estudo empreendido.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
210 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
212 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
1 – conhecimentos interdisciplinares;
2 – múltiplos atores;
3 – informações difusas, incompletas e desorganizadas;
4 – dinamicidade;
5 – responsabilidade profissional;
6 – conflitos de interesses; entre outros aspectos dessa natureza.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
214 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
1 - fase de estruturação;
2 - fase de avaliação;
3 - fase de recomendações. A primeira fase destina-se à compreensão do
problema e do contexto em que está inserido.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 215
Discussão e resultados
Avaliação de desempenho: definições, elementos e afiliação teórica
A primeira análise decorrente da leitura dos artigos selecionados foi apurar sob
qual perspectiva os autores abordam a temática avaliação de desempenho em seus
estudos, por meio da compreensão das definições dessa avaliação de desempenho
adotadas, seus elementos e afiliação teórica.
No que diz respeito a tais definições adotadas, percebe-se em Lingham, Richley e Rezania
(2006) que a avaliação de programas de treinamento deve envolver um processo que reúna
as perspectivas organizacionais e de seus participantes, sendo desenvolvido caso a caso,
reforçando, assim, a singularidade de cada programa de treinamento. Defendem, ainda, que
as avaliações desses programas devem incluir não somente o processo de capacitação, mas
também o feedback dos participantes, em termos de conteúdo e aplicabilidade dos referidos
programas, sugerindo que um bom sistema de avaliação é um processo colaborativo - uma
coprodução, envolvendo líderes organizacionais, instrutores, participantes e avaliadores.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
216 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Por sua vez, Kuprenas, Madjidi e Alexander (1999) informam que o Training
Management Team – TMT (organismo responsável pelo processo de avaliação objeto
do estudo) definiu a avaliação da eficácia do programa de treinamento como um
processo desenvolvido em quatro níveis:
1 – mensuração da instrução;
2 – mensuração do aprendizado;
3 – retenção do aprendizado;
4 – utilização do aprendizado.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 217
ELEMENTOS CONSTITUINTES DE
AUTORES
UMA AVALIAÇÃO DE DESEMPENHO
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
218 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
AUTORES FERRAMENTAS
Não há uma denominação específica para a ferramenta
Westbrook et. al (2008)
ou método utilizado.
Não utilizou nenhuma ferramenta de avaliação de
Darby (2007)
desempenho.
Lingham, Richley e Rezania (2006) Four-phase Evaluation System
Grammatikopoulos et al (2004) Guskey’s Model of Five Levels
Não há uma denominação específica para a ferramenta
Featherstone et al (2004)
ou método utilizado.
Litarowsky, Murphy e Canham (2004) Pre-experimental design with a pretest and posttest
Wong e Wong (2003) Kirkpatrick’s Model – Four-Level Evaluation Model
Tennant, Boonkrong e Roberts (2002) Training Programme Measurement Model
Não há uma denominação específica para a ferramenta
Mcmillan, Bunning e Pring (2000)
ou método utilizado.
Kuprenas, Madjidi e Alexander
Multiple-level Training Assessment Process
(1999)
Campbell (1998) Evaluation Schema
Para uma melhor compreensão do emprego dessas ferramentas, esta seção foi
dividida em Descrição das ferramentas de avaliação de desempenho: objetivos e
processo de desenvolvimento - consubstanciada na apresentação de seus objetivos
e na síntese do seu processo de desenvolvimento; e Análise das ferramentas
utilizadas: critérios de avaliação e processo de gerenciamento - buscando apurar
se o desenvolvimento dessas ferramentas permite identificar, mensurar e integrar
os critérios de avaliação, além de apresentar um processo de gerenciamento, e,
finalmente, verificar se a ferramenta é mono ou multicritério.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
220 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Estruturais. Além disso, é consolidado o survey que permitirá a avaliação das novas
edições do treinamento, quer pela Análise de Correlação, quer pela utilização da
Análise de Regressão Linear. Finalmente, a quarta fase (treinamento e avaliação
em andamento) se destina à condução do programa de treinamento com a nova
formatação ou novo conteúdo. Nessa fase, também é reiniciado o processo de coleta
de dados mediante a aplicação do survey de avaliação, com a consequente análise
dos resultados em relação aos temas emergentes levantados no feedback inicial.
1 – Mensuração da instrução;
2 – Mensuração do aprendizado;
3 – Retenção do aprendizado;
4 – Utilização do aprendizado.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 221
O Evaluation Schema, estruturado por Campbell (1998), pode ser utilizado para os
mais variados propósitos de avaliação, pois considera, segundo o autor, além do tempo,
o pessoal e outros recursos envolvidos. O Evaluation Schema é dividido em três partes:
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
222 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 223
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
224 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Passando, agora, para a análise dos artigos que não nomearam a ferramenta utilizada,
percebe-se que Westbrook et al. (2008), para o desenvolvimento de sua avaliação, utilizaram
um survey com o objetivo de identificar o grau de satisfação dos participantes do treinamento,
e outras escalas médicas pré-definidas para avaliar o resultado do aprendizado gerado. No
mesmo sentido, Featherstone et al. (2004) avaliaram a efetividade de um curso por meio da
comparação de um grupo experimental (participante do curso) com um grupo controle (não
participante), ou seja, valendo-se de um questionário aplicado aos dois grupos, os autores,
diante das hipóteses levantadas, passaram a realizar uma análise de correlação, no sentido
de apurar a veracidade ou não dessas hipóteses relacionadas ao programa de treinamento
avaliado. No mesmo sentido, McMillan, Bunning e Pring (2000) também avaliaram a
efetividade de um treinamento, utilizando a estratégia de comparação entre um grupo
experimental com um grupo controle. Os participantes foram selecionados aleatoriamente
para os dois grupos, sendo dois questionários utilizados para avaliar o conhecimento antes e
depois o curso. O primeiro questionário foi ministrado em duas seções. A seção “Conhecimento”
avaliou o conhecimento da deficiência auditiva, e a seção “Confiança” avaliou a confiança
na gestão do apoio auditivo, bem como o uso de técnicas auditivas. O segundo questionário
utilizou cenários para avaliar o reconhecimento de estratégias de comunicação com os
adultos que tinham deficiência intelectual e problemas auditivos. A seção “conhecimento”
do primeiro questionário foi baseada em um questionário, desenvolvido em uma pesquisa
correlata, que possuía 30 questões de verdadeiro/falso. Já a seção “confiança” foi composta
por 10 questões que visavam a apurar a confiança dos participantes em utilizar os seus
conhecimentos. O segundo questionário (cenários) foi concebido em resposta à investigação
realizada em outra pesquisa relacionada ao tema. Oito cenários que envolvem um adulto
com deficiência intelectual e auditiva foram utilizados.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 225
Por sua vez, no trabalho de Westbrook et al. (2008) foi possível, apenas, identificar
a origem dos critérios emprestados de outros instrumentos de avaliação aderentes
ao estudo desenvolvido. Por fim, na pesquisa realizada por McMillan, Bunning e
Pring (2000) os critérios que compuseram os questionários foram definidos pelos
autores compilando uma série de critérios desenvolvidos por outros pesquisadores
em estudos relacionados ao programa de treinamento avaliado. Nos demais artigos
analisados, não foi possível identificar como se deu a definição dos critérios
empregados no processo de avaliação.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
226 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 227
Appreciative
Aspectos referentes ao
Leadership Training
Lingham, Four-phase conteúdo, aplicabilidade
Program (ALTP)
Richley e Evaluation e importância das sessões
desenvolvido por uma
Rezania (2006) System de um programa de
universidade do meio-
treinamento.
oeste dos EUA.
O impacto do treinamento
Não há uma nos conhecimentos,
denominação atitudes e enfrentamento Elderly Mentally Ill
Featherstone específica para (coping) e a relação entre (EMI) Residential
et al (2004) a ferramenta essas variáveis, em especial, Homes, localizado no
ou método o quanto conhecimento e Norte da Inglaterra.
utilizado. enfrentamento impactam
na atitude.
The anaphylaxis
recognition and
Pre-
epinephrine
Litarowsky, experimental Conhecimento e confiança
autoinjector
Murphy e design with para aplicação do
administration
Canham (2004) a pretest and conteúdo.
training program,
posttest
desenvolvido em San
Jose, California -EUA.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
228 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
(continuação)
O programa de
Aspectos referentes à treinamento intitulado
reação dos participantes The School as an
Kirkpatrick’s
Wong e Wong ao treinamento, ao Organization (SAO),
Model – Four-
(2003) aprendizado obtido parte integrante
Level Evaluation
e às mudanças de do Programme of
Model
comportamento Refresher Training
perpetradas. (PRT) promovido em
Hong Kong - China.
Training
Tennant,
Programme
Boonkrong e Teórico Teórico
Measurement
Roberts (2002)
Model
Treinamento em
Kuprenas, Multiple- A instrução e o Gestão de Projetos,
Madjidi e level Training aprendizado decorrente desenvolvido pelo
Alexander Assessment em termos de assimilação, Bureau de Engenharia
(1999) Process retenção e utilização. da cidade de Los
Angeles - EUA.
Campbell Evaluation
Teórico Teórico
(1998) Schema
Fonte: Os autores (2012).
Quanto às limitações das ferramentas, não houve, por parte dos autores
referenciados, qualquer menção a esse respeito, salvo alguns aspectos particulares
atinentes ao emprego do método no caso em concreto, como destacado por
Westbrook et al.(2008) quando mencionam aspectos clínicos que poderiam impactar
nos resultados e a necessidade de uma avaliação com intervalo maior de tempo para
analisar os resultados de longo prazo, por Wong e Wong (2003) em face da não
utilização da quarta fase do modelo de Kirkpatrick (2004) – avaliação dos resultados – e
por Litarowsky, Murphy e Canham (2004) diante da ausência de um grupo de controle.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
230 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 231
e, por conseguinte o que pode ser feito para melhorar e qual o grau em que
o critério está sendo alcançado;
4 – A impossibilidade de identificação das ações de melhoria, no sentido de que
os critérios elencados no instrumento de coleta de dados (principalmente,
o survey) limitam-se a clarear a existência ou não de um problema, não
orientando para a ação, ou seja, o indicador de desempenho não comunica
qual ação deve ser implementada para gerar o aperfeiçoamento. Mesmo
no modelo proposto por Campbell (1998), em que há uma parte destinada
às recomendações e ao plano de ação, esta iniciativa demanda um grande
esforço, posto que as ações não estão definidas e comunicadas em cada
um dos critérios.
Como conclusão desta revisão sistêmica, resta agora explicitar quais as vantagens
e desvantagens da MCDA-C em relação às ferramentas de avaliação de desempenho
utilizadas nos artigos selecionados e, finalmente, justificar por que esta metodologia
poderia contribuir para o tratamento dos contextos pesquisados.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
232 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Considerações finais
Restou evidenciado durante o transcorrer deste trabalho que os programas de
treinamento, por sua importância no contexto educacional, em especial, quando
os conhecimentos, habilidades e atitudes exigidas configuram-se em uma nova
fronteira de atuação profissional, como é o caso do Programa Educacional de
Resistência às Drogas - Proerd, necessariamente, precisam ser acompanhados por
um processo de avaliação que permita apurar o alcance dos objetivos propostos
com a capacitação. Além disso, foi possível verificar, também, que para este fim,
são empregadas inúmeras ferramentas de avaliação.
Quanto aos objetivos específicos, cumpre salientar o pleno alcance do que foi
proposto, a saber:
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
234 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
Referências
ADAMS, J.D. Reinterpreting Evaluation Classics in the Modern Age. Journal of
Continuing Higher Education, v. 49, n.2, p. 15–21, 2001.
ENSSLIN, L.; ENSSLIN, S.R. Notas de aula da disciplina EPS 6325: pesquisa direta:
Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal
de Santa Catarina. Florianópolis: UFSC. Mimeografado.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 235
FEATHERSTONE, K., et al. A controlled evaluation of a training course for staff who
work with people with dementia. Dementia, v. 3, n. 2, p.181-194, 2004.
HOLTON, E.F. The Flawed Four-Level Evaluation Model. Human Resource Development
Quarterly, v. 7, n. 1, p. 5–21, 1996.
KIRKPATRICK, D.L. Evaluating Training Programs: The Four Levels. San Francisco:
Berrett-Koehler, 1994.
LINGHAM, T.; RICHLEY, B.; REZANIA, D. An evaluation system for training programs:
a case study using a four-phase approach. Career development international, v. 11,
n. 4, p. 334-351, 2006.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
236 Jorge Eduardo Tasca, Leonardo Ensslin e Sandra Rolim Ensslin
MARSHALL, G. The trainers handbook: the AMA guide to effective training. New
York: American Management Association, 2 ed., 1993.
MCCOY, M.; HARGIE, O.D.W. Evaluating evaluation: implications for assessing quality”.
International Journal of Health Care Quality Assurance, v. 14, n. 7, p. 317-327, 2001.
RICHARDSON, R. J. et al. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 1999.
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013
A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação 237
Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 21, n. 79, p. 203-238, abr./jun. 2013