ARTI GOS   ARTÍCU LOS   ARTI CLES

https://doi.org/10.18222/eae.v32.7839

SISTEMA DE AVALIAÇÃO DA
EDUCAÇÃO BÁSICA: REVISÃO
SISTEMÁTICA DA LITERATURA
TALITA EMIDIO ANDRADE SOARES I
DENILSON JUNIO MARQUES SOARES II
WAGNER DOS SANTOS III

I Universidade Federal do Espírito Santo (Ufes), Vitória-ES, Brasil; [email protected]

II Universidade Federal do Espírito Santo (Ufes), Vitória-ES; Instituto Federal de Minas
Gerais (IFMG), campus Piumhi, Piumhi-MG, Brasil; [email protected]
III Universidade Federal do Espírito Santo (Ufes), Vitória-ES, Brasil; [email protected]

RESUMO
Neste artigo foi realizada uma revisão sistemática da literatura adequada às
recomendações Prisma, utilizando o descritor “Sistema de Avaliação da Educação
Básica” (Saeb). As buscas foram realizadas nas bases de dados Scopus, Web of Science
e SciELO, sem delimitação temporal. Foram selecionados 11 artigos, classificados em
três categorias que discutem a origem do Saeb mediante as reformas educacionais da
década de 1990, o Saeb enquanto política de responsabilização (accountability) e os
fatores associados aos resultados do Saeb. Evidenciou-se que seu papel e desempenho
como política de avaliação é amplamente criticado. Em contrapartida, nota-se a escassez
de estudos que discutem novas possibilidades para avaliar a qualidade da educação
básica, constituindo um campo aberto para discussões no ambiente acadêmico.
PALAVRAS-CHAVE  
SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA •
AVALIAÇÃO DA EDUCAÇÃO BÁSICA • POLÍTICAS PÚBLICAS EM EDUCAÇÃO • REVISÃO
DE LITERATURA.

1 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA:

REVISIÓN SISTEMÁTICA DE LA LITERATURA
RESUMEN
En este artículo ha sido realizada una revisión sistemática de la literatura adecuada a
las recomendaciones Prisma, utilizando el descriptor “Sistema de Avaliação da Educação
Básica” (Saeb) [Sistema de Evaluación de la Educación Básica]. Las búsquedas han sido
realizadas en las bases de datos Scopus, Web of Science y SciELO, sin delimitación
temporal. Han sido seleccionados 11 artículos, clasificados en tres categorías que
discuten el origen de Saeb en el ámbito de las reformas educativas de la década de los
90, el Saeb como política de responsabilidad (accountability) y los factores relacionados
a los resultados del Saeb. Se ha constatado que su papel y desempeño como política de
evaluación es ampliamente criticado. Por otro lado, se verifica que hay una escasez de
estudios que discutan nuevas posibilidades de evaluar la calidad de la educación básica,
lo que constituye un campo abierto para discusiones en el ámbito académico.
PALABRAS CLAVE  
SISTEMA NACIONAL DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA •
EVALUACIÓN DE EDUCACIÓN BÁSICA • POLÍTICAS PÚBLICAS EN EDUCACIÓN •
REVISIÓN DE LITERATURA.

BASIC EDUCATION EVALUATION SYSTEM: SYSTEMATIC

LITERATURE REVIEW
ABSTRACT
This article conducts a systematic literature review in line with the Prisma
recommendations, using the descriptor “Sistema de Avaliação da Educação Básica” (Saeb)
[Basic Education Evaluation System]. The searches were carried out in the Scopus, Web
of Science and SciELO databases, without temporal delimitation. Eleven articles were
selected and classified in three categories that discuss the origin of Saeb in the context of
the 1990s education reform, Saeb as a policy of accountability, and factors related to Saeb
results. It became evident that Saeb’s role and performance as an evaluation policy is
widely criticized. On the other hand, there is a lack of studies that discuss new possibilities
to evaluate the quality of basic education, constituting an open field for discussion in the
academic sphere.
KEYWORDS  NATIONAL BASIC EDUCATION EVALUATION SYSTEM • EVALUATION OF
BASIC EDUCATION • PUBLIC POLICIES IN EDUCATION • LITERATURE REVIEW.

2 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

INTRODUÇÃO
Os sistemas de avaliação da educação, organizados por agentes externos à escola
(ditas avaliações externas),1 ganharam maior visibilidade na América Latina a par-
tir da década de 1980, fruto da ascensão das políticas internacionais no continente
que defendiam o gerenciamento estatal da educação, por meio de sua regulação e
monitoramento (UCZAK, 2014; MENDONÇA, 2014).
Nesse período, propuseram-se no Brasil as primeiras iniciativas externas de ava-
liação aplicada em larga escala, com destaque para o Projeto Nordeste de Educação
Básica I (Edurural), o Projeto Nordeste de Educação Básica II (Projeto Nordeste) e a
Avaliação do Rendimento Escolar de Alunos de Escolas de 1° Grau da Rede Pública.
Esta última, realizada por iniciativa do Ministério da Educação (MEC) com a cola-
boração da Fundação Carlos Chagas (FCC), com o objetivo de verificar a viabilidade
de um projeto de avaliação em âmbito nacional, servindo de base para o desenho
inicial do Sistema Nacional de Avaliação do Ensino Público de 1° Grau (Saep).
A primeira aplicação do Saep ocorreu no final de 1988. Com ela, foi possível
verificar a pertinência dos instrumentos e procedimentos de medida até então uti-
lizados nas avaliações externas nacionais, com vistas para a ampliação da propos-
ta, que culminaria na criação do Sistema de Avaliação da Educação Básica (Saeb).
Dessa forma, alguns estudos referem-se ao Saep como um projeto piloto do Saeb
(BONAMINO; FRANCO, 1999; PESTANA, 2016).
As primeiras aplicações do Saeb ocorreram em 1990 e 1993 e assumiram os cur-
rículos de sistemas estaduais como subsídio para a elaboração das provas, que ava-
liaram a aprendizagem de uma amostra de estudantes, matriculados nas 1ª, 3ª, 5ª
e 7ª séries do ensino fundamental, em Língua Portuguesa, Matemática, Ciências
Naturais e Redação.
Entretanto, o Saeb só foi regulamentado quatro anos após o primeiro ciclo, por
meio da publicação da Portaria n. 1.795, de 27 de dezembro de 1994 (BRASIL, 1994).
Conforme o art. 1°, constituíam os objetivos gerais do referido sistema de avaliação:

1. contribuir para o desenvolvimento, em todos os níveis do siste-

ma educativo, de uma cultura avaliativa que estimule a melhoria dos
padrões de qualidade e equidade da educação básica e adequados
controles sociais de seus resultados; 2. programar e desenvolver,
em articulação com as Secretarias de Educação, processos perma-
nentes de avaliação, apoiados em ciclos regulares de aferições das
aprendizagens e competências obtidas pelos alunos e do desempe-
nho dos estabelecimentos que compõem os sistemas de educação

1 Essas avaliações geralmente são aplicadas em larga escala, ou seja, a um grande número de estudantes.
Dessa forma, é comum referir-se a elas como avaliações externas em larga escala ou avaliações
estandardizadas (MARQUES; STIEG; SANTOS, 2020).

3 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

básica; 3. mobilizar os recursos humanos, técnicos e institucionais do

Ministério, das Secretarias e de universidades e centros de estudos e
pesquisas sociais e educacionais, para gerar e difundir os conhecimen-
tos, técnicas e instrumentos requeridos pelas práticas de aferição e
avaliação educacional; 4. proporcionar, aos responsáveis pela gestão
educacional e pelo ensino, às famílias e aos cidadãos em geral, infor-
mações seguras e oportunas a respeito do desempenho e dos resul-
tados dos sistemas educativos. (BRASIL, 1994, p. 1)

Nesses 30 anos de existência, o Saeb passou por alguns aprimoramentos, adap-

tações e alterações metodológicas, que auxiliaram a consolidação e a expansão do
sistema (PESTANA, 2016). Entre essas modificações, destacamos o levantamento de
dados contextuais, por meio de questionários, a partir do ciclo de 1995; a adoção
de Matrizes de Referência para a elaboração dos itens, a partir do ciclo de 1997; e
sua reestruturação por meio da publicação da Portaria Ministerial n. 931, de 21 de
março de 2005 (BRASIL, 2005), fazendo com que o sistema passasse a ser composto
pela Avaliação Nacional da Educação Básica (Aneb) e pela Avaliação Nacional do
Rendimento Escolar (Anresc), mais conhecida como Prova Brasil.
A Aneb manteve o delineamento amostral, até então adotado pelo Saeb, condi-
cionado ao mínimo de dez estudantes por turma avaliada. A Prova Brasil, por sua
vez, inaugurou a avaliação censitária no contexto nacional, passando a avaliar to-
das as unidades que atendessem aos critérios de no mínimo 30 matrículas em cada
etapa dos anos iniciais (4ª série/5º ano) ou dos anos finais (8ª série/9º ano) do ensino
fundamental de escolas públicas, permitindo (re)conhecer as particularidades de
cada escola e município (BRASIL, 2005). Para a 3ª série do ensino médio a avaliação
tornou-se censitária apenas a partir de 2017, com a publicação da Portaria n. 564, de
19 de abril de 2017 (BRASIL, 2017).
Além disso, a partir de 2007, as médias de desempenho dos estudantes, calculadas
no Saeb, passaram a ser combinadas com as taxas de aprovação, reprovação e aban-
dono, apuradas no Censo Escolar, mediante a criação do Índice de Desenvolvimento
da Educação Básica (Ideb), instituído pela publicação do Decreto n. 6.094, de 24 de
abril de 2007 (BRASIL, 2007). O Ideb passou a ser utilizado como “[...] referência para
o repasse e a distribuição dos recursos do Fundo Nacional de Desenvolvimento da
Educação (FNDE)” (PESTANA, 2016, p. 80), ampliando o impacto do Saeb nas políti-
cas educacionais brasileiras.
Em 2013, como uma das ações previstas na portaria que institui o Pacto Nacional
pela Alfabetização na Idade Certa (Pnaic), a Avaliação Nacional de Alfabetização
(ANA) passou a compor o Saeb, visando a realizar um diagnóstico amplo do proces-
so de alfabetização nas escolas públicas brasileiras. Desde então, o Saeb passou a
ser composto por três avaliações: ANA, Aneb e Prova Brasil.

4 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

Em 2020, o Saeb passou por outra reestruturação, mediante a publicação da

Portaria n. 458, de 5 de maio de 2020 (BRASIL, 2020). A avaliação, até então aplicada
bienalmente, passou a ser anual, abrangendo todas as séries a partir do 2° ano do
ensino fundamental. Além disso, os resultados das avaliações realizadas no âmbito
do ensino médio passaram a ser utilizados como uma nova possibilidade de acesso
ao ensino superior (BRASIL, 2020).
Considerando esse percurso histórico e as transfigurações do sistema nas três
últimas décadas, faz-se necessário compreender a dinâmica dos estudos que con-
sideram o Saeb como objeto de análise, no sentido de contribuir para o estado da
arte inerente ao tema. Nessa perspectiva, o presente artigo se insere no conjunto de
estudos que se destinam a elaborar uma análise da produção acadêmica no campo
da educação, sobretudo aquelas que se dedicam às avaliações de sistemas (GATTI;
VIANNA; DAVIS, 1991; GATTI, 2009; BAUER, 2010) ou aos exames estandardizados
(BAUER; ALAVARSE; OLIVEIRA, 2015; MARQUES; STIEG; SANTOS, 2020).
Posto isso, este artigo objetiva realizar uma revisão sistemática da literatura sobre
o Saeb, de modo a compreender o que tem sido estudado e apontar para as lacunas
existentes, indicando possibilidades de pesquisa no campo da avaliação educacional.

METODOLOGIA
Neste artigo, de natureza qualitativa do tipo exploratória, realizou-se uma revisão
sistemática da literatura sobre o Saeb. Para isso, foram utilizadas as diretrizes de
elegibilidade e análise do modelo Prisma (Preferred Reporting Items for Systematic
Reviews and Meta-Analyses) e a Análise Temática proposta por Braun e Clarke (2006).
O modelo Prisma, elaborado como ponto de partida para o desenvolvimento de
uma revisão de literatura, auxilia, por meio de seus métodos sistemáticos, a identifi-
cação, seleção e avaliação crítica a respeito das pesquisas mais relevantes relaciona-
das ao tema em estudo (MOHER et al., 2009). Trata-se de um checklist que direciona o
processo disposto em quatro fases: identificação, triagem, elegibilidade e inclusão.
A análise temática, por sua vez, segundo Souza (2019), contribui para estreitar
o campo de visão analítico do pesquisador. É um instrumento estruturado em seis
fases para que certas decisões, tradicionalmente implícitas, se tornem evidentes na
realização da análise, tornando-se eficaz para interpretar e relatar padrões (temas)
com base nos dados qualitativos.
Para compor esta revisão, optou-se por uma consulta expandida ao Portal de
Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes),
considerando SciELO (Scientific Electronic Library Online), Scopus e Web of Science
(WoS) como bases de dados eletrônicas. Essas bases foram escolhidas por serem as
principais indexadoras para a obtenção de melhores classificações nas avaliações do

5 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

Qualis Periódicos da Área da Educação2 (COORDENAÇÃO DE APERFEIÇOAMENTO

DE PESSOAL DE NÍVEL SUPERIOR – CAPES , 2019).
O prazo final adotado para a indexação dos artigos nas bases consideradas foi o
ano de 2019, não havendo delimitação inicial. Além disso, utilizou-se como descritor
o “Sistema de Avaliação da Educação Básica”. Como critérios de inclusão, optou-se
por periódicos revisados por pares, disponíveis em qualquer idioma.
Excluíram-se os artigos duplicados e os vinculados a periódicos cujo foco não
fosse a educação. Em seguida, realizou-se uma leitura dos resumos dos artigos pre-
viamente selecionados, excluindo aqueles cuja temática principal não era o objeto
desta pesquisa.
Por fim, foram selecionados os artigos para compor essa revisão, que foram li-
dos na íntegra por todos os autores e agrupados de acordo com a análise temática,
conforme suas similaridades, que são apresentadas neste artigo. Também é realiza-
da uma discussão sobre seus autores, que abarca o vínculo institucional, os grupos
de pesquisa dos quais participam, os parceiros e os referenciais bibliográficos ado-
tados nas publicações. Para isso, utilizou-se como fonte a plataforma Lattes, cujas
informações foram obtidas em junho de 2020.

RESULTADOS
Mediante as estratégias de pesquisa, foram identificados, inicialmente, 124 artigos,
dos quais 74 pertenciam a periódicos revisados por pares. Destes, 28 estavam in-
dexados nas bases de dados definidas (SciELO, Scopus e WoS). Com a leitura dos
resumos, optou-se pela exclusão daqueles cuja temática principal não era o objeto
desta pesquisa ou que foram publicados em periódicos cujo foco não era a educação.
Entre os artigos excluídos, destacam-se a presença de discussões sociais, curricu-
lares, estruturais e de estudos que consideram instituições de ensino específicas,
restando 11 artigos para as análises propostas neste estudo.
A Figura 1 apresenta um fluxograma da seleção dos artigos analisados, que foi
realizada de acordo com as diretrizes do método Prisma.

2 Para mais informações, acessar o relatório disponível no site: http://www.gov.br/capes/pt-br/centrais-

de-conteudo/relatorio-qualis-educacao-pdf. Acesso em: 16 abr. 2020.

6 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica
FIGURA 1 – Fluxograma da seleção dos artigos de acordo com o método Prisma
FIGURA 1 – Fluxograma da seleção dos artigos de acordo com o método Prisma

Fonte: Elaboração dos autores.

Fonte: Elaboração dos autores.
Após a leitura integral dos artigos selecionados, os temas foram classificados em
três categorias (1, 2 e 3). A Figura 2 apresenta como se deu esta classificação, que foi
utilizada na construção do Quadro 1, que também apresenta o ano de publicação, o
título e o(s) autor(es) dos artigos selecionados pela metodologia do modelo Prisma.

7 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

FIGURA 2 – Classificação dos temas

FIGURA 2 – Classificação dos temas

Fonte:
Fonte:Elaboração
Elaboraçãodos
dos autores.
autores.

QUADRO 1 – Caracterização do corpus textual dos artigos selecionados

QUADRO 1 – Caracterização do corpus textual dos artigos selecionados

Fonte:Elaboração
Fonte: Elaboraçãodos
dosautores.
autores.

Ressalta-se que entre os artigos analisados, nenhum autor apresenta mais de

uma contribuição para a realização deste estudo. Ademais, a autoria dos trabalhos
que compõem essa revisão se dá de forma individual, em dupla ou em grupo.

8 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

Os trabalhos individuais são realizados por professoras universitárias (ALVES,

2008; COELHO, 2008; DICKEL, 2016). No que diz respeito à autora Adriana Dickel,
professora titular da Universidade de Passo Fundo (UPF), destaca-se que uma de
suas áreas de pesquisa é o estudo de políticas e práticas de alfabetização no primei-
ro ciclo do ensino fundamental. Vale ressaltar que não foram encontradas ligações
de Dickel com os demais autores, nem outras produções relacionadas ao Saeb.
Quanto à autora Maria Inês de Matos Coelho, professora titular da Universidade
Estadual de Minas Gerais (UEMG), ressalta-se sua atuação como consultora, desde
2009, do Programa das Nações Unidas para o Desenvolvimento (Pnud). Apesar de
Coelho (2008) ser citada por Kauko et al. (2016) e por Dantas, Massoni e Santos (2017)
e de a avaliação educacional ser uma de suas linhas de pesquisa, verificou-se a au-
sência de outras produções da autora diretamente relacionadas ao Saeb.
A autora Fátima Alves desenvolveu seu artigo quando era professora associa-
da da Pontifícia Universidade Católica do Rio de Janeiro (PUC/RJ). Esse período se
deu após a conclusão de seu doutorado em educação sob a orientação do professor
Creso Franco, autor de outra produção analisada no presente artigo. É com Franco
que Alves tem o maior volume de publicações, seguido por Alícia Bonamino, tam-
bém autora de um dos artigos. Além de apresentar outras produções relacionadas
ao Saeb, Alves (2008) é citada por Kauko et al. (2016) e já prestou consultoria para
instituições como a Organização das Nações Unidas para a Educação, a Ciência e a
Cultura (Unesco) e o Banco Mundial.
As produções realizadas em dupla são oriundas de professores universitários
(BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010; FRANCO; MENEZES-FILHO,
2012) e alunos de uma mesma instituição (CASTRO; TAVARES JÚNIOR, 2016). Dois
dos artigos publicados por professores são de profissionais que compartilham o
mesmo local de trabalho (BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010).
O artigo dos professores da PUC/RJ (BONAMINO; FRANCO, 1999) foi produzido
durante o doutorado da professora associada Alícia Maria Catalano de Bonamino,
também sob orientação do professor Creso Franco, que desde o final da década de
1990 coordenou projetos que analisam a situação da educação brasileira, baseando-
-se nos dados do Saeb.
Entre os projetos de pesquisa coordenados pelo professor Creso Franco, ressal-
ta-se a atuação das autoras Alícia Bonamino e Fátima Alves na busca por fatores da
eficácia escolar, promoção de equidade na escola e no desenvolvimento e validação
de instrumentos adequados para surveys educacionais nos anos iniciais do ensino
fundamental. Por comporem os mesmos projetos de pesquisa, as autoras Bonamino
e Alves têm trabalhos em conjunto e também com Creso Franco.
Ressalta-se que além de Bonamino e Franco (1999) serem citados por Sousa e
Oliveira (2010), os autores também têm produções individuais referenciadas em

9 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

alguns dos artigos analisados (COELHO, 2008; ALVES, 2008; SOUSA; OLIVEIRA,
2010; KAUKO et al., 2016; DICKEL, 2016). Dessarte, Bonamino e Franco se mostram
referências nas discussões acerca do Saeb.
Em relação aos professores da Universidade de São Paulo (USP) (SOUSA;
OLIVEIRA, 2010) destaca-se que a professora colaboradora Sandra Zákia Sousa tra-
balhou no MEC, no período de 1982 a 1991, atuando também na gerência do Projeto
de Capacitação de Recursos Humanos do Programa Edurural. O professor titular
aposentado Romualdo Luiz P. Oliveira, por sua vez, atuou como colaborador da
Unesco. Apesar de não ser o caso do presente trabalho, ambos são citados por ou-
tros dois artigos (KAUKO et al., 2016; DICKEL, 2016). Verificou-se que, além dos auto-
res apresentarem um considerável volume de publicações em conjunto, há também
a participação de Adriana Bauer, referência em avaliação educacional e integrante
de um dos projetos de pesquisa dos quais os autores fizeram parte.
Com respeito ao artigo dos professores de instituições distintas (FRANCO;
MENEZES-FILHO, 2012), podemos ressaltar que Naércio Aquino Menezes-Filho, do
Instituto de Ensino e Pesquisa (Insper), orientou a professora adjunta Ana Maria de
Paiva Franco, da Universidade Federal de Uberlândia (UFU), durante seu doutorado
em Educação, sendo com ela suas únicas produções relacionadas ao Saeb. Menezes-
-Filho é citado em duas produções analisadas (ALVES, 2008; CASTRO; TAVARES
JÚNIOR, 2016). Ana Maria de Paiva Franco, por sua vez, atuou como analista e con-
sultora de instituições como Itaú (Unibanco), Banco Mundial e Comissão Econômica
para América Latina e Caribe (Cepal). Além disso, a autora tem publicações com o
economista Renato Baumann, seu orientador de mestrado e diretor do Escritório
Cepal no Brasil (1995-2010), período no qual a autora prestou serviços técnicos.
Por último, encontram-se os artigos publicados por grupos no âmbito nacional e
internacional. Ressalta-se que enquanto a produção nacional se restringe a um tema
específico, que diz respeito à avaliação no ensino de Ciências Naturais (DANTAS;
MASSONI; SANTOS, 2017), a produção internacional (CARNOY et al., 2015; KAUKO et
al., 2016; FERRÃO et al., 2018) abrange temas mais amplos como economia (CARNOY
et al., 2015), formulação de políticas públicas (KAUKO et al., 2016) e resultados de
pesquisas realizadas pelo Inep (FERRÃO et al., 2018).
Entre os autores das produções realizadas em grupo, é importante acentuar a
relevância de Martin Carnoy, autor com mais citações entre os artigos analisados
(BONAMINO; FRANCO, 1999; ALVES, 2008; CARNOY et al., 2015; KAUKO et al., 2016;
FERRÃO et al., 2018). Economista e professor da Universidade de Stanford, Carnoy
também trabalhou como consultor do Banco Mundial e da Unesco. Além disso, o
autor é conhecido por seus debates acerca da escola charter, por suas pesquisas em
relação ao impacto das políticas de responsabilização na aprendizagem, eficácia e efi-
ciência nas escolas e também pelos efeitos da globalização nos sistemas educacionais.

10 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

A seguir, apresenta-se uma exposição para cada categoria, identificada com base
na análise temática deste estudo.

A origem do Saeb mediante as reformas educacionais da década de 1990

Nesta categoria se encontram quatro artigos que discutem o processo de criação
do Saeb mediante as reformas educacionais que ocorreram durante a década de
1990, e que subsidiaram sua consolidação enquanto sistema de avaliação da educa-
ção básica brasileira.
À vista disso, apresentam-se três vertentes pertinentes relacionadas ao Saeb.
A princípio, os artigos de Bonamino e Franco (1999) e Kauko et al. (2016) discutem
quais foram as implicações para a pesquisa educacional brasileira, abordando a
cooperação internacional e as primeiras experiências em avaliações, que influen-
ciaram o processo de institucionalização do Saeb.
Em seguida, os artigos de Bonamino e Franco (1999) e Sousa e Oliveira (2010)
analisam os objetivos inicialmente estabelecidos para o Saeb e sua influência na for-
mulação de políticas públicas, por exemplo, a implantação de um currículo comum.
Por fim, o artigo de Coelho (2008) analisa a construção dos fatores de qualida-
de, eficiência, equidade e produtividade. Mediante uma análise temporal em maior
nível, o artigo também aborda os enfoques e aperfeiçoamentos do Saeb ao longo do
projeto histórico.
A primeira experiência em avaliação bem documentada, de acordo com Kauko
et al. (2016) e Bonamino e Franco (1999), se refere ao Edurural, que envolveu três
estados da região Nordeste,3 inicialmente apresentado em 1977. Os objetivos do
Edurural eram voltados à ampliação do acesso ao ensino primário, redução das ta-
xas de evasão e retenção, e melhoria da qualidade da educação.
O Edurural, segundo Bonamino e Franco (1999), foi financiado pelo Banco
Mundial e teve sua atuação graças ao apoio da FCC e da Fundação Cearense de
Pesquisa e Cultura, ambientada na Universidade Federal do Ceará (UFCE). Os resul-
tados do projeto, que apontaram a precariedade do ensino nas escolas participantes,
foram amplamente divulgados no cenário internacional, por meio dos relatórios do
Banco Mundial. No Brasil, restringiu-se apenas às discussões no ambiente acadêmi-
co (KAUKO et al., 2016).
Após a conclusão do Edurural, percebeu-se a necessidade de ampliação do pro-
jeto para os demais estados da região Nordeste. Assim, em parceria com o MEC,
o Banco Mundial passou a financiar o Projeto Nordeste de Educação Básica II, em
1984 (BONAMINO; FRANCO, 1999; KAUKO et al., 2016).

3 Os estados participantes do Edurural eram Ceará, Pernambuco e Piauí (BONAMINO; FRANCO, 1999).

11 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

O Projeto Nordeste, como ficou conhecido, envolveu os nove estados4 da região.

A necessidade de desenvolvimento de um sistema de avaliação, para avaliar seu im-
pacto no segmento educacional, foi o que “[...] levou as primeiras iniciativas que
redundaram na criação do Sistema Nacional de Avaliação do Ensino Público de 1º
Grau (Saep)” (BONAMINO; FRANCO, 1999, p. 110).

O Saep, em 1988, não apenas foi o primeiro esquema de avaliação sistemática,

mas também preparou o terreno para a avaliação da educação básica brasileira, que
ganha destaque na década 1990 (KAUKO et al., 2016). Nesse período, houve ampla
discussão acerca das teorias de reprodução cultural e social, o que demonstrou as
funções seletivas e excludentes da educação brasileira (COELHO, 2008).

Dessa forma, por meio desse cenário favorável e com a crescente utilização
dos exames estandardizados, a partir de 1990, o Saeb passou a substituir o Saep,
tendo sido criado com o objetivo de contribuir para o monitoramento da educação
básica brasileira e para oferecer subsídios aos formuladores de políticas públicas
(BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010).

Percebeu-se, pelas produções analisadas (BONAMINO; FRANCO, 1999; SOUSA;

OLIVEIRA, 2010; COELHO, 2008), que além de passar por várias modificações, im-
postas por organismos e/ou estudos internacionais, o Saeb também influenciou ou-
tros sistemas de avaliação no âmbito nacional.

De acordo com Sousa e Oliveira (2010), destaca-se a influência do Saeb nos siste-
mas estaduais5 de avaliação, tornando-se uma referência para os gestores estaduais.
Nota-se sua influência tanto como modelo de desenho a ser seguido quanto como
parâmetro para a proposição de alternativas (SOUSA; OLIVEIRA, 2010). A citar, por
exemplo, a Matriz de Referência do Saeb,6 instituída em 1997, que também serviu
como subsídio para a formulação dos currículos estaduais (BONAMINO; FRANCO,
1999; SOUSA; OLIVEIRA, 2010).

Durante seus primeiros 20 anos, por meio de um estudo realizado por Coelho
(2008), apresentam-se as principais modificações sofridas pelo Saeb nesse perío-
do. Dentre elas, destaca-se o levantamento de dados sobre o nível socioeconômico
(NSE). Bonamino e Franco (1999), por sua vez, apontam os resultados do Relatório
Coleman (1986) como essenciais para essa composição do Saeb. Esse relatório apon-
tou o NSE dos alunos como o fator primordial para o desempenho escolar, o que

4 Os estados participantes do Projeto Nordeste eram: Alagoas, Bahia, Ceará, Maranhão, Paraíba,
Pernambuco, Piauí, Rio Grande do Norte e Sergipe (PEREIRA, 2007).
5 No artigo de Sousa e Oliveira (2010) analisam-se os seguintes estados: Bahia, Ceará, Minas Gerais,
Paraná e São Paulo.
6 Essa pode ter sido a primeira experiência de implantação de um currículo comum no contexto nacional.

12 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

levou à valorização de pesquisas de caráter social junto aos exames estandardizados

(BONAMINO; FRANCO, 1999).
O Saeb, desde 1995, levanta dados referentes ao contexto social dos estudantes
por meio da aplicação dos questionários contextuais, respondidos por alunos, pro-
fessores e diretores, como observa Coelho (2008). Além disso, em concordância com
a autora, a adoção de técnicas mais modernas para medição do desempenho do alu-
no, a redefinição das séries avaliadas e o uso das matrizes de referência também
estão entre as principais alterações do Saeb.
Com base nessas alterações, conforme apresenta Coelho (2008), o Saeb também
se consolida por seus estudos em relação à efetividade da escola (School Effectiveness
Research – SRE) ou da “escola eficaz”. Essas pesquisas, por sua vez, visavam à eleva-
ção dos padrões educacionais, o que já era comum em países como Estados Unidos
e Reino Unido (COELHO, 2008).
De acordo com Coelho (2008), constatou-se que várias produções internacio-
nais na linha de estudo da “efetividade escolar” são referenciadas nos documentos
do Saeb, bem como identificadas nos estudos realizados com base nos seus dados.
Diante disso, o Saeb justifica-se como um forte contribuinte para que as mediações
dos resultados de aprendizagem venham a ser realizadas por recursos quantitati-
vos, bem como quanto ao uso da avaliação como instrumento de regulação e da
administração gerencial e competitiva (COELHO, 2008).
Apesar de sua relevância, e de haver “[...] condições para correlacionar a medida
de resultado com as características socioeconômicas dos alunos e com as caracte-
rísticas da escola” (COELHO, 2008, p. 241), persiste a dificuldade em esclarecer quais
os efeitos dos fatores escolares (qualidade, eficiência, equidade e produtividade). A
título de exemplo, sublinha-se a implicação das práticas docentes de sala de aula no
desempenho dos alunos, conforme apresenta Coelho (2008), apuradas pelos questio-
nários contextuais.
Encerram-se as discussões demonstrando que a avaliação passou a ser um dos
eixos centrais das políticas públicas, em geral, e também das políticas educacionais
(COELHO, 2008), no qual o Saeb determina-se a monitorar tais políticas e a qualida-
de da educação (BONAMINO; FRANCO, 1999), apesar de para Sousa e Oliveira (2010)
essa ainda não ser uma realidade.
Além disso, atenta-se ao fato de que a comunidade educacional, suas ações e
debates foram estabelecidos por meio da adoção e/ou referência a ideias, práticas
e políticas estrangeiras (KAUKO et al., 2016), priorizadas de acordo com as condi-
ções impostas pelos acordos.
Diante disso, alerta-se para a necessidade de melhor conhecimento a respeito
dos fatores escolares brasileiros (COELHO, 2008; KAUKO et al., 2016) e de pesqui-
sas que analisem a fundo a problematização local das regiões e/ou das escolas

13 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

(SOUSA; OLIVEIRA, 2010; KAUKO et al., 2016). É preciso considerar a extensão da

diversidade da população brasileira, uma vez que se priorizou a ideia da constru-
ção de um roteiro global apoiado no fato de o esquema do exame estandardiza-
do brasileiro ser orientado para o Programme for International Student Assessment
(Pisa) (KAUKO et al., 2016).
Dessarte, os artigos dessa categoria creem na avaliação como além da execução
de um projeto, podendo atender a várias demandas, dos gestores educacionais aos
diversos setores da sociedade, como colocam Bonamino e Franco (1999). Por isso,
análises mais complexas são necessárias, para dar continuidade às investigações de
melhoria na qualidade da educação, como concluem Kauko et al. (2016).
Entre as aproximações dos artigos analisados, nota-se que apesar de apresen-
tarem os documentos oficiais da legislação brasileira, Bonamino e Franco (1999)
e Kauko et al. (2016) não consideram, em grande parte, os estudos dos pesquisado-
res em avaliação educacional do período em que se deu a implementação do Saeb.
Mostrou-se um considerável volume de trabalhos produzidos e/ou publicados pelas
fundações participantes, em especial pela FCC.

O Saeb como política de responsabilização (accountability)

Nesta categoria são agrupados três artigos que discutem o Saeb como política de
responsabilização (accountability), servindo para monitorar e regular os sistemas
de ensino por meio do desempenho escolar obtido.
Isso posto, apresentam-se duas concepções acerca desta categoria. Primeira­
men­te, os artigos de Franco e Menezes-Filho (2012) e Dantas, Massoni e Santos
(2017) discutem o impacto dos exames estandardizados na constituição de políticas
educacionais e como elas direcionam a política de avaliação.
Depois, o artigo de Dickel (2016) avalia esse impacto por meio de um recorte, no
qual analisa a relação entre o Pnaic e a ANA, um dos componentes do Saeb.
A avaliação, de acordo com Dantas, Massoni e Santos (2017), tem seu discurso
pautado na avaliação formativa, contínua e acumulativa, bem como na valorização
dos aspectos qualitativos, conforme disposto nos documentos oficiais. No entanto,
segundo os autores, o que se perpetua na prática é a cultura de uma avaliação mera-
mente quantitativa. Por esse motivo, comprova-se um grau de distanciamento entre
o que a legislação estabelece e o que de fato venha a ser praticado em sala de aula
(DANTAS; MASSONI; SANTOS, 2017).
Além disso, de acordo com os autores, a avaliação na literatura segue duas po-
sições contraditórias. Uma defende a avaliação para orientar políticas públicas e
apoiar as práticas de ensino e de aprendizagem escolar, buscando a qualidade da
educação para amparar o desenvolvimento curricular. A outra, por sua vez, denun-
cia a avaliação por monitorar e regular os sistemas de ensino por meio da política

14 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

de responsabilização, o que consequentemente interfere nas práticas escolares

(DANTAS; MASSONI; SANTOS, 2017).
Nesse caso, Dickel (2016) examina as possibilidades da avaliação para alcançar a
melhoria da qualidade do ensino. Segundo a autora, a ANA apresenta-se como uma
ferramenta à disposição do professor, com o intuito de monitorar a aprendizagem
das crianças e auxiliá-lo em seu trabalho.
Em contrapartida, sua institucionalização também contribui para maior re-
gulação pedagógica (DICKEL, 2016). A autora, portanto, critica algumas ações das
avaliações do Saeb. Entre elas, pelo próprio Pnaic, priorizam-se as aprendizagens
acumuladas em um determinado período, em que são acompanhadas inclusive de
um projeto curricular explícito, ditado pela avaliação. Reforça-se, portanto, a res-
ponsabilização do professor e da escola pelo resultado obtido, uma vez que estes são
os encarregados do ensino dos conteúdos avaliados.
Diante disso, assim como Dantas, Massoni e Santos (2017), Franco e Menezes-
-Filho (2012) discutem o Saeb como política de responsabilização, no qual se refe-
rem à preocupação do Brasil de melhorar a qualidade do ensino por meio da atribui-
ção de metas educacionais. Essas metas são propostas em indicadores baseados no
desempenho dos alunos nos exames estandardizados, como as provas do Saeb e os
resultados do Pisa (FRANCO; MENEZES-FILHO, 2012).
Desse modo, Franco e Menezes-Filho (2012) também apresentam o Ideb como um
propulsor para as políticas de responsabilização, uma vez que, desde 2007, pôde ser-
vir para que governos conseguissem monitorar as redes de ensino e, com base nisso,
exigir ações em busca de um avanço esperado no indicador (FRANCO; MENEZES-
-FILHO, 2012).
Destaca-se que por meio do desempenho médio dos alunos nos testes, divulgados
pelo Ideb, as escolas estão suscetíveis a uma dinâmica de ranking, e, por isso, oca-
siona-se o detrimento de umas em relação às outras, similarmente ao que acontece
com empresas na concorrência dos mercados (FRANCO; MENEZES-FILHO, 2012).
Nesse caso, Franco e Menezes-Filho (2012) discordam de tal dinâmica e apresen-
tam diversos fatores que podem interferir no desempenho escolar. Além disso, os
autores defendem que a elaboração de políticas educacionais não deve ser baseada
exclusivamente nos resultados, sendo necessário realizar uma análise qualitativa
acerca dos fatores que envolvam a comunidade escolar.
Posto isso, ainda de acordo com esses autores, o ideal seria uma avaliação pen-
sada para acompanhar o progresso do aluno ao longo de vários anos.7 No entanto,

7 De acordo com Brasil (2020), o Novo Saeb pretende avaliar todos os anos escolares a partir do 2° ano do
ensino fundamental das escolas públicas e privadas, permitindo-se acompanhar o progresso do aluno
no decorrer dos anos da vida escolar.

15 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

verificou-se que um dos desafios de tal situação é que grande parte dos países em
desenvolvimento ainda não tem um sistema de avaliação da qualidade da educação
que consiga tal êxito.
Em conclusão, constata-se que, entre os artigos desta categoria, existe forte-
mente a crítica quanto ao uso que se tem feito dos resultados das avaliações do
Saeb, sobretudo no que diz respeito às suas ações como política de responsabi-
lização (accountability) (FRANCO; MENEZES-FILHO, 2012; DANTAS; MASSONI;
SANTOS, 2017). No entanto, Franco e Menezes-Filho (2012) não apresentam as pri-
meiras iniciativas dessa responsabilização na educação brasileira, tampouco seus
respectivos contextos.
Evidencia-se, portanto, a necessidade de pesquisas que considerem as resolu-
ções do Saeb e/ou da legislação brasileira que ocasionaram em tal responsabiliza-
ção, por exemplo, o Plano de Desenvolvimento da Educação (PDE), o Plano Nacional
de Educação (PNE) e a própria ANA, já mencionada.
Além disso, os artigos de Dickel (2016) e Dantas, Massoni e Santos (2017) criti-
cam algumas das ações do Saeb, como o ranqueamento grosseiro das escolas, mas
não apresentam possíveis alternativas de mudanças nem para aperfeiçoamento do
sistema.
Entre as poucas soluções apresentadas pelos artigos, justifica-se o uso de aná-
lises qualitativas acerca dos fatores da escola em conjunto com a quantitativa,
porém não se apresenta o modo como seriam feitas e nem quais seriam os respon-
sáveis por sua realização (FRANCO; MENEZES-FILHO, 2012; DANTAS; MASSONI;
SANTOS, 2017).
Outra discussão apresentada pelos artigos refere-se à imposição de um currícu-
lo por meio da avaliação (DICKEL, 2016; DANTAS; MASSONI; SANTOS, 2017). Apesar
da relevância desse fato, os artigos não consideram o movimento da adoção das ma-
trizes de referência do Saeb nem a influência da Base Nacional Comum Curricular
(BNCC) que, de acordo com Brasil (2020), será utilizada pelo Saeb para avaliar todos
os anos escolares a partir do 2° ano do ensino fundamental.
Em síntese, exterioriza-se a necessidade de pesquisas que busquem abarcar algu-
mas das questões expostas anteriormente, de maneira a considerar tanto o contexto
das mudanças como o de seus agentes influenciadores. Desse modo, é necessário
realizar uma investigação profunda de como o Saeb se torna um instrumento de
monitoramento da qualidade da educação básica.

Os fatores associados aos resultados do Saeb

Nesta categoria encontram-se quatro artigos em que se analisam, por meio dos
microdados do Saeb, disponibilizados na plataforma do Inep, os fatores associa-
dos aos resultados do Saeb. Dessa forma, os artigos apresentam duas discussões.

16 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

A princípio, o artigo de Alves (2008) discorre sobre a organização dos sistemas de

ensino e como os resultados são associados a eles. Posteriormente, os demais arti-
gos correlacionam os resultados do Saeb com indicadores de contexto, no qual se
destaca o NSE (CARNOY et al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et
al., 2018).
Primeiramente, Alves (2008) discute acerca da organização do ensino em redes:
municipal, estadual, federal e privada. De acordo com a autora, grande parte das
diferenças de desempenho entre essas redes está relacionada com suas próprias
especificidades.
Para as redes municipal e estadual, enfatizadas por Alves (2008), são apontados
os serviços educacionais e as condições de acesso como os principais impulsionado-
res dessas diferenças, que são confirmadas em um estudo de caso que considerou o
estado de São Paulo.
Verificou-se que enquanto a rede municipal investiu em aspectos gerais da po-
lítica social, como uniforme e merenda escolar, a rede estadual investiu em uma
agenda estritamente educacional, como o tempo de permanência dos alunos nas
escolas (ALVES, 2008). Com isso, a autora percebeu um rendimento menor nas notas
do Saeb do município em relação ao estado.
Além disso, a autora defende que o fato de o estudante ter cursado a pré-escola
tem influência significativa em seu desempenho escolar. Entretanto, critica a situa-
ção do Brasil, em que se garante o acesso à educação infantil sem se preocupar com
a qualidade do ensino ofertado.
Ademais, ainda segundo Alves (2008), outro aspecto determinante para um bom
desempenho escolar no Saeb está relacionado à formação dos professores. Este, por
sua vez, é analisado como uma particularidade dos países em desenvolvimento,
como o Brasil, em que nem sempre os docentes têm formação adequada às discipli-
nas que lecionam.
Por fim, conclui-se que apesar da modesta contribuição dessas políticas educa-
cionais, nas redes municipal e estadual, para o aumento do desempenho dos alunos,
ao que tudo indica, essas medidas ainda são insuficientes para oferecer a promoção
da magnitude de que as escolas brasileiras necessitam (COELHO, 2008).
Outra variável determinante para o desempenho escolar, de acordo com Carnoy
et al. (2015) e Ferrão et al. (2018), é o NSE dos alunos. Além disso, a relevância que a
família dá ao estudo e seu grau de escolaridade também influenciam a permanência
dos alunos na escola e os resultados que eles obtêm.
Não obstante, conforme os resultados obtidos por Castro e Tavares Júnior (2016),
os ganhos no Pisa e no Saeb têm sido, em geral, maiores para os estudantes com
menos recursos. Similarmente, os resultados de Carnoy et al. (2015) sugerem que es-
ses estudantes não estão necessariamente atrás dos que possuem maiores recursos.

17 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

Isso significa que, apesar da influência do background8 familiar, ele não é exclusivo
para determinar a realização escolar do aluno (CASTRO; TAVARES JÚNIOR, 2016).
Por isso, os problemas nos sistemas de ensino deveriam ser resolvidos desde a
pré-escola (CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018), de modo a au-
xiliar os alunos ao longo de sua trajetória escolar, evitando o comprometimento de
sua escolarização futura (FERRÃO et al., 2018).
Conclui-se que, como a educação é uma possibilidade de ascensão social, em de-
corrência do valor atribuído à educação escolarizada, o entendimento do b­ ackground
familiar é crucial para a implementação de projetos e promoção de políticas e/ou
ações educacionais destinadas à melhoria da qualidade da educação e à equidade no
sistema de ensino (FERRÃO et al., 2018).
Constata-se, portanto, mais uma vez, a necessidade de um sistema de avaliação
que monitore os alunos ao longo dos anos, em especial aqueles com menos recur-
sos (FERRÃO et al., 2018). Dessa forma, o sistema forneceria subsídios às decisões
políticas para um planejamento com medidas de caráter focalizado, pois conhecer
melhor o perfil desses estudantes também ajudaria as escolas a adaptarem melhor
esses alunos (CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018).
Ademais, o sistema de avaliação permitiria “[...] a avaliação do impacto de polí-
ticas, programas e medidas na atenuação das desigualdades sociais e educacionais”
(FERRÃO et al., 2018, p. 290). Contudo, é preciso analisar os dados com cautela e
atentar-se à generalização exacerbada dos resultados, pois o próprio Pisa apresen-
tou uma superestimativa dos ganhos (CARNOY et al., 2015).
Percebe-se, também, que os artigos dessa categoria se preocupam em validar,
mediante pesquisas empíricas, concepções relevantes para o desempenho escolar
dos estudantes, como a influência do NSE e do background familiar (CARNOY et
al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018). Em contraparti-
da, não se atentam para a descoberta de novos fatores que possam interferir no
rendimento dos estudantes no Saeb, como a formação e a valorização docente,
a complexidade da gestão e a infraestrutura das unidades escolares. Acredita-se
que ponderar esses fatores contextuais é essencial para compreender as múltiplas
faces do sistema educacional brasileiro e suas implicações para o processo de en-
sino e aprendizagem escolar.
Além disso, os artigos dessa categoria utilizam dados de edições específicas,
sem considerar as modificações sofridas pelo Saeb, inclusive de uma edição para

8 O background familiar, de acordo com Castro e Tavares Júnior (2016), é o conjunto de características
socioeconômicas mensuráveis (o nível de instrução materno, o nível de instrução dos progenitores,
artefatos ou livros no domicílio, entre outros) que proporcionam melhor aproveitamento dos recursos
disponíveis.

18 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

outra (ALVES, 2008; CARNOY et al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO
et al., 2018). Vale ressaltar que a adoção pela análise de um período específico, sem
associá-la à implantação de políticas públicas educacionais, pode se tornar vaga.
Como exemplo, pode-se citar o artigo de Alves (2008), que considera os dados do
Saeb das edições de 1999, 2001 e 2003, mas não trata da adoção do programa de pro-
gressão continuada, apontada como um dos fatores que corroboraram não só para a
ampliação de matrículas, mas que também produziu um efeito significativo nas taxas
de abandono e de aprovação escolar (BRASIL, 1999; MENEZES-FILHO et al., 2009).
Em suma, os artigos desta categoria indicam que apesar de o Saeb ser um sis-
tema de avaliação importante, pouco se produz em relação aos efeitos diretos que
ele oferece à sua população (ALVES, 2008; CARNOY et al., 2015; CASTRO; TAVARES
JÚNIOR, 2016; FERRÃO et al., 2018). Evidencia-se, portanto, a necessidade de maio-
res investimentos em pesquisas que também abarquem o processo de tomada de
decisões dos governos com base nos resultados do Saeb, e não somente o juízo de
valores, como tem se estabelecido.

CONSIDERAÇÕES FINAIS
Neste artigo, apresentou-se uma revisão sistemática da literatura sobre o Saeb.
Observou-se que apesar de sua criação datar do ano de 1990, a publicação de artigos
com temáticas diretamente relacionadas ao sistema, no âmbito da educação, acon-
tece quase uma década depois (BONAMINO; FRANCO, 1999), ganhando notoriedade
com a criação da Prova Brasil, que inaugurou o caráter censitário nas avaliações
estandardizadas no cenário nacional.
Foram selecionados 11 artigos, classificados em três categorias de acordo com a
análise temática e que abordam: a origem do Saeb mediante as reformas educacio-
nais da década de 1990; o Saeb enquanto política de responsabilização (­accountability);
e os fatores associados aos resultados do Saeb.
Percebeu-se que o seu surgimento é abordado de forma generalizada pelos arti-
gos e que vários porquês não são explicados ao longo dos textos, por exemplo, quais
são os sujeitos que contribuíram para a elaboração/desenho desse sistema de ava-
liação? Como se deram as primeiras experiências de avaliação no âmbito nacional
e quais foram suas justificativas? O que elas têm em comum com o Saeb? Qual o ce-
nário de sua efetivação? E quais metodologias foram/são utilizadas para a avaliação
e o levantamento de dados?
Apesar de destacarem as primeiras experiências de avaliação que culminaram no
surgimento do Saeb, como o Edurural e o Projeto Nordeste, os artigos não abordam
o que de fato se retirou de proveito dessas avaliações. Assim, aponta-se para a neces-
sidade de estudos que possam abarcar a similaridade do Saeb com esses projetos de

19 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

avaliação, de maneira a compreender suas prioridades, como a escolha dos anos e das
disciplinas avaliadas, a preferência pelas metodologias utilizadas, a seleção das com-
petências e habilidades e as instituições responsáveis por sua aplicação.
Observou-se também que essas discussões poderiam abarcar os interesses e as
inclinações políticas do Brasil, durante a implantação do sistema, de maneira mais
centralizada. As ações da FCC, pioneira na gestão das avaliações no contexto nacio-
nal, por exemplo, são pouco exploradas nos estudos que se referem ao surgimento
do Saeb, embora haja um amplo acervo de documentos e relatórios do período, pro-
duzidos por pesquisadores da instituição.
Verifica-se, ainda, a presença de perguntas em aberto relacionadas à atuação
internacional no contexto de criação do sistema de avaliação brasileiro: quem finan-
ciou sua implantação? Quais os possíveis interesses por trás disso? Quais foram as
condicionantes e os desdobramentos dessa ação? Embora alguns artigos debatam a
influência do Banco Mundial na consolidação do Saeb, não foi encontrado um estu-
do capaz de responder a todos esses questionamentos, que, por sua vez, constituem
um importante subsídio para a compreensão da origem do sistema.
Ademais, ressalta-se a necessidade de estudos que considerem o processo sócio-
-histórico e epistemológico que culminou, para além da criação, na consolidação do
Saeb, abarcando as principais modificações sofridas durante os seus primeiros 30
anos de existência.
Nessa vertente, deve-se considerar as diversas mudanças na estruturação do sis-
tema, como a criação das matrizes de referência, que proporcionou uma discussão
inicial acerca da implementação  de um currículo comum no âmbito nacional e a
adoção da Teoria de Resposta ao Item (TRI) para a construção dos testes, que viabili-
zou análises longitudinais por meio da comparabilidade dos resultados no decorrer
dos anos. Essas análises, que consideram o desenvolvimento da educação ao longo
dos anos, também precisam ser mais bem exploradas nos estudos, por oferecerem
subsídios para o acompanhamento da efetividade das políticas públicas educacio-
nais adotadas.
Quanto aos fatores externos que oferecem impacto no desempenho escolar dos
estudantes, algumas das produções analisadas destacaram o NSE e o background
familiar (CARNOY et al., 2015; FERRÃO et al., 2018) e a formação docente (ALVES,
2008). No entanto, percebe-se a ausência de estudos que tratem de outros fatores
contextuais de ampla discussão na literatura especializada, como a infraestru-
tura das escolas (SOARES NETO et al., 2013; MATOS; RODRIGUES, 2016; SOARES;
SOARES; SANTOS, 2020) e a complexidade da gestão, no que se refere ao porte da
escola, ao número de estudantes nela matriculados e a quantidade de etapas oferta-
das (OLIVEIRA; CARVALHO, 2018; GOBBI et al., 2020). Acredita-se que esses fatores
também possam influenciar a aprendizagem dos estudantes.

20 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

Como referência para estudos futuros, algumas das produções analisadas

(ALVES, 2008; COELHO, 2008; SOUSA; OLIVEIRA, 2010; CARNOY et al., 2015; KAUKO
et al., 2016; DANTAS; MASSONI; SANTOS, 2017; FERRÃO et al., 2018) sinalizam au-
tores que deverão ser consultados, considerando a relevância de seus trabalhos re-
lacionados ao Saeb. Dentre eles, destacam-se: Heraldo M. Vianna; Bernardete A.
Gatti; Maria I. Pestana; Ruben Klein; e Julio J. Waiselfisz.
Além disso, revela-se a importância da compreensão do papel das fundações
que os autores supracitados fizeram parte, sobretudo no que diz respeito a suas
pesquisas em avaliação educacional. Evidencia-se, dessa forma, a necessidade
de  pesquisas que utilizem como artifícios não só as produções acadêmicas, que
se mostraram escassas, mas também documentos, relatórios oficiais e entrevistas
com os agentes diretamente relacionados ao processo de consolidação do sistema.
É digno de nota que os trabalhos que se propõem a estudar essa temática, em
geral, situam-se entre duas dimensões fundamentais no campo da avaliação: o juízo
de valor e a tomada de decisão. Desse modo, percebeu-se que tanto o cenário aca-
dêmico como o da política educacional concentram suas discussões em torno dos
juízos de valor que se estabelecem com base nos resultados do sistema.
Em compensação, como política educacional de avaliação, não se pode abrir
mão da tomada de decisão, ação pela qual o Saeb se destina a fazer. Demonstra-
-se, portanto, a importância de maiores investimentos nessa dimensão, analisando
quais políticas foram ou estão sendo estabelecidas, por meio de seus resultados,
com o objetivo de qualificar as redes e os sistemas de ensino no Brasil.
Por último, ressalta-se que a nova configuração do Saeb, mediante a publicação
da Portaria n. 458, de 5 de maio de 2020, que trata da expansão do sistema para todos
os anos escolares, a partir do 2° ano do ensino fundamental, trará novas possibili-
dades de estudos e permitirá o acompanhamento do aluno em toda sua trajetória
escolar. Também a possibilidade do uso dos resultados do sistema para o acesso ao
ensino superior apresenta-se como uma ação que necessita ser investigada, conside-
rando os impactos que pode trazer ao sistema educacional brasileiro.
Espera-se, portanto, que por meio dos apontamentos apresentados neste traba-
lho possa haver um maior interesse, por parte de pesquisadores educacionais, na
investigação de temáticas que permeiam o Saeb e, com base nisso, auxiliar a cons-
trução de uma nova agenda de estudos relacionados à avaliação educacional, que
poderá trazer contribuições significativas para a melhoria da qualidade da educa-
ção brasileira.

21 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

REFERÊNCIAS

ALVES, Fátima. Políticas educacionais e desempenho escolar nas capitais brasileiras. Cadernos de
Pesquisa, São Paulo, v. 38, n. 134, p. 413-440, maio/ago. 2008. DOI: http://dx.doi.org/10.1590/S0100-
15742008000200008

BAUER, Adriana. Usos dos resultados das avaliações de sistemas educacionais: iniciativas em
curso em alguns países da América. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 91,
n. 228, p. 315-344, maio/ago. 2010. DOI: http://doi.org/10.24109/2176-6681.rbep.91i228.576

BAUER, Adriana; ALAVARSE, Ocimar Munhoz; OLIVEIRA, Romualdo Portela. Avaliação em larga
escala: uma sistematização do debate. Educação e Pesquisa, São Paulo, v. 41, n. especial,
p. 1367-1382, dez. 2015. DOI: http://dx.doi.org/10.1590/S1517-9702201508144607

BONAMINO, Alícia; FRANCO, Creso. Avaliação e política educacional: o processo de

institucionalização do Saeb. Cadernos de Pesquisa, São Paulo, n. 108, p. 101-132, nov. 1999.
DOI: http://doi.org/10.1590/S0100-15741999000300005

BRASIL. Ministério da Educação e do Desporto. Portaria n. 1.795, de 27 de dezembro de 1994.

Diário Oficial da União: seção 1, Brasília, DF, n. 246, p. 20.767-20.768, 28 dez. 1994. Disponível em:
https://pesquisa.in.gov.br/imprensa/servlet/INPDFViewer?jornal=1&pagina=91&data=28/12/1994&
captchafield=firstAccess. Acesso em: 15 abr. 2020.

BRASIL. Ministério da Educação. Relatório: resultados do Saeb 99. Brasília, DF: Inep, 1999.
Disponível em: http://portal.inep.gov.br/documents/186968/484421/Resultados+do+SAEB-
9+relat%C3%B3rio/83240ffc-02b9-49f6-bf81-6af548c17ace?version=1.2. Acesso em: 6 maio 2020.

BRASIL. Ministério da Educação. Portaria n. 931, de 21 de março de 2005. Institui o Sistema

de Avaliação da Educação Básica – Saeb, que será composto por dois processos de avaliação: a
Avaliação Nacional da Educação Básica – Aneb, e a Avaliação Nacional do Rendimento Escolar
– Anresc. Diário Oficial da União: seção 1, Brasília, DF, n. 55, p. 16-17, 22 mar. 2005. Disponível
em: http://download.inep.gov.br/educacao_basica/prova_brasil_saeb/legislacao/Portaria931_
NovoSaeb.pdf. Acesso em: 7 abr. 2020.

BRASIL. Ministério da Educação. Decreto n. 6.094, de 24 de abril de 2007. Dispõe sobre a

implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em
regime de colaboração com Municípios, Distrito Federal e Estados, e a participação das famílias
e da comunidade, mediante programas e ações de assistência técnica e financeira, visando a
mobilização social pela melhoria da qualidade da educação básica. Diário Oficial da União: seção
1, Brasília, DF, n. 79, p. 5, 24 abr. 2007. Disponível em: http://www.planalto.gov.br/ccivil_03/_
ato2007-2010/2007/decreto/d6094.htm. Acesso em: 7 abr. 2020.

BRASIL. Ministério da Educação. Portaria n. 564, de 19 de abril de 2017. Altera a Portaria MEC
n. 482, de 7 de junho de 2013, que dispõe sobre o Sistema de Avaliação da Educação Básica – Saeb
e dá outras providências. Diário Oficial da União: seção 1, Brasília, DF, n. 76, p. 23, 20 abr. 2017.
Disponível em: http://download.inep.gov.br//educacao_basica/prova_brasil_saeb/legislacao/2017/
Portaria_mec_gm_n564_de_19042017_saeb.pdf. Acesso em: 16 abr. 2020.

BRASIL. Ministério da Educação. Portaria n. 458, de 5 maio de 2020. Institui normas

complementares necessárias ao cumprimento da Política Nacional de Avaliação da Educação
Básica. Diário Oficial da União: seção 1, Brasília, DF, n. 85, p. 57, 6 maio 2020. Disponível em:
http://download.inep.gov.br/educacao_basica/saeb/2020/legislacao/portaria_n458_05052020.pdf.
Acesso em: 22 maio 2020.

22 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

BRAUN, Virginia; CLARKE, Victoria. Using thematic analysis in psychology. Qualitative Research in
Psychology, v. 3, n. 2, p. 77-101, jul./set. 2006. DOI: http://doi.org/10.1191/1478088706qp063oa

CARNOY, Martin; KHAVENSON, Tatiana; FONSECA, Izabel; COSTA, Leandro; MAROTTA, Luana.
A educação brasileira está melhorando? Evidências do Pisa e Saeb. Cadernos de Pesquisa, São Paulo,
v. 45, n. 157, p. 450-485, jul./set. 2015. DOI: http://doi.org/10.1590/198053143331

CASTRO, Vanessa Gomes de; TAVARES JÚNIOR, Fernando. Jovens em contextos sociais
desfavoráveis e sucesso escolar no ensino médio. Educação & Realidade, Porto Alegre, v. 41, n. 1,
p. 239-258, jan./mar. 2016. DOI: http://dx.doi.org/10.1590/2175-623656080

COELHO, Maria Inês de Matos. Vinte anos de avaliação da educação básica no Brasil:
aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 16,
n. 59, p. 229-258, abr./jun. 2008. DOI: http://doi.org/10.1590/S0104-40362008000200005

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR – CAPES. Diretoria

de Avaliação. Relatório do Qualis Periódicos – Área 38: Educação. Brasília, DF: Capes, 2019.
Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-educacao-
pdf. Acesso em: 16 abr. 2020.

DANTAS, Claudio Rejane da Silva; MASSONI, Neusa Teresinha; SANTOS, Flávia Maria Teixeira. A
avaliação no Ensino de Ciências Naturais nos documentos oficiais e na literatura acadêmica: uma
temática com muitas questões em aberto. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de
Janeiro, v. 25, n. 95, p. 440-482, abr./jun. 2017. DOI: http://doi.org/10.1590/s0104-40362017002500807

DICKEL, Adriana. A avaliação nacional da alfabetização no contexto do sistema de avaliação

da educação básica e do pacto nacional pela alfabetização na idade certa: responsabilização e
controle. Cadernos CEDES, Campinas, SP, v. 36, n. 99, p. 193-206, maio/ago. 2016. DOI: http://dx.doi.
org/10.1590/CC0101-32622016162940

FERRÃO, Maria Eugénia; BARROS, Gabriela Thamara de Freitas; BOF, Alvana Maria; OLIVEIRA,
Adolfo Samuel. Estudo longitudinal sobre eficácia educacional no Brasil: comparação entre
resultados contextualizados e valor acrescentado. Dados: Revista de Ciências Sociais, Rio de
Janeiro, v. 61, n. 4, p. 265-300, dez. 2018. DOI: http://dx.doi.org/10.1590/001152582018160

FRANCO, Ana Maria Paiva; MENEZES-FILHO, Naércio. Uma análise de rankings de escolas
brasileiras com dados do Saeb. Estudos Econômicos, São Paulo, v. 42, n. 2, p. 263-283, abr./jun. 2012.
DOI: http://doi.org/10.1590/S0101-41612012000200002

GATTI, Bernardete A. Avaliação de sistemas educacionais no Brasil. Sísifo, Lisboa, n. 9, p. 7-18,

ago. 2009. Disponível em: http://sisifo.ie.ulisboa.pt/index.php/sisifo/article/view/144. Acesso em:
26 jun. 2020.

GATTI, Bernardete A.; VIANNA, Heraldo Marelim; DAVIS, Cláudia. Problemas e impasses
da avaliação de projetos e sistemas educacionais: dois casos brasileiros. Estudos em Avaliação
Educacional, São Paulo, n. 4, p. 7-26, jul./dez. 1991. DOI: http://dx.doi.org/10.18222/eae00419912374

GOBBI, Beatriz Christo; LACRUZ, Adonai José; AMÉRICO, Bruno Luiz; ZANQUETTE FILHO,
Hélio. Uma boa gestão melhora o desempenho da escola, mas o que sabemos acerca do efeito
da complexidade da gestão nessa relação? Ensaio: Avaliação e Políticas Públicas em Educação,
Rio de Janeiro, v. 28, n. 106, p. 198-220, jan./mar. 2020. DOI: https://doi.org/10.1590/s0104-
40362019002701786

23 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

KAUKO, Jaakko; CENTENO, Vera Gorodski; CANDIDO, Helena; SHIROMA, Eneida; KLUTAS, Anni.
The emergence of quality assessment in Brazilian basic education. European Educational Research
Journal, Thousand Oaks, v. 15, n. 5, p. 558-579, set. 2016.
DOI: http://doi.org/10.1177/1474904116662889

MARQUES, Rodrigo; STIEG, Ronildo; SANTOS, Wagner dos. Exames estandardizados: uma análise
dos modelos e das teorias na produção acadêmica. Meta: avaliação, Rio de Janeiro, v. 12, n. 34,
p. 1-27, jan./mar. 2020. DOI: http://dx.doi.org/10.22347/2175-2753v12i34.2342

MATOS, Daniel Abud Seabra; RODRIGUES, Erica Castilho. Indicadores educacionais e contexto
escolar: uma análise das metas do Ideb. Estudos em Avaliação Educacional, São Paulo, v. 27, n. 66,
p. 662-688, set./dez. 2016. DOI: http://dx.doi.org/10.18222/eae.v27i66.4012

MENDONÇA, Liliane de Paula. A reforma educacional na América Latina e a disseminação de políticas

públicas de avaliação de sistemas educacionais. 2014. 92 f. Dissertação (Mestrado em Ciências
Sociais) – Universidade Federal de Juiz de Fora, Juiz de Fora, MG, 2014. Disponível em: http://
repositorio.ufjf.br:8080/jspui/handle/ufjf/1830. Acesso em: 1 maio 2020.

MENEZES-FILHO, Naércio; VASCONCELLOS, Lígia; WERLANG, Sérgio Ribeiro da Costa; BIONDI,

Roberta Loboda. Avaliando o impacto da progressão continuada nas taxas de rendimento e
desempenho escolar do Brasil. Relatório de Avaliação Econômica. São Paulo: Fundação Itaú Social,
2009. Disponível em: http://pdfs.semanticscholar.org/5de6/6ca73a91c7c7215046c948fa6031d99408
3c.pdf. Acesso em: 10 jun. 2020.

MOHER, David; LIBERATI, Alessandro; TETZLAFF, Jennifer; ALTMAN, Douglas G. Preferred

reporting items for systematic reviews and meta-analyses: The Prisma statement. PLOS Medicine,
v. 6, n. 7, e1000097, 2009. DOI: http://doi.org/10.1371/journal.pmed.1000097

OLIVEIRA, Ana Cristina Prado de; CARVALHO, Cynthia Paes de. Gestão escolar, liderança do
diretor e resultados educacionais no Brasil. Revista Brasileira de Educação, Rio de Janeiro, v. 23,
e230015, 2018. DOI: https://doi.org/10.1590/s1413-24782018230015 

PEREIRA, Sandra Márcia Campos. Projeto Nordeste de educação básica e o fundescola: uma análise
do discurso governamental e do banco mundial sobre a qualidade da educação. 2007. 170 f. Tese
(Doutorado em Educação) – Universidade Estadual Paulista, Araraquara, SP, 2007. Disponível em:
http://hdl.handle.net/11449/101593. Acesso em: 17 maio 2020.

PESTANA, Maria Inês. Trajetória do Saeb: criação, amadurecimento e desafios. Em Aberto,

Brasília, DF, v. 29, n. 96, p. 71-84, maio/ago. 2016. DOI: http://doi.org/10.24109/2176-6673.
emaberto.29i96.%25p

SOARES, Denilson Junio Marques; SOARES, Talita Emidio Andrade; SANTOS, Wagner dos.
Infraestrutura e desempenho escolar na Prova Brasil: aspectos e conexões. Olhar de Professor,
Ponta Grossa, PR, v. 23, p. 1-18, jul. 2020. DOI: https://doi.org/10.5212/10.5212/OlharProfr
.v.23.2020.15023.209209227242.0626

SOARES NETO, Joaquim José; JESUS, Girlene Ribeiro de; KARINO, Camila Akemi; ANDRADE,
Dalton Francisco de. Uma escala para medir a infraestrutura escolar. Estudos em Avaliação
Educacional, São Paulo, v. 24, n. 54, p. 78-99, jan./abr. 2013. DOI: https://doi.org/10.18222/
eae245420131903

24 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021

Soares, Soares, Santos Sistema de Avaliação da Educação Básica

SOUSA, Sandra Zákia; OLIVEIRA, Romualdo Portela. Sistemas estaduais de avaliação: uso dos
resultados, implicações e tendências. Cadernos de Pesquisa, São Paulo, v. 40, n. 141, p. 793-822,
set./dez. 2010. DOI: http://doi.org/10.1590/S0100-15742010000300007

SOUZA, Luciana Karine. Pesquisa com análise qualitativa de dados: conhecendo a Análise
Temática. Arquivos Brasileiros de Psicologia, Rio de Janeiro, v. 71, n. 2, p. 51-67, jul./dez.
2019. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1809-
52672019000200005&lng=pt&nrm=iso. Acesso em: 2 jun. 2020.

UCZAK, Lucia Hugo. O PREAL e as políticas de avaliação educacional para a América Latina. 2014.
211 f. Tese (Doutorado em Educação) – Universidade Federal do Rio Grande do Sul, Porto Alegre,
2014. Disponível em: http://www.lume.ufrgs.br/handle/10183/94732. Acesso em: 12 maio 2020.

COMO CITAR ESTE ARTIGO:

SOARES, Talita Emidio Andrade; SOARES, Denilson Junio Marques; SANTOS, Wagner dos.
Sistema de Avaliação da Educação Básica: revisão sistemática da literatura. Estudos em Avaliação
Educacional, São Paulo, v. 32, e07839, 2021. DOI: https://doi.org/10.18222/eae.v32.7839

Recebido em: 3 OUTUBRO 2020

Aprovado para publicação em: 2 MARÇO 2021

Este é um artigo de acesso aberto distribuído nos termos da licença Creative Commons do tipo BY-NC.

25 Estud. Aval. Educ., São Paulo, v. 32, e07839, 2021