» (U

a iâ l

2
2 ><y S- Q .s >.
^ b cs PU (U
«5 ü o §

íi M ^
§ I '05
ÍM tt3 S IC Ü (U
PQ c/l C/3 <0 •5b s
<-> íí< <11 C/l
S s
M <U
CQ
T e n d ê n c ia s e
. . u a; <ü ^ c3 s
o 9x ■-( Cm
<u O ,<U CF 5
U T3 H .s ^ M
O
PQ
p e r s p e c t iv a s n a
SC S
CC 05 f5 ^ Tm
•C - f i ^5 2 fí *s
Cd Cd 05 .D CCS Cd
s s s t s z a v a lia ç ã o d e

p o lít ic a s e

p ro g ra m a s

s o c ia is

lE a
PU C
S P
o recente reco n h ecim en to da im p o rtâ n c ia e a
conseqüente valo rização da avaliação de políticas e
prog ram as sociais esconde alg u m as a rm a d ilh a s .
A m a is p reocupante delas é pen sar a avaliação sob
os efeitos da sedução tecnológica, u m a vez que, à
sua eficiência e eficácia im e d ia ta s , não corresponde
n ece ss a ria m en te u m com prom isso efetivo com a
re a l m e lh o ria da q u a lid a d e de v id a dos cidadãos
beneficiário s de program as e serviços públicos.

Os ensaios deste livro são fru to da reflexão de pes­

quisadores exp erien tes n a fo rm u lação e execução
de projetos de avaliação de políticas e program as
sociais, reunid os no S e m in á rio de A valiação de
Políticas Públicas e P rogram as Sociais, ocorrido em
2 0 00 . Os textos fo ra m agrupados e m três grandes
conjuntos, e m função do tip o de abordagem
re a liza d a : e m p rim e iro lugar, quadros teóricos das
tend ên cias n a pesquisa avaliativa; e m segundo
lu gar, reflexões com base e m pesquisas avaliativas
realizad as; e, por fim , desenhos de sistem as de
m o n ito ra m e n to e avaliação.

Este livro in teressará a todos aqueles que, de a lg u m

m odo, estão envolvidos com a elaboração, execução,
m o n ito ra m e n to e avaliação de políticas públicas,
no â m b ito da ação pú b lica ou privad a, e que se
c o n fro n ta m com o constante desafio da gestão da
á rea social. C om m ais esta publicação, o lEE/PUC-SP
re a firm a seu com prom isso ético com a real m e lh o ria
da q u a lid a d e de v id a dos cidadãos brasileiros.
T e n d ê n c ia s e

p e r s p e c t iv a s n a

a v a lia ç ã o d e

p o lít ic a s e

p ro g ra m a s

s o c ia is

lE a
PU C
S P
Maria Cecília Roxo Nobre Barreira e
Maria do Carmo Brant de Carvalho (Orgs.)

TENDÊNCIAS E PERSPECTIVAS NA AVALIAÇÂO DE POLÍTICAS E

PROGRAMAS SOCIAIS

Sônia Miriam Draibe

Marta Tereza da Silva Arretche
Judy Baker
Jean Hébrard
Elba Siqueira de Sá Barretto / Regina Pahim Pinto
Maria do Carmo Brant de Carvalho / Denise Blanes
Mariangela Belfiore Wanderley / Denise Blanes
Nabil Bonduki

Dados Internacionais de Catalogação na Publicação (CIP)

(Câmara Brasileira do Livro, SP, Brasil)

Maria Cecília Roxo Nobre Barreira, Maria do Carmo Brant de Carvalho (Orgs.)

Tendências e perspectivas na avaliaçâo de políticas e programas sociais /

Orgs. Maria Cecília Roxo Nobre Barreira, Maria do Carmo Brant de Carvalho. -
Sào Paulo: lEE/PUC-SP, 2001.
224 p .: 23 cm

1. Política social - Avaliaçâo 2. Renda Mínima - Programa - Avaliação 3.

Organizações não-govemameniais 4. Politica e educação 5. Política habitacional
- Avaliaçâo I. Barreira, Maria Cecília Roxo Nobre. II. Carvalho, Maria do Carmo
Brant de. lli, instituto de Estudos Especiais - Pontificia Universidade Católica de
São Paulo.

ISBN: 85-86894-18-4

CDD
3 6 1 .6 1

Créditos de produção e edição

Projeto g r á f ic o e editoração eletrônica de c a p a e m io lo

Homem de Melo & IVoia Design
Revisão de originais
Tereza Maria Lourenço Pereira
Digitação e correções
Carla Marques Li-Volsi
Tiragem
2000 exemplares
Impressão
Cromosete Gráfica e Editora Ltda

Este livro teve o apoio do Banco Itaú S.A.

 S u m á r io

A presentação
Maria do Carmo Brant de Carualho e M aria Cecília Roxo Nobre Barreira

Avaliação de im p le m e n ta çã o: esboço de u m a
m e tod o lo gia de tra b a lh o em política s p úb licas
Sônia M iriam Draibe

U m a co n trib u içã o para fazerm os avaliações

m enos ingênuas
Marta Tereza da Silua Arretche

A valian d o o im p a cto de pro jeto s e m d ese n volvim e nto

vo ltad o s à pobreza
Judy Baker

A valiação dos sistem as educativos e avaliação dos

re sultados escolares dos alunos
Jean Hébrard

A valiação de program as educacionais: indagações

m etodológicas e dissem inação de resultados
Elba Siqueira de Sá Barretto e Regina Pahim Pinto

S istem a de m o n ito ra m e n to e avaliação im p le m e n ta d o

p o r u m a organização do terceiro setor: o caso da Ação
C o m u n itá ria do Brasil
Maria do Carmo Brant de Carualho e Denise Blanes

M o n ito ra n d o a im p la n ta çã o de u m program a social

Mariangela Belfiore W anderley e Denise Blanes

U m a m e tod o lo gia para a va lia r program as de habitação

N abil Bonduki
-2
s ^2
«ü •>-'

gg
ce co
u CQ
o; Q)

ti ^

fis
gê
Î3 «*
(C
u ^
o OJ
T3 U
CO co
• l- l * pn
>-4 IM
CO co
s s A p re s e n ta ç a o
MARIA DO CARMO BRANT DE CARVALHO é doutora em Serviço Social pela
Pontifícia Universidade Católica de São Paulo e pós-doutorada em Serviço Social
Aplicado pela École des Hautes Études en Sciences Sociales de Paris. Atua como
professora no Programa de Pós-Graduação em Serviço Social da Pontifícia
Universidade Católica de São Paulo. Membro do Conselho Nacional da Comunidade
Solidária da Casa Civil da Presidência da República do Brasil, é autora de vários tra­
balhos publicados.

MARIA CECÍLIA ROXO NOBRE BARREIRA é doutora em Serviço Social pela Pontifícia
Universidade Católica de São Paulo, com aperfeiçoamento em Avaliação de Políti­
cas e Programas Sociais no University Center for Social and Urban Research da Uni­
versity of Pittsburgh na Pensilvânia — Estados Unidos. Consultora de organizações
sociais na elaboração de sistemas de monitoramento e avaliação, é autora de vários
trabalhos publicados.
o In s titu to de Estudos Especiais — lEE vem buscando, em sua h is tó ria
recente, executar, re fle tir e p u b lic iz a r pesquisas, estudos e debates sobre
a gestão de p o lític a s p ú b lic a s e, p a rtic u la rm e n te , sobre a q ue stão da
avaliação de p olítica s e program as sociais.

O lEE, neste e m p re e n d im e n to , envolve o u tro s ce n tro s de pesquisas e i n ­

te rve n çã o n o â m b ito das p o lític a s sociais. A ssim , p ara e s tu d a r e disse­
m in a r o co n h e cim e n to a cu m u la d o no cam po da avaliação, nosso te m a
em foco, rea lizo u em 1996 u m p rim e iro sem inário, em c o n ju n to com o
NEPP — N úcle o de Estudos de Políticas Públicas — , da U niversidade de
C am pinas, e a Fundap — Fundação do D ese nvo lvim e nto A d m in is tra tiv o
do G ovem o do Estado de São Paulo.

O sucesso deste p rim e iro debate (que fo i p u b lic a d o e já está n a sua 2°

edição) e n tu s ia s m o u -n o s a realizar, em 2000, u m segundo s e m in á rio
sobre a valiaçã o de p o lític a s e p ro g ra m a s sociais na P o n tifíc ia U n iv e rs i­
dade C a tó lica de São Paulo, em que se a lia ra m duas organizações de
p esquisa e in te rv e n ç ã o : o Cenpec — C en tro de Estudos e Pesquisas em
Educação, C u ltu ra e A ção C o m u n itá ria e Cedac — C en tro de Estudos e
D o c u m e n ta ç ã o p a ra A ção C o m u n itá ria .
N a p rim e ira fase, ocorrida em ju n h o de 1995, p a rtiu -se da seguinte h ip ó ­
tese: “N âo h á a inda no Brasil u m a sistem atização das concepções, te n d ê n ­
cias e m etodologias de avaliação para a fe rir processos, resultados e im ­
pactos n o cam po das políticas e program as sociais” . Em 2000, a ênfase
m anteve-se na busca de apreender e re fle tir sobre a p a u ta da pesquisa
a v a lia tiva e os conceitos m etodológicos aí presentes. 0 foco fo i n o desvela-
m e n to das inovações ocorridas nestes ú ltim o s anos na área da avaliação.

A h ip e rv a lo riz a ç ã o recente da avaliação de p o lític a s e p ro g ra m a s so­

ciais pode nos le v a r a c a ir em a rm a d ilh a s. A p rim e ira e a m a is p re o ­
c u p a n te delas é de p en sa r a quela avaliação ce ntrad a na sedução te c ­
n o ló g ica , que acaba p o r expressar a ação n a sua e fic iê n c ia e e ficácia
im e d ia ta s , sem u m co m p ro m isso in te n c io n a l co m a rea l tra n s fo rm a ç ã o
e m e lh o ria da q ua lid ad e de v id a dos cidadãos b en eficiários de p rogram as
e serviços p ú b lico s.

Nesse p ata m a r, a avaliação se espelha na reificação de indicadores e

índices de eficiência e eficácia, despolitizando a p ró p ria ação. Em outras
palavras, os indicadores apresentam -se com o m edidas reificadas de valor,
in s tru m e n to s de co ntrole dos agentes decisórios, quase com o cartões de
“apresentação de excelência té cnica ” das instituiçõe s, m as pouco pene­
tráveis e suscetíveis de se tra n s fo rm a re m em fe rra m e nta s de p od er e co n ­
tro le pelos cidadãos com uns usuários de program as e serviços.

É p re ciso in s is tir n o interesse p rim e iro deste debate:

• A avaliaçã o não te m u m v a lo r em si, não s u b s titu i a p o lític a ou p ro ­

g ra m a nos processos e re su lta d o s que m ove e persegue.
• A avaliaçã o é o p o rtu n id a d e de re fle xã o c rític a da ação e p o s s ib ilid a ­
de de d is p u ta e c o n q u ista dos re su lta d o s idealizados.
• A avaliaçã o é im p e ra tiv o ético, d esco n stró i e re c o n s tró i a p o lític a ou
p ro g ra m a na sua in te n c io n a lid a d e , re su lta d o s e efeitos na a lte ra çã o
da q u a lid a d e de v id a — e n q u a n to proteção, in c lu s ã o e c id a d a n ia —
dos e n vo lvid o s na ação p ú b lica .

N este liv ro , p u b lic a m o s te xto s elaborados pelos pesquisadores, que

os a p re s e n ta ra m no S e m in á rio de A valiação de Políticas e Program as
Sociais, re a liza d o em 17 e 18 de agosto de 2000. A seqüência em que se
a p re se n ta m nos leva a u m a p ro fu n d a m e n to do te m a avaliaçã o p o r três
p e rspe ctivas: u m a p rim e ira , te ó ric a /c o n c e itu a i/m e to d o ló g ic a das te n ­
dências n a pesquisa a va lia tiva ; u m a segunda, que reve la e studos e c o n ­
clusões re fle x iv a s co m base em pesquisas a v a lia tiv a s rea liza da s; e u m a
terceira, que apresenta o desenho de sistem as de m o n ito ra m e n to e ava­
lia çã o nas fases de e laboração e im p le m e n ta ç ã o .

S ônia M iria m D ra ibe apresenta, em seu te x to , co nce itos in s tru m e n ta is

e u m a m e to d o lo g ia de tra b a lh o c o n s tru íd a na sua tra je tó ria de “ quase
duas décadas e a lg u m a s dezenas de pesquisas de avaliaçã o de p ro g ra ­
m as so cia is” n o N ú cle o de Estudos de Políticas P úblicas da U n ic a m p .
Enfoca três te m a s ce n tra is: as p re fe rê n cia s e decisões do a v a lia d o r n a
a valiaçã o de p o lític a s p ú b lic a s q u a n to aos o bjetivos, a n a tu re z a e o tip o
de a valiação; os in d ica d o re s básicos das pesquisas de avaliaçã o de
processos e de im p a c to s ; e, fin a lm e n te , a busca de m o d e lo s a n a lític o s
p a ra as avaliações de processos, co m a p ro po sta , pela a u to ra , de u m a
p a r tic u la r a lte rn a tiv a de avaliação destes.

M a rta A rre tc h e , co m sua e xp e riê n cia a c u m u la d a co m o a v a lia d o ra de

p o lític a s e p ro g ra m a s sociais e co m o professora de C iência P olítica da
U nesp — campus de A ra ra q u a ra , tra z p ara o liv ro “u m a c o n trib u iç ã o
p a ra fa ze rm o s avaliações m en os in g ê n u a s ” , c e n tra n d o -s e n a a valiaçã o
da im p le m e n ta ç ã o que co rresponde a u m a fase da “v id a ” de u m p ro g ra ­
m a. Segundo a a u to ra , p ara o a v a lia d o r “é fu n d a m e n ta l te r em m e n te
que a im p le m e n ta ç ã o m o d ific a o desenho o rig in a l das p o lític a s , pois es­
ta o co rre em u m a m b ie n te ca ra cte riza d o p o r c o n tín u a m u ta ç ã o ; m a is
do que isto, devem le va r em conta que os im p le m e n ta d o re s é que fa zem
a p o lític a , e a fa ze m segundo suas p ró p ria s re fe rê n c ia s ” . D aí a im p o r ­
tâ n c ia do te m a abordado.

T ive m o s a p re ocu pa ção de b u s c a r a in te rlo c u ç ã o co m p ro fis s io n a is n a

área da avaliaçã o em o u tro s países. Do Banco M u n d ia l, co n v id a m o s
Judy Baker, e c o n o m ista responsável p ela área da A m é ric a L a tin a e C a­
rib e e a u to ra de u m liv ro p u b lica d o recentem ente. Avaliando o impacto de
projetos em desenvolvimento uoltados à pobreza. Em seu texto, Judy Baker
aprese nta u m re s u m o dos te m a s p rin c ip a is de seu liv ro ,, in c lu in d o :
co n ce ito s e m étodos, q u a n tita tiv o s e q u a lita tiv o s , p ara avaliação de im ­
p acto ; etapas do p ro je to e sua execução; lições a p ren did as e exem plo s
de e studos de caso de avaliações de efeitos de “p ro c e d im e n to s ó tim o s ” ,
in c lu i ta m b é m a q uestão de custos e fin a n c ia m e n to s .

Jean Hébrard, inspetor-geral da educação n acional do M in isté rio da Educa­

ção N acio na l da França e professor associado ao Centro de Pesquisa sobre
o Brasil C ontem porâneo na École des Hautes Études en Sciences Sociales
de Paris, analisa dois casos p a rticu la rm e n te contrastantes que colocam ,
“de m a n e ira evidente, a questão do estatuto das avaliações nos sistemas
educativos”. 0 p rim e iro é o caso brasileiro do Programa Escola que Vale, do
q u a l 0 a u to r é u m avaliador extem o. Tal Programa te m p o r o bjetivo a m e ­
lh o ria do desem penho de escolas públicas em q ua tro Estados do Brasil,
envolvendo a Fundação Vale do Rio Doce e o C entro de Estudos e D ocu­
m entação para Ação C o m u n itá ria — Cedac. 0 segundo exem plo refere-se
à im plem en ta ção , na França, de u m a le i que o rie n ta a avaliação p e rm a ­
n ente de políticas públicas de educação. 0 a u to r ressalta a im p o rtâ n c ia da
avaliaçã o co m o fa to r que regula de m o d o p e rm a n e n te as ações das p o ­
lític a s p úblicas de educação, especialm ente a avaliação da eficácia das es­
colas, envolvendo alunos e professores. A avaliação deve ser colocada a
serviço da consolidação da real eficácia do in ve stim e n to educativo.

A in d a n a área da educação, Elba Siqueira de Sá B arretto, p rofessora da

Faculdade de Educação da USP e pesquisadora da Fundação Carlos C ha­
gas, e Regina P ahim Pinto, ta m b é m da Fundação C arlos Chagas, a p re ­
se n ta m u m e stud o sobre avaliação de p ro gram a s educacion a is que se
baseia em u m le v a n ta m e n to dos artigos e nco ntra do s em dez das p rin c i­
pais publicações científicas da área da educação no período de 1990 a
1998. U m a das constatações das a uto ra s é de que a avaliação in te n c io ­
n a l de a lg u m a s ações g ove rn am en ta is, no cam po da educação, te m se
in te n s ific a d o a p a r tir dos anos 80, a inda prevalecendo, no e n ta n to ,
“g randes vazios de in fo rm a ç ã o e re fle x ã o ” sobre os p ro gram a s e d u ca ­
cion ais b rasileiros. As p olítica s educacionais do país são elaboradas sem
q ue se te n h a u m a visão dos resu ltad os a cu m u la d o s de e xpe riê ncias a n ­
te rio re s e dos seus im p actos.

M a ria do C arm o B ra n t de C arvalho, professora do Program a de Pós-

O
G raduação em Serviço Social da P o n tifícia U n iv e rs id a d e C a tó lica de São
Paulo e c o o rd e n a d o ra -g e ra l do C en tro de Estudos e Pesquisas em E du­
cação C u ltu ra e Ação C o m u n itá ria — Cenpec, e Denise Blanes, p e s q u is a ­
dora do In s titu to de Estudos Especiais — lEE da PUC-SP, a p re s e n ta m a
co n stru çã o de u m “siste m a de m o n ito ra m e n to e avaliaçã o im p le m e n ­
ta d o p o r u m a o rg an izaçã o do te rce iro setor: o caso da A ção C o m u n itá ­
ria do B ra sil — ACB” . As a u to ra s d estacam a “in ic ia tiv a in o v a d o ra e c o ­
ra jo sa ” da ACB na im p la n ta ç ã o de a valiação de re s u lta d o s e im p a c to s .
“A ACB, ao se p ro p o r a a v a lia r suas ações, está in tro d u z in d o n a agenda
do T erceiro Setor u m novo m o d o de gestão da ação p riv a d a c o m fin s p ú ­
b lico s.” C o n trib u i p ara o que h o je se d e n o m in a accountability, ou seja, a
necessária p re staçã o de co nta s à sociedade, aos s u je ito s e n v o lv id o s e
ao b e n e fic iá rio sobre as p rio rid a d e s p o lític a s e re s u lta d o s a tin g id o s.

N o c o n te x to da gestão so cial m u n ic ip a l, M a ria n g e la B e lfio re W anderley,

vice -co o rd e n a d o ra do Program a de Pós-G raduação em Serviço Social da
PUC-SP e d ire to ra do lEE, e Denise Blanes, pesquisadora do lEE da PUC-SP,
m o n ta ra m , e m c o n ju n to co m a P re fe itu ra de Santo A n d ré , u m siste m a
de a va lia çã o do P rogram a de Renda M ín im a d e se n vo lvid o p o r esse m u ­
n ic íp io p a u lista . 0 processo de elaboração do sistem a e n fre n ta aspectos
d e sa fia n te s p o r d ific u ld a d e s na d e fin içã o dos in d ic a d o re s a v a lia tivo s,
escassez de dados, e s p e cia lm e n te aqueles a n te rio re s à im p le m e n ta ç ã o
do p ro g ra m a , b e m co m o ausência de u m siste m a in fo rm a tiz a d o que dê
a g ilid a d e às in fo rm a ç õ e s necessárias ao m o n ito ra m e n to do p ro g ra m a .
O e n fre n ta m e n to de ta is d ific u ld a d e s e a d iv u lg a ç ã o dessas pesquisas
a va lia tiv a s g era m u m saber que se a c u m u la na a valiaçã o de p ro g ra m a s
sociais.

N a b il B o n d u ki, a rq u ite to , u rb a n is ta e p ro fe s s o r do D e p a rta m e n to de

A rq u ite tu ra e P la n e ja m e n to da Escola de E n ge n ha ria de São C arlos —
USP, é o co o rd e n a d o r de u m tra b a lh o a rtic u la d o da a ca d e m ia c o m o
p o d e r p ú b lic o e co m vá rio s segm entos organ izad os da sociedade c iv il,
0 q u a l visa a v a lia r e a p e rfe iç o a r os p ro g ra m a s de h a b ita ç ã o e sa ne a ­
m e n to . Em seu te xto , a prese nta a p ro p o sta p re lim in a r de “u m a m e to d o ­
log ia de avaliaçã o in é d ita n o país, u m a vez que os p ro g ra m a s de h a b i­
ta ção e sa ne am en to , ao c o n trá rio dos p ro g ra m a s sociais (saúde, edu-
cação e assistência), n ão tê m sido o bjeto de avaliações globais, que
fic a m re s trita s , se ta n to , a aspectos específicos ou a estudos de caso” .
Ressalta-se, m ais u m a vez, a preocupação dos fo rm u la d o re s de p o lítica s
e de program as sociais em aprim orar, va lo riza r e d iv u lg a r suas ações, pela
im p la n ta ç ã o de u m siste m a de p la n e ja m e n to e avaliação co m p ete n te.

Pela le?|ura dos textos, podem os v e rific a r o q u a n to c a m in h a m o s co m

re fe rê n c ia à s iste m a tiza çã o de m eto d o lo g ia s a va lia tiv a s e à c o n s tru ç ã o
de desenhos de sistem as de m o n ito ra m e n to e avaliação rad ica d os em
nossa rea lid ad e, nesses ú ltim o s q u a tro anos que separam a rea liza ção
dos dois S e m in ários de Avaliação. 0 se n tid o de nosso e m p e n h o n a p u ­
b lica çã o deste liv ro é, p o rta n to , d a r c o n tin u id a d e e in c e n tiv a r a re fle x ã o
e 0 debate n o ca m p o da avaliação de p o lític a s e p ro gram a s sociais.
A v a lia ç ã o d e

im p le m e n t a ç ã o ;

esboço de u m a

m e to d o lo g ia d e
tr a b a lh o e m

p o lít ic a s p ú b lic a s
SÔNIA MIRIAM DRAIBE é livre-docente em Ciência Política, professora-adjunta e
pesquisadora do Instituto de Economia da Universidade de Campinas — Unicamp e
do Núcleo de Estudos de Políticas Públicas — NEPP, da Unicamp; seus campos princi­
pais de investigação têm sido as Políticas Públicas e as Políticas Sociais. É autora de
vários trabalhos publicados.
IN T R O D U Ç Ã O

Registro, neste texto, alguns conceitos instrumentais e, sobretudo, uma

metodologia de trabalho decantada em quase duas décadas e algumas de­
zenas de pesquisas de avaliação de programas sociais que venho condu­
zindo no Núcleo de Estudos de Políticas Públicas — NEPP, da Unicamp.’ Uso
deliberadamente a expressão metodologia de trabalho por dois motivos. Em
primeiro lugar, porque, mais do que examinar e confrontar conceitos e al­
ternativas metodológicas, trato aqui de indicar, com muita liberdade teóri­
ca e conceituai, um instrumental analítico simples, mas que, no entanto,
tem mostrado razoável eficácia e consistência sobretudo quando utilizado
como ferramenta auxiliar de pesquisas de alguma robustez. Em segundo
lugar, porque deliberadamente considero no texto pelo menos três etapas
ou planos do trabalho de pesquisa, quais sejam: o das preferências e esco­
lhas iniciais do investigador; o dos indicadores básicos das pesquisas de
avaliação de impactos e de processos; finalmente, uma particular alterna­
tiva de avaliaçâo de processos por m im elaborada. Ora, esses planos reme­
tem m uito mais a um modo de trabalhar do que a uma reflexão sistemá­
tica sobre as alternativas conceituais e metodológicas neles implicadas.

O
o objetivo do trabalho é também modesto. Visa auxiliar todos aqueles
que. como eu. têm enfrentado as recorrentes dificuldades de formulação
e elaboração dos projetos de avaliação de políticas e programas sociais.
Como se sabe. no campo da análise de políticas públicas há pouco con­
senso acerca de conceitos básicos, o que obriga o analista a declarar, de
início, suas preferências e escolhas, até mesmo para ser entendido. Ora,
esse entendimento inicial é decisivo em qualquer pesquisa, seja para de­
fin ir o terreno comum sobre o qual trabalhará a equipe, seja para garan­
tir uma boa compreensão quando os resultados são divulgados.

Sintetizando leituras, elaborações próprias e experiências de longos anos,

os conceitos, os modelos de análise e os parâmetros aqui definidos am-
param-se na ampla literatura nacional e internacional relativa ao tema.
Beneficiaram-se, sobretudo, da colaboração dos vários pesquisadores
com quem tive a sorte de trabalhar ao longo desses anos.

AVALIAÇÕES DE POLÍTICAS PÚBLICAS:

PREFERÊNCIAS E DECISÕES DO AVALIADOR

Estudos, pesquisas e atividades de avaliação de políticas apóiam-se em

um conjunto de decisões, conscientes ou nâo, tomadas pelo avaliador no
início e ao longo do seu trabalho. É o conjunto dessas opções e preferên­
cias que definirá os objetivos, a natureza e o tipo de avaliação, assim como
0 plano privilegiado de estudo do objeto eleito. Táis escolhas integram o
que, com alguma liberdade, se pode denominar estratégia de aualiação, con­
ceito que, entretanto, abrange também as decisões metodológicas enca­
minhadas pelo avaliador e apontadas no desenho da investigação.

OBJETIVOS, NATUREZA E TIPOS DE AVALIAÇÕES

O avaliador de políticas públicas enfrenta, de início, as decisões acerca

dos objetivos e do tipo de pesquisa que realizará, bem como do recorte
programático da intervenção que pretende avaliar.

O
Políticas, P rogram as, Projetos; Recortes P rogram áticos "P rá tic o s "

A pesquisa de avaliação aqui tratada é aquela que tem como objeto

uma dada intervenção na realidade social, uma política pública, entendi­
da então como a que se desenvolve em esferas públicas da sociedade —
e não no plano privado e interno das instituições ou organizações da
sociedade. Políticas dessa natureza não se restringem, portanto, apenas
às políticas estatais ou de govemo, podendo abarcar, por exemplo, polí­
ticas de organizações privadas ou não-govemamentais de quaisquer t i ­
pos, sempre e quando preservado o caráter público acima referido.

O senso comum e algumas velhas lições de administração, teoria de

organização ou técnicas de planejamento distinguem, em graus decres­
centes de abrangência, políticas, programas e projetos. Tomemos um
exemplo da política pública governamental brasileira. Se nos referimos à
política educacionai como o conceito mais abrangente da intervenção na
educação, o programa da merenda escolar constitui uma entre as tantas
ações em que se desdobra aquela política, enquanto o projeto de descen­
tralização do programa da merenda escolar constituiria uma unidade ain­
da menor de açào, entre as que integram o programa da merenda.

Entre as decisões prévias do avaliador, está a de identificar o recorte

programático do seu objeto. Seria a política? Um ou mais programas, no
interior de uma dada política? Um projeto? Teoricamente, pode-se avaliar
tudo, desde a mais restrita até a mais abrangente das políticas, contan­
to que se disponha dos recursos intelectuais, materiais e metodológicos
para fazê-lo. Mas é sempre bom ter em mente que avaliações rigorosas de
intervenções complexas e abrangentes são difíceis. Em geral, os concei­
tos referidos neste trabalho mostram-se m uito mais adequados a pro­
gramas e projetos do que a complexas políticas públicas.

O bjetíu os d a A v a lia ç ã o

Avaliações de políticas e programas respondem a distintos objetivos.

Desde logo, há objetivos de conhecimento: levantadas certas hipóteses,
pesquisa-se um dado programa para conhecer a relação entre condi­
ções, meios, resultados e impactos da intervenção. É por isso, aliás, que
utilizam os aqui a expressão pesquisa de aualiação, e não simplesmente
aualiação, preservando e enfatizando o suposto de que é um novo co­
nhecimento que será produzido por meio de investigação que observa
os cânones científicos mínimos.

As pesquisas de avaliações respondem, contudo, também a objetivos

de verificação de eficácia, de eficiência e de accountability das ações.
Com efeito, é legítimo, embora não tão freqüentemente quanto se al­
mejaria, que os responsáveis pelo programa — ou seus beneficiários, oú
os demais grupos de interesse a ele relacionados — perguntem-se acer­
ca da pertinência do seu custo ou da eficácia de suas ações. Nisso, po­
dem estar movidos pelos mais distintos interesses: reduzir custos, usar
mais adequadamente os recursos ou, enfim, prestar contas à sociedade
do uso dos recursos. Objetivos mais imediatos podem ainda impor-se à
avaliação, tais como os de detectar dificuldades e obstáculos e produzir
recomendações, as quais possibilitem, por exemplo, corrigir os rumos
do programa ou disseminar lições e aprendizagens.

São objetivos dessa natureza que fazem da pesquisa de avaliação de polí­

ticas públicas uma pesquisa interessada ou. como se diz no jargão da área,
policy oriented, já que também busca detectar obstáculos e propor medidas
de correção e alteração de programas, visando à melhoria da qualidade do
seu processo de implementação e do desempenho da política.

Os dois grupos de objetivos não são excludentes. Ao contrário, é m uito

freqüente que apareçam de forma combinada, em cada pesquisa de
avaliação, predominando um ou outro grupo, de acordo com as pers­
pectivas e decisões do avaliador ou do proponente da avaliaçâo. Mas
esses objetivos também não se alcançam automaticamente, mesmo
quando conscientemente escolhidos pelo avaliador. Por exemplo, obje­
tivos de conhecimento dificilm ente são alcançados se a investigação
não conta com base teórica e hipóteses adequadas ou não se assente
em metodologias capazes de garantir a confiabilidade dos resultados.
Tampouco se pode pensar, por exemplo, que recomendações de p o líti­
cas constituam um desdobramento automático de qualquer pesquisa
de avaliaçâo: exigem pelo menos o exame sistemático e o confronto das
alternativas, não necessariamente contemplados na pesquisa inicial.
T ip o e N a tu re z a das AualíaçÕes

O tipo e a natureza de uma dada pesquisa de avaliação são definidos em

um campo bastante complexo de alternativas, referentes, cada uma de­
las, a distintas dimensões, momentos e etapas do programa ou da políti­
ca que se pretende avaliar. Sem nenhuma pretensão de abarcar todas as
possibilidades, vamos nos referir aqui às distinções mais comuns.

A relação temporal entre o programa a ser avaliado e a pesquisa de ava­

liação propriam ente dita perm ite fazer a clássica distinção entre dois
tipos: avaliações ex ante e avaliações ex post.

Avaliações ex ante precedem o início do programa, ocorrendo em geral

durante as fases de sua preparação e formulação: também referidas como
avaliações-diagnóstico, são realizadas para apoiar decisões finais da for­
mulação. atendendo a um ou dois de seus objetivos:

• produzir orientações, parâmetros e indicadores que se incorporem

ao projeto, melhorando seu desenho e suas estratégias m etodológi­
cas e de implementação;
• fixa r um ponto de partida que perm ita comparações futuras (linha
de base ou tempo zero).

As avaliações ex post sâo feitas concomitantemente ou após a realiza­

ção do programa (Cepal, 1998a. p.l6), também com duplo objetivo:

• verificar os graus de eficiência e eficácia com que o programa está

atendendo a seus objetivos;
• avaliar a efetividade do programa, ou seja. seus resultados, impactos
e efeitos.^

Quanto à natureza, as avaliações distinguem-se entre avaliação de re­

sultados e avaliação dc processo.

É comum e freqüente que se queira saber, dos programas, se estes cum ­

priram seus objetivos. Na verdade, é mais do que isso: quer-se saber o
quanto e com que qualidade seus objetivos foram cumpridos. A pes­
quisa de avaliação que poderá responder adequadamente a essa per­
gunta é a aualiação de resultados, no sentido amplo.

Já as aualiaçõcs de processo têm como foco o desenho, as características

organizacionais e de desenvolvimento dos programas. Seu objetivo é fun­
damentalmente detectar os fatores que, ao longo da implementação, fa­
cilita m ou impedem que um dado programa atinja seus resultados da
m elhor maneira possível.

Exploremos um pouco mais esta distinção entre avaliação de resulta­

dos e avaliação de processos.

AVALIAÇÕES DE RESULTADOS OU IMPACTOS

Há uma certa confusão provocada, na língua portuguesa, pelo uso pouco

preciso da noção de resultado. Com efeito, tomados na sua acepção am­
pla, os resultados de um dado programa abrangem coisas diversas, que
aqui denomino, na falta de melhor alternativa, como resuitodos propria­
mente ditos, impactos e efeitos. Estou certa da conveniência de distinguir tais
noções, até porque são m uito distintos os indicadores mais adequados
para aferir cada um desses níveis de realização dos programas.

Para facilitar a compreensão, vejamos, no Quadro 1, alguns exemplos

dessa diferenciação.

QUADRO 1 • DISCRIM INAÇÃO DOS TIPOS DE RESULTADOS DE PROGRAMAS: EXEMPLOS

1Hpos de Resultados (sentido amplo) |

Desempenho ou Resultados
Programas (sentido estrito) 1Impactos Efeitos

• Melhora do nível de
• % de cumprimento das metas jvariação da ,
informação em saúde
Vadnação • N? vadnas aplicadas ftaxa de ^
da população
antipólio • Cobertura (% da população- knddênda dei
• Graus de satisfação dos ]
alvo vacinada) [poliomielite
_pais j
• Variação da taxa de 1
• Quantidade de litros de leite; Variação da mortalidade infantil
Leite para
distribuída / mês taxa de • Melhora da capaddade
crianças
• Cobertura (% crianças que \ desnutrição institudonal em tecno­
desnutridas
receberam o leite) | infantil logia de distribuição dei
1 alimentos
1
•Cobertura (% de alunos que
recebem a merenda) Melhora do '
Merenda • Valores calóricos e protéicos i perfil n utri­ • Melhora do desem--
penho escolar dos
escolar ingeridos por aluno cional dos alunos
• Quantidade de refeições/ alunos !
dia distribuídas
. _4 j
Três programas, na primeira coluna, foram tomados como exemplo. A l­
guns de seus “resultados” estão exemplificados na segunda coluna. Muito
sumariamente, pode-se dizer que os resultados (no sentido estrito) são
os “produtos" do programa, previstos em suas metas e derivados do seu
processo particular de “produção". Costuma-se também utilizar o termo
desempenho para indicar resultados em sentido estrito (outcomes). No caso
da merenda escolar, sâo exemplos de seus resultados a quantidade de
refeições distribuídas, os valores calóricos e protéicos adicionados à dieta
diária dos alunos ou. enfim, a quantidade de alunos que a receberam.

Já os impactos referem-se às alterações ou mudanças efetivas na realidade

sobre a qual o programa intervém e por ele são provocadas. A terceira co­
luna do quadro nos diz que. de um programa de vacinação antipólio, por
exemplo, o impacto esperado será a redução da incidência da poliomielite.

Finalmente, os efeitos referem-se a outros impactos do programa, espera­

dos ou nâo, que afetam o meio social e institucional no qual se realizou.
No caso da vacinação antipólio. o aumento do nível de informação da po­
pulação em geral acerca da enfermidade pode ser um dos efeitos do
programa: ou também o grau de satisfação dos pais com a organização
do evento, ou, enfim, no plano institucional, a m elhor capacitação dos
agentes para executar ações de campanhas de vacinação.

Uma mesma pesquisa de avaliação pode avaliar, simultaneamente, os três

tipos de resultados (em sentido amplo). Na maioria das vezes, infelizmente,
limitam-se a identificar o primeiro grupo, o do desempenho do programa.

Podemos completar as definições anteriores com um rápido exame dos

tipos de indicadores com que se pode avaliar resultados, impactos e
efeitos. Aponto também — perdoem-me pelo didatism o — as pergun­
tas que devem ser respondidas pelo avaliador, quando se dispõe a ava­
lia r cada um daqueles planos de resultados.

RESULTADOS: COM QUE INDICADORES AVALIAR?

Cada tipo ou grupo de resultados (no sentido amplo) será m elhor ava­
liado sempre que para tanto forem utilizados os indicadores adequa­
dos e os instrum entos corretos.

O
In d ic a d o re s de R esultados ou Desem penho

Desempenho ou resultados de um dado programa são aferidos por

meio de indicadores que medem os graus, as quantidades e os níveis de
qualidade com que as metas programáticas foram cumpridas. Ou seja,
podem ser estimados ou medidos por indicadores que confrontam ob­
jetivos e metas, de um lado, e por realizações alcançadas pela ativi-
dade-fim, de outro.

A proporção das metas realizadas e de cumprimento do planejado ou

os índices de cobertura da população-alvo são típicos indicadores de
resultados. O nível de focalização do programa sobre os públicos-alvo
pretendidos também constitui um bom indicador de resultados.

Perguntas básicas do auaíiador — Esquematicamente, as perguntas p rin ­

cipais que o avaliador trata de responder, neste plano, podem ser assim
exemplificadas: O programa realizou os objetivos pretendidos? Atingiu
os grupos-alvo que pretendeu atingir? Cumpriu, e em que níveis de
quantidade e de qualidade, as metas propostas?

In d ic a d o re s de Im p a c to e, a p ro p ó s ito , m a is u m a Classificação
d a s P esq uisa s de A v a lia ç ã o

Os indicadores de impacto são m uito mais difíceis de serem operados.

Vejamos por quê.’

De acordo com a definição anterior, as avaliações de impacto tratam de

m edir as “mudanças" pretendidas ou. caso se queira, os resultados mais
duradouros, verificados no grupo-objetivo. Pois bem. os indicadores de
impactos devem ser capazes de m edir os efeitos líquidos do programa
— e somente do programa — sobre a população-alvo.

Voltemos aos exemplos. No caso do programa de saúde, deverão esti­

m ar a variação das taxas de incidência e a prevalência da poliomielite.
No caso do programa do leite ou no da merenda escolar, deverão esti­
m ar as variações dos níveis de nutrição in fa n til ou do alunado.
Perguntas básicas do auaíiador — No caso dos impactos, as perguntas do
avaliador são principalmente as seguintes: 0 programa efetivamente pro­
duziu os resultados strito senso que pretendia alcançar? Afetou — e em que
medida e sentido — a característica da realidade que queria transformar?

Há exigências metodológicas que tom am complexa a tarefa de avaliação

de impacto. Uma delas é a definição da situação ou grupo de referência,
com 0 qual se compararão os impactos do programa. Com o que comparar?

Uma possibilidade é confrontar o sujeito consigo mesmo, mediante uma

comparação do tipo "antes — depois". Para tanto, é preciso dispor de
indicadores da situação ex ante, ou seja, é necessário elaborar um diag­
nóstico da situação anterior ao início do programa, com a qual seus
impactos serão comparados. 0 ponto de partida ou a baseline, aqui, é
crucial, ou não haverá avaliação de impacto possível. Por exemplo, so­
mente se poderá m edir o impacto nutricional da merenda escolar caso
se conheça o perfil nutricional do alunado antes e na ausência do pro­
grama. No caso da vacinação antipólio, o impacto de uma dada cam ­
panha somente poderá ser estimado se se dispuser de indicadores pre­
cisos de prevalência e incidência da poliom ielite antes da vacinação.

Nem sempre as avaliações desse tipo sâo exeqüíveis. Quando os progra­

mas são contínuos, rotineiros e universais — como é o caso dos programas
educacionais — é quase impossível determ inar o ponto inicial. Além
disso, avaliações diagnosticas são geralmente complexas e caras.

Quando não se processa nenhuma comparação, ou a comparação lim i­

ta-se ao tipo "antes — depois” descrito, a avaliação realizada enquadra-
se na fam ília das avaliações não experimentais. Ora. a confiabilidade
dos resultados depende dos métodos de seleção dos indivíduos a serem
comparados e tende a decrescer na medida em que se reduz o caráter
experim ental da pesquisa. Por essa razão, mesmo as avaliações não
experimentais não constituem as melhores alternativas de avaliaçâo
de impacto, seus resultados tendendo a se m ostrar limitados.

Há, no entanto, alternativas cientificam ente mais densas. É possível,

por exemplo, estimar impactos de um dado programa por meio da com­
paração entre seus participantes e seus não-participantes. O segundo
grupo operará, então, como grupo de controle, em relação ao qual serão
estimadas as diferenças da dimensão que se quer aferir.

Para que se cumpra o requisito básico das avaliações experimentais, os

membros tanto do grupo de participantes (grupo focalizado) quanto do
grupo de não-participantes (grupo de controle) devem ser aleatoriamente
selecionados, ambos os grupos apresentando similaridades nos seus a tri­
butos, seja em relação aos fatores observáveis, seja aos nào observáveis.

E se não for possível isolar, para comparação, um grupo de não-partici-

pantes?

Se o nosso campo fosse o das ciências exatas, poderíamos propor a

alternativa clássica: aplicar o programa para um grupo e, sim ultanea­
mente. deixar de aplicá-lo para o grupo de controle. Ora, isso nem sem­
pre é possível, nem eticamente recomendável. Nos nossos exemplos,
envolveria a suspensão da merenda escolar para um grupo, ou a vaci­
nação para outro! Em tais circunstâncias, a estratégia mais freqüente
é a trabalhar com tipos ou desenhos quase-experimentais de avaliação,
nos quais a comparação se faz com um grupo que opera como con-
trafactual ao programa, a sua seleção podendo se dar por distintas mo-
dalidades.‘ Supõe-se, ainda assim, que a aleatoriedade da seleção, em
cada um dos grupos, tenha sido observada.’

Nâo basta identificar bem o grupo de controle. A aferição dos efeitos lí ­

quidos de um programa implica, naturalmente, isolar e controlar todas as
variáveis — da mesma natureza ou de natureza distinta — que possam
interferir nos resultados tanto dos participantes quanto dos não-partici­
pantes. O suposto, aqui. é o de que a única diferença entre os dois grupos
seja a o impacto do programa que está sob avaliaçâo. Ora, o controle das
variáveis intervenientes nào é nada trivial. Vamos a alguns exemplos de
vieses que podem alterar ou contaminar os resultados.

A determinação do tempo transcorrido entre o fmal do programa e o

mom ento da avaliação é. quase sempre, um fator crucial, já que se
pode supor que quanto m aior for o período entre aqueles dois m om en­
tos, maiores serão as probabilidades de ocorrências de eventos que ve­
nham também afetar os resultados.

O
Outros vieses. se não controlados, podem afetar a comparação com o
grupo de controle, mesmo quando esse tenha sido selecionado por
critérios adequados. Por exemplo, no caso de um programa de leite para
crianças desnutridas, pode ocorrer que o grupo de controle esteja sendo
afetado, ou por um outro programa similar, ou mesmo por variações não
controladas na dieta alim entar doméstica. Em certos programas —
tomemos como exemplo um programa de capacitação para jovens — a
própria decisão de dele participar pode introduzir viés nos resultados. Ou
seja. na comparação entre os dois grupos, certas diferenças supostas
como impactos — por exemplo, estar empregado ou ter melhores rendi­
mentos — podem decorrer menos do treinamento obtido, antes do fator
motivação, em geral associado a outras caracteristicas dos sujeitos.

D ifícil ou nào. quando se quer produzir uma boa avaliação de impactos,

0 controle dessas variáveis é decisivo, de preferência por meio de m éto­
dos estatísticos que possam isolar e m edir o im pacto relativo de cada
um dos fatores que influenciam os resultados — por exemplo, a análise
m ultivariada, com técnicas de modelagem ou regressão logística.’

In d ic a d o re s de £ /e íto s

Como dissemos, os e/eitos de um dado programa referem-se a determ i­

nadas alterações — esperadas ou não. outras que não as especificamente
pretendidas — provocadas pelo programa e que, mais do que o próprio
grupo-alvo focalizado, afetam as instituições ou organizações partici­
pantes, os agentes que implementam o programa ou o meio social em
que este se realiza. Muitas vezes referidos como impactos indiretos, ten­
dem a abranger os efeitos mais duradouros do programa sobre:

• os agentes implementadores, a comunidade local e grupos p articu ­

lares de interessados na sua execução (e/eitos sociais);

• as instituições governamentais e não-govemamentais associadas à

sua im plementação (e/eitos institucionais).

Perguntas básicas também se impõem aqui. A implementação do progra­

ma logrou produzir, nas instituições envolvidas, alguma aprendizagem
institucional? Produziu melhora de suas capacidades institucionais (stcite
capabilities)? Estimulou ou criou condições para a continuidade, am plia­
ção ou m ultiplicação da experiência (sustentabiiidade)? As metodolo­
gias utilizadas puderam ou podem ser aproveitadas/transferidas para
outras experiências? Foram constatadas melhoras nas capacidades pro­
fissionais dos agentes da implementação, como resultado das ativida­
des desenvolvidas por eles próprios no interior do programa?

Passemos agora às avaliações de processo. Tblvez estejam aqui minhas

contribuições mais úteis.

AS AVALIAÇÕES DE PROCESSOS:
EM BUSCA DE MODELOS ANALÍTICOS

Permitam-me in icia r essas notas com uma imagem sobre as avaliações

de processos.

As políticas ou os programas têm vida. Nascem, crescem, transformam-

se, reformam-se. Eventualmente estagnam, às vezes morrem. Percorrem,
então, um ciclo vital, um processo de desenvolvimento, de maturação e.
alguns deles, de envelhecimento ou decrepitude. É este ciclo (ou alguns de
seus momentos) que constitui o objeto das avaliações de processos.

As políticas e os programas também têm, em contrapartida, carne e

osso, melhor, têm corpo e alma. Sâo decididas e elaboradas por pessoas,
são dirigidas às pessoas ou ao seu habitat, são gerenciadas e im ple­
mentadas por pessoas e, quando isso ocorre, são avaliadas também por
pessoas. Ora, as pessoas ou os grupos de pessoas que animam as p o líti­
cas, fazem-no segundo seus valores, seus interesses, suas opções, suas
perspectivas, que não são consensuais, nem m uito menos unânimes,
como sabemos. Ao contrário, o campo onde florescem as políticas e pro­
gramas pode ser pensado como um campo de força, de embates, de con­
flitos, que se sucedem e se "resolvem" ao longo do tempo.

Se for assim, as avaliações de processos serão ainda mais completas ao

tenderem a se apoiar também em conceitos e modelos de análise capa­
zes de captar o sentido e a lógica de programas movidos por interesses,
conflitos, eventuais negociações. Mesmo esquematicamente, vale a pena
identificar os principais entre esses conceitos e dimensões de análise.

AS ESTRATÉGIAS DA IMPLEMENTAÇÃO

Os conteúdos políticos das políticas constituem tema clássico dos estudos

de políticas públicas, base para a tão freqüentemente citada diferenciação
poíicy — politcs — polity. Nào é bem desses conceitos gerais que me interes­
sa tratar aqui, até para evitar repetições desnecessárias. Quero restringir-
me especificamente às avaliações de processo e a algumas dimensões do
que poderia chamar a economia política das políticas púbiicas.

Comumente. a dimensão da política das políticas públicas remete aos m o­

mentos de formulação e. sobretudo, às decisões iniciais, mas nào somente
àquelas referidas aos conteúdos materiais dos programas ou ao seu
desenho. Seu processo de implementação também repousa em orientações
e preferências, envolvendo cálculos estratégicos, escolhas e decisões por par­
te dos agentes que o conduzem e o implementam ou dele se beneficiam.

Em outras palavras, é possível identificar, em cada política ou programas,

sua estratégia de implementação, constituída primordialmente por deci­
sões acerca de características ou dimensões de processo, tais como a di­
mensão temporal; os atores estratégicos a serem mobilizados, nos diferen­
tes estágios, para apoiar a implementação do programa; os subprocessos e
estágios pelos quais se desenvolverá a implementação etc. Quando com­
pleta, a avaliação de processo deve envolver também a avaliação das estra­
tégias que orientaram a implementação, aferindo em que medida tiveram
ou não tiveram êxitos, garantiram ou dificultaram o sucesso do programa.

Sem pretender abarcar todas as dimensões que uma análise desse tipo
pode abranger, refiro-me resumidamente às que julgo principais e que,
a meu ver, devem estar na ordem de preocupações do avaliador da im ­
plementação, mesmo quando ele não vá trabalhar exaustivamente com a
questão estratégica.

O
A D im e n s ã o T e m p oral

Explicitamente ou não. a estratégia de implementação envolve uma es­

colha acerca da temporalidade das ações, escolha que, em princípio, cor­
responde a certos cálculos políticos quanto aos apoios e resistências que
enfrentará o programa. Em geral, as alternativas aqui polarizam-se entre
estratégias incrementais e estratégias de choque. Nas primeiras, a im ple­
mentação se desdobra por um dado período, suficientemente longo para
que, através dos vários estágios, logre-se construir, desde o interior mes­
mo do programa, as alianças ou coalizões de apoio capazes de vencer as
resistências. Já as estratégias de choque, nas quais o grosso da implemen­
tação se faz de uma só vez e num momento único do tempo, supõem que
ingredientes, tais como a surpresa, e medidas, tais como o insulamento
burocrático dos que têm poder decisório. sejam capazes de vencer as
resistências esperadas e in ib ir o surgimento de novas.

A to re s E stratégicos e M a triz e s de C o n /lito e Cooperação

A o reconstituir as estratégias da implementação, o avaliador enfrenta

questões do seguinte tipo: Quais são os atores (institucionais e ou in d i­
viduais) que sustentam o programa? Entre todos, foram ou não alguns
deles especialmente mobilizados para apoiar o programa, podendo
mais à frente operar como núcleos de coalizões amplas de sustenta­
ção? Outros, também cruciais, teriam sido esquecidos ou desprezados,
tal encaminhamento tendo significado um erro estratégico dos que têm
poder decisório? A preocupação vale também para os atores que não
aderem ou que resistem ao programa, é claro.

A identificação das várias matrizes político-institucionais de coopera­

ção ou conflito, que permeiam e dinamizam o processo de im plem en­
tação,’ é decisiva para a localização dos pontos de acordo e dos con­
sensos mínimos, sendo indispensável às negociações e, sobretudo, à
sustentabiiidade dos programas.

P arcerias e Redes de A p o io

Se. nas considerações anteriores, a referência foi sobretudo aos atores in-
temos, aqui quero referir-me aos diferentes grupos de interesse, aos par­
ceiros e às redes de apoio que, mais amplamente, relacionam-se com o
programa avaliado. Sâo eles muitos e bastante diferenciados: sem nenhu­
ma elegância, poder-se-ia considerá-los “produtores" e “consumidores" da
política em questão. Podemos localizá-los desde os beneficiários mais
diretos até atores, institucionais ou não, relacionados, por exemplo,
com seu financiamento, passando mesmo pelos concorrentes, ou seja,
pelos atores vinculados a programas similares e competitivos.“

Nas avaliações de processo, além da identificação desse campo diferen­

ciado de interesses, é im portante reconhecer que a própria avaliação
nele se enraíza; sua credibilidade será tanto maior quanto mais se apóie
em instrum entos e mecanismos de precisa identificação desses in ­
teresses e de suas distinções. Não será por isso que as aualiações partici-
patiuas vêm ganhando importância?

A análise política das políticas públicas nào é matéria fácil, nem sem­
pre possível de ser realizada e. m u ito freqüentemente, desagrada a
muitos. Ainda assim, a consideração das questões mais estratégicas da
implementação é ú til para a correta identificação dos fatores de pro­
cesso que operam ou como facilitadores ou como obstáculos à conse­
cução do programa.

ESTRUTURA E PROCESSO DA IMPLEMENTAÇÃO

Quero dedicar-me à questão da implementação. Entretanto, para que

nos entendamos bem acerca de conceitos, faço de início a distinção, no
ciclo de vida dos programas, de duas grandes etapas: a formulação e a
implementação.

• Formulação: o processo de formulação de uma dada política ou p ro ­

grama é bastante complexo e tende a ser longo. Teoricamente, com ­
preende a formação da agenda pública* (a introdução do tema ou
mais diretamente das demandas na agenda social e. posteriormente,
pública): a produção e o confronto de alternativas por parte dos d i­

O
 ferentes grupos de atores; os processos de filtragens e de apropria­
ção/domesticação da policy por parte dos agentes, segundo o legado
ou as tradições e culturas organizacionais: a formulação e decisão; as
definições de estratégias de implementação.®
• ímpiementação: in clu i tanto as atividades-meio, que viabilizam o de­
senvolvimento do programa, quanto a atividade-fim, ou a execução
propriam ente dita. antes que se tom e rotineiro.

Veremos logo mais quais são esse subprocessos nos quais se desdobra
0 processo mais geral da implementação.

O que se avalia ao se avaliar a implementação?

Uma resposta simples poderia ser a seguinte:

A s Qualiaçôes de processo, de n a tu re z a quaiitatiua, buscam iden*

ti/icar os/atores/acilitadores e os obstáculos que o p e r a m a o lo n g o

d a im p le m e n ta ç ã o e que condicionam, positiua ou negativam ente,

0 cum prim ento das m etas e objetivos. Tais/atores podem ser en­
tendidos como condições institucionais e sociais dos resultados.

A questão básica que norteia investigações dessa natureza é a de de­

tectar os condicionamentos, no plano dos processos, dos êxitos ou dos
fracassos dos programas. É também a de saber se outras alternativas de
processos garantiriam melhores resultados, ou, inversamente, se os
mesmos resultados poderiam ser alcançados com alternativas menos
caras ou mais rápidas de processos ou sistemas.

Como avaliar processos de implementação?

Registro, na seqüência, um esboço de metodologia de análise de proces­

so, que venho elaborando ao longo da m inha experiência em avaliações
de programas sociais. Embora nào acabada, tem se mostrado ú til e fru ­
tífera. podendo certamente interessar aos colegas pesquisadores de
políticas públicas.

O
CICLO DE VIDA DOS PROGRAMAS: UM A METODOLOGIA DE
AVALIAÇÂO DE PROCESSOS

Já distinguimos, anteriormente, as etapas de formulação e de im plem en­

tação, ou seja, supomos que, teoricamente, quando se inicia o movimen­
to da implementação, tenham já sido superadas as etapas de formulação
(e decisão) e definidas as estratégias da própria implementação.

Para fins de pesquisa, é conveniente captar o que chamo a anatomia do

processo geral de implementação, identificando seus principais subproces­
sos ou sistemas:

QUADRO 2 • S IS T E M A S OU SU BPR O C ESSO S DA IM PLEM EN TA Ç Ã O

Sistemas ou subprocessos da implementação:

• Sistema gerencial e decisório
• Processos de divulgação e informação
• Processos de seleção {de agentes implementadores e ou de beneficiários)
• Processos de capacitação (de agentes e ou beneficiários)
• Sistemas logísticos e operacionais (atividade-fim)
• finaciam ento e gasto
• provisão de recursos materiais
• Processos de m onitoram ento e avaliação internos

Vejamos, sumariamente, as preocupações de análise de cada sistema

ou subprocesso.

S is te m a G erencial e D e cisório

Seja qual for a inscrição institucional de um dado programa, seu de­

senvolvimento apóia-se numa dada estrutura organizacional — cujas
características obviamente interessam ao avaliador — e está subm eti­
do a um sistema gerencial e decisório específico, que “conduz” ou dirige
a implementação.

A estrutura hierárquica desse sistema, seus graus de centralização ou

descentralização, de autonomia ou dependência das partes, de um Iado, e
as características da gestão do tempo e a capacidade de im plem entar
decisões de que dispõem os gerentes, de outro lado todas essas sâo
características a serem avaliadas por meio de indicadores quantitativos
e qualitativos adequados.

É igualmente importante, em m uitos dos casos, compreender a n a tu ­

reza e os atributos dos gerentes, ou melhor, da autoridade que conduz
0 processo. Pertence ela aos próprios quadros do programa ou da p o líti­
ca, ou lhes é extema? Ou seja, é constituída por funcionários do progra­
ma ou. contrariamente, constitui-se meramente pelo staff, de presença
ad hoc? Goza de liderança e de legitimidade?

Processos de D iv u lg a ç ã o e In fo rm a ç ã o

Seja qual for a dimensão do programa, é de se supor que, para im ple­

mentar-se. apóie-se em mínima divulgação e circulação de in form a ­
ções. pelo menos entre aqueles mais diretamente afetados, os que o
vão im plem entar ou os que dele vào se beneficiar. A suposição, por­
tanto, é a de que parte do seu sucesso dependa da adequação dos meios
de divulgação ju n to aos seus públicos internos e externos, bem como
de informação qualificada (isto é. clara e suficiente) entre agentes im ­
plementadores e beneficiários.

A pergunta que, a respeito, se faz o avaliador é sobretudo a seguinte: as

informações básicas sobre o programa — seus objetivos, seus modos
de operação, seus componentes, seus prazos etc. — chegaram aos agen­
tes executores e à população interessada nas quantidades, qualidades
e com a antecipação necessária à realização das atividades?

Podem daí ser extraídos os indicadores que "medirão" os níveis de qua­

lidade desse processo: clareza, abrangência e suficiência das inform a­
ções; agilidade do fluxo etc.

S iste m a s de Seleção

Os programas envolvem, em geral, algum tipo de seleção, seja de agentes

que 0 implementarão, seja do público-alvo a que se dirige. Aqui ta m ­
bém podem ser apontadas as questões básicas a serem enfrentadas
pelo avaliador. Que sistemas e critérios de seleção foram utilizados no re­
crutam ento dos agentes da implementação e dos grupos beneficiados?
A divulgação dos processos seletivos foi suficientemente ampla, atingin­
do a todos os potencialmente interessados? Competência e exame de mé­
rito foram, em alguma medida, usados como critérios nos sistemas de se­
leção de instituições e agentes estratégicos do programa? Houve adequa­
ção entre os tipos de processos seletivos e os objetivos do programa?

S is te m a s de C a p acita çã o

Em qualquer programa, é imprescindível verificar a capacidade dos agen­

tes para cum prir as tarefas que lhe cabem na implementação. Os siste­
mas nos quais se capacitaram podem ser externos ou internos ao progra­
ma. Quando internos e específicos, esta é indispensável. Além disso, pode
ocorrer que também a capacitação dos beneficiários seja condição de
sucesso do programa, logo, sua avaliação também se tom a decisiva.

O que interessa saber, a respeito da capacitação, quando se quer avaliar

a implementação?

Vejamos algumas perguntas do avaliador: Os prazos, os sistemas e os

conteúdos da capacitação dos agentes implementadores foram, em qua­
lidade e quantidade, adequados e pertinentes às atividades que deve­
rão realizar? Os diferentes conteúdos, referidos às distintas atividades
a serem enfrentadas pelos implementadores (gerenciais, didáticas, de su­
pervisão ou monitoramento, de desenvolvimento social etc.), foram ade­
quada e equilibradamente contemplados na pauta da capacitação? Ter­
minada a capacitação, os implementadores se sentiram seguros para
empreender as tarefas esperadas?

S is te m a s In te rn o s de M o n ito ra m e n to e A u a lia ç ã o

É possível identificar uma espécie de hierarquia de procedimentos ava­

liativos relacionados aos programas e políticas públicas. Vejamos.

Mesmo que não se faça de modo explícito, a implementação dos pro­

gramas tende a ser monitorada ou supervisionada pelos seus gerentes,
sobretudo nos seus estágios iniciais. Já avaliações internas tendem a
ser mais raras, restringindo-se, em geral, a exam inar os registros adm i­
nistrativos ou a coletar opiniões dos agentes implementadores. Mais raras
ainda sào as auditorias externas e. finalmente, as avaliações externas,
elaboradas com alguma isenção e pautadas por procedimentos científi­
cos. É verdade que essas duas últimas formas vêm gradativamente se dis­
seminando. com claros benefícios de transparência para as políticas.

Quais sào os problemas de avaliação aqui presentes? Algumas pergun­

tas ajudam a entendê-los. Seja qual for a forma avaliativa utilizada,
trata-se de saber: Este procedimento é regular? Seus conteúdos e méto­
dos contribuíram para a melhora da implementação e para a m aior efe­
tividade do programa? Ocorreram correções de processos e procedi­
mentos, como resultado das evidências coletadas no monitoramento?
Seus resultados foram adequadamente sistematizados e socializados
entre instituições e técnicos participantes?

S iste m a s Logísticos c O pe ra cio n ais (A tiu id a d e -F im )

A té agora, tratamos das atividades-meio, mas o modo de im plem entar

e de operacionalizar a atividade-fim, antes que o programa se tom e ro­
tineiro, é também de fundam ental importância para que se avalie a
implementação.

Nessa dimensão, os parâmetros de suficiência — de recursos e de tempo

— em geral sào decisivos. Independentemente de como são financiados
os programas, trata-se de saber se os recursos financeiros são suficientes
para os objetivos propostos ou se podem ser maximizados, em benefício
dos próprios objetivos e metas. E, tão importante quanto, precisa-se saber
se chegam onde devem chegar, e se nos prazos adequados.

Já no que tange aos recursos materiais, vale lem brar que, em m uitos
programas, a base m aterial específica na qual se apóiam — equipa­
mentos coletivos, equipamentos de comunicação, serviços de trans­
portes etc. — é crucial para o seu êxito. Medidas de suficiência e de
qualidade parecem ser as mais adequadas.

Examinamos até aqui os conceitos de resultados e processos, assim

como as questões de avaliação que geralmente envolvem. É possível
avaliar simultaneamente esses dois planos dos programas? Vejamos
entâo os conceitos que têm tal pretensão.

O
IN D IC A D O R E S A G R E G A D O S : A V A L IA Ç Õ E S D E E F IC Á C IA ,

E F IC IÊ N C IA E E F E T IV ID A D E D O S P R O G R A M A S

Processos e resultados podem, devem e freqüentemente sào apreendi­

dos em conjunto nos estudos de avaliaçâo. por meio de conceitos que
tratam exatamente de relacioná-los. É o caso dos conceitos de eficácia,
eficiência e efetividade, abusivamente utilizados na pesquisa de avalia­
çâo. embora seu entendim ento longe esteja de ser consensual.

Vou propor aqui algumas definições, mesmo correndo o risco de "remar

contra a corrente", como me alertou um aluno há pouco tempo.

EFICÁCIA

No plano mais geral, a eficácia de um dado programa diz respeito à re­

lação entre características e “qualidades" dos processos e sistemas de sua
implementação, de um lado, e os resultados a que chega, de outro.

Assim, será mais eficaz — atingirá seus resultados em m enor tempo,

menor custo e com mais alta qualidade — aquele programa que se
apoiar em processos e sistemas adequados de implementação. Ou seja,
quando se examinam processos e sistemas da implementação, consi-
deram-se eficazes aqueles nos quais predominam os fatores facilitado­
res de resultados em quantidades e qualidades máximas e em períodos
mais curtos de execução. Ao contrário, perde em graus de eficácia o
programa cujos processos e sistemas de implementação (um ou mais)
apresentam eles próprios ineficácias, tendendo a operar como obstácu­
los ao atingim ento dos resultados.’®

A avaliação de eficácia é, por natureza, uma avaliação de processo. A per­

gunta básica que estará respondendo o avaliador, ao medir a eficácia,
pode ser assim formulada: Quais são ou foram, na implementação, os
fatores de ordem material e, sobretudo, institucional que operaram como
condicionantes positivos ou negativos do desempenho dos programas?

e
E F IC IÊ N C IA E E F E T IV ID A D E ”

A eficiência diz respeito às qualidades de um programa, examinadas sob

os parâmetros técnicos, de tempo e de custos.

Em uma definição relativamente restrita, pode ser entendida a relação

entre produtos (bens e serviços) e custos dos recursos (insumos e a tiv i­
dades), confrontada com uma norma ou parâmetro (Cepal. 1998a, p.l8).
Medidas de custo/benefício seriam, nesta acepção, os melhores indica­
dores da eficiência de um dado programa.

Adicionado o parâmetro tempo — maior produção/menores custos/

menor tempo —, temos aí um particular ângulo da eficiência, o da produ­
tividade. Quando se consideram as alternativas tecnológicas do processo,
pode-se chegar a uma outra medição de efetividade (também denom i­
nada eficiência técnica).

As perguntas típicas para a avaliação de eficiência sào do seguinte tipo;

• A s a tiv id a d e s ou processos se o rg a n iza m , te c n ic a m e n te , da m a n e ira

m a is aprop ria da ?
• Esta condição opera com os menores custos para a produção m áxi­
ma dos resultados esperados?
• Esta condição opera no menor tempo possível?

Já 0 conceito de ejeüvidaàe refere-se à relação entre objetivos e metas, de

um lado, e impactos e efeitos, de outro. Ou seja, a efetividade de um pro­
grama se mede pelas quantidades e níveis de qualidade com que realiza
seus objetivos específicos, isto é, as alterações que se pretende provocar
na realidade sobre a qual o programa incide. Ora, como vimos antes, estas
alterações são de dois tipos; impactos e efeitos. Logo, a efetividade signifi­
ca as quantidades e/ou os níveis de qualidade com que o programa atinge
os impactos esperados e promove os efeitos, previsíveis ou não.

Os efeitos, como já assinalamos, podem ser agrupados em duas dim en­

sões: social e institucional. Se tal diferenciação for útil, como penso ser.

O
devemos distinguir a avaliação da efetividade sodol e da efetividade ins­
titucional, uma vez que sâo também m u ito distintos os indicadores que
se referem a uma e outra dimensão.

De fato, por efetividade social, especificamente, entende-se a capacidade

do programa em afetar o capital social do meio em que se realiza, em
especial a rede de articulações e parcerias específicas que facilitam sua
execução. 0 conceito remete também aos níveis de adesão e satisfação
dos agentes implementadores e da população-alvo.

Entre os principais indicadores a serem mobilizados para a avaliação da

efetividade social de um dado programa, sugiro:

• os indicadores de capital social, que estimam os graus de confiança,

as redes sociais, os graus de apoios, enfim, as energias associativas
e organizacionais, presentes no meio social e que se relacionam com
0 programa:
• os níveis de satisfação dos agentes implementadores, dos usuários e
de grupos de interesse.

O conceito de efetividade institucionai. por sua vez, remete às afetações pro­

vocadas pelo programa sobre as organizações e instituições responsáveis
ou envolvidas na implementação. Entre os conceitos e dimensões que
podem captar tais efeitos, registro principalmente aqueles mais caros à
análise neo-institucionalista, tais como os de capacidade institucional,
aprendizagem institucional ou os referentes a hábitos ou comportamentos cul­
turais das organizações,” todos eles remetendo, afinal, às condições in stitu ­
cionais de sustentação e multiplicação dos programas.

Como espero ter mostrado, as medidas de eficácia, eficiência e efetivi­

dade tratam de relacionar, cada uma a seu modo e nos respectivos pla­
nos. as avaliações de processo e as de resultados.

O quadro seguinte expõe, de forma resumida, esses planos e conceitos

de avaliação de resultados e processos, exemplificando, com alguns in ­
dicadores. as possibilidades de avaliação a que nos estamos referindo.
 QUADRO 3 • QUADRO-RESUMO: DIMENSÕES E INDICADORES DE AVALIAÇÃO DE PROGRAMAS

Dimensões Indicadores

mas [indicadores de Desempenho 1

Dimensões ITjpo 11 Exemplos de indicadores

"i '*! Metas realizadas x métas previstas *

Produção; proporções do cumprimento das metas;
Metas 11 regularidade da prestação dos serviços
1f • Público-alvo; cobertura: focalização

M etas” ' [Financeiras ‘ ] 1Metas realizadas x metas previstas

1Indicadores de E tiaen aa 1
[ Recuisos/líãzõr 1Custo 11 Relação custoÁ>enefido ou custo/efetividade }

Indicadores de Ehcacia — 1
Sistema gerencial e ! Competênda dos gerentes; capaddade de implementar |
decisório > dedsões; graus centralização/descentralização ' |

Diversificação dos caiiais; sufidênda e qualidade

Processos de divulgação das mensagens; % público atingido; adequação de
e informação
prazos: agilidade do fluxo •

» Processos de seleção (de • Publidrâçâo: competitividade do processo; qualidades

agentes implementadores dos sistemas de aferição de mérito; adequação do
e ou de beneficiários grupo seledonado aos objetivos do programa

Processos de capacitação • Competência dos monitores

(de agentes e ou benefi-^ • Duração e qualidade dos cursos: conteúdos;
Subprocessos ciáriosl didáticas; avaliações dos benefidados
ou sistemas
Sistemas logísticos e opera-
da imple­ donais (atividade-fim) fi- Sufidênda dosTecursos; prazos e fluxos; qualidade!
mentação . nandamento e gasto; pro­ da infra-estrutura e material de apoio
visão de recursos materiais
■ r r Regularidade; abrangência; agilidade na identifica­
iMoruto-
ção de desvios e incorreções; capacidade/agilidade
[ramento
Processos de em recomendar correções IJeedback)
monitoramento
e avaliação Regularidade; abrangênda; graus de partidpação e
y
fAvaliação comprometimento dos atores e stabeholders; efetivi­
internos
■intema dade (em extrair lições, propor e recomendar melho­
rias. promover aprendizagem institudonal)
t
1Indicadores de Etetm daâe 1

Variações/mudanças na rea­ Ihxas de cresdmenio do fenômeno /

impactos
lidade de intervenção * intensidade da mudança

• Envolvimento de organizações da sodedade dvü

Efetividade Sodal ' • Avaliação dos atores sobre programas

]
Efeitos • Graus de satisfação dos benefidários; graus de
(Capital sodal; opinião e
■satisfação dos'atores) i adesão / satisfação dos agentes e benefidários
• Indução/reforço a assodações/iedes/parceiias

Efetividade Institucional • Graus de indução a mudanças / inovações /

autonomia ■ »
(Capaddades institucionais; • Níveis de aptendirado institudonal
sustentabiiidade e repfodu^ • Rotinização / institudonalizaçâo dos processos
tividade) . ♦ j • Capaddade de transferênda de metodologia

O
O B S E R V A Ç Õ E S F IN A IS

Há duas fortes convicções, neste esboço metodológico, que espero ter

revelado ao leitor.

A prim eira é a de que a mera avaliação de desempenho é m u ito lim ita ­

da, nâo faz justiça e m al avalia os programas, embora constitua passo
indispensável de qualquer avaliação. Isoladamente, esse plano restrito
dos resultados, na m elhor das hipóteses, poderá dizer m uito sobre a
realização do programa, mas seguramente pouco ou nada sobre sua
efetividade ou a qualidade de seus processos. Em outras palavras, ape­
nas registrar percentuais de cumprimentos de metas físicas ou fin a n ­
ceiras não significa avaliar um programa. Uma efetiva avaliaçâo ocorre
exatamente quando se pÕem em relação tais resultados e os processos
pelos quais foram produzidos (avaliação de processo e medidas de e fi­
cácia e eficiência): tais resultados e as mudanças que o programa pro­
voca na realidade sobre a qual incide (avaliação de impactos e efeitos:
medidas de efetividade).

A outra convicção é a de que, tanto quanto os resultados, também os

processos devem e podem, na maioria das vezes, ser submetidos a ava­
liações. Somente assim — mediante suas próprias avaliações — é que
se pode superar o nível meramente descritivo com que. em geral, os
processos são tratados nas pesquisas de avaliação de programas e po­
líticas públicas.

Quero com isso dizer que, além de possível, é recomendável que variá­
veis qualitativas, tais como aquelas que habitualmente descrevem os
atributos de processos, recebam tratam ento quantitativo. É esta uma
das alternativas para se proceder à efetiva avaliação do nível de eficácia
(ou de qualidade) de dado subprocesso ou sistema da implementação.

Vou tom ar apenas um exemplo, para não estender-me em demasia. Su­

ponha-se que, em um determinado programa de alfabetização de adultos,
o processo seletivo principal seja o da seleção dos professores alfabetiza-
dores. Quais são, em geral, os atributos de um processo desta natureza?
E com que critérios avaliá-los? Sem dúvida, estarão presentes, nestas

O
definições, valores e escolhas do avaliador, mas, em geral, pode-se esperar
de um bom processo seletivo que ele esteja apoiado em ampla divulgação
(de modo que todos os potenciais candidatos estejam informados), que
seja claro acerca de critérios e procedimentos de escolha (ou dos seus cri­
térios de justiça), que apure mérito e que, portanto, apóie-se em processos
competitivos, em instrumentos adequados etc.

Como discriminar, entretanto, as variações de qualidade entre as várias

ocorrências de seleção de professores? Pode-se esperar que, em alguns
casos, 0 processo tenha registrado alta qualidade, uma vez que tenha
cumprido todas aquelas condições estabelecidas pelo avaliador. Mas pode
ocorrer que não tenha cumprido todas, apenas algumas, operando então
a um nível médio. Ou, finalmente, pode suceder que tenham sido tantas
as “lacunas” que, no máximo, pode-se avaliar o processo seletivo como
insuficiente ou ruim. Coriiponho, no quadro seguinte, este exemplo:

QUADRO 4 • AVALIAÇÃO DE PROCESSOS: ATRIBUTOS E DIFERENCIAÇÃO

DE N ÍV EIS DE QUALIDADE DE PROCESSOS SELETIVOS

N ív eis d e q u a lid a d e d o p ro c e ss o d e se le ç ã o d e p ro fe s so re s a lfa b e tiz a d o re s

A trib u to s A lta M edia In s u n c ie n tê

(cu m p re to d a s a s (cu m p re to d a s e a p e n a s (cum pre ^ a s e a p e n a s
c o n d ic õ e s abaixo) a s co n d icõ es abaixo) a s co n d icõ es ab aix o )

* d iv u l^ção; todos os pú- , • divulgação; a p e n a s para • n e n h u m a divulgação

blicos professores da rede • a p en as ed ital afixado
T ran sp a­ * canais: edital + 3 bu m ais • canais: edital + 2 can ais • n ã o expõe objetivos
rê n c ia / canais • expõe objetivos, m as
n e m regras
p u blicização * clareza: expõe objetivos e | n ã o a s regras
• n ã o indica p razo de
regras • n ã o indica prazo de
inscrição
» indica prazo de inscrição inscrição
- 1
• a p u ra ç ã o d e m érito;
C om petiti- i • posição n a carreira • in d icação /
m e lh o r colocação em
v id ad e e • exfieriênda: exam e de reco m en d ação da
provas
critério s d e | • ex p e riê n d a : ex am e de currículo [ a u to rid ad e
ju stiç a : cu rrícu lo !
1
• prova objetiva
• prova objetiva ,
In stru m en to s • prova didática • entrevista
• entrevista
• e n trev ista com roteiro
i

Sistemas de pontuações ou ponderações podem ser utilizados para

quantificar os atributos de processo e estimar, ao fim, o nível de quali­
dade alcançado. O que aqui se fez para o subprocesso de seleção pode
e deve ser feito também para todos os outros subprocessos e sistemas
da implementação.

O
Fecho este texto insistindo na tese de que, em avaliações de implementa­
ção, não basta tão somente descrever processos e sistemas. Mesmo quan­
do se trata de variáveis qualitativas, é preciso — e é possível — ir além,
caso se queira efetivamente avaliar o processo de implementação de um
programa e relacioná-lo com os resultados, buscando explicar, então, tam ­
bém por fatores internos à própria política, os seus êxitos ou fracassos.

REFERÊNCIAS BIBLIOGRÁFICAS

BAKER, J. Evaluating the Poverty Impacts of Pro­ FRIEDIANDER. D . GREENBERG. D.. ROBINS. Ph.
jects; A Handbcxsk for P ractitioners. LCSPR/ M etodologies for D eterm inating th e Effecti­
PRMPO. W ashington: T he W orld Bank. 1999. v eness o f TVaining Process. In: BARNOW. Burt.
KING, C hristopher T. (Ed.) Improving the ODDs.
BARNOW, B,. CAIN. C., COLDBERGER. A..S. Issues W ashington: T h e U rb an I n s titu te P ress.
in th e an aly sis o f selectivity bias. Evaluation 1999.
Studies. v.S. n .l. p.42-59. May Î980.
HATRY. HARRY. Per/ormance M easurem ent.
BID. Evaluation; a Management Tool for Improving
W ashington: T he U rban in stitu te Press, 1999.
Project Peiformance.Washington D C . Draft. 199S.
IDB Evaluation; A M anagementTool/or Improving
CALMON. Kátia M. N. Avaliação de pro g ram as
Project Per/ormance. Inter-A m erican D evelop­
e a d in â m ic a d a ap ren d izag em organizacio­
m e n t Bank. W ashington: D raft, 1995.
nal. Planejamentoeftilíticas Púbiicas. n.l9. p.3-70,
ju n . 1999. PALFREY, C. e t al. Policy Evaluation in th e Public
Sector. Inglaterra: Averbury. A shgate Publi­
CEPAL G estión d e P rogram as Sociales en A m é­
shing. 1992.
rica Latina. Série Políticas Sociales. v.1. n .25.
Cepal. Santiago. 1988a. PIERSON, P. Dismanteling the Welfare State.«* Rea­
gan. T htcher a n d Politics o f R etrenchm ent.
CEPAL M etodologia p ara el A nálisis d e la Ges-
Cambridge: Cambridge University Press. 1994.
lión d e Program as Sociales. Série Políticas So­
ciales. v.2. n.25, Cepal. Santiago. 1988b. PIERSON. P. The New Politics o f th e W elfare Sta­
COLEMAN. Jam es S. Foundations of SocíalTheory. te. World Politics, v.48. n.2. p.143-79, 1996.
Cam bridge. MA; H arvard University. 1990. PROPPER. Carol. Efficiency. Equity a n d Choice.
DRAIBE. Sônia M. D esenho do Projeto. In: Proje­ In; ALCOCK. P., ANGUS To Social Policy. London:
to. Andlise Qualitativa dos Programas Inovadores Blackwell, 1998.
do Comunidade Solidário. C am pinas: NEPP/
SIEMPRO — SISTEMA DE INFORMACIÓN, MONl-
UNICAMP. 1998. TOREO Y EVALUACIÚN DE PROGRAMAS SO­
DRAIBE, Sônia M. Análise qualitativa integrada. CIALES. Gestión Integral de Programas Sociales.
Relatório fm al n.2. In: Projeto. Análise qualita­ O rientaciones e R esultados. B uenos Ayres:
tiva dos programas inovadores do Comunidade BIRD/ UNESCO/ Secr. D esarrollo Social, 1999.
Soliddria. C am pinas: NEPP/UNICAMP. 1999.
SKOCPOL.T. IKENBERRY. J. T he Political F orm a­
ERSKINE.Angus, MARGARET MAY .M..ALCOCK, tion o f th e A m erican W elfar S tate. Compara­
Peter (Edit.) The Students Companion to Social tive Social Research, n . 6, p .8 7-148,1983.
Policy. B la c fo e ll P ublishers. 1998.
SCKOCPOL, T , ORLOFF, A nn S. W hy n o t eq u al
EZEMENARI, K.. RUDQVIJT. A.. SUBBARAO, K. Im ­ protection? E xplaining th e politics o f Public
p a c t Evaluation: a note on concepts an d m e­ Social S pending in B ritain, 1900-191 a n d th e
thods. Revised Draft 5/99. The World Bank. U nited States.1880-1920. American Sociological
W ashington, 1999. Reviciu, V.49. p .7 26-50.1984.
N O T A S

1Preparado p ara apoiar a exposição do Sem iná­ 7 Ao longo da im plem entação, tendem a variar
rio Avaliaçâo d e Políticas e Program as Sociais, os tipos predom inantes de interação e n tre ato ­
este tex to resu m e p artes de trabalho m ais a m ­ res — interações cooperativas, conflitantes ou
plo. q u e tra ta d e m etodologja de avaliaçâo de de aduocQcy — seja n o interior da coalizão de
políticas públicas, e m fase d e elaboração. apoio, seja na relação com outros grupos de
2 Por tais características, a s avaliações ex ante atores.
sà o tam b ém ch am ad as, em inglês, de '/oirnoti- 8 Há vários esforços de classificação dos difer­
ue" eualuation. en q u a n to as do tipo ex post são entes grupos interessados ou stakcholders, co­
d enom inadas ''summQtive” eualuorion (BlU 1995. m o prefere o jargão da m oda. Os m an u ais do
p.4-6), expressões cu ja tradução n âo faz n e ­ Banco Interam ericano de Desenvolvimento dis­
n h u m sen tid o em português, não se recom en­ tinguem . por exemplo, e n tre os stabeholders. os
d an d o em n en h u m caso o seu uso. prim ários, os secundários e os patrocinadores
3 Apóio-me. n esse item . sobretudo em Friedlan- (IDB. 1995).
der. G reenbeig & Robins (1999); SiEMPRO (1999); 9 É am pla e conhecida a bibliografia de teoria
E zem enari. Rudqvist & Subbarao (1999). organizacional e análise de pxjlíticas públicas
4 Entre a s altern ativ as m ais conhecidas de defi­ em q u e se apóia esta conceituação. Por isso,
nição d o grupo d e controle, estão as seguintes: dispenso-m e de referi-la, com exceção de al­
can d id ato s inscritos, m a s n â o selecionados guns títulos da corrente neo-institucionalista.
para o program a; p articipantes q u e d eserta­ m ais à frente indicados.
ram do program a; in teg ran tes da m esm a área 10 Esta definição difere totalm en te d a s q u e co n ­
geográfica e o u do m esm o grupo-alvo que. e n ­ sideram apenas a relação m etas-tem po, com o
tretan to . nâo se can d id ataram ao program a: a seguinte: ”... (entende-se a eficácia] com o o
indivíduos sim ilares, m as de fora da área geo­ grau em q u e se alcançam a s m e ta s de pro­
gráfica coberta pelo program a; finalm ente, dução d e u m projeto em um dado periodo de
não-p articip an tes selecionados em bases n a ­ tem po, independentem ente de seus custos
cionais o u regionais de dados (censos etc.). (CEPAL, 1998a. p.l8).
5 R ecentem ente, em pesquisa qu e avaliou o im ­ 11 Os conceitos aqui usados n ã o se identificam
p acto d e u m program a de capacitação de jo ­ plenam ente com a s definições d a tradição da
vens. n a au sên cia d e fontes censuais de in ­ teoria econôm ica neoclássica, e m especial do
form ação. com b ase nas quais pudessem ser welfare economics. Nesta, a eficiência refere-se
sorteadas am ostras, utilizei a técnica da amos- à relação en tre insum os e produtos, m ais a m ­
tra-so m b ra p ara co m por o gm po de controle, plam ente en tre custos e benefícios. TVaduzida
que replicava todas a s características da am os­ na linguagem da curva de Pareito, é eficiente
tra d e egressos, salvo o te r feito aquele exato a produção que. realizada n u m d ad o nível, se
cu rso d e capacitação. Embora freqüente, esta faz ao m enor custo e com m áxim o beneficio
n ão é a m elh o r alternativa: no caso citado, líquido. Já a efetividade, ta m b é m c h a m a d a
infelizm ente, era a única possível. eficiência técnica, refere-se ao m áxim o da
6 Na p esq u isa Auaiiaçdo da descentralização dos produção ou realização possível (dos objeti­
prograrnos do FNDE e da Merenda Escolar, que vos). segundo a m elhor alternativa tecnológi­
coordenei n o N úcleo d e Estudos de Políticas ca. 0 conceito de eficiência, entâo, é m ais a m ­
Públicas— NEPP. Unicam p. obtive sucesso com plo e envolve m esm o o de efetividade. Se a
a aplicação d e regressão logística para d eter­ relação custo-efeüvidade re m e te à re aliza­
m in a r a s ch an ce s (os níveis d e risco) de d eter­ ção dos objetivos específicos com m en o res
m inados tifws d e escola im plem entarem bem custos, a eficiência significa a extensão em
o s p ro g ram as, iso lan d o v ariáveis tais com o o qu e a razão custo-beneflcio é m axim izada (cf.
ta m a n h o d a escola, o tipo m unicipal ou e s ta ­ Propper. 1998; Palfrey e t al., 1992).
d u al e 0 nível d e escolaridade do diretor. Ver 12 Na análise de processo, são tam b ém d e g ran ­
Draibe, 1998. N a avaliação d e im pacto d e p ro­ de utilidade os conceitos de legado e princi­
g ra m a s n o rte -a m e ric a n o s de capacitação, palm en te o de poth dependency. Ver Sckocpol 8<
Bamow. Cain & Goldberger (1980) tiveram êxi­ Orloff.1984; Skocpo! & Ikenberry, 1983; Pier-
to e m iso lar o efeito p articipação por m eio de son, 1994.1996. Para um bom e stu d o da bi­
an álise d e regressão q u e incluiu, com o variá­ bliografia sobre aprendizagem organizacional,
veis d e controle, todos o s critérios usados na ver Calmon, 1999.
seleção d os can d id atos ao program a.

O
U m a c o n t r ib u iç ã o

o a ra fa z e rm o s

a v a lia ç õ e s m e n o s

in s e n u a s
MARTA TEREZA DA SILVA ARRETCHE é doutora em Ciências Sociais, na área de Políticas
Públicas pela Universidade de Campinas — Unicamp. Professora de Ciência Política na
Universidade do Estado de São Paulo — Campus Araraquara, é autora de vários traba­
lhos publicados.
Os m anuais de avaliaçâo de políticas públicas nos ensinaram que a
avaliação da eficácia, da eficiência ou da efetividade de programas
públicos deve sistem aticam ente levar em consideração os objetivos e a
estratégia de implementação definidas por seus próprios formuladores,'
pois seria inteiram ente fora de propósito que o avaliador tom asse em
consideração objetivos e/ou m etodologias externos àqueles estabeleci­
dos pelos próprios programas. Avaliar segundo critérios alheios aos es­
tabelecidos pelos formuladores implica necessariamente uma avaliação
negativa, pois não é plausível esperar que um programa realize o que
não estava em seu próprio horizonte de im plem entação.

Supor, no entanto, que um programa público possa ser im plem entado

inteiram ente de acordo com o desenho e os m eios previstos por seus
form uladores tam bém implicará uma conclusão negativa acerca de
seu desempenho, porque é praticam ente im possível que isto ocorra. Em
outras palavras, na gestão de programas públicos, é grande a distância
entre os objetivos e o desenho de programas, tal com o concebidos por
seus form uladores originais, e a tradução dessas concepções em inter­
venções públicas, tal com o elas atingem a gam a diversa de seus ben efi­
ciários e provedores.
Essa distância nâo diz respeito a fatores de ordem moral ou ética, que
possam ser atribuídos a interesses escusos de form uladores e im ple­
mentadores. Na verdade, tal distância é uma contingência da im plem en­
tação, que pode ser, em grande parte, explicada pelas decisões tomadas
por uma cadeia de implementadores, no contexto econômico, político e
institucional em que operam {Rossi & Freeman, 1993; Mitnick & Backoff.
1984; Mladenka, 1984).’

Para superar uma concepção ingênua da avaliação de políticas públi­

cas, que conduziria necessariamente o avaliador a concluir pelo fracasso
do programa sob análise, é prudente, sábio e necessário, então, admitir
que a im plem entação m odifica as políticas públicas.

POR QUE A IMPLEMENTAÇÃO MODIFICA AS POLÍTICAS?

Qualquer programa tem duas dimensões, que podem ser analiticam en­
te desagregadas: objetivos e uma m etodologia ou estratégia pela qual
se pretende que estes objetivos sejam atingidos. A definição da estraté­
gia é uma escolha entre outras alternativas possíveis, o que significa que
um m esm o objetivo pode ser atingido por diversas modalidades de ação.

N ã o são todas as instâncias da máquina estatal que têm autoridade

para criar programas; ao contrário, a possibilidade de formulá-los supÕe
uma dada inserção institucional em cargos que confiram algum nível
de centralização da autoridade. Os objetivos e estratégias de um progra­

m a expressam, portanto, as decisões e as preferências de uma autoridade

central (em qualquer nível em que esta autoridade esteja inserida).
M esm o programas de m uito reduzida com plexidade e escala supõem
um agente que tomou decisões e executores encarregados de im plem en­
tá-las. Alternativamente, programas cujo desenho final supôs um com ­
plexo processo decisório serão necessariamente im plem entados por
agentes que não participaram do processo de formulação.

O
A implementação, por sua vez, corresponde a uma outra fase da “vida" de
um programa, na quai sâo desenvolvidas as atividades pelas quais se pre­

tende que os objetivos, tidos como desejáveis, sejam alcançados. Embora

possa ocorrer coincidência entre a figura dos formuladores e a figura dos
implementadores, é muito raro que isto ocorra. Na prática, qualquer políti­
ca pública é de fato feita pelos agentes encarregados da implementação.
Esta constatação nào é nova, pois Lipsky (1980), já argumentava que

(...) as decisões dos burocratas que desempenham atividades-

fim, as rotinas que eles estabelecem, os expedientes que eles
criam para contornar a incerteza e as pressões, eis o que vêm

a ser de fato as políticas públicas. Eu argumento que a políti­

ca pública não é bem entendida se observada pelo ângulo da
legislatura ou do alto nível da administração, porque em di­
versos aspectos importantes ela é realmente feita nos escritó­

rios lotados e nos encontros diários da burocracia. (...) traba­

lhadores, clientes e os cidadãos em geral “experimentam” a
burocracia que desempenha atividades-fim por meio dos con­
flitos que estes encontram para tornar o desempenho de suas
funções mais consistente com suas próprias preferências e
compromissos. (Lipsky, 1980, p.xii)

U m programa é, então, o resultado de uma com binação com plexa de

decisões de diversos agentes. É claro que, nessa cadeia de interações, a
concepção original, tal com o apresentada na formulação, é, sem dúvi­

da, m uito im portante, porque as decisões tomadas durante esta fase já

excluíram diversas alternativas possíveis. Mas esta é apenas uma das
dim ensões da vida de um programa. Na realidade, a im plem entação
efetiva, tal com o se traduz para os diversos beneficiários, é sem pre rea­
lizada com base nas re/eréncías que os im plem entadores de/ato adotam
para desem penhar suas funções.^

O
A despeito dos esforços de regulamentação da atividade dos im plem en­
tadores, estes têm razoável margem de autonomia para determinar a
natureza, a quantidade e a qualidade dos bens e serviços a serem o fere­
cidos. Neste sentido, eles têm, com efeito, a prerrogativa d e fa z e r a política.
É esta autonom ia que, por sua vez, lhes perm ite atuar segundo seus
próprios referenciais.

A IMPLEMENTAÇÃO COMO UM CAMPO DE INCERTEZAS

Em princípio, as vontades, os interesses, as lealdades e as concepções

ideológicas dos diversos agentes envolvidos em um programa público
dificilm ente serão inteiram ente coincidentes. Portanto, quanto mais
com plexo for um programa, m aior será a variedade de interesses e con­
cepções envolvidos em sua execução e. por conseqüência, m ais fortes
serão as tendências à não-convergência.

Im aginem os a im plem entação de um programa federal, de escala na­

cional, cujas regras de operação suponham a cooperação dos três níveis
de govem o. em um país federativo e multipartidário, com o o Brasil, em
que prefeitos e governadores têm autonomia política e podem estar
ligados a partidos distintos. Políticas públicas compartilhadas por g o ­
vem os ligados a partidos que com petem entre si tendem a produzir

com portam ento não-cooperativos, pois na base das relações de im p le­

m entação haveria uma incongruência básica de objetivos, derivada da
com petição eleitoral. Este cenário — perfeitam ente factível, dada a
m ultiplicidade de programas descentralizados existentes — não pode
ser encarado com o um problema. É sim plesm ente um dado da reali­
dade, que im põe um razoável grau de incerteza quanto à convergência
de ações dos im plem entadores e, por extensão, da perfeita adequação
entre form ulação original e im plem entação efetiva.

Suponhamos, ainda, um programa que envolva uma extensa rede de or­

ganizações não-govem am entais. cujos gestores aceitem participar do

O
programa por razões inteiramente pragmáticas, mas não partilhem dos
mesmos objetivos e concepções dos formuladores e financiadores. É
razoável supor que tais agências desempenhem suas funções de acordo
com suas próprias referências e até mesmo de acordo com seus próprios

objetivos. Este comportamento dos implementadores — perfeitamente

possível, dada a variedade de programas públicos assentados sobre a no­
ção de parcerias público x privado — é um cenário bastante provável e
apenas corresponde à realidade da implementação de programas que
contam com agentes cujos interesses e concepções sào diferentes.

Assim , m ais que uma fase (técnica e obediente) que sucede à form u­
lação (política) de programas, a im plem entação pode ser encarada
com o um jogo em que uma autoridade central procura induzir agentes
(im plem entadores) a colocarem em prática objetivos e estratégias que
lhe sào alheios (Mitnick & Backoff, 1984). Nessas circunstâncias, para
obter adesão e “obediência” aos objetivos e ao desenho do programa, a
autoridade central deve ser capaz de desenvolver uma bem-sucedida
estratégia de incentivos. É por isto que

(...) qualquer modelo adequado de implementação deve ter re­

lações de incentivo, implícitas ou explícitas, como um compo-
nente-chave. (Mitnick & Backoff, 1984, p. 58)

Com o conseqüência, problem as na estrutura de incentivos podem ex­

plicar grande parte das dificuldades da autoridade central para obter
sucesso na implementação de seus programas, m esmo que tenham sido
cumpridos todos os dem ais requisitos necessários. Desse modo. a im ­
plem entação é, de fato, uma cadeia de relações entre form uladores e
implementadores, e entre implementadores situados em diferentes po­
sições na máquina governamental. Isto implica que a m aior proximidade
entre as intenções do formulador e a ação dos implementadores depen­
derá do sucesso do primeiro em obter a adesão dos agentes im plem enta­
dores aos objetivos e à metodologia de operação de um programa.**
A FO R M U LA Ç Ã O COMO U M C A M PO DE INCERTEZAS

Com o vimos, o grau de sucesso de um programa depende diretam ente

do grau de sucesso na obtenção da ação cooperativa de outros atores —
governamentais e/ou não-govemamentais, a depender do desenho do
programa — , cuja "obediência” não é um dado automático. Na verdade, a
taxa de sucesso depende da cooperação nâo apenas dos agentes institu­
cionalmente vinculados aos demais níveis de govemo, mas de centenas
de potenciais beneficiários e provedores, cujo comportamento precisa ser
coordenado (Stein, 1984). E isto não é um problema a ser constatado pelo
avaliador, mas um dado da realidade a ser incorporado à análise.

Cientes deste fato, os agentes formuladores e im plem entadores expe­

rientes e com poder decisório tendem a escolher estratégias de im p le­
m entação pautadas m uito mais por sua potencial aceitação do que por
sua esperada eficiência ou efetividade. Portanto, a reação esperada dos
agentes im plem entadores tende a ser um elem ento decisivo na defini­
ção do conteúdo das políticas públicas.

A lé m disto, políticas não são formuladas em condições de irrestrita li­

berdade. Dado que a form ulação de um programa — com seus objetivos
e desenho — é em si m esm a um processo de negociações e barganhas,
seu desenho fínal não será necessariamente o mais adequado, mas,
sim, aquele em tom o do qual foi possível obter algum grau de acordo
ao longo do processo decisório.

Tam pouco os formuladores concebem estratégias de implementação

dispondo de completa e perfeita informação acerca da realidade sobre a
qual se pretende interferir. Na verdade, com quase absoluta freqüência,
a informação é imperfeita, incompleta e até mesmo baseada em ex­
pectativas quanto ao comportamento futuro das variáveis da realidade.

Por estas razões, desenhos de programas não são peças internamente

coesas e ajustadas. Nestas circunstâncias, é possível que algumas das
especificações do programa possam operar, no plano local, de m odo
contrário aos objetivos do programa. Isto significa que a m etodologia
proposta produz, no plano local, implicações contrárias às originalmente
previstas, dado o fato de que o desenho do programa é formulado em con­
dições de razoável incerteza, com base nos efeitos esperados de uma dada
estratégia de operação. Mais que isto: a diversidade de contextos de im ple­
mentação pode fazer que uma mesma regulamentação produza impactos
inteiramente diversos em diferentes unidades da federação.^

Em suma, ainda que uma adequada estrutura de incentivos seja vital

para a im plem entação de programas — e ela é tanto mais necessária
quanto m aior a com plexidade dos interesses envolvidos — fatores ine­
rentes à form ulação im pactam o próprio desenho da estratégia de im ple­
mentação e. por extensão, o conteúdo das políticas. Mas, uma vez adotada
uma determinada estratégia, seus efeitos (reais) somente serão conhe­
cidos ao ser im plementada a política, dados os lim ites de inform ação e
autonomia decisória de que dispõem as agências formuladoras.

INCORPORANDO A IMPLEMENTAÇÃO À A V ALIA Ç Ã O

N a prática real da adm inistração pública, a im plem entação de políticas

ocorre em um am biente caracterizado por contínua mutação, m utação
esta que é inteiram ente alheia ò uontade dos implementadores.

Em primeiro lugar, os recursos, as prioridades e a influência relativa dos

agentes encarregados da implementação freqüentemente mudam (Rossi
& Freeman, 1993, p.28). Metas quantitativas são fixadas para cada período,
de acordo com uma previsão dos recursos (futuramente) disponíveis: e,
com absoluta freqüência, tendências não previstas no comportamento da
economia influem no montante de recursos disponíveis, atingindo a possi­
bilidade de realização das metas previstas. Objetivos conflitantes entre si
também tendem a receber ênfases diferentes ao longo do ciclo de vida de
um programa, expressando alterações na geometria de poder no interior
da máquina pública. Ou, ainda, é possível que um fato novo, que pode ser
desde um escândalo de natureza política até uma alteração (inesperada)
em uma variável econômica extremamente relevante, implique modifica-

O
ções nas formas de desembolso de recursos em prazos bastante curtos de
tempo. Mais ainda: é perfeitamente possível que, por diversas razões não
previstas no m om ento da formulação, a importância relativa das agências
encarregadas de funções diferentes seja alterada ao longo de um curto
período de tempo.

Em segundo lugar, os interesses e a influência dos stahehoiders de um

dado programa podem m udar entre o m om ento da form ulação e o da
im plem entação, alterando de m odo significativo (para m ais ou para
m enos) sua disposição para colaborar no m om ento em que o programa
é colocado em prática (Rossi & Freeman, 1993, p.28).

U m a adequada m etodologia de avaliação não deve, portanto, concen­

trar-se em concluir pelo sucesso ou fracasso de um programa, pois,
com o espero haver demonstrado, independentem ente da “vontade p olí­
tica”. da ética ou do interesse dos form uladores e im plementadores, a
distância entre form ulação e im plem entação é uma contingência da
açào pública. Com efeito, uma adequada m etodologia de avaliaçâo deve
investigar, em prim eiro lugar, os diversos pontos de estrangulamento,
alheios à vontade dos implementadores, que im plicaram que as metas
e os objetivos inicialm ente previstos não pudessem ser alcançados.

A lé m disso, uma adequada m etodologia de avaliação deveria concen-

trar-se no exam e das razões pelas quais a distância entre os objetivos e
a m etodologia de um programa — tal com o previstos por seus form u ­
ladores — , bem com o sua im plem entação efetiva, ocorre por decisão dos
próprios agentes implementadores.

C om o enunciado anteriormente, todo programa tem objetivos e um

desenho de im plementação, que se expressam em uma legislação geral
e em uma regulamentação específica. E a im plem entação de um pro­
grama supõe necessariam ente a relação de uma autoridade central com
agentes implementadores. Nesses termos, as re/erências (Mitnick &
Backoff, 1984), isto é. os princípios que efetivam ente pautam a ação dos
agentes im plementadores, deveriam ser a "legislação” e as “normas de­
term inadas pela agência form uladora”.
U m a prim eira pergunta a ser feita deveria ser se os agentes im plem en­
tadores de fa to conhecem o program a. Caso, por razões da capacidade de
inform ação da agência formuladora, estes não venham a conhecer e fe ­
tivam ente os objetivos e as regras de operação do programa, eles ten­
derão a eleger uma outra referência para a im plem entação — seus pró­
prios objetivos ou os objetivos dos stakeholdersfe

U m a segunda indagação possível diz respeito à aceitação dos objetíuos e

regras do program a. Pode ocorrer que, embora conhecendo tais objetivos,
os im plem entadores discordem das prioridades estabelecidas e elejam
suas próprias prioridades (burocráticas, de sua clientela, ou ainda de
grupos de interesses) com o sua referência de atuação.

Finalmente, uma terceira questão diz respeito às condições institucionais

para im plem entação de program as, isto é, à situação na qual os im plem en ­
tadores, em bora conhecendo e concordando com os objetivos do pro­
grama. não possam, por diversas razões — que podem variar desde im ­
pedimentos associados à capacidade fiscal e administrativa das agências
implementadoras até compromissos e lealdades de ordem política — ,
realizar os objetivos previstos.^

Problemas não previstos no momento da formulação podem levar os

implementadores a promover adaptações ao desenho original, tendo em
vista garantir que os objetivos de um dado programa sejam realizados
(Rossi & Freeman, 1993). TVata-se de uma medida de “adaptação” para via­
bilizar a realização dos objetivos do programa, que implica, por sua vez,
que 0 m esmo não seja implementado de acordo com o desenho previsto.^

A TÍTU LO DE CONCLUSÃO

A implementação de políticas supõe (pelo menos) dois tipos de agentes

situados em pontos distintos: agentes encarregados da formulação dos ter­
mos de operação de um programa — os quais têm autoridade para definir

O
os objetivos e o desenho de um programa — e agentes encarregados de
executá-lo, traduzindo suas concepções em medidas concretas de inter­
venção. Na prática, são estes últimos q u e/azem a política.

A incongruência de objetivos, interesses, lealdades e visões de mundo en­

tre agências formuladoras e a gama diversa de implementadores implica
que dificilmente um programa atinja plenamente seus objetivos e que seja
implementado inteiramente de acordo com seu desenho. Esse fenômeno
tende a ocorrer mesmo em políticas públicas cuja implementação não
suponha a ação integrada de diversos níveis de govemo, porque essa in­
congruência é derivada da complexidade mesma de um processo de im ­
plementação de políticas. Por esta razão, todo modelo de implementação
deve contemplar a formulação de uma adequada estrutura de incentivos.

N o Brasil, os programas de açào pública são crescentemente realizados

m ediante integração de vários níveis de govem o e de agentes não-gover­
namentais. Atualmente, raros são os programas que não são im plem en­
tados no contexto de um sistema de relações intergovernamentais e de
parcerias as mais diversas com a sociedade civil. Ter em mente as conse­
qüências institucionais desses fatores é de fundamental importância para
aumentar a probabilidade de sucesso de programas de larga escala.

Para o avaliador, é igualmente fundamental, contudo, ter em m ente que

a implementação modifica o desenho original das políticas, pois esta
ocorre em um ambiente caracterizado por contínua mutação. Mais que
isto, devem levar em conta que os implementadores é que fazem a políti­
ca, e a fazem segundo suas próprias referências. Nessas circunstâncias,
cabe investigar a autonomia decisória dos implementadores, suas condi­
ções de trabalho e suas disposições em relação à política sob avaliação.

O
REFERÊNCIAS BIBLIOGRÁFICAS

ALONSO. Analucia Faggion. GUIMARÃES, Érico. PETERSON. Paul, ROM. Mark C Welfare Magnets: A
Auaiioçào do Programa de Renda Mínimo de Ribei­ New C ase for a N atio n al S tandard. W ash in ­
rão Preto. A raraquara, 1998. fIVabalho final de gton: Brookings institution. 1990,
estágio d e conclusão d e curso d e A dm inistra­
ção Pública). (Mimeogr.) PETERSON, Paul., The Price of Federalism. New York:
T he Twentieth C entury Fund., 1995.
ARRETCHE, Marta T. S. T endências nos estudos
sobre avaliaçâo. ln: RICO, Elizabeth Melo. Auo- RIKER, William H. The Development of American
Federalism. Norwell: Kluwer A cadem ic Publi­
liação de Boliticus Sociais; u m a qu estão em de­
shers. 1987.
bate. Sâo Paulo: Cortez. 1998.
ROSSI, Peter H.. FREEMAN, Howard E. Euolua-
ARRETCHE, M arta T. S. Políticas Sociais no Brasil:
Descentralização em u m Estado Federativo. tion; A Systematic Approach. N ew bury Park:
Sage Publications. 1993.
Revista Brasileira dc Ciências Sociais, v,l4, n.40.
p.111-41,1999. SCHAPS, Ronald. RIKER. W illiam, D isharm ony in
Federal G overnm ent. In: RIKER, William. The
EDWARDS II!. George C. Public Policy Implementa­
tion. Greenwich: Jai Press. 1984. Development of American Federalism. Norwell:
K luw er A cadem ic P ublishers. 1987.
FIGUEIREDO. A.. FIGUEIREDO, M. Avaliação poli­
SKOCPOL, T heda. Bringing th e S tate Back in:
tica e avaliação d e políticas. Andlise e Conjun­
tura. v.l, n.3. set., -dez. 1986 S trategies o f A nalysis in C u rren t R esearch.
In: EVANS, Peter B.. RUEXHEMEYER, Dietrich.
LAZIN, Frederick A.. ARONI. Samuel, G am es Fe­ SKOCPOL. T heda. Bringing the State Back In.
deral officials Play: The Case o f Housing As­ Cam bridge: C am bridge University, 1985.
sistan ce Plans, ln: EDWARDS ill. George C. Pu­
STEIN, Robert M. Policy Im plem entation in th e
blic Policy Implementation, Greenwich: jai Press.
1984. p.157-68. Federal Aid System: The Case o f G rant Policy.
In: EDWARDS III, George C Public Policy Imple­
LIPSKY. Michael. Street-Level Bureaucrocy: Dilem­ mentation, Greenwich: jai Press, p,125-55.1984.
m as of th e Individual in Public Services. Nova
York: Russel Sage Foundation. 1980. TENDLER, Judith. Bom gouemo nos trópicos. Rio de
Janeiro: Revan, Brasilia: Enap, 1998.
MITNICK, Barry M., BACKOFF, Robert W. The In­
VALADEZ. Joseph. BAMBERGER, Michael. Monito­
cen tiv e R elation in Im p le m e n ta tio n . In;
ring and Evaluating Social Programs in Developing
EDWARDS III. George C. Public Policy Implemen­
Countries: A H andbook for Policym akers, M a­
tation. Greenwich: jai Press. 1984. p.59-122.
nagers a n d R esearchers. W ashington: World
MLADENKA. Kenneth R. Im plem enting Urban B a n k .1994.
Services. In: EDWARDS 111, George C. Public
Policy Implementation, G reenw ich: Jai Press.
1984.p.l71-92.
N O TAS

1 Eu m e sm a defendi e s te arg u m e n to em tra ­ riam ser, no e n ta n to , in te ira m e n te previstos

b alho s an terio res. Ver A rretche. 1998. pelos form uladores, d a d a s ju s ta m e n te a d i­
versidade e a com plexidade d e situ aç õ es no
2 A im p lem en tação d e u m program a supõe
território nacional.
su a in se rção em “urna rede ou sistem a c o m ­
plexo. n o q u al m esm o a s ações d e um agente
6 Im aginem os um pro g ram a de tran sferên cia
(im plem entador] o b ed ien te podem produzir
de recursos à s u n id ad es escolares de todo o
resu ltad o s im previstos e talvez in d esejad o s'
país p ara q u e e sta s ofereçam m ere n d a s e s ­
(Mitnick 8« Backoff, 1984, p.59). colares a se u s alunos. 0 n ú m ero d e d ire­
3 A burocracia encarregada da im plem entação tores escolares e de encarreg ad o s da gestão
pode. por exem plo, ter (m esm o q u e su b je ti­ da m eren d a esco lar é tão gran d e q u e os
v am en te) preferên cia p or u m a parcela dos cu sto s da difusão da in fo rm ação podem ser
ben eficiário s p o ten ciais q u e nâo co rresp o n ­ m u ito elevados. Esforços para m in im izar
d a à p o pulação-alvo do program a. Ou. a in ­ tais cu sto s podem im plicar u m baixo o u in ­
da. p o d e te r co m p ro m issos com provedores suficiente nível d e co n h ecim en to dos im p le ­
q u e n ã o te n h a m sido privilegiados pela e s ­ m en tad o res. crian d o a s condições in s titu ­
tratég ia d e im p lem en tação prevista em seu cionais p ara q u e estes d e sem p en h em su a s
desenho. funções de acordo com seus p róprios refe­
renciais.
4 T endier (1998) m o stra q u e a a lta dedicação
d o s "servidores públicos" foi u m a das condi­ 7 Ao av aliar a im p lem en tação do P rogram a de
ções essen ciais p ara a taxa d e sucesso de Renda M ínim a em Ribeirão Preto. A lonso &
q u a tro p ro g ram as públicos im p lem en tad o s G uim arães (1998) concluíram q u e a s assis­
n o estad o do Ceará. A autora atribui este com ­ te n te s sociais en carreg ad as d a seleção dos
p o rta m e n to dos ag e n te s im p lem en tad o res beneficiários conheciam a s regras legais de
a u m c o n ju n to d e in centivos g overnam en­ seleção, concordavam com as n o rm a s e s ta ­
tais inco rp o rad o s à estratég ia de im p lem en ­ belecidas, m as selecionavam de fato segundo
tação. critérios q u e lhes pareciam subjetivam ente
m ais sensatos.
5 Im aginem os o im p acto fiscal da im p le m e n ­
ta ç ã o do F undo de M an utenção e Desenvol­ 8 S u p onham os u m program a de ren d a n e ­
v im en to do Ensino e V alorização d o Magis­ gativa de âm b ito m unicipal, q u e distribua
tério (FundeQ. A div ersidade de situações m en salm en te cheques d e valor inversam ente
n acio n ais n o q u e diz respeito à capacidade proporcional à renda fam iliar m ensal dos b e ­
fiscal d o s govem os lo cais e à situ aç ão das nefidários, os quais sào seledonados segundo
m a tric u la s n a s red es m u n icip al e estadual u m teste-de-m eios q u e exija e x ten sa d o cu ­
— o co n tex to d e im p lem en tação d e cad a go­ m en tação . É m u ito possível q u e os ag en tes
v em o local — provocará sim u lta n e a m e n te en carreg ad o s da seleção dos beneficiários
efeito s benéficos e efeitos d ev astad o re s em flexibilizem os requisitos de com provação
d iferen tes govem os locais. Táis efeitos, por d e "necessidade", de m odo a g a ra n tir q u e
s u a vez. ten d erão a p ro d u zir d iferen tes re a ­ os m ais n ecessitad o s v en h am a s e r b e n e fi­
ções dos im p lem en tad o res. Estes n â o p o d e­ ciados.
« A v a lia n d o o

à im p a c to d e

p r o je to s e m
y

d e s e n v o lv im e n to

v o lta d o s à

o o b r e z a *
,U O V E A K B » é - i o , TO BaTOO
« „ . é d c a l a t i n a e C a rib e T la b a l h a n c B a n c o ,

à pobreza, distribuição de ren P g ^ desenho, im plem entação e

pobreza em diversos j^nho de 2000. o livro Evaluating the
TO..p a c ae pe.i.»e e™ aesea-

uoluimento uoltados à pobreza).

Nos últimos anos, o Banco Mundial tem priorizado os projetos e políticas
para a redução da pobreza, que se tom aram o foco principal de todo
nosso trabalho. Apesar dos milhares de m ilhões que gastam os países
financiadores, ainda nào sabemos muito sobre o im pacto de projetos
específicos na redução da pobreza. Por exem plo, que im pacto teve o
projeto de capacitação profissional no emprego? Que im pacto teve o pro­
je to de alim entação escolar na assistência aos estudantes?

Fizem os um levantam ento no Banco Mundial sobre as avaliações re­

ferentes a esses projetos, particularm ente na região da A m érica Latina
e do Caribe, onde eu trabalho, e descobrimos que poucos deles foram
avaliados. Após conversas com seus coordenadores, surgiram três ra­
zões que poderiam explicar a falta de m aior núm ero de avaliações:

• A falta de financiam ento para os custos, que podem ser significativos;

• Em muitos países, o fato dos govem os não quererem avaliações por

razões políticas, especialm ente nos casos em que interesses políticos
determ inam quais projetos e beneficiários devem ser selecionados:

• O fato de m uitos coordenadores de projetos, no Banco e nos países

onde trabalhamos, não saberem com o fazer avaliações de impacto.
Para começar, ficou claro que o terceiro ponto seria o mais fácil de re­
solver, entâo decidimos preparar um guia de orientação sobre com o
avaliar o im pacto de projetos, particularm ente daqueles cuja m eta, di­
reta ou indireta, era a redução da pobreza. Podem ser incluídos nessa
categoria, por exem plo, projetos em educação, saúde, microeconomia,
infra-estrutura e outros temas.

Eis um resumo dos temas principais, que incluem:

• Conceitos e m étodos quantitativos e qualitativos para avaliação de

impacto:
• Etapas do projeto e sua execução:
• Lições que aprendemos e exem plos dos estudos de caso de avaliações
válidas, além de alguma inform ação sobre custos.

N ào discutirei os detalhes econom étricos que estão incluídos no Capí­

tulo 3 do livro de m inha autoria, recentem ente publicado.

CONCEITOS E MÉTODOS PARA A V ALIAÇ ÃO DO IMPACTO

CONCEITOS

Um a avaliação com pleta inclui:

• Supervisão:
• Avaliação do processo:
• Avaliação do custo-benefício ou efetividade do custo:
• Avaliaçâo do impacto.

Algu ns projetos incluem todos estes componentes, m as a maioria

som ente inclui:

• Supervisão: verificar se o projeto foi executado com o planejado:

• Avaliaçâo do processo: revisar com o o programa está operando e
problem as na oferta dos serviços:
• Avaliação de custos e benefícios: calcular a relação do custo do pro­
grama em relação aos benefícios.

O
A aualiação de impacto é diferente. Esta determina se o programa teve os
efeitos projetados em indivíduos, lares e instituições, assim com o se
tais efeitos podem ser atribuídos, de fato, à intervenção do projeto. Para
isso é preciso controlar o elem ento contrafactual ou a contrapartida: o
que aconteceria se o projeto nâo existisse?

Para m edir esse dado, utiliza-se um grupo de controle ou comparação, que se

refere àqueles que nâo participaram do projeto ou nâo receberam os bene­
fícios. mas que têm caraterísticas similares aos participantes. 0 grupo que
recebe os benefícios denomina-se grupo de tratamento ou de intervenção. Ana-
lisa-se, por exemplo, quando um recém-graduado de um programa de ca­
pacitação profissional consegue trabalho, se isso pode ser o resultado dire­
to do programa ou se ele poderia conseguir o emprego de qualquer outro
modo; se um empréstimo a um microempresário contribuiu de fato para
o aumento de suas receitas ou se foram outros fatores do mercado que o
ajudaram.

Este trabalho visa. especificam ente, determ inar o im pacto dos projetos
no que se refere aos pobres, m as os conceitos e m étodos são os m esm os
para a avaliaçâo de im pacto de qualquer outro tipo de pesquisa.

MÉTODOS

Para en fatizar o ponto mais importante, o coração de uma avaliação de

impacto, há o estudo do contrafactual. Isso requer o uso de um grupo
de controle ou comparação, form ado por aqueles que não participam
do programa.

As três form as principais sâo:

• Desenhos experim entais

• Desenhos quase-experim entais
• Métodos qualitativos

D e s e n h o s E x p e r im e n ta is

São tam bém cham ados de randomization, ou amostra ao acaso, sendo

considerados a m elhor proposta. A intervenção, ou beneficio, é aplicada
aleatoriam ente entre os que sâo elegíveis; assim, o processo gera um
grupo de controle. Este m étodo é considerado o melhor, porque, em teo­
ria, os grupos de controle criados ao acaso são a contrapartida perfeita,
sem nenhum a distorção de seleção. N o entanto, pode haver problem as
de ética, com o recusar benefícios de alimentação ou serviços médicos
a alguns grupos que os solicitam.

D e s e n h o s Q u a s e -E x p e rim e n ta is

Pode-se usar este método quando não é possível constituir grupos de tra­
tamento e grupos de controle por m eio de um desenho experimental.
Essas técnicas geram grupos de controle similares ao grupo de tratamen­
to, mediante métodos econométricos como combinações, dupla diferença,
comparações reflexivas etc. Em geral, os grupos são selecionados depois da
intervenção, utilizando-se controles estatísticos. This métodos estão cada
vez mais populares, pois podem ser baseados em pesquisas já existentes.

Entre os m étodos estatísticos, matching ou m étodos de sincronização

são considerados uma boa alternativa para o projeto experim ental. Os
desenhos quase-experim entais têm problemas de distorção na seleção
dos dados — o que requer um outro conjunto de detalhes econom étri­
cos — , que podem se referir a fatores não passíveis de controle, tais como
aptidões, conexões fam iliares e outras.

M é to d o s Q u a lita tiv o s

Esses m étodos não focalizam o estudo comparativo, mas os processos

de entendim ento, com portam entos e condições, com o sào com preendi­
dos por indivíduos e grupos que estão sendo investigados. Pode-se, por
exem plo, ter um insight sobre com o as famílias e as comunidades locais
percebem um projeto, e com o elas estão sendo afetadas pelas inter­
venções. Avaliações de im pacto qualitativo usam m étodos de avalia­
ções rápidas ou avaliações participativas, que estão baseadas na par­
ticipação dos beneficiários e gestores dos programas. Uma das principais
desvantagens deste m étodo é a falta da contrapartida e do tam anho
das amostras, as quais, em geral, são muito menores.
Considerando-se os prós e os contras de cada método, a m elhor maneira
de se fazer uma avaliação de im pacto é integrar técnicas quantitativas e
qualitativas, incluindo a análise de custos e benefícios. Há muitas m anei­
ras de incorporar tais técnicas durante cada fase de avaliação. Por exem ­
plo, uma fase do projeto deve ser participativa, incluindo os beneficiários
para se assegurar de que a avaliação contenha as perguntas corretas.

A s qualidades das m elhores práticas avaliativas incluem os seguintes

pontos:

• Estimativa da contrapartida por projeto experim ental ou projeto qua-

se-experim ental, usando-se m étodos econom étricos para gerar um
grupo de controle;
• Controle das diferenças nos participantes, antes e depois do programa,
estabelecendo seus efeitos. Há coleta de dados no início (baseiine), como
referência, e no seu seguimento (foilouj-up), com um prazo suficiente
que permita observar os efeitos do programa;
• Grupos de com paração e de tratam ento de tam anho suficiente, per­
m itindo estabelecer inferências estatísticas significantes (statisticai
signi/icance);
• Inclusão de análise do custo-benefício ou eficácia em função dos cus­
tos, para m edir a eficiência do projeto;
• Inclusão de técnicas qualitativas, perm itindo a triangulação dos re­
sultados.

PASSOS-CHAVE NO DESENHO E N A IMPLEMENTAÇÃO DE

AVALIAÇÕES DE IMPACTO

Existem muitas etapas na realização de um estudo de avaliação de impac­

to, 0 que pode custar muito em dinheiro e tempo, lá l fato enfatiza a necessi­
dade de um estudo bem desenhado, de uma equipe bem qualificada e
muito comprometida, com uma boa comunicação entre seus membros.

A planificação oportuna perm itirá obter resultados no curso da im p le­

m entação do projeto, nos tempos estabelecidos anteriormente, de m odo

©
que os dados possam ser utilizados no aprim oram ento de seu desenho,
se necessário: assegurará, também, que os dados possam ser coletados
durante os passos mais im portantes do projeto.

A seqüência de cada um desses passos é fundamental, particularm en­

te ao se assegurar a coleta dos dados necessários antes do início da im ­
plem entação do projeto. Idealmente, a coleta dos dados deve ser feita
no m om ento da identificação ou preparação do projeto, porque esses
dados são mutáveis, não sendo possível identificá-los após o desenca­
deam ento da ação projetada.

A o tratar da identificação e preparação do projeto, mencionarei dez etapas.

1. DETERMINANDO A REALIZAÇAO OU N A O DE U M A A V ALIA Ç A O

Realizar uma avaliação de impacto em determinados projetos talvez nào

seja apropriado, considerando-se sua complexidade e seu custo. Deve-se
ter em conta qual m étodo é o mais adequado, com o a supervisão de re-
sultados-chave ou o processo de avaliação. (Esses enfoques não devem
ser considerados substitutos das avaliações de impacto, embora, com fre­
qüência, constituam-se com o seus componentes decisivos.)

O dado m ais im portante para a decisão de fazer ou não uma avaliação

talvez seja a necessidade de existir um forte apoio político e financeiro,
que pode ser difícil, mas é requisito prévio para que se tenha continui­
dade. Os gestores e financiadores do programa devem estar seguros de
que a avaliação é necessária para levantar dados que serão pertinentes
para a tom ada de decisões relativas à melhoria, expansão ou redução
do programa avaliado. Deve-se tam bém ter certeza da legitim idade do
desenho da avaliação e, por conseguinte, dos resultados, particular­
m ente quando esses não são tão positivos com o seria esperado.

Financiar uma avaliação de impacto continua sendo um tema difícil para

os administradores e financiadores dos programas. Em geral, é mais fácil
mobilizar fundos se o projeto é inovador, pode ser reproduzido, supõe
grandes aportes de recursos e compreende intervenções bem definidas.
2. DEFININDO C O M C LAREZA OS OBJETIVOS D A A V A LIA Ç Ã O

N esta área, objetivos claros sâo essenciais para identificar as in form a ­

ções necessárias, definir os indicadores de resultados e efeitos, assim
com o para criar uma estratégia de avaliação sólida, proporcionando
respostas às perguntas propostas. É im portante haver consenso sobre
os objetivos antes do com eço da avaliação. O uso de um enfoque
do marco lógico (log) é uma boa maneira de identificar as m etas do
projeto e as necessidades de informação, em cujas bases se criará a
avaliação.

3. EX A M IN A N D O A DISPONIBILIDADE DE DADOS

Há muitos tipos de dados para estudos de avaliação de im pacto. Estes

podem incluir uma gam a que varia de entrevistas transversais, ou de
painel, a entrevistas abertas qualitativas. É ideal que esta inform ação
exista em âm bito individual, a fim de assegurar que se possa avaliar o
verdadeiro efeito.

Em m uitos casos, a avaliaçâo de efeitos aproveitará certo tipo de dados

existentes ou se apoiará em alguma entrevista atual, o que pode
poupar custos consideráveis. Alguns exem plos dos tipos de dados que
podem ser usados incluem: entrevistas de renda e gastos nos lares;
estudos dos níveis de vida (LSMS); entrevistas do m ercado de trabalho;
registros sobre assistência, repetência e rendim ento escolar; dados re­
ferentes à saúde pública, sobre m ortalidade infantil, incidência de d ife ­
rentes enferm idades e outros.

Obviamente, seria mais barato usar dados existentes, pois há necessi­

dade de uma certa criatividade quando se pensa a respeito disto.
Muitas pesquisas tam bém podem estar nas etapas de planejam ento ou
em curso. Se planejarm os um a entrevista que m eça os indicadores
requeridos, a avaliação poderá tom ar uma amostra da população-alvo
durante o curso da investigação geral.
4. DESENHANDO A A V ALIAÇ ÃO

Estando os objetivos claros e os dados disponíveis, é possível com eçar

a fase de proposta do estudo de avaliação de efeitos. A escolha de m e­
todologias dependerá da questão formulada, da distribuição cronológica,
das restrições orçamentárias e da capacidade de aplicação da avaliação.
Devem-se analisar os prós e os contras dos distintos tipos, discutindo-se
antes para determ inar que m etodologias sào mais adequadas e que
técnicas quantitativas e qualitativas podem se integrar para se com ple­
m entarem entre si.

M enciono alguns pontos relevantes:

• Clareza e especificidade: são im portantes na identificação das perguntas

da avaliação.
• Distribuição cronológica e pressupostos: o mais im portante é a possibili­
dade de se com eçar o desenho da avaliação, antes que o projeto seja
im plem entado e seus resultados sejam necessários. É igualm ente útil
identificar, de início, quais pontos durante o ciclo do projeto necessi­
tam da inform ação da avaliaçâo. Ter os resultados corretos de form a
oportuna pode ser decisivo para a definição da política a ser adotada,
como, por exem plo, avaliar durante uma revisão do projeto, perto de
um periodo de eleições ou na ocasião da tomada de decisões com res­
peito à continuidade do projeto.

A lguns m étodos precisam de m ais tem po para serem im plem entados

do que outros.

A capacidade de im plem entação é muito im portante e alguns dos te­

m as da execução da avaliação são bastante difíceis, particularm ente
em alguns países onde há pouca experiência na aplicação de avaliações
de políticas e programas.

5, FORM ANDO A EQUIPE DE A V ALIAÇ ÃO

A com posição da equipe de avaliação é muito importante, pois requer

uma gam a de capacitações diferenciadas, como, por exemplo, analistas

O
quantitativos, qualitativos e com experiência com o tipo de projeto que
está sob investigação.

A qualidade e utilidade final da avaliação de efeitos podem ser aprimora­

das, coordenando-se, desde o início, os membros da equipe e os tomadores
de decisão. Para tanto, é importante identificar os membros da equipe o
quanto antes, decidindo suas funções e responsabilidades e estabelecendo
mecanismos de comunicação nos momentos-chave da avaliação.

6. ELABORANDO OS DADOS

N o caso de avaliações que geram suas próprias inform ações, são requ e­
ridos passos decisivos para o desenho dos instrumentos de coleta de
dados, amostra, trabalho de campo, m anejo e acesso de dados.

N ão analisarei o processo, passo a passo, para a realização de uma pes­

quisa, mas mencionarei simplesmente os passos principais, que incluem:

• Desenhar e selecionar amostras;

• Elaborar instrumentos de coleta de dados;
• Reunir e capacitar pessoal para trabalho de campo;
• Realizar teste-piloto;
• Coletar dados;
• Acessar e gerenciar as informações.

7. COLETANDO DADOS A TU AIS

Inicia-se a fase de execução do projeto, que inclui a coleta de dados atuais.

8. A N A LIS A N D O OS DADOS

Com o nas outras etapas do processo, a análise dos dados de avaliação,

sejam eles quantitativos, sejam qualitativos, requer a colaboração en­
tre os analistas, os geradores de dados e as autoridades responsáveis, a
fim de esclarecerem as perguntas e garantirem resultados oportunos e
de qualidade. Seguramente, surgirão problemas com a depuração e a
interpretação dos dados durante a análise, e serão necessários os apor­
tes de diversos m em bros da equipe. É tam bém im portante lem brar que
0 andam ento da análise sem pre demora mais do que o previsto.

9. REDIGINDO OS RESULTADOS E ANALISAND O -O S COM AS

AUTORIDADES RESPONSÁVEIS E OUTRAS PARTES INTERESSADAS

Este ponto pode ser óbvio, mas é m uito im portante que os produtos e
as inform ações sejam fáceis de 1er e tenham relevância política. 0 ad­
m inistrador da avaliação deve planejar a geração de diversos produtos
para políticos, administradores do programa, doadores e ao público em
geral, jornalistas e acadêmicos. Se possível, é bom tom ar a inform ação
acessível a todos.

Esses produtos terão maior aplicação na política se incluírem recomen­

dações claras e práticas provenientes da análise dos efeitos. As autoridades
que decidem devem estar dispostas a considerar os resultados finais.

10. INCORPORANDO OS RESULTADOS NO DESENHO DO PROJETO

Se a avaliação está bem planejada e os objetivos são claros, isto deve

estar bem implícito. Os problemas de im plem entação podem ser difí­
ceis, mas esse é outro tema.

EXEMPLOS DE AVALIAÇÕES DE EFEITO DE

“ PROCEDIMENTOS ÓTIM OS”

Os quinze estudos de caso, incluídos em meu livro, foram selecionados

de uma variedade de avaliações realizadas pelo Banco Mundial, por
outras agências de doadores, instituições de pesquisa e empresas de
consultoria privada. Foram escolhidos com o exem plo de "prática ó ti­
m a" e por seu rigor m etodológico, que tentava refletir diversos exem -

©
pios de diferentes setores e regiões. Ainda que cada avaliaçâo de
im pacto tenha seus pontos fortes e fracos, as lições aprendidas dessas
experiências deveriam ajudar ao administrador de projetos ou ao analis­
ta político, que buscavam desenhar e implementar um futuro trabalho.
Muitos exem plos vieram da Am érica Latina, já que nessa região sào fe i­
tas mais avaliações do que em outras.

Entre esses casos, existem avaliações de projetos na área da educação,

saúde, programas de trabalho, microcrédito, alim entação e nutrição, in­
fra-estrutura e agricultura.

Dos exemplos, tiramos alguns tem as gerais.

PLAN IFIC AÇÃO ANTEC IPAD A E CUIDADOSA DO

DESENHO DA A V ALIA Ç Ã O

A preparação cuidadosa durante as etapas iniciais da identificação do

projeto assegurará que se reúnam as informações corretas e que se
possam em pregar os resultados para ajustes dos com ponentes do pro­
je to durante o processo. Com o planejam ento antecipado e cuidadoso,
é possível incorporar todos os elem entos que contribuem para uma
avaliação de efeitos rigorosa, com o uma pesquisa de referência com
um grupo de controle ao acaso e dados qualitativos sobre os processos
que poderiam influir nos efeitos.

Um exemplo que é particularmente bom é o Projeto de Nutrição e Desen­

volvimento Pré-Escolar de Uganda. Esta avaliação foi planejada com muitos
detalhes, estando seus termos de referência inclusos no livro já citado.

A VAU AÇ Õ E S SEM DADOS DE REFERÊNCIA

N a prática, muitas avaliações não têm dados adequados, havendo que se

trabalhar com os dados existentes e. por essa razão, sem informações re­
ferenciais. Isto significa que os grupos de controle devem ser construídos.
Alguns casos exemplares são os projetos de avaliação de Alim entos para
Educação, de Bangladesh, Probecat, do México, Programas de TYabalho A ti­
vo da República Tcheca e Projeto TYabalhar, da Argentina.
N a ausência de uma referência, devem ser criados controles usando-se
os m étodos de sincronização ou matching, mas isto pode ser bastante
complicado. Tom e-se com o exem plo o caso dos m étodos de sincroniza­
ção (propensity score matching), que usou o Projeto IVabalhar da Argentina
para criar um grupo de controle, com dados transversais sobre os par­
ticipantes e os não-participantes do programa.

O Projeto Trabalhar II, da Argentina, é um programa de em prego públi­

co. Focou-se em prover em prego para pessoas de baixa renda, em p e­
quenos subprojetos de infra-estrutura social e econômica, selecionados
por grupos da comunidade. A avaliação de im pacto foi desenhada para
ponderar se a renda dos participantes era mais alta do que seria se tal
programa nâo existisse. Os m étodos mais comuns usados para calcular
a renda dos lares, sem a intervenção do programa, nâo eram factíveis,
no caso do Projeto TYabalhar. Nenhum estudo ao acaso (randomization)
fora realizado para construir um grupo de controle com finalidade de
com paração da renda dos beneficiários do projeto, nem se contava com
pesquisas de referência, o que eliminava a possibilidade de realizar uma

avaliação do antes e do depois.

A avaliação do Projeto 'Ifabalhar usou, entâo, em seu lugar, os dados exis­

tentes, criando um grupo de controle mediante a reunião de participantes
e não-participantes do programa nacional, em um conjunto de variáveis
socioeconômicas, com o sociedade civil, gênero, habitação, percepções
subjetivas de bem-estar e filiação a partidos políticos e associações de vi­
zinhos. usando uma técnica chamada qualificação de propensão.

O estudo dem onstra o uso abundante dos dados existentes da pesquisa

nacional em lares — a Entrevista de Desenvolvim ento Social (EDS) — ,
para gerar o grupo de comparação, combinado com uma pesquisa mais
reduzida dos participantes do Projeto TŸabalhar. conduzida especifica­
m ente para os fins da avaliação. Essa pesquisa mais reduzida foi dese­
nhada cuidadosamente, de m odo que se usou o m esm o questionário
que a EDS e as mesmas equipes de entrevistadores, tendo sido realizada
aproximadamente ao mesmo tempo para se poder efetivar com sucesso
0 exercício de comparação. Esta técnica foi possível porque a pesquisa
nacional de lares estava sendo realizada, então os avaliadores podiam

O
aproveitar esta oportunidade para tirar amostras dos participantes do
Projeto Trabalhar. 0 fato das m esmas equipes de entrevistadores terem
sido utilizadas para as entrevistas nacionais e as do projeto perm itiu
obter vantagens na coleta de dados.

LIMITAÇÕES AO ELABORAR CONTROLES ADEQUADOS

Os estudos aleatórios (randomization) ou os controles experimentais são às

vezes possíveis, mas não factíveis no que se refere a políticas nacionais e
locais. Neste caso. é possível efetuar os estudos aleatórios aproveitando-
se de qualquer plano para testar o projeto em certas áreas restritas, que
podem ser selecionadas, inicialmente, de forma aleatória, com possíveis
áreas futuras planejadas com o controles. Com o tempo, podem-se incluir,
aleatoriamente, comunidades adicionais ao projeto.

Três exem plos ilustram com o m anejar uma situação na qual o estudo
aleatório não era exeqüível relativam ente à política ou a outro aspecto.

• N o Vietnã, será avaliado um projeto de transporte rural com infor­

m ação lim itada e sem estudo aleatório.
• 0 Fundo Hondurenho de Investimento Social proporciona um exem plo
de com o criar um grupo de controle em um projeto dirigido pela de­
manda. usando-se uma comparação ex post, tendo por base um corte
transversal único de dados. Avaliar projetos dirigidos pela demanda
pode ser especialmente difícil, dado que não se sabe, quais projetos ou
quais comunidades estarão deles participando de form a antecipada.
• A avaliação do Fundo de Investim ento Social da Bolívia, na região do
Chaco, proporciona um bom exem plo de com o incorporar o estudo
aleatório em projetos dirigidos pela demanda, de form a que perm ita
a focalização.

MÉTODOS DE COM BINAÇÃO

N a m aioria das avaliações, é requerida mais de uma técnica para se

obterem resultados sólidos que abordem as várias perguntas da avalia­
ção. Cada pergunta poderia necessitar diferentes técnicas, incluídas

O
dentro de um desenho de projeto. IVês casos ilustram com o se com bi­
naram diversas técnicas em avaliação: o Fundo Social, da Bolívia, a Ava­
liação TVabalhar, da Argentina, e a Reforma Escolar, da Nicarágua.

REFORMA D A A U TO N O M IA ESCOLAR DA N ICARÁCUA

Em 1993, 0 govem o da Nicarágua tomou medidas para im plem entar

uma im portante decisão de descentralização no setor da educação, ou ­
torgando autonomia orçamentária e de administração a escolas selecio­
nadas. prim árias e secundarias. A m eta das reform as é m elhorar a
aprendizagem dos alunos: à m edida que a administração de escolas se
tom a m ais dem ocrática e participativa, dando m aior liberdade e con­
trole de seu orçam ento às administrações locais, há m elhoria na qua­
lidade do ensino, impulsionando o rendim ento escolar dos alunos.

O efeito dessa reform a foi avaliado, usando-se uma combinação de téc­

nicas quantitativas e qualitativas que exam inam o resultado e o pro­
cesso de descentralização.

O propósito do componente qualítatiuo é esclarecer se estão realizando ou

não. nas escolas, as reformas previstas de administração e financia­
mento, pesquisando-se os aspectos positivos ou negativos. O componente
quantitativo reforça esses resultados, respondendo à pergunta: As m u ­
danças na administração e financiam ento das escolas realm ente pro­
duzem m elhores resultados na aprendizagem dos alunos?

Os resultados qualitativos indicam que o êxito das reformas depende, em

grande parte, do cenário no qual está inserida a escola (quer dizer, o nível
de pobreza da comunidade), ao passo que os resultados quantitativos m os­
tram que o aumento da tomada de decisões das escolas está associado,
de forma significativa, ao aumento do rendimento dos alunos.

Foram utilizadas m etodologias e fontes de dados diferentes, mas com ­

plem entares, para combinar com os diferentes enfoques. Por um lado,
a avaliação quantitativa seguiu um desenho quase-experim ental, no qual
se com pararam as qualificações das provas de uma amostra de alunos
de escolas autônomas (grupo de tratamento) com os resultados de uma
amostra de escolas públicas não-autônomas e de escolas privadas (gru­
po de comparação). Os dados para este com ponente da avaliação foram
com pilados de um painel de duas entrevistas em escolas-lares testa­
das, além das qualificações de provas de rendim ento dos alunos. Por
outro lado, o desenho da avaliação qualitativa consistia de uma série de
entrevistas a informantes-chave e de conversações com grupos-objetivo.
com diferentes pais e funcionários da escola, advindos de uma suba-
m ostra das escolas autônomas e tradicionais, incluídas no estudo
quantitativo.

O uso de técnicas de pesquisa qualitativa e quantitativa gerou uma

valiosa com binação de resultados úteis e pertinentes para a política.

O trabalho quantitativo proporcionou uma ampla visão geral e estatisti­

camente válida das condições e resultados das escolas; o trabalho qualitativo
melhorou tais conclusões, informando por que alguns resultados esperados
do programa de reforma tiveram êxito, enquanto outros fracassaram, aju­
dando. portanto, a orientar os ajustes da política. Além disso, com o o tra­
balho qualitativo é mais intuitivo, mais acessível e. por conseguinte, mais
interessante para o pessoal do Ministério, ele gerou uma facilitação na cre­
dibilidade do processo de avaliação na esfera ministerial.

CUSTOS E FINAN CIAM ENTO

Com o vêem , existem muitos custos potenciais em um estudo de im pac­

to, que incluem o tem po dos pesquisadores e a coleta de dados.

Som ente algum as avaliações de nossa amostra tinham dados sobre os

custos, m as tem os dez avaliações feitas com a participação do Banco
Mundial com estim ativas dessa natureza. Esses custos não incluem o
valor a ser pago para os funcionários dos países conveniados. cujo m on ­
tante pode ser significativo. Em certos países, o govem o pode ter algu­
m as pessoas trabalhando em um projeto, por um ou dois anos.

O custo m édio estim ado para a avaliação de im pacto foi de 433 mil
dólares. Isto reflete uma flutuação entre 263 mil dólares — com o a
avaliação de um programa de capacitação de habilidades vocacionais
para jovens desempregados de 'IVinidad e Tobago — e 878 mil dólares —
com o a avaliação do Fundo de Investimento Social da Bolívia.

O gasto com avaliações de im pacto para a m anutenção dos projetos

reflete, em média, 0,6% de seu custo total (que às vezes inclui financia­
m ento de vários doadores), ou 1,3% do custo do em préstim o do Banco
Internacional de Reconstrução e Desenvolvim ento (BIRD) ou do crédito
da Associação Internacional de Desenvolvim ento (AID).

Os com ponentes mais custosos para a manutenção das avaliações

indicadas foram a coleta de dados e os assessores locais e internacio­
nais. Em muitos dos casos, os custos incluíram viagens do pessoal local
para se reunir com funcionários do Banco Mundial, e de pesquisadores
para sessões de estratégia e capacitação, porque um objetivo-chave era
a criação de capacidade em pessoal do país-cliente.

O financiam ento de uma avaliaçâo de im pacto pode vir de um projeto

com outros recursos governamentais, de uma subvenção para pesquisa
ou de um doador extem o.

A inform ação para uma amostra de avaliações do Banco Mundial indi­

ca que. apesar de m uitos países assumirem a m aior parte dos custos de
avaliação, a execução exitosa de uma avaliação de impacto requer con­
sideráveis recursos externos, além dos previstos em um em préstim o ou
crédito para um projeto.

Esses recursos vieram das seguintes fontes:

• em préstim o ou financiam ento de crédito do Banco Mundial para a

coleta e processam ento de dados;
• verbas do govem o, destinadas aos salários pagos ao pessoal local n o­
m eado para o esforço da avaliação;
• subvenções para pesquisa do Banco Mundial e subvenções de doado­
res bilaterais, que financiaram a assistência técnica de assessores
com conhecim entos especializados, requeridos especificam ente para
a avaliação; e
• pressuposto de gastos gerais do Banco Mundial, proporcionado pelo
tem po do pessoal para orientar a avaliação de efeitos e. com freqü ên­
cia, para participar ativam ente do trabalho analítico.

ASSUNTOS DE ECONOM IA POLÍTICA

Com o m encionei anteriormente, o apoio político é m uito im portante. A

decisão de efetuar uma avaliação depende m uito de um apoio político
sólido.

M uitos govem os não vêem o valor de efetuar projetos de avaliação e,

portanto, não desejam investir recursos nisto. A lém do mais. podem ter
receio ao perm itir uma avaliação independente, que venha revelar re­
sultados contrários à política governamental, em particular em regimes
autoritários ou fechados. Os govem os mais abertos, no entanto, consi­
deram as avaliações e a divulgação dos resultados com o parte im por­
tante do processo democrático.

A s avaliações tam bém são sensíveis à mudança política. Três dos oito
estudos de efeitos indicados pelo Banco, m encionados no livro, foram
cancelados por problem as de econom ia política. As alternações dos
regimes ou nos postos-chave dentro de uma adm inistração governa­
m ental e as mudanças de estratégia política podem afetar não só o
esforço de avaliação, mas fundam entalm ente a execução do programa
que se está avaliando.

Um exem plo é a Venezuela, que redesenhou uma avaliação de um pro­

grama de saúde e nutrição m aterna e infantil três vezes, com três con ­
trapartidas diferentes de clientes, posto que o govem o transferiu a
responsabilidade da avaliação de um organismo a outro. Cada mudança
esteve acom panhada de uma renegociação de contrato com a em presa
do setor privado que se tinha prontificado a realizar a coleta de dados
e a m aior parte da análise para a avaliação. Quando a legitim idade da
terceira contrapartida do govem o com eçou a ser questionada, a em p re­
sa anulou 0 contrato e a avaliação foi abandonada.

O
Tais incidentes aconteceram durante um periodo de mudança política,
caracterizado por várias reorganizações de gabinete, que term inaram
com o fracasso do govem o eleito, o qual servia de contrapartida do pro­
jeto. de m odo que a avaliação dificilm ente era a única que se via afeta­
da pelas repercussões da instabilidade política.

N O TA

* P alestra pro ferid a em esp an h o l e trad u zid a

p ara o p o rtu g u ês p e r Ana Rojas A costa e M a­
ria Zélia M artins, com revisão final de Maria
Cecília Roxo N obre Barreira. Este trabalho está
b asead o no livro do m esm o título e pode ser
enco n trad o no site do Banco M undial (http:
//WWW. w o r d b a n k .o r g / p o v e r t y / l i b r a r y /
im p act.h tm ) — BAKER, Judy L. Euoluating the
Impact o f Development Projects on Poverty: a
h an d b o o k for p racticioners. T he W orld Bank,
W ashin g to n , D. C., USA, 2000.

e
A v a lia ç ã o d o s

s is te m a s

e d u c a tiv o s e

a v a lia ç ã o d o s

re s u lta d o s

e s c o la re s d o s

a lu n o s *
JEA N HÉBRARD é inspetor-geral da educação nacionai do M inistério da Educação
N acionai da França. Desenvolve programas educativos em diversos países, m ais
particularm ente na Am érica Latina. Coordenou, durante m uitos anos, a cooperação
educativa bilateral entre o Brasil e a França. É professor associado ao Centro de
Pesquisas sobre o Brasil Contem porâneo da École des Hautes Études en Sciences
Sociales de Paris.
Os diferentes dispositivos de avaliação dos sistemas educativos avan­
çados podem ser remetidos a três grandes modelos. 0 primeiro, o mais
tradicional, verifica a adequação do trabalho dos atores à regulam enta­
ção e aos objetivos definidos pelo organismo de tutela (trata-se, em ge­
ral, de um sistema público). 0 segundo, bastante difundido atualmente,
tenta m edir a pertinência das escolhas feitas por um operador que in ­
tervém , de m aneira excepcional, em um dado m om ento da história do
sistema educativo, na perspectiva de seu desenvolvim ento. O terceiro,
que só se desenvolveu durante a explosão escolar da m etade do século
XX (aumento da duração e do nível de escolaridade do ensino de massa),
interessa-se, sobretudo, pelos resultados obtidos pelas diferentes uni­
dades de ensino, que conservam um forte grau de liberdade na organi­
zação de seu trabalho.

Os prim eiros correspondem aos sistemas estatais centralizados, com o

0 da França, desde o fim do século XIX até os anos 80; os segundos, aos
países ou regiões que sofrem um atraso em seus investimentos educati­
vos e utilizam os recursos dos grandes organismos internacionais para
superá-lo; os últimos, aos sistemas contratados nos quais os financia­
m entos são distribuídos não som ente em função dos efetivos escola-

e
rizados, m as dos projetos de cada unidade e dos resultados obtidos no
fim do contrato. Na maioria dos países, as universidades (públicas ou as
que recebem subsídios públicos) foram as primeiras a se engajar nesse
tipo de relação com suas tutelas. Há cerca de uma década, os ensinos de
1? e 2? graus passam a fazer o m esm o com seus organismos de tutela,
não sem novos problemas. Estes dispositivos tendem a substituir tanto
os de prim eiro tipo (verificação da adequação às regras) quanto os do
segundo (expertise de escolhas operacionais).

Para tentar com preender como se dá essa evolução, vam os nos deter
aqui na avaliação dos sistemas de ensino básico (escolas primárias) que
se dedicam à alfabetização. Em grande parte dos países, tais sistemas
parecem ser os m enos aptos a entrar em uma outra lógica de avaliação
que não aquela da conform idade à regulamentação pública (é caso dos
sistemas públicos centralizados) ou da pertinência das escolhas opera­
cionais (caso dos pedidos de financiamentos internacionais).

Dois exemplos, bastante distantes um do outro, podem esclarecer a pro­

blem ática e apoiar a discussão em bases mais concretas. 0 primeiro é o
de um projeto de auxílio à melhoria do funcionamento de 25 escolas pú­
blicas em quatro estados do Brasil (Projeto Escola que Vale), envolvendo
uma fundação (Fundação Vale do Rio Doce) e uma organização não-
governamental (Cedac). Tal projeto visa experimentar e desenvolver um
m odelo de intervenção “clínica” em políticas públicas de escolarização
(Estado, município), cujo interesse é evidente para os sistemas educativos
pouco centralizados, como os de muitos países sul ou norte-americanos.
0 dispositivo de avaliação que foi implementado tem, a priori, uma dupla
função: permitir à equipe responsável pelo projeto um olhar exterior
sobre as diferentes etapas de sua ação e prestar contas aos sócios capi­
talistas do bom emprego do financiamento obtido.

O segundo exem plo é o da implementação, por um Estado (a França),

de uma lei escolar (lei de orientação, de 1989), que im plica um novo uso
das avaliações regulamentares (controle de conform idade) e de avalia­
ções dos resultados dos alunos (redução de fracassos), no âmbito de
uma avaliação perm anente de políticas públicas. Neste caso, a avalia­
ção leva em conta a expertise de funcionários públicos (inspetores) e o

©
trabalho dos diretores ministeriais (direção de avaliação). Ela envolve
todos os níveis de uma administração — nível central e nível descen­
tralizado — e diferentes atores do sistema, com o professores, diretores,
conselheiros pedagógicos, inspetores.

A V ALIA Ç Ã O DE UM PROJETO DE AUXÍLIO À MELHORIA DO

FUNCIONAMENTO DE ALG UM AS ESCOLAS PÚBLICAS EM
QUATRO ESTADOS DO BRASIL.

0 Program a Escola Que Vale, volta do à form a çã o continuada de

professores do ensino público fu n d a m en ta l, tem p o r fin alid a d e
d ota r seus sujeitos de novas com petências capazes de gera r p rá ti­
cas educativas mais densas de ualores, conteúdos e processos de
aprendizagem .
Os professores são sujeitos históricos que uivem e aprendem
muita coisa em seu cotidiano, que apreciam a beleza, que usu­
fruem sua cultura e que, diante de uma boa oportunidade, podem
fazer uma “alquimia” de tudo isso e se apresentar também com
produtores de cultura.

A estratégia proposta para a capacitação do professor centra-se no

desenvolvim ento de Projetos de Trabalho, estruturados de fo rm a a
contem plar a ênfase na leitura/escrita/comunicação oral, a resolução
de problem as, a prática da cidadania, o uso de recursos tecnológicos,
vendo a comunidade com o sujeito e locus de conhecimento.

0 p rogra m a in trod u z, igualm ente, a oferta de insumos que bus­

cam assegurar condições para a capacitação dos docentes, assim
com o responder de fo rm a convergente às dem andas dos demais
sujeitos im plicados: a escola (incluind o aqui m elhorias no equipa­
mento); os professores da rede (incluindo oficinas de sensibiliza­
ção e capacitação); os alunos, com acesso a tecnologias e situações
pedagógicas para que possam aprender m elh or e d e fo rm a signi­
ficativa; os pais e a com unidade, para que possam assumir seus
papéis de sujeitos de aprendizagem .
 0 Program a assenta-se em parcerias com as prefeituras, secre­
tarias m unicipais de educação, equipes de escolares, pais e co m u ­
nidade, visando a um processo de mobilização e irradiação capaz
de produzir im pactos efetivos na m elhoria da aprendizagem dos
alunos, na apropriação de valores dem ocráticos e nos vínculos en­
tre escolas e com unidade local. (Pesquisa a va liativa do Program a
Escola Que Vale — R elatório Parcial. M a ria do C arm o Brant de
C arvalho (Coord.). São Paulo, agosto de 2000.)

O Projeto Escola que Vale foi elaborado pelo Centro de Estudos e Do­
cum entação para Ação Comunitária — Cedac, criado, há alguns anos,
por Beatriz Cardoso. Dentre suas diferentes ações, a equipe do Cedac já
havia tido a oportunidade de desenvolver uma ação de formação, par­
ticularm ente original, de professores rurais no Estado de São Paulo,
baseada em uma rede de troca de correspondências que permitia ultra­
passar 0 isolam ento dos professores de escolas muito distantes umas
das outras. Nesta ação, foram elaborados instrumentos didáticos de
grande qualidade e uma filosofia de form ação centrada mais na troca
de experiências concretas do que em um metadiscurso pedagógico.

O Projeto Escola que Vale’ é mais ambicioso, uma vez que visa definir
um m odelo de intervenção no sistema educativo público, leve o bastan­
te para não parecer intem pestivo às autoridade de tutela e suficiente­
m ente eficaz para que sua ação ultrapasse rapidamente as poucas
escolas envolvidas (25 no total). Trata-se de um projeto que tenta se au-
tomultiplicar. Baseia-se, portanto, menos em m odelos clássicos de ensi­
no e de form ação — encontrados nas faculdades de educação ou em
institutos de form ação pedagógica — do que na criação de com petên­
cias de autoform ação dos próprios atores (“construir um m odelo de in ­
tervenção cooperativo num sistema público de ensino, que ofereça con­
dições de trabalho e permita a apropriação do processo por parte de
todos os im plicados”*). Esta característica conduziu os responsáveis a
im aginar um dispositivo no qual a form ação pessoal não apenas é inse­
parável da form ação profissional; mais que isso, a orienta.
Lançado em 1999, o Projeto Escola que Vale* desenvolveu, até o m om en­
to, um cronograma de trabalho no qual todas as etapas encadeiam-se
com precisão:

• elaboração do projeto e negociação com as instituições financiadoras;

• enquete em municípios passíveis de se interessar pelo projeto;
• solicitação de uma pesquisa sobre 45 escolas sondadas por um orga­
nismo exterior (realização de m onografias sobre cada uma delas, per­
m itindo explicitar as dificuldades específicas de cada uma e as possi­
bilidades dinâmicas dos atores), visando facilitar a escolha;
• escolha dos Estados (quatro), dos municípios (seis) e das escolas (25)
envolvidas;'*
• im plem entação do dispositivo de acom panham ento das escolas par­
ticipantes por um coordenador local e um coordenador regional; es­
tabelecim ento das m odalidades de trabalho do conjunto assim cons­
tituído (escolas, municípios, coordenadores, Cedac);
• prim eira ação de formação: ateliês de prática artística pessoal (ofici­
nas de arte), dirigidos aos professores;
• elaboração de instrumentos destinados a promover, nas classes,
“eventos didáticos” ao longo do ano 2000: agenda, proposição de “pro­
jeto s” didáticos;
• no início de 2000, lançam ento dos "projetos", ativação do acom pa­
nham ento local pelos coordenadores, supervisão do acom panham en­
to pelo Cedac;
• no fim do prim eiro semestre, avaliação da etapa realizada por uma
equipe externa; emendas ao projeto e lançam ento de projetos para o
2° semestre.

Com o a avaliação intervém nesse esquema? Ela ocupa um lugar deter­

m inado no projeto inicial e, de m odo geral, visa oferecer à equipe do
Cedac um olhar externo em cada uma das etapas de seu trabalho. Per­
m ite tam bém a esta ONG prestar contas à fundação e à em presa que
financiam e incentivam a operação. Eis aqui um esquem a bastante
simples encontrado em todos os programas desse gênero, particular­
m ente quando são financiados por grandes organismos internacionais.
N o entanto, observando mais de perto, a articulação entre avaliação e
desenvolvim ento do projeto revela-se mais complexa e m erece m aior
atenção.

Pode-se considerar que este projeto funciona com três lógicas de ava­
liação bem distintas. A prim eira se refere a um dispositivo de expertise
extema, que intervém, a posteriori, no momento da concepção do projeto.
Ela visa, portanto, os atores situados na origem do projeto (essencial­
m ente o Cedac, mas tam bém os organismos de apoio) e se baseia em
suas produções escritas — o projeto propriamente dito, instrumentos
de análise, resultados das análises, instrumentos de form ação ou ins­
trum entos didáticos etc. 0 pedido dos operadores que solicitaram esta
expertise form ula-se com o controle e conselho: controle da coerência
das diferentes propostas (de sua pertinência em relação aos dados dis­
poníveis etc., e conselho para a melhoria da concepção.

Para o especialista, trata-se primeiro de “compreender” o projeto, isto é, de

apreciar sua legibilidade. Para tanto, ele dispõe de sua experiência, bem
como de sua própria cultura, e trabalha por assimilação: no projeto, tudo
0 que é “reconhecido” — isto é, referente a uma de suas categorias de
análise — constitui sua base de apreciação. O projeto é im ediatam ente
inscrito em uma tipologia de projetos educativos possíveis (a tipologia
de que o especialista dispõe) e avaliada na esfera desta categoria. Tal
categoria se define, em geral, por um ideal-tipo (ou por um conjunto de
características e normas).

Em sua singularidade, o projeto é então examinado com base nas diferen­

ças com 0 m odelo ao qual é assimilado: diferenças aceitáveis, diferenças
possíveis, diferenças que correm o risco de criar conflitos irredutíveis
ou de colocar em risco a coerência do projeto. É evidente que, para o es­
pecialista, tais diferenças constituem uma série de experiências novas,
que vêm enriquecer seu repertório de modelos. O julgam ento da expertise,
neste nível, é pouco capacitado para verificar a adequação do projeto
às situações concretas dos sistemas educativos (ou de parcelas desses
sistemas) sobre os quais se apóia.

É neste m om ento que intervém o segundo dispositiuo de aualiação im ­

plem entado pelo Cedac. Sua originalidade reside no fato de que ele
“extem a liza ” todo o dispositivo de enquete sobre a realidade estudada
e solicita, então, a uma equipe de pesquisa,* a análise da situação do
sistema educativo em questão, assim com o das características dos
atores e das populações sobre as quais o projeto vai incidir. Esta equipe
terá por missão apreciar a adequação do projeto a esta realidade, bem
com o os resultados obtidos. Os relatórios produzidos nessa ocasião per­
m itiram, até 0 m om ento:

• lançar um olhar avaliativo global sobre o projeto do ponto de vista de

uma ética das ações sociais;
• facilitar as escolhas dos locais de experim entação (tipos de dificul­
dades, capacidade de m utação etc.);
• seguir a evolução das ações previstas e regular os investim entos dos
atores;
• apreciar o im pacto do projeto durante sua realização, em cada um
dos eixos definidos com o prioritários (alunos, professores, escolas,
famílias, comunidade, parceiros da rede municipal).

A m etodologia da equipe encarregada deste trabalho se desenvolve em

três direções complem entares:

• análise dos dados estatísticos disponíveis (m acroindicadores) em ní­

vel federal, nacional e municipal; assim, as escolas participantes são
situadas em um contexto mais amplo, perm itindo apreender suas
características demográficas, econôm icas e sociais, bem com o o grau
de desenvolvim ento do sistema educativo no qual elas se inserem
(índices de escolarização, de repetência, de evasão escolar; nível de
form ação dos professores, despesas dos municípios etc.).
• observação clínica dos diferentes atores do dispositivo local (crianças,
famílias, professores, coordenadores, equipes municipais); eles são
consultados acerca do grau de concordância sobre o programa, os
efeitos do programa que já se fazem perceber, as dificuldades que
sentem etc.
• análise das respostas dadas pelos professores nos questionários em
relação às atitudes das crianças e à apreciação dos efeitos do progra­
m a nelas observados.
Como podemos notar, esta segunda lógica de avaliação concerne essen­
cialmente às representações dos professores, tanto no que se refere ao seu
próprio trabalho, quanto ao trabalho dos alunos. Ela é centrada nas dinâ­
micas de mudanças e nas atitudes. Tenta apreciar, por m eio de discursos
cmzados de diferentes atores, todos os signos que permitem afirmar que o
programa produz efeitos significativos na percepção da realidade, nas hie­
rarquias de valores e na mobilização do sujeito (ou do grupo).

O terceiro dispositivo de avaliação pode ser considerado um processo online,

que, em todos os níveis, exige dos atores m om entos de regulação cruza­
da que parecem ser decisivos. É o caso, por exemplo, das notas regular­
m ente enviadas pelo coordenador regional ao Cedac. Quando ele visita
uma localidade, organiza uma série de reuniões — com o coordenador
local, professores, supervisores, diretores, o Secretário Municipal de Edu­
cação e seus colaboradores — , cada uma delas é gravada (áudio) e
tom a-se objeto de um relatório que é enviado ao Cedac. Cada partici­
pante faz um a auto-avaliação e uma avaliação espontânea da ação em
andamento, referente ao nível im ediatam ente inferior: os professores
avaliam seu trabalho e o de seus alunos; os supervisores avaliam seu
trabalho de supervisão e o trabalho dos professores etc. Tendo em vista
esse m aterial abundante, cabe ao coordenador regional triar aquilo que
julga pertinente, tanto para controlar sua ação quanto para inform ar o
nível superior (no caso, a equipe central do Cedac) e receber, deste últi­
mo, uma avaliação de sua ação.

A leitura desses documentos® mostra como os atores exercem efetiva­

m ente seu papel no dispositivo da avaliação online. De m odo geral, eles
cham am a atenção sobre as distorções que aparecem entre os grandes
eixos do projeto geral e as possibilidades de sua im plementação:

• incom preensão dos objetivos;

• reflexos de resistência dos professores;
• impossibilidade de desenvolvim ento de certos aspectos do projeto
por inadequação de instrumentos;
• subobjetivos desnecessários, etc.

N o caso específico aqui examinado, a coordenadora regional do Maranhão

@
chama a atenção da equipe do Cedac sobre o que parece ser um dos
problem as da im plem entação: no Projeto Escola que Vale, faltaria (no
nível m anifesto) uma série de proposições precisas e explícitas sobre o
acesso aos três instrumentos de base das ações pedagógicas previstas
— a palavra, a escrita, a im agem. Isto se traduz, na transcrição das falas
dos professores durante as reuniões de trabalho, pela seleção de propo­
sições referentes às dificuldades dos alunos neste aspecto, apresenta­
do-as com o contraditórias em relação ao projeto.

Assim , parece que uma prática fortem ente centrada na form ação con­
tínua de professores e no acom panham ento da preparação didática de
seu trabalho (supondo ademais que esta form ação e este acom panha­
m ento serão suficientes para prom over uma dinâmica de m udança das
práticas profissionais) vem se chocar com as representações das supos­
tas capacidades dos alunos, construídas por todos os atores envolvidos.

A s respostas sugeridas pela coordenadora regional m erecem tam bém

ser exam inadas na m edida em que tentam sair desta dificuldade, por
vias didáticas e formativas, e não por via avaliativa. Para ela, com efeito,
as atitudes dos professores são interpretadas prioritariam ente com o re­
ticências a suprimir m ediante m elhoria da form ação (particularm ente
a form ação pessoal).

A V A LIA Ç Ã O DE U M A POLÍTICA PÚBLICA N A FRANÇA: PAPEL DO

DISPOSITIVO DE A V A LIA Ç Ã O NAC IO N AL DOS ALUNOS DA ESCOLA
PR IM Á R IA N A IMPLEMENTAÇÃO DA LEI DE ORIENTAÇÃO DE 1989

O processo francês que desejo analisar agora é conseqüência de um ato

legislativo: o voto parlamentar, em 1989, de uma “lei de orientação", a
qual define objetivos ambiciosos para o conjunto da escolaridade pré-
obrigatória e obrigatória (entre dois e dezesseis anos). É solicitado aos
professores tentar de tudo para que nenhum aluno saia do sistema
educativo sem uma qualificação, no m ínim o equivalente ao nível V da
escala de qualificações profissionais (Certificado de Aptidão Profissio­
nal — CAP, ou Brevê de Estudos Profissionais — BEP).*

O
N o m om ento em que a lei foi votada, mais de 20% dos alunos de cada
faixa etária não atingiam o nível V e saíam do sistema educativo sem
qualificação. No contexto do mercado de trabalho, extraordinaria­
m ente reduzido nos anos 1980-1990, esta situação conduzia, de m odo
inexorável, ao desemprego de longa duração e a situações escolares
extrem am ente precárias? No que tange à pré-escola (crianças de dois a
seis anos — mais de 95% das crianças escolarizadas desde os três anos e
100% com quatro anos) e à escola elem entar (escolarização obrigatória
de seis a onze anos), a lei prevê três dispositivos:

• predom inância da organização da escolaridade em três ciclos de três

anos cada* (em vez de ciclos anuais): só é possível repetir uma vez ao
longo do ciclo e o programa deve ser percorrido segundo um ritm o de­
cidido pela equipe de professores do ciclo, os quais dispõem de uma
hora semanal de reunião para harm onizar seu trabalho;
• obrigação de cada escola redigir, a cada três anos, um projeto educa­
tivo “ (“projeto de escola”), que é hom ologado pela administração e
que permite, em relação aos objetivos definidos em nível nacional
(programas dos conteúdos e competências a atingir ao fim do ciclo),
adaptar a ação da escola às especificidades dos alunos que a fre­
qüentam e aos recursos humanos e materiais de que dispõe;
• im plem entação de uma avaliação nacional (em língua m aterna e em
m atem ática) de todos os alunos em fim de ciclo II e em fim de ciclo
III;“ definição de um nível de competência m ínim o para aceder ao
ciclo superior que, quando não atingido, não aciona uma repetência,
m as uma m edida de responsabilidade diferenciada (projeto pedagógi­
co de ajuda personalizada).

É interessante notar com o o dispositivo tradicional de avaliação de con­

form idade à regulam entação nacional pode se adaptar a uma lei que,
de um lado. exige a abertura de um espaço m aior à iniciativa local, mas,
de outro, introduz um sistema de avaliação dos alunos, o qual permite
situar precisam ente a eficácia de cada escola ou de cada unidade
adm inistrativa encarregada das escolas; isto é, tenta com pletar o con­
trole de conform idade por um controle sobre o rendim ento do sistema.

N a França, o controle mais próxim o das escolas primárias (pré-elem en-

tares e elementares) é realizado por um “inspetor da Educação Nacional”,“
responsável por uma circunscrição com cerca de 300 a 350 professores
(trinta a quarenta escolas urbanas, sessenta a oitenta escolas rurais).
Ele é cercado por uma equipe de dois ou três professores, que não estão
mais em sala de aula e que possuem o diploma de professor-formador,“
além de uma secretária. Ele assegura a gestão adm inistrativa das esco­
las relacionadas à sua tutela (na França, os municípios), a form ação
contínua dos professores e a recreação pedagógica das escolas; enfim,
ele inspeciona cada professor ao menos uma vez a cada três anos, e,
nesta ocasião, confere-lhe uma nota que contribui para sua evolução
na carreira. Ele próprio está diretam ente subordinado a um inspetor de
academia, que dirige os serviços da Educação Nacional no âmbito do
departam ento,“ distribui os recursos humanos alocados pelo Estado e
im pulsiona a política nacional tal qual é definida pelo ministro.

A s três medidas, previstas pela lei de orientação de 1989 e im ediata­

m ente aplicáveis, na verdade m odificaram as práticas docentes de m a ­
neira m uito diferente. Parece que, com o é freqüente no caso dos siste­
mas centralizados, as medidas que dem oram mais para entrar em vigor
são aquelas que im plicam mais os atores (os professores em suas clas­
ses, as equipes de professores nas escolas) e seus atos profissionais.
Aqueias que atingem os atores intermediários (professores-formadores,
inspetores, administração descentralizada) têm necessidade de um certo
tem po de gestação, mas se efetivam com mais rapidez, transform ando
a prática desses profissionais. E, enfim, aquelas que im plicam direta­
m ente a administração central são im ediatam ente colocadas em práti­
ca e influenciam com rapidez as práticas dos professores em sala de
aula, mas não acionam tão depressa as atitudes esperadas, particular­
m ente quando exigem certa iniciativa. Em geral, elas são reinterpreta­
das pelos professores e adaptadas tanto às condições de trabalho quanto
às representações que estes fazem do seu ofício.

M ais de dez anos depois da lei entrar em vigor, pode-se afirm ar que a
organização da grade escolar em ciclos de três anos e a pedagogia d ife­
renciada que ela im plica são encontradas apenas excepcionalm ente
quando se visita as escolas francesas. Apesar de todos os esforços de
form ação e dos reiterados incentivos dos poderes públicos, os professo­
res parecem não conseguir sair de uma pedagogia frontal“ e conceber
velocidades variáveis de percurso do ciclo, para cada um de seus alunos.
Na verdade, eles não dispõem ainda de instrumentos didáticos que fa ­
cilitariam seu trabalho ou, quando existem, eles não sabem (ou não
querem ) deles se utilizar.

Duas saídas parecem, contudo, se delinear: um certo número de editores

de livros didáticos começa, timidamente, a propor livros abrangendo a
totalidade do ciclo e não somente um de seus anos; para responder às
reiteradas solicitações de seus inspetores, numerosas equipes de pro­
fessores de ciclo fabricam, disciplina a disciplina, referenciais de com ­
petências sim plificados de fim de ciclo e boletins de avaliação passíveis
de serem transmitidos às famílias. Para os professores, é a ocasião de
harm onizar seu trabalho e de m elhor dividir os esforços dos alunos du­
rante os três anos do ciclo.

É interessante observar que os inspetores não levam em conta estas

reticências em suas avaliações sobre os professores, quando de sua ins­
peção, e que, desde 1989, os sucessivos ministros nunca solicitaram uma
pesquisa sobre o assunto.

A segunda m edida — projeto de escola — foi colocada em prática mais

rapidamente. Entretanto, isso foi feito a custo de m odificações signi­
ficativas em seus objetivos, que só puderam ser corrigidas recentemente.
Com efeito, em um primeiro momento, as escolas confundiram “projeto
de ensino” e “projeto de equipam ento”. Elas se lançaram na realização
(com financiam ento obtido graças aos créditos de incentivo) de biblio­
tecas, de reform as no pátio, em salas de informática, na decoração das
escolas etc. Nenhum desses projetos foi verdadeiramente pensado como
m odificador da prática dos professores em sala de aula. Na m aioria das
vezes, eles levam em consideração certo consumismo escolar (“é pre­
ciso ter uma biblioteca!”) ou ainda a concorrência entre escolas (“mesmo
em um bairro difícil, podem-se ter computadores!”).

Do m esm o modo, as escolas confundiram, com freqüência, “projeto de

ensino” com "projeto festivo”, imaginando que programar grandes fes­
tas ou espetáculos excepcionais permitiria agrupar todas as classes em

O
tom o de um objetivo comum. É verdade que eles foram estimulados a
cam inhar nesta direção pela ação do Ministério da Cultura que, nos
anos 80, disponibilizou créditos im portantes para que os jovens artis­
tas, trabalhando nas escolas, pudessem tanto beneficiá-las, por m eio de
suas competências, com o encontrar com plem entos salariais em um
período difícil para as profissões artísticas. O m esm o ocorreu com o
Ministério da Juventude e dos Esportes em relação aos jovens atletas.

Foi em razão de uma avaliação bastante clássica da política governa­

m ental que esta situação pôde ser m odificada. Na verdade, um dos atos
m ais im portantes do prim eiro governo de esquerda, realizado pelo
presidente François Mitterand, em 1981, foi a criação de “zonas de edu­
cação prioritária”(ZEP)“ nos bairros considerados difíceis. Essas ZEPs
foram pensadas tom ando-se por base o m odelo de educação com pen­
satória desenvolvido pela Grã-Bretanha alguns anos antes. As escolas
dessas zonas se beneficiavam de um adicional im portante de recursos
hum anos e financeiros. Ora, a im plem entação de avaliações nacionais
dos resultados escolares em 1989 e sua reedição anual pareciam
m ostrar que o diferencial entre escolas em ZEPs e escolas fora das ZEPs
continuava tristem ente idêntico ano após ano, apesar dos im portantes
esforços realizados tanto pelo Estado com o pelos próprios professores.
Em alguns casos, ele até m esm o se agravava à medida que as condições
sociais desses bairros, particularm ente sensíveis à crise econôm ica dos
anos posteriores à Guerra do Golfo, se degradavam.

Em 1996, ocasião do retorno ao poder de um novo govem o socialista, que

se sentia herdeiro da política dos anos 80, decidiu-se confiar uma missão
de avaliação à inspeção geral da Educação Nacional.“ Tratava-se de com ­
preender o que poderia levar uma zona de educação prioritária (ZEP) a
fracassar ou ser bem-sucedida em suas políticas de compensação.

Para estabelecer seu diagnóstico, a equipe encarregada da avaliação“

utilizou indicadores recém -elaborados pela Direção de Avaliação e da
Prospectiva (DEP), os quais permitem levar em conta, de maneiras dife­
rentes, a composição social de uma escola para julgar os resultados dos
alunos.“ Estabelecem-se os indicadores com base em uma amostra re­
presentativa da população francesa da qual se conhece a distribuição
socioeconôm ica (fazendo parte da amostra, segmentos de cada catego­
ria socioprofissional).

Quando se quer apreciar o nível relativo (não mais absoluto) atingido

por uma escola ou município, nesses m esmos indicadores, eles são cor­
rigidos em função da composição social específica dessa população, de
maneira a neutralizar as variáveis sociológicas. Isto perm ite calcular,
“na constância de todas as variáveis”, o “valor educativo agregado”
efetivam ente pelos atores dessa zona, eliminando-se os fenôm enos que
seriam devidos tão-som ente à realidade socioprofissional das fam ílias
envolvidas. Esse valor agregado pode, é claro, ser positivo ou negativo.

A o fm al dessa avaliação, observou-se que as ZEPs mais eficazes se ca­

racterizam por:

• serem pequenas (um ou dois colégios, cada um com seiscentos a sete­

centos alunos, e as escolas é que lhes encaminham alunos, ou seja,
têm de três a quatro mil alunos no máximo);
• seus alunos serem escolarizados precocem ente na pré-escola (todos,
aos três anos; uma parte importante, aos dois anos);
• seus projetos de escola serem prioritariamente voltados para as apren­
dizagens, mesmo que não deixem de lado as ações sociais ou culturais;
• fazerem uso regular das avaliações nacionais para controlar seu trabalho.

T endo o ministro decidido tom ar públicos os resultados, o debate que

se seguiu (por ocasião de um fórum nacional, em que todas as equipes
das ZEPs estavam representadas) permitiu levantar algumas fortes
oposições. Em particular, observou-se que certos professores haviam
preferido evitar qualquer tipo de conflito, ocupando o tem po dos alu­
nos, o m áxim o possível, com recreações de forte valor cultural e social,
na jornada diária e ao longo do ano. Eles chegaram, com freqüência, a
acalm ar as populações difíceis pelas quais eram responsáveis sem, no
entanto, obter melhores resultados escolares.

Em direção oposta, outras equipes tinham centrado seus esforços na

aprendizagem, obtendo resultados escolares bastante estimulantes (um
real “valor agregado” e, algumas vezes, valores médios superiores às mé-
dias nacionais), sem criar, no entanto, situações sociais mais conflituosas.
N o segundo caso, ocorria tam bém que a escolarização precoce das
crianças na pré-escola (a partir de dois anos) era mais centrada nas
atividades de aprendizagem que nos jogos e festas. Evidentemente, a
realidade de diferentes zonas prioritárias se dividia proporcionalm ente
entre esses dois modelos.

Tais constatações e os debates que se seguiram perm itiram repensar,

globalm ente, a política dos projetos de escola. Em particular, eles aba­
laram profundam ente as convicções dos inspetores das circunscrições
que, até então, haviam aceitado o que, hoje, parece ser uma deriva
“social” do dispositivo. Assistiu-se, então, em alguns anos, à redefinição
com pleta da noção de projeto e à sua articulação com as avaliações na­
cionais dos resultados dos alunos.

Daí em diante, quando uma escola renova seu projeto, ela com eça por
fazer um retrato da população com a qual trabalha. Ela avalia os indi­
cadores socioeconômicos: divisão de categorias socioprofissionais das
famílias, número de fam ílias que se beneficiam de recursos sociais,
ajuda para o pagam ento da alim entação escolar, núm ero de fam ílias
m onoparentais etc. Em um segundo m om ento, a escola tenta avaliar a
eficácia até então demonstrada, graças aos indicadores de sucesso es­
colar: índices de repetência, resultados nas avaliações nacionais, locais,
núm ero de crianças que precisam de um acom panham ento especial
oferecido pelas redes de ajuda*® etc. Em um terceiro m om ento, faz-se o
balanço dos recursos humanos e m ateriais disponíveis para os próxi­
mos três anos do projeto, assim com o dos recursos suplem entares de
que a escola poderia se beneficiar.

Considerando essas três dimensões, a escola tenta otim izar sua ação de
maneira a aum entar sua eficácia, respondendo, o mais diretam ente
possível, às necessidades de seus alunos. Assim, os elem entos que até
então ocupavam o essencial do projeto — instalação de equipamentos,
organização de eventos etc. — , longe de desaparecer, tom am -se in stm ­
m entos a serviço do projeto e continuam a dar sentido à ação da esco­
la no seu entorno. Os inspetores que im pulsionaram esta política vêem
reforçado seu papel de formadores, na medida em que intervêm , de
m aneira bastante ativa, na elaboração do projeto, objeto de uma série
de idas e vindas entre a escola e a inspeção.

Os esforços das escolas são compartilhados, ao longo da fase de elabora­

ção, por diversos encontros entre diretores que comparam suas propostas.
Enfim, perante as famílias — que evidentemente participam da elabora­
ção do projeto por intermédio de seus representantes eleitos no “Conselho
de Escola” — , os professores de uma mesma escola possuem uma meta
coerente e passível de ser defendida e argumentada. Desta forma, o pro­
jeto de escola tem um papel importante na regulação do funcionamento
do sistema educativo primário francês, tanto no que tange às próprias
equipes de professores (uma vez que estas assumem plenamente sua
constmção e seu acompanhamento) quanto no que se refere aos atores
intermediários (inspetores), que têm nele um instmmento de diálogo e de
estímulo em relação às escolas menos propositivas.

Foi a própria avaliação nacional dos resultados dos alunos que se re­
velou, no entanto, a mais fácil de ser im plem entada e, ao m esm o
tempo, a mais rica em conseqüências (positivas e negativas). Seu fun­
cionam ento relativam ente centralizado pode explicar seu sucesso, mas
tam bém alguns de seus defeitos.

Todos os anos, os inspetores de circunscrição são incentivados a apresen­

tar projetos, em colaboração com professores que selecionam, visando à
elaboração de baterias de provas, cujos critérios são definidos por uma
comissão nacional (uma por nível e por disciplina). Esta comissão selecio­
na, entre todos os projetos, as provas julgadas mais pertinentes e constrói
um dossiê de avaliação (cerca de trinta provas por disciplina e por nível),
que é encaminhado a todas as classes envolvidas no início das aulas.

N o fim da aplicação das provas, o professor encarregado corrige os tra­

balhos dos alunos e transpõe os resultados para tabelas (manuais ou
informatizadas), que lhe permitem calcular as tendências centrais de sua
classe em uma série de indicadores*’ e, no caso dos alunos, definir sua dis­
tância, positiva ou negativa, em relação à média. Calcula-se também,
para cada aluno, sua posição em uma escala de leitura composta de
quatro valores: não possui competências de base; possui competências
de base; possui competências notáveis; possui com petências excep­
cionais.“ Os resultados são enviados ao inspetor da circunscrição, que
estabelece médias para cada escola e para o conjunto da circunscrição.
Reagrupados no âmbito do departamento e, depois, da academia, esses
resultados perm item definir médias para cada um dos estágios do sis­
tem a educativo.

Paralelam ente, cerca de três mil alunos são sorteados para com por
uma amostra representativa das escolas francesas; suas provas são
agrupadas na Direção de Avaliação, analisadas e inform atizadas de
m odo a dispor dos m esm os escores em escala nacional. Este duplo ca­
m inho perm ite rem ediar a ausência de escalonam ento das provas e
obter, em nível local — mas não em nível nacional — com parações lo n ­
gitudinais. Com efeito, com o as provas da avaliação m udam todo ano,
não é possível com parar diretam ente os resultados obtidos por am os­
tras nacionais sucessivas. Além disso, é possível seguir, ano após ano, a
evolução de uma dada classe (isto é, um professor), de um ciclo (isto é,
os professores de um ciclo), de uma escola (ou seja, os professores desta
escola), de uma cidade, de uma circunscrição, de um departam ento ou
de uma academia em relação à amostra nacional.

A princípio, essa avaliação havia sido pensada na perspectiva do novo

funcionamento em ciclos. Ela deveria permitir aos professores m elhor co­
nhecer os novos alunos que chegavam em suas classes e melhor analisar
suas dificuldades. Assim, pensava-se que era possível promover um ensi­
no mais individualizado, que permitisse, a cada aluno que não tivesse
conquistado todas as competências do ciclo anterior, beneficiar-se de um
ensino específico antes de se lançar em novas aprendizagens.

N a verdade, esse dispositivo foi desviado de seus objetivos iniciais. Pri­

meiramente, pelos inspetores de circunscrição, que viram aí uma forma
de acrescentar a seus instrumentos de avaliação tradicional uma ferra­
menta que lhes permitisse avaliar mais as equipes do que os indivíduos e,
sobretudo, ultrapassar o controle sempre contestável (e contestado)
dos recursos didáticos utilizados. Com as avaliações nacionais, podem
dizer aos professores de uma escola que eles deveriam m odificar seu
m odo de trabalhar, não porque não utilizem tal ou tal m étodo peda­
gógico, mas porque seus resultados são insuficientes. De qualquer fo r­
ma, os inspetores rem etem aos professores a responsabilidade pela
escolha de instrumentos didáticos, contentando-se em verificar se as
aprendizagens são efetivam ente construídas.

T a l fato representa uma mudança de atitude muito im portante em um

país onde os inspetores sempre acharam que tinham o direito de esco­
lher um m étodo a outro e, algumas vezes, de im por os instrumentos
que eles próprios publicavam. Esta mudança de atitude tem uma con­
seqüência direta sobre as ações de avaliação das pessoas tradicional­
m ente encarregadas de tais tarefas. Observaram-se, progressivamente,
inspetores de escolas finalizarem as inspeções individuais requeridas
pela regulam entação em vigor. Este trabalho foi inúmeras vezes acom ­
panhado por ações de form ação na própria escola, substituindo os
estágios mais tradicionais nos quais os professores de determinadas
escolas eram reunidos em tom o do tema de formação. Nesses “estágios
de escola”, as pessoas habituaram-se, gradualmente, a exam inar os
resultados da escola nas avaliações nacionais, a refletir em conjunto
sobre as formas de melhorá-las e a pedir form ação com plem entar so­
bre essas ações específicas. Com freqüência, era tam bém o m om ento
de redigir adendos ao próprio projeto de escola.

É interessante observar, todavia, que, nesse primeiro momento, as respos­

tas aos problemas escolares das crianças foram sempre concebidas como
respostas globais; questiona-se mais a estratégia pedagógica da escola e a
prevenção dos fracassos do que as respostas apropriadas aos fracassos
constatados. Continuava muito difícil agir no nível individual, sobre cada
criança com dificuldades, quando uma aprendizagem tinha sido falha. De
qualquer forma, na impossibilidade de avançar em direção ao ensino di­
ferenciado (em relação aos ciclos) e de articulá-lo às avaliações nacionais,
tanto as equipes de professores quanto as de inspeção se voltaram para
uma articulação entre as avaliações nacionais e o projeto de escola.

Para que a situação avançasse um pouco mais, foi necessária uma in­
tervenção do próprio ministro. Ela ocorreu sob a form a de uma circular
publicada em 28 de novem bro de 1998 (quase dez anos após a prom ul­
gação da lei)?* solicitando que toda criança, cujas graves dificuldades
foram detectadas pelas avaliações nacionais de fim de ciclo II (ou seja,
depois da entrada na escrita), fosse foco de um projeto pedagógico de
ajuda personalizada, controlado pelo inspetor da circunscrição, até que
ela tivesse conseguido, pelo menos, o nível de base do fim do ciclo III.

Três anos após a entrada em vigor desta circular, é claro que a m aioria
das escolas continua envolvida neste problema. Quando os inspetores
foram particularm ente atentos em prom over ações, parece que a elabo­
ração de novas avaliações (anuais, às vezes trimestrais) foi mais fre­
qüentem ente privilegiada do que a elaboração de estratégias de respos­
tas às dificuidades.

DISCUSSÃO

O exam e desses dois casos particularm ente contrastantes é instrutivo

por mais de uma razão. Um e outro colocam, de m aneira evidente, a
questão do estatuto das avaliações nos sistemas educativos. Eles per­
m item com preender com o a preocupação legítim a de avaliar as po líti­
cas públicas pode ser facilm ente desviada de suas finalidades.

N o campo educativo, é evidente que a avaliação pode ser compreendida

de m últiplas form as e que a oposição tradicional entre avaliação fo r­
m ativa e avaliação somativa não é suficiente para resolver a com p lexi­
dade da questão.

N a medicina, a problemática central se tomou aquela que opõe o dever de

colocar em prática a terapia consensual (dever em relação ao qual se pode
pedir satisfação ao médico) ao dever de resultados (em relação ao qual a
responsabilidade do médico é, por enquanto, raramente considerada).

Em educação, parece que os dois m odelos se opõem. Por um lado, há

aquele especialm ente relativo ao 2? grau, em que o dever de resultados
é raram ente solicitado, uma vez que se considera que cabe ao aluno
contribuir com sua parte de investim ento no processo que o conduzirá
ao sucesso. O resultado disso é que o professor, com o o médico, só é res­
ponsável pela escolha da m elhor estratégia didática. Por outro lado, no
que se refere ao 1? grau, cada vez mais se espera que a escola assuma
totalm ente a exigência de eficácia. Na verdade, pensa-se que cada indi­
víduo dispõe de uma capacidade de alfabetização quase “natural”, as-
similando-se tranqüilam ente literacy e linguagem .24 Todo ser hum ano
poderia, assim, ter acesso à leitura e à escrita, com o tem acesso à lin ­
guagem, desde que, tanto num caso como no outro, 0 m eio da criança
seja favorável ao desenvolvim ento de suas competências.

Com o m ostram os grandes debates públicos sobre alfabetização ou so­

bre iletrismo, isto leva a novas exigências de avaliação. Não se espera mais
da escola que ela desenvolva os melhores métodos (consenso didático),
mas, simplesmente, que seja bem-sucedida. Para a escola primária,
este sucesso se mede, cada vez mais, conform e um critério único: a al­
fabetização dos alunos. N o entanto, esta alfabetização tam bém não é
isenta de problemas específicos.

N a verdade, 0 nível de alfabetização exigido depende, evidentem ente,

das políticas escolares desenvolvidas. Nos sistemas educativos avança­
dos, por exemplo, a recente passagem de um ensino de massas curto
(centrado no prim eiro grau) a um ensino de massas longo (centrado no
encadeam ento da escola primária/escola média) m odificou profunda­
m ente a questão da alfabetização. Para garantir que todos os alunos (e
não somente aqueles de fam ílias de elevado capital cultural) cheguem
ao ensino secundário, fundado na transmissão m aciçam ente escrita
dos conhecimentos, é necessário que, desde a escola primária, sejam
desenvolvidas com petências de leitura e de escrita autônomas, que
jam ais seriam exigidas no ensino primário curto. Portanto, a escola
deve prestar contas de sua capacidade de dotar todos os alunos que
dela saem de com petências de leitura, que lhes perm itam tirar proveito
do ensino secundário.

Vem os, assim, como as políticas públicas de educação não podem deixar
de lado dispositivos de avaliação da eficácia das escolas (e, portanto,
dos professores que nela trabalham). Em todo lugar, esses dispositivos
tendem a substituir aqueles que, até então, objetivavam ou estabelecer
a conform idade às regras em vigor ou julgar a pertinência dos m eios
im plem entados. Isto resulta em uma quebra dos consensos e em certo
 afastam ento dos especialistas de avaliação no que se refere ao controle
das didáticas. Evidentemente, isto reforça a autonom ia das escolas e a
dos professores.

Esta orientação geral cria, contudo, novas dificuldades que os diferen­

tes sistemas educativos ainda não conseguiram resolver por completo.
Uma delas é a contradição, cada vez mais freqüente, entre o uso inter­
no das avaliações (para pilotar o sistema, para m elhorar os resultados
individuais etc.) e o uso que a imprensa faz delas sobre a opinião pública.
A preocupação legítim a dos jornalistas em denunciar as insuficiências
das políticas públicas, bem com o sua pouca diligência em m ostrar seu
sucesso, conduz as instituições responsáveis por essas políticas a des­
confiar das avaliações e a tentar limitar seu impacto. Este é um ponto
que deve ser debatido entre os profissionais da informação. 0 m esmo
ocorre com os operadores (ONGs, por exem plo), em relação aos organis­
mos que financiam suas ações, que esperam, com freqüência, um re­
torno im ediato do investimento.

Atualm ente, os sistemas educativos não podem mais dispensar a avalia­

ção. Ela funciona em todos os níveis do dispositivo escolar, permitindo,
por si só, uma regulação permanente das ações. É preciso tam bém colo-
cá-la a serviço da consolidação da real eficácia do investimento edu­
cativo. Isto supõe que a avaliação intervenha menos sobre os meios do
que sobre os efeitos, além de que, definitivamente, não contribua para
restringir a iniciativa profissional dos professores (fechando-os em m o ­
delos pré-determinados), mas para restituir-lhes a responsabilidade por
suas iniciativas, controlando, em última instância, sua eficácia educativa.

NOTAS 4 Marabá eParauapebas (Pará), SãoLuís eAçailândia

(Maranhão).JoãoNeiva (EspíritoSanto), CaldasAltas
1Adescnçaodesteprojetopor uma pessoaestrangei- (Minas Gerais)
ra eexterior aoCedac, mas participante desua.ava-
\ d,eapresentar rn - dingida
5 Equipe j--- j w - j ^ » deCarva-
otBrant
liaçao_desde 0miao, correonsco vieses áporPM ana do
^ Carmem
^ raduaçao ^erviço
. Social
importantes. TVata-se, aqui, entao, do projeto como e.
, ^ j lho (Program
^ a de ^ os-G S
percebido por umavaliador extemo, enão tal como ^
ele foi concebido eimplementado. ° Pnvilegiamos aqui os documentos produzidos pela
2ProgramaEscolaqueVale, semdata. p.2. (Mimeogr.) coordenadora responsável pelo Estado do Maranhão.
3Seguimos, aqui. oprograma de trabalho tal qual foi ‘-4° trabalho pudemos acompanhar inloco.
definido nos documentos Programa Escola que Vale. =Lembremos que o nível IV. imediatamente superior,
semdata. 9p. (Mimeogr.); Etapasrealizadas 1999eDo- éaqueledobaccalauréat, isto é. oexamequesanciona
cumento de Logística 2000, São Paulo: Cedac, janeiro ofim dos estudos secundários edá acessoàuniver-
2 0 0 0 ,7 6 p . s id a d e .
8 Seria preciso inventar, em1990. umsalário mínimo 16Na França, sãoas zonas periurbanas, comgrandes
deinserção —RMi —para dar algumrecurso ato­ edificios a módicos aluguéis, chamadas banlieues,
dosaquelescujaqualificaçãoerainsuficiente, sendo ondeseconcentramasfamiliassemempregooude
excluído domercadodetrabalho. baixarenda, quesâo, geralmente, deorigemafrica­
9 Ociclo 1(ciclo das primeiras aprendizagens) écons­ na ounorte-africana.
tituído pelos trêsprimeiros anosdaescolamaternal 17Na França, cada ministro dispõe de uma inspeção
(crianças de 2a4anos), ociclo 11(ciclo das aprendi­ geral, composta de altos funcionários eencarrega­
zagensfundamentais) éconstituído peloúltimo ano da de missões de avaliação das políticas públicas
da escola maternal eosdois primeiro anos daesco­ desua administração. Osrelatórios feitos apedido
la elementar (criançasde5a7anos); ociclo 111(ciclo do ministro lhe sãoentregues, sendoele quemde­
das aprendizagens continuadas) éconstituído pelos cide tomá-los públicos ou não. Estaavaliaçãoédi­
trêsúltimos anosdaescolaelementar (criançasde8 ferente daquela feita peloTribunal de Contas, que
a 10 anos). Depois disso, os alunos passam para o funciona autonomamente. cujos relatórios sãosem­
sistema secundário (quatro anos no colégio, segui­ prepúblicos (seucontroleconcerneapenasaobom
dosdetrêsanosnoliceu). Somenteaescolaelemen­ empregodoorçamentopúblico doEstadoeaosfun­
tar e 0 colégio fazem parte do ensino obrigatório. dos alocados emestabelecimentos ou organismos
Ver; Ministère de1'ÉducationNationale, Direction des públicos).
Écoles. LesCyclesàl'écoleprimaire. Paris; CNDP/Savoir 18MOISAN, Catherine, SIMON,Jacky. LesZEPcmFrance:
Uvre, 1990. Rapport au ministre del’Éducation Nationale. Paris;
Manteremosostermos"coiégio" e"liceu", quandoci­ Documentation Française, 1996.
tados pelo autor, pois delimitam etapas daescolari­ 19Esteindicador corrigido foi primeiramentedesenvol­
dade na educação francesa. Grosso modo, elas são vido para avaliar osresultados obtidos pelos liceus
correspondentes da 5?à8?série eaoEnsino Médio, no baccalauréat, a fim de se opor às listas dos lau­
respectivamente. (N.T.) reados. regularmente publicada pelaimprensa, sig­
10Ministère de 1'Éducation Nationale. Direction des nificativos apenasdacomposiçãosocial dapopula­
Écoles. Le projet d'école. Paris; CNDP/Savoir Livre, çãoescolarizada. Outroindicador permitia calcular
1990. ataxa real dealunos cujos resultados positivos, ao
11Aavaliaçãosedáduranteaprimeirasemanadees­ longo detoda asuaescolaridade, podiamser efeti­
colarização no ciclo superior, para evitar sobrecar­ vamenteatribuídos aoestabelecimentoescolar fre­
regar os professores que foram responsáveis pelo qüentado (a fim de evitar que a reputação de um
cicloqueacaboudefinalizar. Osresultados das ava­ liceuseestabelecessesobresuacapacidadedetriar
liações esua análise sãopublicados acada ano na osalunosdesdeassériesiniciais, conservandoape­
revista Éducationet Formation. nas osmelhores).
12Oinspetor de Educação Nacional érecrutado me­ 20As redesdeajuda especializada para os alunos em
diante análise de documentação, entre os profes­ dificuldade (Rased) são dispositivos que envolvem
sores do If ou 2f Grau (portanto, tendo realizado um psicólogo escolar e dois professores especiali­
pelo menos três anos de estudos universitários), zados, responsáveispelasdificuldades deaprendiza­
que tiveram uma experiência profissional como gem; elesintervémapedido dos professores. Existe,
docentes (aomenos cinco anos, mas. na realidade, emmédia, uma rede de ajuda para cada 2mil a 3
emmédia dez anos). Eles recebem, ainda, uma for­ mil alunos.
maçãocomplementar deumano. 21Por exemplo, emlíngua materna, para o nivel de
13CAFMF(Certificado deAptidão às Funções de Pro- fimdeciclo 11,há umescoreglobal paralingua ma­
fessor-Formador). terna, umescore para leitura, produção de textos,
14Na França, o recorte administrativo comporta aco­ conhecimentos dosinstrumentos dalíngua.
muna (administrada por umpresidente da Câmara 22Aposiçãoéestabelecidaseoalunoforbem-sucedido
Municipal eumConselhoMunicipal, eleitos), ocantão em. pelo menos. 75%dos itens definidos (apriori)
(sem administração própria, mas representado por comocaracteristicas donível emquestão.
umconselheiro-geral eleito), odepartamento(admi­ 23Circular reforçada por um novo texto editado em
nistradopor umconselheiro-geral eporseupresiden­ novembrode 1999.
te.quesãoeleitosecontroladosporumgovernante— 24Sobreeste debate, ver CHARTIER, Anne-Marie. HÉ­
préfet—nomeadopelaadministraçãocentral). BRARD,Jean, Discours sur talecture, 1880-2000. Paris:
15Emfrancês, o termo "pedagogia frontal" se refere, Fayard, BPl-CentreGeorges Pompidou, 2000.
especificamente, aummododecomunicaçãoentre
alunos eprofessores, no qual oprofessor secoloca
“frente aoaluno", enão"comele". Emportuguês, o * Texto original em francês, trad u zid o p a ra o
termo poderia se aproximar de "pedagogia tradi­
cional”,que. noentanto, émais abrangente. (N.T.) p ortu g u ês po r Beatriz Penteado,
'CC P
^ s
.§ S
cs S

g A v a lia ç ã o d e
5 ‘Sd
(3 S p r o g r a m a s

e d u c a c io n a is :

in d a g a ç õ e s

m e to d o ló g ic a s

e d is s e m in a ç ã o

d e re s u lta d o s *
ELBA SIQ UEIRA DE SÁ BARRETTO é licenciada em Pedagogia e doutora em Sociolo­
gia pela Universidade de São Paulo. Professora da Faculdade de Educação da USP,
atua tam bém como pesquisadora da Fundação Carlos Chagas e como editora res­
ponsável da revista Cadernos de Pesquisa.

REG IN A PAHIM PINTO é m estre em Sociologia e doutora em Antropologia pela

U niversidade de São Paulo. É pesquisadora senior do Departam ento de Pesquisas
Educacionais da Fundação Carlos Chagas e editora-executiva da revista Cadernos de
Pesquisa.
Os programas educacionais, que têm com o alvo o ensino básico e que
estão a cargo de administrações públicas, não costum am ser avaliados;
a regra entre nós tem sido a de fazer suceder uma série de medidas, re­
formas, inovações, sem que se disponha de elem entos suficientes para
uma apreciação mais isenta e fundam entada de seus resultados e re­
percussões na população.

A despeito da tradição incipiente na área, a avaliação intencional de a l­

gumas das ações governam entais no cam po da educação tem se inten­
sificado, sobretudo a partir do processo de transição dem ocrática nos
anos 80, quando as próprias administrações passaram a se m ostrar
mais sensíveis e perm eáveis a esse tipo de apreciação.

Entre as avaliações, podem -se encontrar, em geral, aquelas realizadas a

pedido do próprio poder público ou sob a forma de pesquisa acadêmica,
feitas por iniciativa dos investigadores. As primeiras caracterizam -se
por uma relação mais form al entre clientes institucionais e avaliador,
tendo em vista explicitam ente a busca de soluções e a tom ada de deci­
sões. As pesquisas de caráter acadêm ico são realizadas independente­
m ente dos agentes ou dos órgãos promotores da política; buscam, com
prioridade, o estabelecim ento de conclusões de caráter mais amplo,
podendo levar à identificação de fenôm enos recorrentes e princípios
mais generalizáveis (Fletcher, 1995; Vianna, 1997).

N o livro Estado da arte: avaliação na educação básica, em que proce­

dem os a um levantam ento dos artigos encontrados em dez das princi­
pais publicações científicas da área no período de 1990 a 1998, dentre
os 217 textos arrolados, um grupo deles foi categorizado como “avaliação
de políticas educacionais” (Barretto & Pinto, 2000). É sobre alguns des­
ses estudos que desenvolverem os considerações neste trabalho.

Em primeiro lugar, cumpre assinalar que há uma série de dificuldades

conceituais para delimitar o campo de análise das políticas públicas, bem
como o de sua avaliação propriamente dita, visto que os referentes teóri­
cos que lhes servem de base ainda não estão fortemente consolidados. Os
estudos que se reportam a análises de políticas reguladas, formuladas e,
preponderante ou exclusivamente, executadas pelo Estado procuram re­
lacionar uma série de resultados a determinadas configurações políticas,
e, pelo fato de possuírem necessariamente uma conotação valorativa,
pode-se-lhes imputar, grosso modo, um caráter avaliativo.

N ão obstante, além desses trabalhos, há estudos cuja pretensão é esta­

belecer uma relação mais precisa entre os resultados alcançados pelas
políticas e determinados desenhos institucionais (Arretche, 1999). Estes
são realizados com a intenção e a sistematicidade próprias do campo
da avaliação, visando verificar em que medida as m etas propostas por
uma política estão sendo atingidas, de que maneira e a que custo.

A avaliação de políticas sociais, nesse sentido mais restrito (e dentre elas

as que dizem respeito à educação), tem, na literatura especializada, fre­
qüentemente se restringido ou mesmo se confundido com a avaliação de
programas, que constituem um elenco de ações ordenadas com propósitos
definidos e mais claramente delimitados dentro de uma determinada po­
lítica. Nesse caso, além de verificar se os objetivos dos programas estão
sendo alcançados, as avaliações se prestam a examinar os processos pelos
quais eles são implantados e os efeitos que lhes podem ser atribuídos.

A s avaliações de programas educacionais, entre nós, têm como referên­

cia, de um lado, a longa tradição de avaliação na própria área e, de outro,
as contribuições mais recentes da ciência política. Na primeira tradição, a
avaliação educacional no Brasil, caudatária do pensam ento anglo-
saxônico e, em particular, dos estudos norte-americanos, acompanhou
a transição do conceito de avaliação com o m edida — voltada para os
resultados da aprendizagem do aluno e a cargo de psicólogos e psico-
pedagogos — para uma perspectiva mais ampla. Esta passou a focalizar
com o objeto de estudo os programas educacionais e o seu contexto, e a
ocupar-se de projetos de larga escala, tendo, com o avaliadores, profis­
sionais do cam po das ciências sociais.

T a l mudança de ênfase deu-se, no exterior, em decorrência de circuns­

tâncias históricas, por vezes m uito bem definidas. Nos Estados Unidos,
por exem plo, a avaliação de programas, ou pesquisa de avaliação, foi
increm entada no contexto de “guerra à pobreza", com o resultado de
dispositivo legal de 1955, que obrigava a avaliação de todos os projetos
financiados pelo poder público voltados para o ensino básico. O objeti­
vo era fornecer um retorno aos gestores e prestar contas à população
acerca dos recursos aí envolvidos, o que levou a grandes esforços nessa
direção. A prática generalizada da avaliação mostrou, no entanto, que
muitas das abordagens não eram adequadas (Vianna, 1995).

Nessa trajetória, vários autores, bastante conhecidos no Brasil, darão

nova dim ensão m etodológica à avaliação, que se torna um cam po pro­
fissional definido após 1970. Os referenciais adotados à época apontam
para a necessidade de se levar em conta o grande núm ero de variáveis
presentes nos programas educacionais e de se atuar no cam po em que
os atores sociais naturalm ente se m ovem , buscando-se superar designs
de “controle” amplamente utilizados na pesquisa experimental ou quase-
experim ental de base psicológica.

Essas transform ações transitam pela preocupação da avaliação vo lta ­

da para a tomada de decisões, com o em Stufflebeam ; pela avaliação
responsiva de Stake, a qual se orienta mais para as atividades do p ro­
grama do que para as intenções por ele declaradas; pelo flexionam en-
to feito por Scriven, que passa da defesa de uma avaliação centrada em
objetivos à necessidade de que não sejam separados os fms dos efeitos
secundários e sociais de um programa. Os enfoques cam inham tam ­
bém pela avaliação ilum inativa de Parlett e Hamilton, proposta na In­
glaterra; pela observação participante e pela pesquisa-ação.
Assim, de modo progressivo, os esquemas excessivamente formais dos
modelos positivistas de avaliação de programas passam a ser animados
pela consideração dos diferentes sujeitos sociais envolvidos nas ações que
se buscam avaliar, com a incorporação das perspectivas fenomenológica
e antropológica. Nesse percurso, ganham ênfase as análises de corte qua­
litativo e se observa a transformação da postura neutra e distante do ava­
liador para a disposição de aceitar a negociação de sentidos entre avalia­
dor e avaliado. Algumas abordagens, em última instância, manifestam-se
ainda a favor da apropriação total do sentido e do controle do saber pelos
grupos que, no dizer de Depresbíteris (1989), expressam uma aprendiza­
gem coletiva na tomada de decisões e no comprometimento com a ação
grupai, como no caso da pesquisa participante.

A preferência pelos estudos qualitativos entre os pesquisadores bra­

sileiros do campo da educação termina, contudo, por diluir a atenção
aos aspectos de cobertura, financiamento e desenho institucional dos
programas, cruciais na sua avaliação.

A segunda vertente de influência, a das ciências políticas, contribui

para recuperar a dimensão macro da avaliação das políticas e progra­
mas educacionais entre nós, trazendo aportes significativos ao setor
nas duas últimas décadas. A pesquisa de avaliação derivada desse cam ­
po recorre a outros autores, e embora ambas tradições lancem mão do
instrumental de análise comum às ciências humanas, e à pesquisa so­
cial, em particular, pode-se dizer que o diálogo entre elas m al se iniciou.

A avaliação das diferentes políticas sociais pelo ângulo das ciências

políticas é relativamente recente, estando ainda em processo de cons­
tituição de um campo estruturado de estudos, conforme assinalam
Figueiredo & Figueiredo (1986). Na avaliação de programas feita por
pesquisadores da área, é ainda freqúente o viés neutralista e compor-
tamentalista que também marcou o campo educacional, os estudos
usualmente se limitando a aferir em que medida as metas de determi­
nado programa estão ou não sendo alcançadas, sem entrar no mérito
propriamente político do que está sendo avaliado.

A despeito das limitações apontadas, a reflexão no âmbito das ciências

políticas refere a discussão da avaliação a critérios de eqúidade e a
princípios de justiça política e social, lançando novos olhares sobre os
processos de formulação da agenda governamental, da implementação
de programas e da apreciação de seus impactos na população.

Antes de fazer comentários mais específicos sobre o material selecio­

nado no Estado da arte, cumpre-nos prestar alguns esclarecimentos
sobre a opção pela consulta aos periódicos e suas implicações. As revis­
tas acadêmicas de educação contêm parte bastante representativa do
material difundido sobre a variedade da produção científica na área.
Por serem um dos veículos de circulação mais ágil entre pesquisadores,
educadores e estudiosos do assunto, constituem instrumento privile­
giado para o diálogo e o intercâmbio de idéias entre um público em que
estão concentrados os formadores de opinião, os quais contribuem para
formular e alimentar o ideário educacional no país. Essas publicações
acabam se tomando um importante termômetro do peso da produção
teórica sobre os temas concernentes ao campo. Ao nos reportarmos a
elas convém frisar, portanto, que não estamos falando do locus de pro­
dução da avaliação de políticas ou programas educacionais, mas sim da
perspectiva de sua disseminação.

A propósito, 0 primeiro destaque a ser feito quanto aos textos selecio­

nados diz respeito ao espaço exíguo que a avaliação de políticas educa­
cionais ocupa no conjunto dos artigos sobre avaliação nos periódicos:
apenas 20% deles compõem a categoria.

AVALIAÇÃO DA AGENDA E DAS PROPOSTAS DE GOVERNO

Um dos aspectos das políticas públicas ainda muito pouco explorado nas
pesquisas é o que se refere à avaliação da agenda e das propostas de go­
vemo. No caso da agenda, costumam contar, na sua formulação, as mobi­
lizações sociais de diferente natureza, as negociações político-partidárias,
as demandas de organismos internacionais, as negociações internas dos
segmentos que pleiteiam o poder. À agenda, segue-se a formulação de po­
líticas: são delineados os planos, programas e projetos que lhe darão m a­
terialidade, estabelecidas as prioridades e prevista a alocação de recursos.
Dentre os textos selecionados, a rigor não foram encontradas propria­
mente pesquisas de avaliação da agenda ou das propostas de govemo,
no sentido que permite uma apreensão mais profunda do processo pelo
qual algumas questões postas no âmbito da sociedade se convertem
em temas a serem tratados pelas políticas públicas, ou na acepção que
possibilita identificar os segmentos que colocam certas questões e
aqueles cujas demandas são incorporadas. Essa abordagem possibili­
taria detectar conflitos, graus relativos de autonomia e de poder de
atores sociais, dentro ou fora do Estado.

Quanto aos artigos em tela, trata-se antes de ensaios que tangenciam

0 objeto de estudo, provenientes, muitas vezes, de uma espécie de ava­
liação de contexto.

Vários dos artigos enquadrados nesse grupo representam falas do dis­

curso oficial sobre as políticas do setor. Seus autores são, via de regra,
dirigentes ou ex-dirigentes de Secretarias de Estado e do Ministério da
Educação, que apresentam suas agendas políticas e discutem planos,
programas ou projetos de govemo. Com base na análise de informações
sistematizadas, que contribuem para caracterizar e dimensionar em
larga escala os problemas educacionais dos sistemas ou redes de ensi­
no, os textos buscam justificar as prioridades estabelecidas nas respec­
tivas agendas e nos programas, chegando, por vezes, a discutir estraté­
gias para a sua execução ou para o seu redirecionamento. Trata-se,
geralmente, de informações provenientes de censos; de indicadores de
fluxo e eficiência; do exame de tendências detectadas na oferta do en­
sino em diferentes níveis e modalidades e no comportamento da de­
manda; da discussão relativa ao estilo de gestão do sistema público.
Termos como compromisso com determinados segmentos — população
usuária da escola ou professores, por exemplo —, qualidade do ensino,
eqüidade, autonomia e descentralização povoam esses discursos, que recor­
rem a avaliações diagnosticas do sistema educacional, buscando a legi­
timação política das ações governamentais, especialmente por meio da
racionalidade técnico-científica.

Argumentos que expressam a busca de legitimação de natureza mais

essencialmente política das principais estratégias e ações adotadas na
gestão desses aparatos públicos são mais escassos. Uns poucos textos,
escritos por especialistas não diretamente ligados às administrações
públicas, buscam ainda, em tom opinativo, revisar a pauta governa­
mental, seja procurando fazer um rápido balanço dos principais pro­
blemas enfrentados pela política educacional brasileira — analisando
as medidas e ações do Estado quanto à adoção de regulamentações, de
políticas redistributivas e do sistema de avaliação -, seja tentando
examinar a avaliação da educação no Mercosul, à luz das relações entre
os países membros e os organismos multilaterais, a evocar uma nova
ética de cooperação internacional.

AVALIAÇÂO DE PROGRAMAS EDUCACIONAIS

O grupo mais numeroso de artigos arrolados na categoria focaliza os pro­

gramas educacionais e inclui pouco menos da metade dos 42 títulos. Os
artigos contêm análises que podem constituir-se em avaliações de pro­
gramas como um todo ou de aspectos específicos. Alguns desses textos na
verdade não fazem, a rigor, uma avaliação stricto sensu, quer porque se
trate de ensaios que apreciam certos programas adotando, como no caso
do exame da agenda, um estilo eminentemente opinativo, quer porque
apenas os mencionem para subsidiar reflexões suscitadas pelo seu
estudo. Nesses casos, as informações fornecidas ao leitor não são sufi­
cientes para que se possa ter uma idéia mais completa dos propósitos do
programa e do seu delineamento. Há, por fim, os que se reportam a ques­
tões de caráter teórico-metodológico referentes à avaliação.

Nos anos mais recentes, em particular na últim a década, as avaliações

sob demanda do poder público têm aumentado em decorrência de exigên­
cias de organismos multilaterais, cuja importância vem sendo crescente
na definição e financiamento das políticas do setor. Não obstante, fo­
ram poucos os artigos que puderam ser enquadrados como avaliações
propriamente ditas de programas, o que leva a supor que essa m odali­
dade de estudo não chega facilmente ao conhecimento do grande pú­
blico leitor da área da educação.
Investigações dessa natureza são realizadas sobretudo por agências de
planejanrento e/ou instituições de pesquisa, visto que costumam cons­
tituir estudos de grande porte e são onerosas. Elas exigem, freqüente­
mente, a composição de numerosas equipes de trabalho e razoável
infra-estrutura que dê suporte à sua operacionalização; não raro, envol­
vem procedimentos altamente especializados de análise. Esses estudos
muitas vezes deixam de ser divulgados em veículos de ampla circulação,
ficando restritos a relatórios extensos, apenas entregues aos órgãos que
os requisitaram.

As avaliações de programas de cunho acadêmico também não são abun­

dantes na bibliografia consultada.

De modo geral, os artigos que se reportam à avaliação de programas

nos periódicos têm a intenção de estender certas reflexões suscitadas
pelas análises a um público maior, dada a natureza do veículo escolhido.
Por isso, nem sempre seus autores explicitam a metodologia empregada,
os procedimentos utilizados ou os modelos teóricos que subsidiaram a
análise, o que, em muitos casos, dificulta sobremaneira o esclareci­
mento, para o leitor, do desenho utilizado na avaliação. Em outros casos,
ainda, a seleção de aspectos parciais dos programas para análise impede
mesmo a compreensão da sua lógica própria.

O exame detido dos textos arrolados como avaliações de programas

suscita reflexões que serão registradas a seguir.

DOIS ESTUDOS EMBLEMÁTICOS SOBRE O CICLO BÁSICO

No contexto das avaliações que se reportam ao programa como um

todo, ainda que possam privilegiar determinadas regiões ou locali­
dades, dois textos focalizam o ciclo básico de alfabetização.«« Sobre os
ciclos de alfabetização implantados nas redes escolares de vários esta­
dos a partir do primeiro lustro dos anos 80 — os quais possibilitam ao
aluno cursar os dois anos iniciais do ensino fundamental sem solução
de continuidade — já foram realizados muitos estudos, particular­
mente nas universidades dos estados onde as medidas foram intro­
duzidas. Não obstante, a maior parte das pesquisas, realizadas como
exigência para as dissertações de mestrado e teses de doutoramento,
costuma ter circulação lim itada e divulgação muito restrita. Por coinci­
dência, os dois textos que se ocupam do tema nos periódicos selecio­
nados apresentam abordagens que são bastante representativas das
condições institucionais em que elas são produzidas.

O primeiro desses estudos incide sobre ações envolvidas no ciclo bási­

co em dois estados, Minas Gerais e São Paulo, tratando dos aspectos po­
líticos ligados à sua formulação e implementação, bem como da sua
efetividade como medida que se propõe a melhorar o fluxo dos alunos
na escola básica. Partindo de um delineamento experimental de pes­
quisa, aplica o modelo de fluxo desenvolvido por Fletcher e Ribeiro, uti­
lizando dados dos censos educacionais do Ministério da Educação e das
PNADs (Pesquisa Nacional de Amostra por Domicílio), referentes às
m atrículas de aiunos do ciclo básico dos referidos estados e de alunos
das primeiras e segundas séries da rede escolar do Estado do Rio
Grande do Sul, tomado como grupo de controle. Ao acompanhar a tra­
jetória escolar de coortes de alunos entre 1981 e 1989, constata que a
introdução do ciclo básico não teria alterado essencialmente o fluxo
escolar nos dois estados, passando a discutir as condições culturais e os
condicionantes escolares que estariam contribuindo para o insucesso
das medidas (Neubauer da Silva & Davis, 1993).

Embora não se trate de investigação feita sob demanda do poder público,

0 fato dela ter sido realizada em instituição especializada em pesquisa
facilitou 0 acesso das pesquisadoras não só a processamentos especiais
das estatísticas educacionais, como a uma metodologia sofisticada de
análise de dados censitários. Isso permitiu a realização de um estudo
de larga escala, que não teria condições de ser feito na maior parte das
pesquisas realizadas no âmbito dos cursos de pós-graduação em edu­
cação no país,2 em especial por falta de acesso à metodologia em­
pregada. Apenas nos últimos anos começam a consolidar-se, em algu­
mas universidades brasileiras, núcleos de estudos sobre avaliação, os
quais, trabalhando numa perspectiva interdisciplinar que alia sobretu­
do a formação de educadores à de matemáticos e estatísticos, teriam
condições de dar alento, entre outras, a investigações dessa natureza.

©
Já o segundo estudo publicado sobre o ciclo básico retrata bem o tipo
de abordagem mais freqüente que a universidade costuma utilizar para
análise de medidas de govemo que levam a alterações no funciona­
mento das redes escolares. 0 artigo tece considerações sobre o progra­
ma, com base em pesquisa realizada em quatro escolas da rede esta­
dual paulista, com o objetivo de avaliar o êxito da medida e o nível de
adesão a ela e, nesse sentido, apontar aspectos a serem apoiados ou
reformulados. Recorre a estudos de caso que procuram investigar em
que medida o clima e a organização das escolas favorecem a efetivação
das mudanças introduzidas, a aprendizagem básica da leitura e escrita
pelos alunos e a alteração dos índices de retenção. Procura investigar a
postura dos professores quanto à adesão ao programa, com base nas
mudanças da prática pedagógica e na sua opinião sobre as inovações, e
veriflcar o desempenho dos alunos em relação ao currículo, procuran­
do detectar a presença ou não dos fatores que garantiriam o sucesso da
implantação das medidas propostas (Silva, 1991).

Ainda que por caminhos diferentes, as duas avaliações procuram dis­

cutir o nível de aceitação das medidas adotadas por parte dos agentes
educacionais, seu grau de efetividade e os fatores favoráveis ou desfa­
voráveis ao desenvolvimento do regime de ciclos. Quanto à metodolo­
gia utilizada, o primeiro tipo de pesquisa possibilita que se tenha uma
idéia do impacto do programa nas redes escolares relativamente aos
efeitos surtidos no conjunto da população escolar (ainda que os resul­
tados específicos a que chegou a investigação mencionada sejam
passíveis de contestação). 0 segundo oferece as pistas para o entendi­
mento da construção e reconstrução dos significados que os diferentes
agentes educacionais e os usuários da escola atribuem às modificações
pretendidas, indica os processos por meio dos quais são redefinidas as
mudanças por aqueles que nelas estão diretamente envolvidos, as con­
dições de funcionamento escolar em que isso ocorre, assim como o
grau de satisfação dos atores sociais com as medidas. Em últim a ins­
tância, os dois estudos exploram dimensões importantes e que se com­
plementam para o entendimento do ciclo.

Dentro da perspectiva de curto prazo que parece mover cada vez mais
as decisões na área das políticas de educação, e que privilegia as infor­

©
mações que possam ser mais facilmente utilizadas pelos dirigentes
governamentais, a tendência tem sido a de preferir dados da natureza
dos produzidos pelo primeiro tipo de pesquisa, ou seja, os que dão idéia
da extensão, abrangência e impacto dos fenômenos. É também usual,
no afã de inform ar os “tomadores” de decisão, que a literatura que cir­
cula sobre as políticas públicas recorra a exemplos de estudos realiza­
dos em outros países, invariavelmente descontextualizados, para apoiar
iniciativas de govemo, ao mesmo tempo que se desconsideram, como
não relevantes, as informações relativas aos processos de implem en­
tação de mudanças, o que leva, por tabela, a desqualificar a produção
acadêmica das universidades na área da educação.

Em que pesem as fragiiidades metodológicas de muitas das pesquisas

desenvolvidas no âmbito universitário, é preciso convir que, embora
m uitas vezes dispersas, certas informações de grande relevância têm
sido menosprezadas na formulação e no que concerne aos processos de
implementação de programas e das políticas educacionais. Isso não
significa deixar de reconhecer as grandes lacunas na pesquisa educa­
cional, particularmente no que se refere à escassez de estudos m a-
crossociais.

A VO CAÇÃO POPULISTA DE ALGUNS PROGRAMAS EDUCACIONAIS

Na primeira metade dos anos 80, o programa de um dos partidos de opo­

sição que assumiu o govemo do Estado do Rio de Janeiro (PDT) teve como
carro-chefe a criação de escolas de tempo integral para o ensino funda­
mental. Visava com elas ao atendimento das crianças das camadas majo­
ritárias, mediante um projeto educacional audacioso, que se propunha a
oferecer-lhes um currículo voltado para um processo mais abrangente de
socialização, preocupado com o resgate da cultura popular e com a assis­
tência às necessidades básicas dos alunos. Os CIEPs — Centros Integrados
de Educação Pública —, nome que receberam essas escolas, compreen­
diam até mesmo o abrigo, na própria escola, de um pequeno número dos
alunos de famílias mais carentes, os quais passavam a lá residir durante
os dias de aula, voltando para casa apenas nos fins de semana.

©
o programa teve grande repercussão política porque, de certo modo, pro­
punha-se a dar uma resposta ao mal-estar disseminado na sociedade pela
situação de precariedade e desamparo de grande contingente de crianças
pobres no país, amplamente divulgada pela grande imprensa no Brasil e no
exterior, denunciada por organismos internacionais e particularmente as­
sociada à violência relacionada ao trato com os meninos de ma.

Sobre os CIEPs, embora se saiba que tenham sido objeto de avaliações

sistemáticas, nas fontes consultadas apenas foram encontrados dois
estudos, os quais fazem um recorte muito limitado na análise, forne­
cendo elementos pouco conclusivos para a sua avaliação. Um deles
compara apreciações de educadores e usuários dos CIEPs com os de es­
colas de tempo parcial, sugerindo que há necessidade de revisão de cer­
tos pressupostos acerca da população-alvo e de suas possibilidades de
emancipação (Zaluar & Leal, 1996). C outro discute o emprego da abor­
dagem etnográfica na avaliação de projetos inovadores, com base em
dois estudos de caso: um projeto de inovação educacional, o CIEP, e um
projeto de inovação social, o projeto Sleep-in, de um Centro de Aten­
dimento ao Usuário de Drogas, em Paris, este último tendo sido objeto
de pesquisa avaliativa por solicitação do Ministère d’Affaires Sociales
(Leonardos & Macedo, 1996).

Na esteira das repercussões políticas dos CIEPs, foi criado o Programa

de Formação Integral da Criança — Profic, na rede estadual paulista,
em 1986, com menor porte que o do Rio de Janeiro. Destinado a esco­
lares de baixa renda, que deveriam receber atendimento suplementar
na escola após a jornada de meio período, propunha-se a lhes oferecer
uma “educação integral”, que visava mais do que à instrução, am plian­
do assim a função da escola de primeiro grau.

Os dados coletados e analisados por Ferretti et al. (1991), com base em

amplo mapeamento das escolas que implantaram o Programa entre
1986 e 1988, e o estudo em profundidade realizado em duas dessas u n i­
dades escolares indicam que o Profic assumiu características centralis­
tas, tanto em sua formulação como na implementação. Além disso, o
processo de implantação foi precário, criando vários problemas para as
escolas que o adotaram, ficando o índice de adesão a ele, pela rede es­
colar, muito aquém do esperado.
A pesquisa contextualiza o programa, discute criticamente a proposta,
seus objetivos, os programas que a inspiraram, os pressupostos em que
se baseia, procurando dar conta da abrangência e das diferenças inter­
nas na sua implementação. Aponta para o caráter psicologizante e as­
sistencialista subjacente à abordagem dos probiemas enfrentados pelas
populações a que se destina, postura que teria sido influenciada pela
maneira como os programas internacionais de saúde, que lhe serviram
de inspiração, concebem as populações-alvo: subculturas homogêneas
e marginalizadas, marcadas por carências psicológicas, dificuldade de
abandonar valores tradicionais. Daí a proposta de integrá-las na socie­
dade urbano-industrial por meio da “participação com unitária”, o que
lhes possibilitaria o acesso a cuidados médicos e o desenvolvimento de
novos comportamentos sociais diante da exclusão.

PROGRAMAS DE AGRUPAMENTO DE ESGOLAS ISOLADAS

N A ZONA RURAL

Há outros dois programas que foram analisados por Ramos (1991) e

Vasconcellos (1993). São praticamente idênticos quanto às característi­
cas e objetivos. Trata-se de Escolas Rurais Consolidadas, implantado no
Estado do Paraná, entre 1977 e 1986, e Agrupamento de Escolas Rurais,
implantado no Estado de São Paulo, em 1989. Consistem basicamente
na reunião de várias escolas isoladas e multisseriadas em uma escola
de primeiro grau maior, agrupada, com melhores condições físicas e
pedagógicas. As análises mostram que ambos melhoraram as condi­
ções de escolaridade na zona rural no que se refere a oferta e utilização
de equipamentos e vagas, ampliação dos anos de escolaridade, ofereci­
mento de condições mais adequadas de trabalho e de aperfeiçoamento
profissional para os professores, menor absenteísmo dos alunos.

No primeiro caso, as escolas consolidadas foram implantadas em 15%

dos municípios paranaenses com ajuda federal. Além de intervenientes
de ordem política, que teriam contribuído para o desvirtuamento dos
objetivos, 0 que acarretou a diminuição do impacto, constatou-se que
os custos operacionais do programa eram altos, grande a rotatividade
dos professores, ao mesmo tempo que os índices de reprovação entre os

©
alunos praticamente não se alteraram. 0 dimensionamento inadequado
da realidade por parte dos proponentes do Programa, como no caso do
Profic, é atribuído à mera transposição de modelos do exterior.

O artigo sobre a avaliação do Agrupamento de Escolas Rurais, de São

Paulo, descreve e situa o processo de implantação do programa no con­
texto social, econômico, político e administrativo do Estado. Com base
na experiência paulista e na de vários outros países que adotaram esse
modelo, que são referidas no texto, tal artigo faz considerações sobre as
questões m ais relevantes suscitadas pelas medidas, como a melhoria
do ensino-aprendizagem, os desafios colocados pela relação entre efi­
ciência econômica das escolas e eqüidade na oferta de serviços, bem
como destaca a necessidade de considerar melhor os custos de adap­
tação/construção de escolas e gastos com o esquema de transporte dos
alunos, o que requer um planejamento cuidadoso para a sua operacio­
nalização e uma definição clara acerca das responsabilidades dos gas­
tos e da operação na esfera do Estado e dos municípios envolvidos.

FORMAÇÃO CONTINUADA DE EDUCADORES

Reiterando tendência já diagnosticada em outros estudos sobre a for­

mação docente, os textos que versam sobre este tema debruçam-se
sobre questões suscitadas pela formação em serviço. Essa tem sido a
tônica das políticas na área, e, talvez como reflexo delas, têm rareado
os estudos sobre a formação inicial de professores. Ademais, quando
eles existem, tampouco costumam configurar-se como avaliações de
programas, uma vez que os cursos têm características perenes.

Embora três artigos tenham focalizado programas de capacitação de

profissionais que atuam no sistema público de ensino, o único avaliado de
forma sistemática foi o chamado Um Salto para o Futuro. Sobre os demais
programas, existem apreciações mais ou menos fundamentadas em algu­
mas evidências empíricas, insuficientes, entretanto, para que se tenha
uma idéia relativamente precisa acerca do processo de implementação,
dos resultados obtidos e/ou de repercussões na rede escolar.

©
Um dos textos faz um contraponto entre o Programa de Capacitação para
Educadores de Apoio da Secretaria Estadual de Educação de Pernambuco
(1987 a 1991) e o Projeto de Capacitação dos Coordenadores Pedagógicos
da Secretaria Municipal de Educação de São Paulo (1995 a 1996), desta­
cando as orientações básicas que lhes deram suporte (Silva, 1996). As con­
siderações sobre o Programa de Formação de Capacitação de Recursos
Humanos da rede estadual paulista (1984 e 1994) referem-se à atuação
das universidades públicas na oferta dos cursos e evocam dados da apre­
ciação feita pelos professores (Martins, 1996).

O texto sobre o Programa Um Salto para o Futuro é resultado de pesquisa

de avaliação realizada em 1992 pela Fundação Carlos Chagas, por solici­
tação do Ministério da Educação. Trata-se de programa de caráter
nacional, dirigido aos professores das séries iniciais do primeiro grau, que
visa levar o professor a formular um referencial teórico-metodológico
adequado e também a ampliar o seu nível de conhecimento geral. Pro­
move capacitação a distância via satélite, combinando recursos m ulti­
m ídia e utilizando transmissão monitorada. Quando submetido à pri­
meira avaliação extema — que é relatada no artigo —, contava para a
sua viabilização com o Ministério da Educação, por meio da Secretaria
Nacional de Educação Básica (Seneb), a Fundação Roquette Pinto, res­
ponsável pela televisão educativa do Ministério e as Secretarias de Estado
da Educação, no que diz respeito às ações de campo.

A pesquisa analisa, mediante apreciação de juizes, os pressupostos

teórico-metodológicos e o formato do programa, focalizando o material
produzido; registra a opinião dos atores sociais envolvidos e atenta para
a interação dos cursistas com os agentes educacionais e destes entre si,
0 que é feito por meio de entrevistas, questionários e observação de te­
lepostos em amostra representativa; verifica o aproveitamento dos cur­
sistas com base em questões abertas sobre o conteúdo dos programas;
recolhe dados sobre as condições de implementação. Aponta para
aspectos que podem ser melhorados no que diz respeito ao projeto
educativo e à exploração dos recursos tecnológicos; encontra resulta­
dos positivos quanto à compreensão, pelos professores, dos conceitos
básicos veiculados pelo curso; chama a atenção, porém, para o reduzi­
do número da audiência ante as estimativas iniciais de cobertura do
programa, destacando a necessidade de uma análise de custos que leve
em conta os recursos envolvidos nas diferentes instâncias governa­
mentais parceiras. Reconhece, por fim, que o programa constitui uma
proposta inovadora do ponto de vista educacional, que potencialmente
poderá tomar-se importante instrumento de atualização docente (Bar­
retto, 1997).
Estudos dessa natureza costumam apenas situar sumariamente o ob­
jeto que se propõem a avaliar. Concentram-se nas enormes tarefas
operacionais necessárias à coleta e análise das informações referentes
às várias dimensões do programa a serem pesquisadas, seja em amos­
tras grandes, em vista da exigência de representatividade, seja em estu­
dos qualitativos, que analisam determinados aspectos do programa em
profundidade. Considerando-se o exíguo tempo que dispõem para apre­
sentar os resultados do trabalho — que deriva de complexos desenhos
de investigação —, terminam pecando pela falta de contextualizaçâo
mais abrangente, por citar outros estudos apenas quando a referência
se torna imprescindível, sem que haja condições de discussão mais
alentada acerca de referenciais teórico-metodológicos empregados, ou
comparação com resultados obtidos em investigações congêneres. Se
tais pesquisas ganham em agilidade e prestam-se a subsidiar direta­
mente a tomada de decisões, o tempo que dispõem para a maturação
das análises fica a dever em relação aos estudos de caráter mais aca­
dêmico. 0 que, de certo modo, as fragiliza no que se refere ao seu poder
de explicação.

ESTUDOS SOBRE CUSTO/RESULTADO E CUSTO/BENEFÍCIO

Outras avaliações, apoiadas em metodologia específica, analisam apenas

aspectos parciais de determinados programas. As informações sobre o
programa, no caso, são bastante genéricas, destinando-se, sobretudo, a
situar a questão a ser investigada, de sorte que, por meio delas, não é
possível ter uma idéia clara do conjunto de ações nele envolvidas. Dois
estudos se desenvolvem nesses termos, com base em dados colhidos em
razão de outras avaliações e voltados para a análise de custos, moda­
lidade de avaliação particularmente escassa no país. Um deles refere-se

©
ao Programa Aceleração de Aprendizagem, destinado a corrigir o fiuxo
escolar das quatro primeiras séries do ensino fundamental das redes
públicas de ensino, mediante a formação de classes de aceleração para
atender alunos com defasagem idade-série.

Concebido em 1994, tal programa foi inicialmente implantado em 1995,

no Estado do Maranhão, com recursos do Ministério da Educação e
apoio técnico do Centro de Ensino Tecnológico de Brasília. Em 1996,
foram desenvolvidos e testados materiais didáticos consistentes com a
proposta do programa e, em 1997, iniciados dois novos projetos dentro
da mesma concepção, um pela Secretaria de Estado da Educação de
Minas Gerais e outro pelo Instituto Ayrton Senna/Petrobrás, dissem ina­
do por todo o país. Na sua avaliação, destacam-se a economia gerada e
a efetividade do programa, com base nos resultados do teste a que foram
submetidos alunos das classes de aceleração de aprendizagem.

Os resultados alcançados por alunos, antes considerados multirrepe-

tentes, confirmam a proposta do programa, ou seja, a de que houve
aquisição de conhecimentos equivalentes aos do aluno médio de 4®sé­
rie, demonstrando que é possível e viável corrigir o fluxo escoiar, acabar
com a reprovação e erradicar a cultura da repetência no país. O estudo
também demonstrou que os resultados estão associados aos investi­
mentos. Comparando-se os três projetos, concluiu-se que aquele em
que os insumos foram insuficientes, no caso, o do Estado do Maranhão,
obteve piores resultados quanto às séries que o aluno conseguiu saltar
(Oliveira, 1998).

O segundo estudo refere-se ao Edurural — Programa de Expansão e Me­

lhoria do Ensino Rural —, implantado, no período de 1981 a 1987, nas
zonas rurais de 218 municípios do nordeste, com o objetivo de melho­
rar as condições do ensino fundamental na região.

Embora o programa tenha abrangido todo o nordeste, sua avaliação e

acompanhamento foram realizados em três estados, a saber, Piauí, Per­
nambuco e Ceará. Recorrendo aos dados coletados durante o período
em que durou a avaliação (Gomes Netto et al., 1993), faz-se uma análise
de custo-benefício dos insumos educacionais fornecidos pelo programa,
com base em estimativas sobre o número de estudantes/ano e tendo
como referência a progressão escolar dos alunos. Os autores chegam à
conclusão de que os investimentos em insumos oferecidos às escolas par­
ticipantes (infra-estrutura, materiais de ensino aprendizagem, qualifica­
ção do professor) aumentaram a eficiência do sistema, tendo em vista a
melhoria do fluxo dos alunos, o que, por sua vez, produziu um retomo fi­
nanceiro em razão da economia obtida. Nesse sentido, os avaliadores pon­
deram que os investimentos se justificam plenamente, pois o custo para
se obter um aluno formado foi menor do que os investimentos.

ARTIGOS COM PREOCUPAÇÕES DE CARÁTER METODOLÓGICO

Embora no Estado da arte tenha se constatado a predominância de artigos

que abordam a avaliação sob o prisma conceituai, tentando elucidar
seus pressupostos, finalidades, teorias, modelos, o eixo dessa discussão
gira em tomo da avaliação da aprendizagem, da escola e de seu con­
texto institucional, mencionando-se a avaliação de programas educa­
cionais só nas retrospectivas históricas que se remetem às influências
do exterior no pensamento brasileiro.

Dentre o conjunto de textos tomados para análise, apenas um autor

preocupou-se com a discussão metodológica sob o enfoque das ciên­
cias políticas, 0 qual é muito pouco conhecido entre os educadores.
Sousa (1994) procura estabelecer uma relação entre os princípios teóri­
cos que fundamentam a formulação e implementação de políticas pú­
blicas e a estruturação de procedimentos avaliativos, com base nos tra­
balhos de Cerych e Sabatier, pesquisadores que aplicam conceitos de
policy analysis e de implementation analysis a estudos de reformas do en­
sino superior na Europa. Contudo, a abordagem do artigo tem mais um
caráter introdutório do que analítico.

Além desse texto, vale a pena registrar, entre as reflexões de Gatti sobre
a experiência de avaliação de desempenho do sistema educacional no
nível de primeiro grau adquirida na Fundação Carlos Chagas, aquela
realizada no âmbito do Programa Edurural como uma das m ais abran­
gentes na década de 1980 (Gatti, 1994).

Em parceria com a Fundação Cearense de Pesquisa, a pesquisa avalia-

tiva consistiu em estudo longitudinal, desenvolvido ao longo de cinco
anos (1981- 1985), com dados colhidos em amostra aleatória de 603 es­
colas nos três estados já mencionados. O estudo incidiu sobre diversas
variáveis: condições das escolas, perfil dos professores, impacto de
treinamentos, material escolar, merenda escolar,' condições das fam í­
lias e rendimento escolar dos alunos. Foi ainda complementado por seis
estudos de caso, dois em cada um dos estados. A quantidade de análi­
ses derivadas do projeto foi muito significativa, sendo disseminada por
meio de um número representativo de publicações, sob a forma de l i­
vros, artigos em periódicos e teses acadêmicas, tendo resultado em
contribuição das mais relevantes para o conhecimento das condições
do ensino rural no país.

Quanto aos aspectos metodológicos, a primeira questão a considerar,

como lembra Gatti, é que a avaliação deve levar em conta as caracte­
rísticas do ambiente educacional em que se desenvolverá, “evitando a
imposição de modelos nem sempre ajustáveis aos vários aspectos do
sistema educacional, ainda que bem estruturados do ponto de vista
teórico” (op, dt., p.77). No processo de avaliação, isso ficou evidente,
pois um dos problemas enfrentados foi justamente a impossibilidade
de se conciliar as exigências do desenho de pesquisa proposto pelo
Banco Mundial com a realidade política e cultural da região.

Como a tradição empirista de pesquisa social propõe os modelos expe­

rimentais e quase-experimentais para a avaliação do impacto dos pro­
gramas, os estudos financiados pelas agências m ultilaterais quase que
invariavelmente colocam como exigência a adoção desses modelos, visto
que estão interessadas sobretudo na efetividade das ações programadas.
A lógica do desenho tem como pressuposto que não basta a constatação
de que as mudanças propostas aconteceram para se inferir o sucesso
de um programa; é necessário demonstrar que elas não ocorreriam na
sua ausência.

No caso do Edurural, a avaliação deveria, portanto, ter um desenho ex­

perimental, em que os municípios que recebessem insumos do programa
fossem comparados com outros, que deles estivessem excluídos. No de­
correr da pesquisa, percebeu-se, entretanto, que o ensino rural recebia

©
recursos de vários projetos, que se sobrepunham e eram distribuídos
pelo conjunto dos municípios segundo critérios variados e sob influência
clientelista, fato que inviabilizou a escolha dos grupos de controle.

Ainda comentando problemas enfrentados na avaliação do Edurural, a

autora reporta-se às questões decorrentes do emprego de amostras
grandes na avaliação educacional, tais como, imprecisões e representa­
tividade de dados estatísticos, tempo demandado para a coleta de da­
dos, custos, além da baixa credibilidade dos estudos amostrais perante
a população. No caso do programa, a seleção aleatória de escolas levou
à constatação de que muitas eram “fantasmas”, o que comprometeu a
representatividade da amostra. Em aplicações posteriores, terminou-se
confirmando que muitas escolas não eram perenes, o que obrigou à es­
colha intencional de escolas equivalentes.

Sobre as dificuldades mencionadas, acrescentaríamos que, onde os

aparatos burocrático-institucionais de prestação de serviços ainda
estão precariamente instalados, como acontece nas redes municipais
de ensino que atendem as áreas rurais do nordeste — as mais pobres
do país —, os esquemas de controle concebidos em realidades com alto
nível de institucionalização de serviços, e originalmente criados para
situações de laboratório, tendem a mostrar grandes fragiiidades. Mes­
mo assim, eles têm sido freqüentemente priorizados em detrimento de
outras abordagens que, igualmente, podem trazer contribuições valiosas.
Os estudos de caso, introduzidos na avaliação do Edurural após insis­
tência dos pesquisadores brasileiros, trouxeram à tona uma série de
questões subjacentes aos problemas detectados no programa, que o
uso do modelo experimental não conseguiu esclarecer.

Outros aspectos discutidos no texto de Gatti dizem respeito à necessi­

dade de se considerar, nas pesquisas de avaliação, o preparo do pessoal,
considerando-se que determinados estudos exigem uma formação
acurada dos que elaboram os instrumentos e dos que os aplicam em
campo. Por vezes, em certas regiões e locais, faltam pessoas qualifi­
cadas, até mesmo para aplicar instrumentos mais simples de avaliação
e registrar seus resultados. Além disso, em certas circunstâncias, é difícil
encontrar aplicadores que coletem as informações com um m ínim o de
confiabilidade, uma vez que a situação de avaliação costuma ser amea­
çadora e que as pessoas temem receber sanções em decorrência de re­
sultados que possam advir desses processos de aferição.

A isso, conforme remarca a autora, acrescentem-se os custos de avalia­

ção de programas amplamente disseminados nos sistemas de ensino
em um país com as dimensões continentais, como o Brasil, o que os tor­
na por vezes quase inviáveis em termos orçamentários, apesar de tec­
nicamente bem delineados como projetos de avaliação.

CONCLUSOES

Em primeiro lugar, a pequena proporção de artigos sobre avaliação de

políticas educacionais no conjunto dos textos que tratam da avaliação
no ensino básico, e, em particular, dos que se referem à avaliação de
programas, sugere que, acerca de medidas que têm ampla repercussão
na vida de milhões de brasileiros, tendem a prevalecer grandes vazios
de informação e reflexão.

Por sua vez, observa-se que a maior parte das avaliações de programas
divulgadas nos periódicos compõe-se de ações cuja implementação ocor­
reu ou pelo menos foi iniciada durante as gestões da década de 1980.
Ainda que se considere necessária a decorrência de um tempo razoável
desde o começo de um programa até que os seus resultados tenham
condição de ser avaliados, chama atenção o fato de que, sobre as pro­
fundas alterações pelas quais vem passando o sistema educacional
brasileiro, especialmente nos anos 90, haja volume excessivamente
pequeno de dados trabalhados circulando nos principais meios difuso­
res ao final da década.

Isso não significa, porém, que se endossem as políticas de resultados

que têm predominado no modo hegemônico de fazer política no setor,
não só no país, como em outras partes do mundo. Sabe-se que, em edu­
cação, muitos resultados significativos costumam mostrar-se após um
prazo bem maior do que o que comportam os delineamentos de
pesquisas de controle. Além disso, por ser a educação uma atividade
com características eminentemente formadoras, os processos envolvi­
dos na implementação de programas educacionais ganham especial
importância na medida em que chegam a conformar os próprios re­
sultados e afetam tanto os sujeitos-alvo quanto os agentes educacio­
nais, que precisam apossar-se de certas propostas institucionais como
suas, condição para que mudanças duradouras se operem. Tais consi­
derações não invalidam, contudo, o pleito de que as ações governa­
mentais sejam m ais sistematicamente acompanhadas e avaliadas.

Sobre os níveis de ensino estudados, tal como constatou levantamento

congênere (Azevedo & Aguiar, 1999), os estudos incidem m ajoritaria­
mente sobre o ensino fundamental, e até os programas de formação
continuada de docentes são dedicados basicamente aos educadores do
ensino obrigatório. De acordo com outra tendência encontrada, obser­
va-se também que a maior parte dos programas analisados foi levada
a cabo em estados da região Sudeste, onde estão concentrados os siste­
mas de ensino de maiores recursos, bem como a maior quantidade de
pessoal tecnicamente qualificado para realizar as avaliações. Poucos
são os programas de âmbito nacional analisados; apenas um deles tem
caráter regional, havendo tão-somente uma referência a um programa
desenvolvido por município.

Do ponto de vista metodológico, observa-se que, entre o reduzido nú­

mero de textos que abordam o tema, uma série deles não se constitui
em avaliações propriamente ditas; trata-se de meras apreciações sem
m aior rigor na abordagem.

Nas avaliações de programas realizadas com metodologia própria, veri­

fica-se, na maior parte dos casos, a preocupação de contemplar tanto
as dimensões quantitativas quanto os processos qualitativos detecta­
dos no decorrer da implementação. Pode acontecer que avaliações de
programas, que tendem a ser descontextualizadas quando feitas sob
demanda, sejam publicadas sob a forma de estudos e textos de nature­
za m ais acadêmica, que levam em conta outros aportes.

A escassez de informações sobre os programas governamentais e, mais

ainda, a falta de divulgação de estudos realizados sobre o tema recolo­
cam, enfim, algumas questões de natureza política. Nem sempre os
gestores do setor público, que solicitam avaliações, têm a preocupação
de dar conhecimento dos resultados aos diretamente envolvidos com
as ações ou a públicos diferenciados. Por vezes, eles não consideram
interessante ou conveniente a divulgação de dados que possam com­
prometer a legitimidade de suas ações. Quando os grupos de interlocu­
ção são restritos e os resultados permanecem exclusivamente no domí­
nio dos dirigentes, a informação pode configurar-se em instrumento de
poder com características bastante discricionárias, tendendo a reforçar
as posições políticas dos segmentos no poder, independentemente da
eqúidade e adequação das medidas postas em prática.

Além disso, a alternância na gestão costuma acarretar descontinui­

dade nos projetos e programas governamentais, podendo afetar tam ­
bém 0 interesse pela realização de avaliações, de sorte que as políticas
de mais longo prazo, como as da área da educação, correm o risco de
não ter prosseguimento.

A disseminação de informações entre os beneficiários diretos, bem como

entre outros grupos críticos e a sociedade em geral, permite que haja um
contraponto com outros tipos de conhecimento e de interesses, o que
pode subsidiar os mecanismos de pressão para que o que está trazendo
benefícios coietivos seja preservado, ou para fazer emergir o novo.

©
REFERÊNCIAS BIBLIOCRÁFICAS
A R R E T C H E , M a r t a T . T e n d ê n c ia s n o e s t u d o s o b r e a v a lia ­ M A R T IN S , A n g e la M a r ia . F o r m a ç ã o c o n t í n u a d e p r o ­

ç ã o . In : R IC O , E liz a b e t h M e lo (O rg .) A u a lia ç ã o de p o líti­ fe s s o r e s : p a r c e r i a u n iv e r s id a d e e r e d e e s t a d u a l d e

cos s o c ia is ; u m a q u e s t ã o e m d e b a te . 2 e d . S ã o P a u lo : e n s in o . R e u is ta daF a c u ld a d e d e E d u ca çã o (S ão P a u lo ),

C o r te z , I n s t i t u t o d e E s tu d o s E s p e c ia is - P U C , 1 9 9 9 . V . 2 2 , n . 2 . p .1 8 9 - 2 0 5 , FEUSP, ju l . / d e z . 1 9 9 6 .

A Z E V E D O . J a n e t e M a r i a L in s d e . A G U IA R . M á r c ia A n ­ N E U B A U E R d a S IL V A , T e r e z a R o s e r le y , D A V IS , C lá u d ia .

g e la d a S ilv a . P o lí t ic a s d e e d u c a ç ã o : c o n c e p ç õ e s e É p r o i b id o r e p e t ir . E s tu d o s e m A u a lia ç ã o E d u c a c io n a l

p r o g r a m a s . I n : W I T T M A N , L a u r o C a r lo s . G R A C IN - (Sâo P a u lo ), n .7 , p .5 - 4 4 , FC C , j a n . / j u l . 1 9 9 3 .

D O , R e g in a V in h a e s ( C o o r d .) 0 e s ta d o d a a r te em p o ­ O L IV E IR A , Jo ã o B a t is t a d e A r a ú j o e. A n á li s e d e c u s t o s e

lític a e g e s tã o daeducaçãon o B ra s il. B r a s ília : A N P A E , r e s u lt a d o s d o P r o g r a m a d e A c e le r a ç ã o d e A p r e n d i ­

1 9 9 9 . p .6 3 - 7 6 . z a g e m . E nsaio: A v a lia ç ã o e P o lític a s P ú b lic a s e m E d u ­

B A R R E T T O . E lb a S iq u e ir a d e S á. C a p a c it a ç ã o à d i s t â n ­ c a ç ã o (R io de janeiro), v.8 , n . l 8 , p .2 3 - 5 6 . F u n d a ç ã o

c ia d e p r o f e s s o r e s d o e n s in o f u n d a m e n t a l n o B r a s il. C E S G R A N R IO . j a n . / m a r . 1 9 9 8 .

E d u c a ç ã o e S o c ie d a d e (C a m p in a s ), v . l 8 , n .5 9 , p .3 0 8 -2 9 , R A M O S , L i lia n M a r ia P. d e C E s c o la s r u r a is c o n s o lid a d a s :

CEDES. ago. 1997. Cadernos de Pesquisa (São

e x p e r iê n c ia p a r a n a e n s e .

B A R R E T T O , E lb a S iq u e ir a d e S á . P IN T O , R e g in a P a h im Paulo), n .7 7 , p .1 9 - 2 4 . FC C , m a i o 1 9 9 1 .
( C o o r d . ) . E s ta d o daa r te ; a v a lia ç ã o n a e d u c a ç ã o b á s i­ S IL V A , A id a M a r ia M o n t e ir o . A F o r m a ç ã o c o n t in u a d a

c a . S ã o P a u lo : F C C , B r a s í lia : IN E P /C O M P E D , 2 0 0 0 . d o p r o f e s s o r : a r e la ç ã o c o n s t i t u c i o n a l e n t r e S e c re ­

D E P R E S B ÍT E R IS , L é a . A v a lia ç ã o d e p r o g r a m a s e a v a lia ­ t a r ia d e E d u c a ç ã o e U n iv e r s id a d e . R e u ista daF aculdade

ç ã o d e a p r e n d iz a g e m . E d u ca çã o e Seleção (Sâo P a u lo ). de Educação (Sâo P aulo), v.2 2 . n .2 . p .1 7 8 -8 8 . FEUSP,

n . l 9 , p .5 - 3 1 , F C C , j a n . / j u n . 1 9 8 9 . ju L / d e z . 1 9 9 6 .

F E R R E T T I, C e ls o J o ã o , V I A N N A . C lá u d ia P e r e ir a , S O U ­ S IL V A , Z o r a id e In ê s F a u s t i n o n i. U m e s t u d o a v a lia t i v o

Z A . D e n is e T r e n t o d e . E s c o la p ú b l i c a e m t e m p o i n ­ s o b r e o c ic lo b á s ic o d e a lf a b e t iz a ç ã o e m q u a t r o e s ­

t e g r a l. CadernosdeP es q u isa (São P a u lo ), n ,7 6 , p .5 - 1 7 , c o la s d e S ã o P a u lo . E s tu d o s e m A u a lia ç ã o E d u c a c io n a l

F C C , fe v . 1 9 9 1 . (São P a u lo ), n .3 , p .4 9 - 7 0 , F C C . j a n . / j u n . 1 9 9 1 .

F IG U E IR E D O , M a r c u s F a ria . F IG U E IR E D O , A r g e lin a M a r ia S O U S A . E d s o n M a c h a d o d e . P o lític a s p ú b l ic a s e a q u e s ­

C h e ib u b . A v a lia ç ã o p o lí t ic a e a v a lia ç ã o d e p o lític a s : t ã o d a a v a lia ç ã o . E n s a io : A v a lia ç â o e P o lí t ic a s P ú b li­

u m q u a d r o d e r e f e r ê n c ia t e ó r ic a . A n á lis e e C o n ju n tu ra c a s e m E d u c a ç ã o (R io de Jan e iro ), v . l , n .2 , p .5 1 -6 0 . F u n ­
(Belo Horizßnte), v.1 , n .3 , p .1 0 7 -2 7 , s e t./d e z . 1 9 8 6 . d a ç ã o C E S G R A N R IO . j a n . / m a r . 1 9 9 4 .

F L E T C H E R , P h i l i p R. P r o p ó s ito s d a a v a lia ç â o e d u c a c io ­ V A S C O N C E LLO S , E d u a rd o A lc â n ta r a d e . A g r u p a m e n ­

n a l : u m a a n á lis e d a s a l t e r n a t iv a s . E stu d o s e m A v a lia ­ t o s d e e s c o la s r u r a i s : a lt e r n a t i v a p a r a o im p a s s e d a

ção E d u c a c io n a l (São P au lo ), n . l l , p .9 3 - 1 1 2 , FC C , j a n . / e d u c a ç ã o r u r a l? C adernos dePesquisa(São P aulo), n .8 6 ,

m a r. 1995. p .6 5 - 7 3 , F C C , a g o . 1 9 9 3 .

G A T T I , B e m a r d e t e A . A v a lia ç â o e d u c a c io n a l n o B r a s il: V I A N N A , H e r a ld o M a r e lin . A v a lia ç ã o e d u c a c io n a l: u m a

e x p e r iê n c ia s , p r o b le m a s , r e c o m e n d a ç õ e s . E stu d o s em p e r s p e c t iv a h i s t ó r ic a . E s tu d o s em A u a lia ç ã o E d u c a c io ­
A u a lia ç ã o E d u c a c io n a l (Sâo P a u lo ), n . lO , p .6 7 - 8 0 , FC C , n a l (Soo P a u lo ), n . l 2 , p .7 - 2 4 , FC C , j u l . / d e z . 1 9 9 5 .

ju l./ d e z . 1994. ____________ . A v a lia ç ã o : c o n s id e r a ç õ e s t e ó r ic a s e p o s ic io ­

G O M E S N E T T O , J o ã o B a t is t a F. e t a l. I n v e s t im e n t o s a u t o - n a m e n t o s . E studos em A u a lia ç ã o E d u ca cio n a l (São P aulo),

f m a n c i á v e i s e m e d u c a ç ã o . C a d e rn o s de P e s q u isa (Sâo n . l 6 , p .5 - 3 6 , FC C . ju l . / d e z . 1 9 9 7 .

P a u lo ), n . 8 5 , p .1 1 - 2 5 , F C C , m a i o 1 9 9 3 . Z A L U A R ., A lb a . L E A L . M a r i a C r is t i n a . C u l t u r a , e d u c a ­
L E O N A R D O S , A n a C r is tin a , M A C E D O , S a n d ra . A a b o r ­ ç ã o p o p u l a r e e s c o la p ú b l ic a . E n s a io : A v a lia ç ã o e

d a g e m e t n o g r á f i c a n a a v a lia ç â o d e p r o je t o s i n o v a ­ P o lític a s P ú b lic a s e m E d u c a ç ã o ( R io d e J a n e ir o ) , v .4 ,

d o r e s . E n s a io : A v a lia ç ã o e P o lí t ic a s P ú b lic a s e m E d u ­ n .ll. p .1 5 9 - 7 6 . Fundação C E S G R A N R IO , a b r . / ju n .

c a ç ã o (R io de janeiro), v .4 . n . l l . p .1 0 9 - 2 0 , F u n d a ç ã o 1996.

C E S G R A N R IO , a b r . / j u n . 1 9 9 6 .

NOTAS
1 E m b o r a o c i c l o b á s ic o n ã o p o s s a , a r ig o r , s e r r o t u la d o 2 É n e le s q u e s e e f e t u a a m a i o r p a r t e d a s p e s q u is a s
com o u m p r o g r a m a , p o r s e t r a t a r d e in i c i a t i v a q u e s o b re e d u c a ç ã o n a s u n iv e r s id a d e s b r a s ile ir a s .
a n u n c i a a p e n a s o i n i c i o d a r e e s t r u t u r a ç ã o d o e n s in o
d e p r i m e i r o g r a u c o m o u m to d o , d e c id iu - s e c o n s id e r á -

l o c o m o t a l p a r a f i n s d e a n á lis e , u m a v e z q u e , e m r e ­ TYabalho apresentado no II Congresso Luso-

la ç ã o a e le , f o r a m t o m a d a s u m a s é r ie d e m e d id a s c o m Brasileiro de Política e Administração da Edu­
f i n a l i d a d e s e s p e c if ic a s , q u e p e r m i t i r a m d i s t i n g u i r a cação, Braga, Universidade do Minho, de 18 a
s u a t r a j e t ó r i a e n q u a n t o i n o v a ç ã o n a re d e e s c o la r. 20 de janeiro de 2001.
o
S (A

5 i S is t e m a d e
-§« . .

tc w- ^ o n ito r Q n iG n to
11 V
^ Q fí a v a . , i a ç a o

im p le m e n ta d o p o r

u m a o r g a n iz a ç ã o

d o te r c e ir o s e to r;

o caso da A ção

C o m u n it á r ia

d o B r a s ii
MARIA DO CARMO BRANT DE CARVALHO é doutora em Serviço Social pela Pon­
tifícia Universidade Católica de São Paulo e pós-doutorada em Serviço Social
Aplicado pela École des Hautes Études en Sciences Sociales de Paris. Atua como
professora no Programa de Pós-Graduação em Serviço Social da Pontifícia Univer­
sidade Católica de São Paulo. Membro do Conselho Nacional da Comunidade Soli­
dária da Casa Civil da Presidência da República do Brasil, é autora de vários traba­
lhos publicados.

DENISE BLANES é pesquisadora do Instituto de Estudos Especiais — lEE, da PUC-SP.

Doutoranda do curso de pós-graduação em Serviço Social da Pontifícia Universidade
Católica de São Paulo, é autora de vários trabalhos publicados.
A Ação Comunitária do Brasil — ACB já possui um longo currículo de
serviços prestados às comunidades carentes da zona sul de São Paulo.
Nasceu em 1957 e desde lá vem ampliando e diversificando suas ativi­
dades. Atua em quarenta comunidades, tendo como parceiros as pró­
prias lideranças e agentes locais. Este é um grande diferenciador do
projeto da ACB: suas ações partem de interesses e demandas locais e
são implementadas com suas lideranças. Está fincada na comunidade.

Seu público principal (cerca de 5 m il pessoas) é formado por crianças, ado­

lescentes ejovens provenientes de famílias de baixa renda, habitantes de
comunidades da periferia da cidade. Esses dados por si só apontam para a
dimensão e importância de suas ações na esfera pública.

Em junho de 1999, a Ação Comunitária do Brasil nos solicitou a im ple­

mentação de um sistema de monitoramento e avaliação de seus ser­
viços. É preciso destacar que tal solicitação — partindo de um a organi­
zação filantrópica — é uma iniciativa inovadora e corajosa. São poucas
as organizações não-govemamentais, no campo da ação social, que pro­
duzem avaliações de resultados e impactos. Nesta área, as organizações,
em geral, não percebem a importância de aferir resultados. É como se
“para pobres, qualquer ação fosse lucro”. Não há compromisso com a
transparência. 0 que move essas organizações filantrópicas é a preo­
cupação com a expansão quantitativa de seus serviços, mais do que a
busca de sua qualidade e eficácia.

A ACB, ao se propor a avaliar suas ações, está introduzindo na agenda

do Terceiro Setor um novo modo de gestão da ação privada com fins
públicos.

Num país e cidade como a nossa, onde os universos populacionais

são enormes, os recursos precisam ser otimizados e melhor dis­
tribuídos.« A transparência e socialização de resultados e impac­
tos produzidos pelas organizações governamentais e não-gover­
namentais também se tornou tarefa urgente nofortalecimento da
democracia.

A montagem do sistema de monitoramento e avaliação foi realizada

com intensa participação dos técnicos e coordenadores da ACB. Esta
participação é importante, pois permite aos sujeitos da ação — gesto­
res, técnicos e agentes — apropriarem-se do seu fazer e lhe conferir sig­
nificado, ou seja, compreenderem que a avaliação sistemática permite
aferir processos/resultados/impactos e referenciar as decisões políticas
e técnicas da instituição. A participação é também imprescindível, pois
se trata de uma avaliação contínua, o que exige da organização o domí­
nio do seu fazer.

A CONSTRUÇÃO DO SISTEM A

Realizamos uma série de oficinas com técnicos e coordenadores para

que compreendessem o significado da avaliação e participassem da
construção do Sistema de Monitoramento e Avaliação. Este momento
foi extremamente rico. Refletiu-se o percurso histórico da ACB, anali­
sando seu presente e projetando o seu futuro. Foi necessário melhor
focalizar a missão da entidade. Quais ações e estratégias constituem o
“núcleo duro” da missão institucional ou expressam melhor a identidade
da instituição? Quais ações conferem à ACB maior legitimidade e re­
conhecimento na comunidade? Quais públicos-alvo das ações são pre­
ferenciais?

Definiu-se mais claramente o seu público-alvo: crianças, adolescentes,

jovens. Como diretriz, ficou fortalecida a idéia de ações (programas e
serviços) implementadas com a comunidade, articulando-se de forma
mais intensa as lideranças, agentes comunitários e movimentos de bair­
ro. As ações lúdicas e culturais assumem um papel de animação co­
munitária, sendo desenvolvidas de forma articulada aos programas nu­
cleares.

Estabeleceram-se, assim, os programas considerados “carros-chefes" da

instituição:

• Primeiras Letras
• Crê-Ser
• Iniciação para o Trabalho.

Essas definições mostram que a montagem de um Sistema de Avalia­

ção impõe, necessariamente, uma revisita à missão da organização e
portanto, uma avaliação institucional.

Primeiras
Cultura e Lazer: Letras
formas privilegiadas
Crianças de energizar e Crê-Ser
Adolescentes facilitar a inclusão
Jovens social dos grupos PPP. inclusão
envolvidos nos social e
programas empregabilidade

Capacitar Gestar ações em

continuadamente Implementar os rede nas comunidades,
agentes comunitários serviços, realizando de maneira a
para prestar serviços parcerias com outros fortalecê-las, para
infanto-juvenis, serviços e organizações buscar com autonomia
articulando e (escola, igrejas, e protagonismo a
envolvendo família e movimentos etc). melhoria na
comunidade. qualidade de vida.
Com esses desdobramentos, o Sistema de Monitoramento e Avaliação
construído centrou-se nos programas Primeiras Letras, Crê-Ser e Inicia­
ção para o Trabalho.
Na seqüência, refletimos com a equipe técnica de cada programa sobre a
coerência intema entre objetivos, estratégias e resultados desejados, reti­
rando desta reflexão os aspectos/eixos a serem avaliados; indicadores e
instmmentos quali-quantítativos de aferição.2 A avaliação contemplou
agentes comunitários/educadores e crianças/adolescentes.

Foram definidos indicadores, tomando-se por base os grandes eixos edu­

cativos desenvolvidos pela ACB com crianças (Primeiras Letras), crian­
ças e adolescentes (Programa Crê-Ser) e jovens (Programa de Iniciação
para o Trabalho), quais sejam:

• Conhecer: desenvolvimento da capacidade cognitiva;

• Fazer: desenvolvimento de habilidades para a vida;
• Ser: desenvolvimento da identidade;
• Conviver: desenvolvimento da convivência.

Para cada eixo, foram debatidos e construídos, com a equipe técnica, os

indicadores respectivos. A aferição ocorreu apenas sobre os indicadores
correspondentes a objetivos efetivamente perseguidos. No ano de 1999,
os Programas não desenvolviam, na sua totalidade, todos os processos
e conteúdos necessários à obtenção plena dos objetivos implicados em
cada eixo.
O desenho do sistema de monitoramento e avaliação foi todo constmído
com os gestores e a equipe técnica da ACB. Os testes para avaliação das
aprendizagens das crianças e adolescentes, por exemplo, foram elaborados
e propostos pelas equipes técnicas de cada programa, o mesmo ocorrendo
com a implementação do sistema, que envolveu até mesmo os agentes
comunitários/educadores. Por fim, construiu-se uma ficha de matrícula
com registro mais completo de informações sobre as crianças/adolescen­
tes e suas respectivas famílias, necessária ao sistema de monitoramento.

É importante afirmar que esses primeiros produtos aualiatiuos

espelham um "estado das artes" ou. ainda, uma aualiação diag­
nóstica. É 0 ponto de partida do Sistema.
Para efeito deste relato, suprimimos a avaliação do programa voltado
mais especificamente aos jovens (PPT — Programa de Preparação para
0 Trabalho).

PRIMEIROS RESULTADOS AVALIATIVOS

A personalidade da criança, seus “raciocínios” e seus comporta­

mentos, suas ações e reações são incompreensíveis fora das
relações sociais que se tecem, inicialmente, entre ela e os outros
membros da constelação familiar, em um universo de objetos lig­
ados às formas de relações intrafamiliares. De fato, a criança con­
stitui seus esquemas comportamentais, cognitivos e de avaliação
através das formas que assumem as relações de interdependên­
cia com as pessoas que a cercam com mais freqüência e por mais
tempo, ou seja, os membros de sua família. Ela não “reproduz",
necessariamente e de maneira direta, as formas de agir de sua
família, mas encontra sua própria modalidade de comportamento
em função da configuração das relações de interdependência no
seio da qual está inserida. Suas ações são reações que “se apóiam”
relacionalmente nas ações dos adultos que, sem sabê-lo, desen­
ham, traçam espaços de comportamentos e de representações pos­
síveis para ela.3

AVALIAÇÃO DO PROGRAMA CRE-SER

O programa está implantado em 26 comunidades, do m unicípio de São

Paulo, com 53 turmas no total, beneficiando 1.783 crianças e adoles­
centes entre 7 e 14 anos, no ano de 1999.

• 13 comunidades com 24 turmas na região de Campo Limpo

• 8 comunidades com 16 turmas na região de Capela do Socorro
• 4 comunidades com 9 turmas na região de Santo Amaro
• 1 comunidade com 4 turmas em Heliópolis
 Campo Limpo: 807 Capela do Socorro: 529

Meninos: 420 Meninos: 292

Meninas: 387 Meninas: 237
Desistentes: 298 Desistentes: 151
Santo Amaro: 316 ? Heliópolis: 131
Meninos: 141 Meninos: 80
Meninas: 175 Meninas: 51
Desistentes: 92 Desistentes: 33

Total de meninos; 933 ’

Total de m eninas: 850
Total geral: 1.783 í;
Total de evasão: 574 (32%)

Distribuição do atendimento por sexo e por região

N?de
atendi­
mentos
400

300

200

100 141
P m
SI ■
Heliópolis Santo Capela do Campo
Amaro Socorro Limpo

Em março de 1999, foram contabilizadas 1.256 crianças/adolescentes, o

que indica o ingresso durante o ano de mais 527 crianças/adolescentes.
Esse dado, combinado ao dado de evasão, sugere uma certa rotativi­
dade de participantes que não se fixam no programa durante todo o
ano letivo.
 Distribuição da evasão por região, no conjunto de crianças atendidas

Capela do Socorro
Santo Amaro

y Campo Limpo

Heliópolis
Não evadidos ‘

O número de evadidos ou desistentes é alto. Na média total, está na

ordem de 32% . Há um conjunto de fatores que o explicam. Um deles é
o fato de os espaços serem pouco apropriados para conter uma progra­
mação com atividades diversificadas e rica em estímulos (esporte, cul­
tura etc.), que respondam aos interesses de um grupo etário que vai de
7 a 14 anos. A programação fica, assim, mais restrita a aprendizados es­
colares e não a aprendizados complementares à escola, o que sem dú­
vida pode gerar desmotivação.

Outro fator é a falta de parceria com as famílias. Não há compromissos

e ações desenvolvidas em conjunto, o que torna o vínculo com os pais
e com suas crianças bastante frágil. 0 mesmo ocorre com a escola,^ não
se registrando relações de reconhecimento mútuo e, menos ainda,
ações de parceria.

Esses fatores acabam por fixar no agente/educador toda a possibilidade/

responsabilidade de “segurar” e motivar crianças e adolescentes no pro­
grama.

O fato de a turma ser grande e a faixa etária ser extensa (de 7 a 14 anos)
determina maior evasão, pois não permite ao agente comunitário ofere­
cer uma relação interpessoal densa, combinada com atividades que
atendam a interesses muito diversos. As turmas grandes têm uma eva­
são acima de 32% , havendo exceções, como, por exemplo, uma turma
no Paulo VI, com 41 matriculados e 5% de evasão. Assim, pode-se dizer
que outro fator é a própria competência do agente/educador.

No caso das turmas que envolvem crianças e adolescentes (de 7 a 14

anos), pode ocorrer que os pais considerem “pouco seguro manter seus
filhos menores em contato com os maiores”. Em menor escala, ocorrem
desistências de meninas que ficam em casa para dar conta dos afaze­
res domésticos quando a mãe trabalha fora, ou para serem preservadas
da violência das ruas. Há, enfim, evasões por mudanças de domicílio.
Esses últimos fatores sugerem um nível de evasão não controlável pelo
Programa, isto é não dependente do seu grau de desempenho.

Distribuição de crianças e adolescentes por sexo

Masculino 4 ► Feminino
53% 47%

O gráfico acima destaca uma predominância de meninos, o que pode

sugerir uma nova preocupação das famílias da periferia: manter os fi­
lhos distantes de gangues e drogas, constante ameaça na socialização
desejada para os filhos homens.

O gráfico a seguir, por sua vez, confirma a predominância do atendimento

das crianças de 7 a 11 anos. Além desse grupo, há apenas uma criança com
6 anos, três jovens com 15 anos e 77 que não informaram a idade.
 Distribuição de crianças e. adolescentes por faixa etária

N ?de
pessoas

1.000

750

500

250

7 a 11 12 a 14
anos anos

Esse dado permitiria repensar as opções político-programáticas refe­

rentes ao programa Crê-Ser: atuar melhor e mais focadamente nos 7 a
11 anos ou manter a extensão da faixa etária dividindo as turmas e
diversificando os conteúdos e estratégias programáticas.^

Distorção idade/série x universo

100%

80%

60%

40%

20 %

Meninas Meninos

Fica claro que há um percentual significativo de meninos com distorção de

idade/série escolar (46,5%), acima da média nacional para esse índice (44%).
Já 0 índice de distorção idade/série escolar das meninas é de 37,5% , re­
fletindo uma situação melhor. Se considerarmos que a concentração maior

©
das crianças é em tomo de 7 a 11 anos, é preciso repensar até mesmo os
aprendizados, de forma a prevenir ou corrigir precocemente tais distorções.
É sabido que essa distorção entre crianças provenientes de famílias de baixa
renda tem menos a ver com reforço escolar stritu senso e mais com ações
incisivas de ampliação de seu universo informacional e cultural.

Aualiação de aprendizados das crianças/adolescentes

O que fize m o s?

Elaboramos, em conjunto com os técnicos, os instmmentais para aferição

dos aprendizados das crianças e adolescentes, referenciados nos eixos já
descritos. Tais instmmentais foram aplicados pelos agentes/educadores,
sob a supervisão dos técnicos do Programa. Esses realizaram leitura de todo
0 material, análise das produções e dos discursos, tomando como referên­
cia as orientações do processo de avaliação. Sistematizamos estatistica­
mente os dados avaliados. Numa amostra de casos, aprofundamos a
análise do material produzido pelas crianças e pelos adolescentes.

É importante reafirmar que, em se tratando de uma primeira avaliação

sistemática de desempenho das crianças, os testes refletem as perspecti­
vas de aprendizado esperadas pelos técnicos. Desse modo, a análise recai
sobre o desempenho das crianças e, simultaneamente, do programa.

Dos 1.209 crianças/adolescentes participantes em dezembro/99, 1.075

realizaram algum tipo de avaliação de aprendizado, o que é extrema­
mente positivo.

Nos testes relativos ao eixo Conhecer (1), foram verificadas as capaci­

dades relativas a :

• Expressar-se de forma espontânea;

• Usar diversas formas de expressão;
• Expressar sentimentos;
• Elaborar e expressar idéias e pensamentos.

A escala utilizada foi do ótimo ao insuficiente, especificando-se as ca­

pacidades atingidas dentro de cada graduação. Utilizamos classificação
excelente neste aprendizado por termos identificado um grupo de crian­
ças com desempenho muito acima da média.
 Conhecer ( 1 )
Excelente 12%
Insuficiente 21%

Ótimo 19%

Regular 21% ^

Utilizou-se um segundo instrumental de avaliação relativo ao eixo Co­

nhecer, pois a equipe técnica desejava aferir duas capacidades traba­
lhadas em parceria com outra organização (Cenpec). Assim, o atributo
interesse pela leitura e capacidade de localizar, acessar e processar informações
foram verificadas no que se denominou Conhecer (2).

Conhecer ( 2 )

Insuficiente 13%
►
Ótimo 23%

Regular 31% 4

Bom 33%

Os instrumentais utilizados revelam um forte acento em aprendiza­

gens escolares. Por esses resultados, é possível afirmar que o desem­
penho é bom para 56% das crianças e adolescentes participantes.6

Não houve uma avaliação do desenvolvimento de habilidades para a

vida, denominadas aqui como Fazer. A equipe técnica considerou a for­
mação do educador e o próprio conteúdo programático como insufi­
cientes para permitir a observação e o registro desse eixo.
Essas mesmas razões justificaram o fato de serem agrupados os eixos
Conviver e Ser no momento de sua aferição entre as crianças. A pouca
ênfase demonstrada revela um déficit no Programa, que deverá ser su­
perado. É importante destacar, ainda, que tais dimensões são distintas,
referindo-se à sociabilidade e à construção de identidade. Era necessá­
rio isolá-las para uma melhor apreciação.

As capacidades e os valores considerados no eixo Conviver foram:

• respeito a si mesmo e ao outro;

• capaddade de diálogo e negociação;
• capacidade de fazer relações;
• capacidade de verbalizar sentimentos.

No eixo Ser foram consideradas as capacidades de:

• perceber-se, identificando suas necessidades e limites, valores pessoais,

dificuldades e potencialidades;
• cuidar da aparência pessoal;
• reconhecer e valorizar seus espaços e grupos de pertencimento.

Conviver e Ser

Insuficiente 5%
A

Regular 20%
Ótimo 38%

Bom 37%

Essas classificações são resultantes basicamente da observação e da con­

vivência dos agentes/educadores com as crianças/adolescentes com quem
atuavam. Sem dúvida, existe aí uma certa subjetividade, mas de toda
forma revela-se a percepção dos agentes/educadores. 0 dado permite
inferir que a percentagem de crianças/adolescentes (5%) com algum
problema de comportamento ou sociabilidade é pouco significativa.

Esse dado é coerente com a percentagem de crianças/adolescentes com

registro de comportamentos«' como agressividade, agitação, desobediên­
cia, entre outros, nas folhas de observação preenchidas pelos agentes
comunitários.

Que a n á lis e m a is acurada foi p o ssíve l p ro d u zir?

Destacamos algumas turmas para realizar uma avaliação m ais acura­

da do desempenho das crianças e adolescentes, valendo-nos mesmo da
colaboração de especialistas^ da área.

Como já afirmado, parece haver uma forte preocupação com aprendi­

zados escolares, sem que se possa inferir que o Programa tenha im pac­
to direto no sucesso escolar desse grupo de crianças/adolescentes. Há
observações de um número significativo de crianças que apresentam
problemas de alfabetização.^

O Programa reflete uma tensão entre dois enfoques distintos presentes

em programas dessa natureza: um voltado para aprendizados escolares
e outro para ampliação do repertório cultural. 0 campo da complemen­
tação escolar põe maior acento na promoção da convivência; no desen­
volvimento dos fazeres/habilidades exigidos na vida cotidiana privada
e pública; na ampliação do universo cultural; na sociabilidade dos edu­
candos; na oferta de oportunidades lúdicas e esportivas. Esse enfoque
m ais abrangente vem ganhando maior consenso sobre programas com­
plementares de educação voltados a crianças e adolescentes.

Os instrumentos de avaliação utilizados (fichas de observação e testes) têm

limites. Nessa primeira avaliação, não foi possível contemplar algumas
seqúências diárias de atividades realizadas com as crianças e adolescentes
para evitar possível redução na análise. O trabalho com Arte, por exemplo,
poderia estar representado por seqúência de produções num determinan­
do espaço de tempo, o mesmo ocorrendo em relação à produção e inter­
pretação de textos. Quanto aos jogos, deveríamos pensar em abranger uma
diversidade de objetivos e conteúdos, observando os fazeres não apenas do
ponto de vista do desempenho individual.
Crê-Ser — alunos de 1® a 4“ série

Durante o ano de 1999, na comunidade de Mocaph, foram inseridos 34

alunos no projeto, tendo havido uma evasão de 8 participantes. Dos de­
zoito que realizaram os testes e foram avaliados, a maior parte está
cursando a terceira série.

Conviver Conhecer Ser Vida Pública

12 a 4â série 4% 51% 38%

Temos uma concentração no eixo “Aprender a Conhecer”, o que con­

corre com as observações anteriores em relação à complementação
escolar X escola formal e é reforçado pela priorização de critérios de
avaliação para esse eixo.

Considerando o conjunto de testes e dos indicadores contemplados, po­

demos inferir que o desempenho desse grupo encontra-se entre bom e
regular. As crianças apresentam vocabulário restrito e repetitivo, o que
aparece como estereotipia nos desenhos. O aprendizado, do ponto de
vista das crianças, aparece centrado na questão da disciplina. Entre as
crianças que não escreveram nos testes, algumas apresentam traços
que permitem supor que sabem desenhar letras, outras, sabem 1er e es­
crever, segundo o relato da educadora.

Crê-Ser — alunos de 1“ a Sf" série

Durante o ano de 1999, na comunidade de São Bernardo, numa turma

foram inseridas 37 crianças e adolescentes, tendo havido uma evasão de
16 participantes. Das 24 que permaneceram, 70% está cursando entre a
4®e 6í*séries, numa faixa etária entre 10 e 13 anos. É importante notar que
há uma diversidade maior entre as idades dos educandos neste grupo
(ressaltando a existência de 30% de crianças e adolescentes entre 7 e 9
anos).

Conviver Conhecer Ser Vida Pública

52 a 82 série 20% 43% 37% 0,5%

©
Neste caso, vemos um certo equilíbrio entre os três eixos: Conviver, Co­
nhecer e Ser. Estamos considerando como aprendizado relativo à vida
pública ações com a comunidade, seja na forma de relação com seus
moradores, seja na forma de ações na comunidade ou pesquisa para
conhecimento desta.

Considerando o conjunto de testes, podemos inferir que o desempenho

desse grupo encontra-se entre bom e ótimo. Pelo conteúdo do texto dos
educandos e as observações da educadora, é possível perceber uma ri­
queza nos trabalhos desenvolvidos e maior precisão na observação do
desenvolvimento das crianças e adolescentes.

Quanto às “reproduções artísticas”, parece que a atividade foi organizada

de forma a permitir maior criatividade das crianças e adolescentes; as
observações da educadora expressam clareza de objetivos da atividade.

A lg u m a s co nsiderações gerais

Os educadores trabalham com objetivos e entendimentos muito dife­

renciados das atividades que realizam e da expectativa em relação aos
educandos. Ao mesmo tempo, parecem ter entendimentos diferencia­
dos sobre a função e os critérios de avaliação.

Apesar do eixo mais presente nas observações das educadoras ter sido
0 Conhecer, não são destacadas considerações sobre a curiosidade e a
pesquisa das crianças e adolescentes, questões imprescindíveis quan­
do se trata desse eixo.

A s avaliações sinalizam , finalmente, um traço institucional direciona­

do mais para o pedagógico stritu senso.

D ados sobre os agentes/educadores

São 38 os agentes comunitários que atuam no Programa Crê-Ser, a ava­

liação de seu desempenho — realizada pela equipe técnica — indica
um desempenho ótimo de 24% (nove educadores); bom de 45% (dezes­
sete educadores) e regular de 29% (treze educadores).

Do total de educadores, cinco possuem ou estão cursando o ensino

superior; seis possuem o magistério e doze o ensino médio; os demais
possuem o ensino médio incompleto (ou em curso) ou o ensino funda­
mental completo. Há ainda três agentes com o ensino fundamental
incompleto. Essas diferenças de escolaridade não rebateram no desem­
penho avaliado pela equipe técnica, ou seja, há ótimos desempenhos
entre agentes com ensino superior, como também entre aqueles que
têm apenas o ensino fundamental.

D ados sobre as fa m ília s do C rê -S e r

Indica-se aqui, fundamentalmente, a ausência de registro (ou desco­

nhecimento) de dados sobre as famílias das crianças/adolescentes. Es­
sa ausência pode significar falta de relação próxima com os familiares.
É possível inferir que o trabalho restringe-se às crianças, não havendo
envolvimento dos pais.

Ficará clara esta despreocupação na leitura dos gráficos abaixo, que re­
tratam 0 não-preenchimento das informações solicitadas ou, por exem­
plo, a distorção dos dados da composição familiar. De qualquer forma,
as informações existentes apontam tendências.

Observa-se, igualmente, que há mais informações registradas sobre as

mães do que sobre os pais. Esse dado tanto pode significar um percentual
significativo de famílias monoparentais, chefiadas por mulheres, quanto
maior proximidade dos agentes/educadores com a figura materna.

Número de filhos por família

Seis filhos ou mais

Cinco filho^ ^
Quatro filhos

Três filhos

0 Sem informação
ou filho único
Dois filhos ^

©
Há concentração de pais na faixa etária de 31 a 40 anos, o que signifi­
ca fam ílias jovens.

Faixa etária dos pais

N? de
pessoas

300

2 0 0

100

Menos de 24 a 30
23 anos anos

Não há registro de informações quanto à faixa etária de 72% dos pais e

65% das mães.

Escolaridade dos pais

N?de
pessoas

500

400

300

200

100 - ^

Anal- EF EF EM EMT ES
fabeto If a 4? 5f a 8? 2? grau 2?g. téc. 3? grau

Não há registro de informações quanto à escolaridade de 59% dos pais

e 33% das mães. Das informações obtidas, é possível visualizar maior
concentração de pais com escolaridade acima de 5^ série.

©
 O c u p a çã o d o s p a is

N °d e
pessoas

400

300

20 0

100

L
Ocup. Ocup. Ocup. Autô- Aposen- Dona
A B C nomo tado de casa

Não há registro de informações quanto à ocupação de 57% dos pais e

37% das mães. Há um número expressivo de mulheres “donas de casa”,
ou seja, que não trabalham fora do lar. Este dado sugere a possibilidade
de envolver essas mulheres nos Programas da ACB (esporte, cultura e
maior participação no cotidiano do Programa). É interessante notar,
igualmente, que, entre as que trabalham, há uma preponderância de
mulheres inseridas em ocupações manuais e de homens em ocupações
manuais que exigem qualificação.io

AVALIAÇÃO DO PROGRAMA PRIMEIRAS LETRAS

O programa é extenso, abrangendo hoje oitenta turmas. Está im planta­

do nas regiões de Campo Limpo, Santo Amaro, Capela do Socorro e He­
liópolis, num total de 41 turmas de PRÉ, 38 turmas de JD e uma turma
BRINQ. (Brinquedoteca).

Foram incluídas, na avaliação geral, 71 turmas, divididas por regiões

conforme o quadro apresentado, sendo atendidas, no conjunto, 2.267
crianças na faixa etária entre três anos e sete anos.««
• 34 turmas na região de Campo Limpo
• 23 turmas na região de Capela do Socorro
• 10 turmas na região de Santo Amaro
• 4 turmas em Heliópolis
 do S o co rro : 717
Meninos: 567 Meninos: 398
Meninas: 548 Meninas: 319
Desistentes: 103 Desistentes: 42
1 Santo Amaro: 304 i if;; " : - HelÜBOlis: 131 . 1
Meninos: 155 Meninos: 65
Meninas: 149 Meninas: 65
Desistentes: 17 Desistentes: 5

São 1.186 meninos e 1.081 meninas, havendo, portanto, uma pequena predo­
minância de meninos. O índice de evasão é bastante baixo (167 crianças), me­
nos de 10% , observando-se, porém, em algumas turmas, a ausência de infor­
mações sobre crianças, o que pode indicar uma evasão um pouco superior.

Distribuição do atendimento por sexo e por região

N?de
atendi­
mentos
500

400

300

200
.1
100 /
1 » 65
Heliópolis Santo Amaro Capela do Socorro Campo Limpo

Distribuição da evasão por região, no conjunto de crianças atendidas

Crianças que
desistiram
do Programa;
Capela do
Socorro
Santo Amaro — Crianças que
Campo Limpo — ^ permaneceram
no Programa
Heliópolis —
 Distribuição de crianças por sexo

Meninos •< ^ Meninas

52% 48%

No quadro abaixo, visualizamos a distribuição das crianças por idade e

a grande concentração do atendimento na faixa dos cinco a seis anos.

Distribuição de crianças por idade

N? de

Nas turmas desse programa, observou-se a ausência de limites quanto ao

número de crianças, embora o acordo entre as lideranças e a ACB esta­
beleça um mínimo de vinte e um máximo de trinta crianças por turma.
Apesar disso, há muitas turmas com mais de trinta crianças. Ora, este
programa exige turmas com no máximo 25 crianças, pois envolve, além
de ações voltadas ao desenvolvimento infantil, cuidados e proteção.

Aualiação de aprendizados das crianças

As crianças foram avaliadas nos quatro eixos já mencionados: Conhe­
cer, Fazer, Conviver e Ser. Da mesma forma, foram utilizados, aqui, fichas
de observação e testes. A escala utilizada foi do ótimo ao insuficiente, es-
pecificando-se as capacidades atingidas dentro de cada graduação. No
eixo Fazer, utilizou-se uma graduação de satisfatório e não satisfatório.

Conhecer:
Comunica-se de forma a compreender e ser compreendido;
Utiliza e opera com símbolos, idéias, imagens e representações;
Enriquece seu repertório de palavras.

Fazer:
Explora o ambiente e o universo de relações;
Sabe m anipular os objetos do cotidiano.«2

Conviver:
Demonstra interesse para ouvir, perguntar, pedir ajuda, colaborar com
0 outro;
Utiliza 0 diálogo como forma de lidar com os conflitos;
Utiliza alguns princípios elementares de convívio social.

Ser:
Demonstra cuidados com sua higiene e aparência pessoal;
Tem consciência de sua identidade (nome, características físicas e
pessoais);
Demonstra iniciativa e interesse para envolver-se em situações de
brincadeiras dirigidas ou livres, coletivas ou individuais.

O que fize m o s?

Sistematizamos, estatisticamente, os dados avaliados pelos profissionais

do projeto, ao mesmo tempo que os adjetivamos com base em uma amos­
tragem de material produzido pelos alunos. Na amostragem, procedeu-se
à leitura de todo o material, à análise das produções e dos discursos, to­
mando-se como referência as orientações do processo de avaliação.

É importante reafirmar que, em se tratando de uma primeira avaliação sis­

temática de desempenho das crianças, os testes foram produzidos com
base nas perspectivas de aprendizado esperadas pelos técnicos, nas par­
ticularidades que esse Programa assume (desenvolvido por agentes comu­
nitários, nas periferias da cidade, em espaços geralmente precários etc.).

©
 Conhecer

Insuficiente 10%
A Ótimo 17%

Regular 26%-i

Bom 47%

Embora a equipe técnica tenha enfatizado a não-preocupação com a al­

fabetização precoce ou mesmo com a prontidão para a escrita, desejou-se
captar essa dimensão. A avaliação reflete um desempenho entre bom e
ótimo em 64% das crianças.

Não suficiente -4 ^ Suficiente

1 2 % 8 8 %

A avaliação sugere que a grande maioria tem um desempenho satisfa­

tório no que se refere ao domínio de habilidades esperadas nessa faixa
etária. Nas informações colhidas no registro das observações realizadas
pelos educadores não há, porém, ênfase sobre o Fazer. Desta forma, fica
uma interrogação: serão essas habilidades trabalhadas pelos agentes/
educadores ou pelas fam ílias?
 Conviver e Ser

Insuficiente 5%
A

Ótimo 25%
Regular 22%

Bom 48%

Essas classificações são resultantes basicamente da observação e da

convivência dos agentes/educadores com as crianças com quem atua­
vam. Como já afirmado, existe aí um a certa subjetividade, mas de toda
forma revela-se a percepção dos agentes/educadores. A percentagem
de crianças (5%) com algum problema de comportamento ou sociabili­
dade, tal qual no Programa Crê-Ser, é pouco significativa.

Que a n á lis e m a is acurada foi p o ssíve l p ro d u zir?

Escolhemos algumas turmas, aleatoriamente, para realizar um a avalia­

ção mais acurada do desempenho das crianças, valendo-nos mesmo da
colaboração de especialistas«3 da área.

Jardim da Infância — alunos com quatro anos

O grupo de alunos esteve em atendimento na ACB-Sede, durante o ano

de 1999; apenas uma criança passou a compor o grupo no segundo se­
mestre. Podemos, assim, pressupor que o “professor-avaliador” conhece
os alunos em seu desenvolvimento.

Quanto ao teste prático, a performance apresentada parece indicar certa

homogeneidade no que se refere ao desenvolvimento de habilidades dos
alunos. Com relação a algumas questões de coordenação motora (usar ta­
lheres, amarrar o calçado e abotoar as roupas), seria necessário realizar

©
atividades lúdicas que permitissem a alguns alunos exercitar essas ha­
bilidades, dando um sentido a essas tarefas que não só o da necessidade.

Conviver Conhecer Ser Fazer

4 anos 32% 2 2 % 30% 15%

Apresentam certo equilíbrio com relação aos quatro eixos que nor­
teiam a educação, porém, necessita-se dar maior ênfase ao Fazer, consi­
derando a faixa-etária. Essa consideração é reforçada pela avaliação
das habilidades, na qual alguns alunos mostram precisar de mais situa­
ções de aprendizado no que se refere aos fazeres.

Quando olhamos a performance gerai dos desenhos, podemos notar um

traço de ansiedade no grupo (sobreposição de traços), ao mesmo tempo
que aparecem traços de disciplina (respeito ao enquadre fornecido aos
alunos). Aqui também podemos perceber pouca presença de m ovim en­
to (pouca diversidade de cores). Não nos é possível precisar as motiva­
ções, apenas indicar que tal fato se soma ao baixo índice dos fazeres.

A organização do material nos conta sobre um trabalho respeitoso com os

alunos, bastante individualizado. Seria importante desenvolver um olhar
para o grupo, pois esse permite que o professor tenha uma posição in ­
clusiva, reconhecendo o pertencimento de cada um ao grupo.

Jardim da Infância — alunos com cinco anos

O grupo de alunos esteve em atendimento na “Comunidade de Provisão”,

durante o ano de 1999, alguns deles desde o ano anterior. Podemos assim
pressupor que o “professor-avaliador” conhece os alunos em seu desen­
volvimento e que alguns são também conhecidos por outros agentes da
instituição (estiveram presentes no ano anterior).

Quanto ao teste prático, a performance apresentada parece indicar certa

incongruência no que se refere às habilidades (amarrar o calçado e
abotoar as roupas), o que pode ser um sinal de não-investimento nesse
aprendizado, sendo este apenas avaliado. Isso ocorre, muito provavel­
mente, por um pressuposto de que ele deve se dar em outro ambiente
e sob a responsabilidade de outra instituição, a família.

Outro índice significativo refere-se à pouca utilização do diálogo para

resolver conflitos, denotando, portanto, um cotidiano exigente de exer­
cício de autoridade.

1
1 Conviver Conhecer Ser Fazer
5 anos 19% 65% 11% 5%

Apresentam certo desequilíbrio em seus índices. A ênfase recai no eixo

Conhecer; o Ser e o Fazer aparecem comprometidos por falta de inves­
timento. Quando olhamos as narrativas (impressões, falas e fatos), po­
demos notar uma forte referência aos familiares, o que adjetiva nossa
hipótese relativa à análise dos índices do teste prático.

Com relação ao índice de Conviver, aparecem na narrativa traços que nos

indicam que ele foi avaliado tomando-se como parâmetro a relação do
aluno com o professor (“ele veio me dizer que...”) e não entre os alunos.
Esse fato corrobora a hipótese que formulamos com relação ao teste prá­
tico, no qual a emergência de exercício de autoridade acaba produzindo
um contra-efeito, que é uma relação marcada pela dualidade professor/
aluno, desencadeadora de uma relação conflitiva entre os pares.

Caberia reordenar o trabalho pedagógico-didático com a finalidade de

proporcionar situações em que a produção em grupo — mobilizadora
da complementaridade entre os alunos (convivência) — fosse o eixo,
em vez do conteúdo da atividade.

A performance geral dos desenhos expressa movimento (diversidade das

cores), aparecendo, porém, uma certa contenção (sobreposição com
pressão nos traços) e certa agressividade/irritabilidade (traços fortes
fora do contorno). Essas características reforçam as hipóteses já apre­
sentadas: relação com excesso de individualização; conflitos resolvidos
pelo professor e não mediados por ele; poucas atividades que exijam
ação grupai e complementaridade entre os membros do grupo.
A organização do material peio professor denota uma valorização do seu
trabaiho. porém, com pequena ênfase em seus efeitos na produção dos
aiunos (escrita sob re os desenhos).

Pré-escola — alunos com seis anos

O grupo de alunos esteve em atendimento na “Comunidade de Provisão”,

durante o ano de 1999, apenas duas crianças tendo entrado no segundo
semestre. Um a grande parte participou em 1998 também. Podemos as­
sim pressupor que o “professor-avaliador” conhece os alunos em seu
desenvolvimento e que alguns são também conhecidos por outros agen­
tes da instituição.

Com relação ao teste prático, podemos observar uma grande hetero­

geneidade na performance de habilidades do grupo. Essa observação
nos causou estranheza, considerando-se o fato de estarem sob os cui­
dados da instituição há um ano e 48% dos alunos há dois anos. Pas­
samos, portanto, a olhar o matenal buscando hipóteses que pudessem
evidenciar essa heterogeneidade, sem desconsiderar o que pode ser in ­
trínseco à faixa etária.

Conviver Conhecer Ser Fazer

6 anos 28% 36% 10% 27%

Os índices apresentam certo equilíbrio, porém, o eixo Ser expressa pou­

co reconhecimento do professor-avaliador em relação aos alunos; as
narrativas estão norteadas por um olhar dicotômico — fácil/difícil;
saber/não saber -, o que supomos comprometer até mesmo o eixo mais
valorizado, o Conhecer.

Os desenhos apresentam movimento (diversidade de cores), uma certa

falta de enquadramento (desordenação dos traços), tendo, porém, con­
teúdos criativos.

A organização do material apresenta um desordenamento nas narrativas

e confusão entre essas e os eixos avaliados.
Retomando a estranheza do início da análise e considerando que 48%
dos alunos estiveram na instituição no ano anterior, podemos ler a he­
terogeneidade como efeito dos desequilíbrios anteriores nos índices de
cada eixo. Quanto menos situações vivenciamos para desenvolver nos­
sas habilidades, mais passamos a vivenciá-las como dificuldades.

Parece haver necessidade, portanto, de maior instrumentação pedagó­

gica do professor-avaliador, pois muito provavelmente ele acaba osci­
lando entre a omissão e o autoritarismo em seu cotidiano. Indícios disso
já estão presentes no material.

D ados sobre os agentes co m un itário s

Os agentes comunitários que atuam no Programa Primeiras Letras totali­

zam 79 pessoas. A avaliação de desempenho desse grupo, realizada pela
equipe técnica, sinaliza para um desempenho ótimo de 22% (17 educado­
res); bom de 43% (34 educadores) e regular de 31% (25 educadores).

Do total de educadores, dez possuem ou estão cursando o ensino supe­

rior; 21 possuem o magistério; quatro o estão cursando; 27 tem o ensi­
no médio completo (incluindo alguns casos de ensino técnico); os de­
m ais possuem o ensino médio incompleto (ou estão cursando) e/ou o
ensino fundamental completo. Há, ainda, dois agentes com o ensino
fundamental incompleto.

Essas diferenças de escolaridade refletem-se no desempenho avaliado

pela equipe técnica, ou seja, o nível de escolaridade tem a ver com o de­
sempenho. Nesse sentido, há que se investir na capacitação desses
agentes, assim como exigir o 2^ grau completo ou magistério, como já
vem sendo solicitado pelo M E C ,

D ados sobre as fa m ília s do P rim e iras Letras

Como já constatado no Programa Crê-Ser, indica-se aqui, fundam ental­

mente, o precário registro (ou desconhecimento) de dados sobre as
fam ílias das crianças. Da mesma forma, é possível inferir que o traba­
lho restringe-se às crianças, não havendo envolvimento dos pais.

©
 N ú m e ro d e filh o s

Cinco filhos 4% Seis filhos ou mais 3%

A
Quatro filhos

Sem informação
, ou filho único
39%
Três filhos 17% ^

Dois filhos 29%

Faixa etária dos pais

N ?de
pessoas

400

Menos de 24 a 30
23 anos anos

Não há registro de informações quanto à faixa etária de 52% dos pais e

39%. das mães. Como era de se esperar, as famílias são jovens.

©
 E s c o la rid a d e d o s p a is

N ?de
pessoas

400

Anal- EF EF EM EMT ES
fabeto If a 4? 5? a 8? 2?grau 2?g. téc. 3? grau

Não há registro de informações quanto à escolaridade de 36% dos pais

e 28% das mães. Nota-se certa elevação, se comparada à escolaridade
dos pais das crianças do Programa Crê-Ser. Há um número expressivo
de pais com 2- grau e até mesmo com ensino universitário.
 O c u p a çã o d o s p a is

N?de
pessoas

800
lá'
700

600

500

400

300

2 0 0

100

t e

Ocup. Ocup. Ocup. Autô- Aposen- Dona

A B C nomo tado de casa

Não há registro de informações quanto à ocupação de 30% dos pais e

24%) das mães. É interessante notar que a maior escolaridade não alte­
rou ainda a inserção da maioria dos pais, que se encontram no merca­
do de trahalho exercendo ocupações manuais com ou sem qualifica­
ção. É notória, tamhém aqui, a presença de mães “donas de casa”.«4

RECOMENDAÇÕES

1. Aceitar turmas com no máximo 30 educandos no Crê-Ser e 25 edu­

candos no Primeiras Letras. Essa é uma quantidade máxima com que
um educador consegue trahalhar satisfatoriamente.

2. No caso do Programa Crê-Ser, separar as turmas por faixa etária, ou

seja, de 6/7anos a 11 anos incompletos e de 11 anos a 14 anos. Os
 interesses e necessidades e mesmo o grau de m aturidade/sociabili­
dade são diferentes para esses dois grupos etários.
3. Realizar um trabalho sistemático e denso com as fam ílias e com a
comunidade, de forma a se tornarem parceiros no projeto de desen­
volvimento das crianças e dos adolescentes. É possível assegurar
uma participação pró-ativa desses parceiros na condução de ativida­
des programadas em “salas de aula”, e não apenas em eventos festi­
vos. Esse fluxo mais intenso de relações entre famílias, comunidades
e programas é necessário não apenas para assegurar padrões de qua­
lidade, mas também para atender à missão da ACB, ou seja, sua maior
inserção e ação m e com as comunidades.
4. Investir sistematicamente na formação dos agentes. Esta formação
envolve necessariamente supervisão in locu, com demonstrações con­
cretas dos técnicos na ação educativa com as crianças em “sala de aula".
Propõe-se, no mínimo, uma supervisão semestral in locu para cada tur­
ma do Crê-Ser e do Primeiras Letras. Essa estratégia é fundamental
para redirecionar os programas, a fim de atingirem com maior eficácia
seus objetivos. É igualmente fundamental para assegurar um sistema
efetivo de monitoramento e avaliação de processos e resultados.
5. Diversificar a equipe técnica, criando maior interdisciplinaridade,
com a finalidade de melhor desenvolver as quatro dimensões (Co­
nhecer, Ser, Fazer, Conviver). Hoje, há um predomínio de pedagogos.
6. Na consolidação do processo de avaliação, aferir as atividades socio­
educativas desenvolvidas também pela produção seqüencial do edu­
cando no processo.
7. Avaliar as necessidades e possibilidades de adequação dos espaços
físicos (parte física), assim como o uso de outros espaços comple­
mentares ao desenvolvimento das ações requeridas nos programas.
8. Padronizar as informações solicitadas no ato de inscrição de crianças,
adolescentes e jovens, de modo a comparar dados interprogramas, bem
como alimentar de forma mais satisfatória o planejamento, monitora­
mento e avaliação. Os dados de inscrição — quando bem formulada a
chamada “ficha de matrícula” — permitem um diagnóstico contínuo
acerca do público-alvo, ou seja, é ferramenta fundamental na ação.
C O N S ID E R A Ç Õ E S F IN A IS

A ACB tem como missão, desde o seu início, “Promover de forma con­
tínua a qualidade de vida e o autodesenvolvimento de pessoas e de l i ­
deranças em comunidades urbanas e carentes". Com o tempo, foi se
afirmando no mercado social como prestadora de serviços à população
infanto-juvenil. A mobilização de lideranças e agentes comunitários foi
sendo canalizada para essas ações. Nesse sentido, foi deslocando seu
foco de atuação: não mais o desenvolvimento de comunidades com ba­
se no fortalecimento de suas lideranças e agentes, mas sim o engaja­
mento de tais lideranças e agentes na implementação e desenvolvi­
mento de serviços para o grupo infanto-juvenil.

Não se percebe, no entanto, no plano de ação, um programa estratégico re­

lativo a lideranças e agentes comunitários, missão original da ACB. Este
fato parece indicar que as lideranças e os agentes comunitários, para a ACB
de hoje, constituem-se em parceiros-chave na realização dos programas
Primeiras Letras, Crê-Ser, Lúdico/Cultural e Preparação para o Ti-abalho. As­
sim, como parceiros, investe-se em sua competência para que realizem
ações voltadas à população infanto-juvenil e não para que ajam diretamen­
te na comunidade, tomando-se como base suas demandas e prioridades.

Desenvolvimento de lideranças comunitárias voltadas para o segmen­

to infanto-juvenil ou para as 32 comunidades onde atua, objetivando a
melhoria da qualidade de vida da comunidade? Este, talvez, ainda seja
um dilema presente para a equipe de coordenação técnica.

A atual opção não está equivocada, já que crianças e adolescentes das co­
munidades carentes continuam sendo prioridade social. Nessa opção, a
ACB já ganhou competência e visibilidade. E, ainda, sua estrutura orga­
nizacional vigente é coerente a tais propósitos.

De qualquer forma, seria recomendável um certo reordenamento insti­

tucional, ou seja, redefinir as equipes de trabalho por agrupamento de comu­
nidades próximas, articulando-as aos programas desenvolvidos. As equipes
de trabalho deverão ter um perfil mais polivalente, pois sua atuação se­
rá mais abrangente, envolvendo as ações atuais e outras de interesse ou
necessidade das comunidades e de suas lideranças. Isto significaria
novos investimentos em recursos, habilidades e ações.

No momento, os impactos a serem medidos só podem recair na quali­

dade de vida da criança/adolescente e indiretamente na família. A afe­
rição de impactos na melhoria de vida da comunidade é quase impos­
sível, considerando-se o foco atual das ações da ACB.

A s ações hoje realizadas têm, indubitavelmente, impacto indireto na

vida da comunidade, mas seria leviano estabelecer uma relação direta,
pois existem inúmeras variáveis intervenientes que extrapolam ações
voltadas ao grupo infanto-juvenil.

Se as ações da ACB caminhassem na direção do desenvolvimento das

comunidades carentes, mesmo que priorizando ações voltadas a crianças
e adolescentes, outras ações e prioridades precisariam ser contempla­
das e, certamente, ganhariam densidade. Nesse caso, outras variáveis
poderiam ser monitoradas, permitindo aferir impactos, no tempo, sobre
a melhoria da qualidade de vida da comunidade.
NOTAS
1 cf. ARRETCHE. Marta. Tendências no estudo aplicáveis às relações entre o indivíduo e seu
sobre avaliação. In: Aualiação de Políticas So­ meio, material e humano. Ninguém é esperto
ciais: uma questão emdebate. São Paulo. Cor­ ou dependente ou fatalista novazio. Cada tra­
tez. 1998. çoque atribuímos aoindivíduonãoéseu, mas
2 Segue, anexo, o detalhamento desses instru­ corresponde ao que acontece entre ele e algu­
mentais (roteiros, fichas de observação e ma outra coisa (ou alguma outra pessoa). As­
testes de desempenho aplicados em crianças sim, não épossível rotular ou reificar compor­
do Primeiras Letras. Crê-Ser etc.). tamentos; eles são produtos das condições de
3 In: LAHIRE. Bernard. Sucesso escolar nos meios coexistência. In: Bernard Lahire, op. dt., p.l8.
populares; as razões do improvável. São Paulo: 8 MariaJúlia Azevedo e Cláudia Sintoni.
Atica, 1997.p.l7. 9 A equipe está procedendo a um diagnóstico
4 Embora haja uma diretriz da importância da sobre essa questão, a fimde definir as formas
parceria com a escola, esta ação é extrema­ de enfrentamento,
mente difícil de ocorrer nas grandes cidades. 10Os códigos deidentificação das ocupações são:
Nesse contexto, a ACB temcomonova diretriz A: Ocupações manuais semqualificação —
priorizar somente as escolas commaior con­ Vigilante, segurança, ajudante-geral, domésti­
centração de crianças. ca, arrumadeira, porteiro, guarda, diarista, bal­
5 A coordenação e a equipe técnica da ACB to­ conista, ajudante de manutenção, auxiliar de
marama decisãode, noano 2000, atuar coma limpeza.
faixa etária de 7 a 14 anos, separando-a em B: Ocupações manuais que exigem qualifi­
duas turmas, de acordo com as idades, e ofe­ cação—Pedreiro, azulejista, encanador, serra­
recendo atividades diferenciadas (teatro, street lheiro, pintor, cobrador, carpinteiro, polidor, fa-
dance, informática, atividades físicas). Para as chadista, açougueiro, cozinheira, operadora
comunidades com apenas uma turma, será de caixa, feirante, mecânico, padeiro, manicu-
priorizado um ou outro grupo etário, de acor­ re, ajudante de terapia, ajudante de fotógrafo.
do com a demanda. C: Ocupações técnicas/chefias —Contador,
6 No intuito de observar os impactos do Pro­ farmacêutico, professora, fotógrafo, gerente
grama no desempenho escolar, foi solicitado de padaria, encarregado, comerciante, moto­
aos agentes/educadores que, —numa amos­ rista, torneiro mecânico.
tra casual de quatro crianças, de séries esco­ 11Existe apenas uma criança de dois anos.
lares diferentes, consultassem a professora, 12Os itens observados para assegurar unifor­
na escola, quanto ao desempenho escolar midade na avaliação foram: usar talheres;
desses alunos. 0 que se pôde observar é que colocar e amarrar calçados; colocar e abo­
as relações entre os educadores do programa toar roupas.
e os professores de escolas sáo bastante frá­ 13Maria Júlia Azevedo e Cláudia Sintoni, já cita­
geis. Há um desconhecimento mútuo entre das.
programa e escola. 14Os códigos deidentificação das ocupações são
7 Como observa Bateson, esses adjetivos são os mesmos discriminados na nota 10.
 Of (A
PQ (U
js S
So «
C 0/
.2 M o n ito r a n d o a
.2
« g • - I
s Q im p la n t a ç a o d e

u m p ro g ra m a
s o c ia '.
MARIANGELA BELFIORE WANDERLEY é doutora em Serviço Social pela Pontifícia
Universidade Católica de Sâo Paulo e pós-doutorada em Sociologia pela École des
Hautes Études en Sciences Sociales de Paris. Diretora do Instituto de Estudos Es­
peciais, Vice-coordenadora do Programa de Pós-Graduação em Serviço Social e pro­
fessora associada do Departamento de Metodologia do Serviço Social da Pontifícia
Universidade Católica de São Paulo, é autora de vários trabalhos publicados.

DENISE BLANES é pesquisadora do Instituto de Estudos Especiais — lEE, da PUC-SP.

Doutoranda do curso de pós-graduação em Serviço Social da Pontifícia Universidade
Católica de São Paulo, é autora de vários trabalhos publicados.
A parceria do lEE/PUC-SP com a Secretaria de Cidadania e Ação Social
da Prefeitura Municipal de Santo André desenvolveu-se por meio de um
conjunto amplo e diversificado de ações em diferentes níveis, sempre
na perspectiva da articulação de programas, projetos e ações no con­
texto da gestão social municipal.

A direção que orientou as prioridades políticas das ações conduzidas

pelo governo m unicipal de Santo André tem se revelado um campo al­
tamente profícuo para o trabalho que vimos desenvolvendo, conside-
rando-se a perspectiva estratégica de intervenção territorializada, que
concentra um conjunto de ações decorrentes de políticas setoriais. Es­
tas buscam, com sua integração, o enfrentamento da pobreza em suas
m últiplas expressões, tendo em vista sua redução e a inclusão social da
população local.

Essa concepção de ação social, municipal, espacializada e integrada não

se resume a um conjunto de orientações que visam articular as ações
técnicas para melhorar o desempenho do trabalho voltado às com uni­
dades. A perspectiva é a de co-gestão com a população e a ampliação
qualitativa da participação. Mediante estímulo a processos de auto-
organização e representação popular, as comunidades locais vão se
apropriando dos programas e serviços como direitos sociais, rompendo
0 círculo de troca de favores por lealdade política, tão enraizado na cul­
tura política brasileira.

Nesse sentido, o conjunto de estratégias« mobilizadas pela gestão m u­

nicipal precisa ser situado nesse contexto, o qual imprime sentido e di­
reção política às ações sociais integradas no campo da gestão do social.

O Programa de Renda Mínima de Santo André — PRMSA2 é parte dessa

estratégia participativa global que orienta a gestão pública municipal, o
que permite uma leitura integrada e integral das necessidades do cidadão
e das múltiplas faces que constituem a situação de exclusão social.

Quando concebidos numa perspectiva articulada ao conjunto das ações

municipais, os Programas de Renda Mínima podem assumir uma fun­
ção desencadeadora de um processo de emancipação da população,
pois abrem espaço para múltiplas inserções em outros programas e
projetos, estimulando, ao mesmo tempo, a participação popular em
espaços públicos de debate e decisões sobre os destinos da cidade e as
alternativas de inclusão social que oferecem aos seus cidadãos.

O desafio de uma gestão social integrada está em impulsionar progra­

mas sociais que, pela sua própria natureza, implicam ações conjugadas
com outras políticas setoriais, com outras secretarias (Saúde, Educação,
Desenvolvimento Urbano e Habitação e Desenvolvimento Econômico e
Saneamento Ambiental) e com diversas assessorias e núcleos que de­
sempenham (no caso de Santo André) um papel político articulador e
estratégico, como, por exemplo, a Assessoria de Participação Popular
(no contexto do PIIS).

Cabe situar essas reflexões no conjunto de transformações que vêm se

processando na sociedade brasileira, mais especificamente a partir dos
anos 90, para fazer frente ao crescimento das demandas por serviços
sociais públicos — indicadoras do estrangulamento do Estado —, que vem
exigindo um profundo reordenamento institucional dos organismos
governamentais, a incorporação de uma nova cultura pública nas rela-
ções internas entre as diferentes instâncias governamentais e destas
com os destinatários das ações públicas. Daí a ênfase em ações integra­
das intergovernamentais e entre governo e sociedade civil.

A partir da Constituição Federal de 1988, o conjunto de textos legais

(LOAS, ECA, LOS, LDB), os quais regulamentam as políticas sociais em seus
diferentes setores, vem configurando um novo campo de exigências
quanto à incorporação de novos modelos de gestão social, em relação aos
quais a estrutura governamental de prestação de serviços sociais se vê
impelida a promover a reorganização de seus procedimentos e a re­
definição de competências, sempre na perspectiva de consolidar práticas
participativas e democráticas de gestão social compartilhada.

O PROGRAMA DE RENDA M ÍNIM A DE SANTO ANDRÉ NO

PROCESSO DE ACOMPANHAMENTO E AVALIAÇÃO

Um processo de monitoramento e avaliação de Programas Sociais exige

a identificação do desenho do programa, das formas de gerenciamento,
dos procedimentos metodológicos adotados, do acompanhamento dos
resultados e dos diversos fatores intervenientes durante sua im ple­
mentação.

Assim , serão apresentados, de forma breve, as principais característi­

cas do programa de Renda Mínima de Santo André — PRMSA, um a sín­
tese histórica de sua implantação e as reflexões relevantes decorrentes
do trabalho desenvolvido.

O QUE É O PROGRAMA?

O Programa de Renda Mínima de Santo André — Famüia C i­

dadã foi instituído pela Lei n ° 7.472, de março de 1997, e re­
gulamentado pela Lei n? 7.567, de 1 de dezembro de 1997.
Tem como finalidade a inclusão social das famílias, entendi­
da como resgate das condições de cidadania, concretizada
em mudanças objetivas nas condições de emprego e renda e
na melhoria dos níveis ^ducacionais, socioculturais e políti­
cos dos membros da família.

São objetivos do PRMSA:

a) Objetivo geral:
• Ampliar os níveis de inclusão social dos membros das fa­
mílias, no contexto local e da cidade.

b) Objetivos específicos:
• Apoiar economicamente as famílias, num período entre 6 e
18 meses;
• Garantir a permanência das crianças e dos adolescentes na
escola e o progressivo sucesso em seus resultados escolares;
• Incluir os jovens e adultos das famüias nos programas de
alfabetização e na qualificação e requalificação profissional;
• Incluir os adultos das famílias em programas de geração de
emprego, de renda, de proteção e de fomento a formas coope­
rativadas de trabalho;
• Ampliar os vínculos relacionais da família, aumentando
suas trocas culturais e seu acesso a novas informações;
• Fortalecer o grupo familiar, de modo a gerir seu processo de
desenvolvimento e inclusão social de forma autônoma.
A população-alvo do Programa é constituída de famílias
com renda per capita inferior a 1/2 salário mínimo por mês;
com filhos e dependentes (0 — 14 anos) em situação de risco
pessoal e social; que residam em Santo André há três anos —
moradoras, no momento da implantação do Programa, das
microrregiões definidas para a intervenção.
 0 Programa prevê a mobilização, articulação e integração
de um conjunto de serviços públicos e da comunidade, aos
quais as fam ílias serão conectadas, de acordo com suas
necessidades, visando ao seu fortalecimento e permitindo
sua inclusão social.
O gerenciamento é feito pela Secretaria de Cidadania e
Ação Social, à qual cabe apontar as diretrizes, normas, cri­
térios e procedimentos operacionais de acordo com o es­
copo do Programa.

As ações articuladas integram, além da Secretaria de Cida­

dania e Ação Social, a Secretaria de Educação e Formação Pro­
fissional, a Secretaria de Saúde, a Secretaria do Desenvolvi­
mento Urbano e Habitação, a Secretaria de Desenvolvimento
Econômico e Emprego, o Serviço Municipal de Saneamento
Ambiental de Santo André e o Núcleo de Participação Popu­
lar e, ainda, os serviços e equipamentos da sociedade civil.

A equipe técnica que trabalha no PRMSA é composta por

duplas de profissionais, assistentes sociais e psicólogos, que
desenvolvem com as famílias ações de acompanhamento
individual e em grupos socioeducativos.

BREVE HISTORICO

O processo de implantação do Programa teve início em fevereiro de

1998, após definição das diretrizes da administração da cidade, para o
enfrentamento da exclusão social no município. O Programa de Renda
Mínima — Fam ília Cidadã configurou-se como uma estratégia para
esse enfrentamento, sendo suas concepções, linhas operativas e coor­
 denação dadas pela Secretaria de Cidadania e Ação Social, com o apoio
consultivo e assessoria do lEE. 0 processo de implantação desenvolveu-se
em etapas complementares:

• discussão e elaboração do desenho do Programa, envolvendo as se­

cretarias de governo da área social;
• treinamento e capacitação da equipe técnica que operaria o Pro­
grama;
• preparação das estratégias de operacionalização;
• supervisão e acompanhamento da equipe após o início do trabalho
com as famílias.

O primeiro cadastramento teve início em maio de 1998, tendo sido reali­

zado no núcleo habitacional favela Sacadura Cabral, onde o projeto de ur­
banização e o desadensamento populacional já haviam sido iniciados pela
Secretaria de Desenvolvimento Urbano e Habitação. Esta favela localiza-se
na zona noroeste do município de Santo André e abriga 780 famílias.

O Programa Renda Mínima foi estendido, progressivamente, para outras

áreas de favelas, onde se processavam urbanizações, a saber: Tamaruta-
ca (zona noroeste), Capuava (zona norte) e Quilombo (zona noroeste).

A inserção das famílias de Sacadura Cabral, Tamarutaca, Capuava e

Quilombo se deu conforme demonstrado no quadro abaixo:

QUADRO-RESUMO •INSERÇÃO DAS FAMÍLIAS POR ÁREA/MÊS

co
m
pA)âj tm
O (fl
cQ 00
ot
00
01
o
o
O
o
O
o
o
o « <0 « co
t/i B
co o
(fl^ Cd^ 'c
3
>
tu
©
XI 1
nt
©
n)
)o
"3 <Ü
II
S ç JS o < S «< S ^1 pL, £ Cd
E

Sacadura 105 62 0 0 66 0 0 233 1 .1 8 7 780 3 .0 2 0

Tãmarutaca 0 168 131 0 82 0 84 465 2 .3 6 9 1 .3 0 0 5 .2 0 0

Capuava 0 0 0 77 0 67 0 144 767 1 .3 2 7 7 .0 0 0

Quilombo 0 0 0 0 0 0 21 21 104 230 822

Total 105 230 131 77 148 67 105 863 4 .4 2 7 3 .6 3 7 1 6 .0 4 2

F o n te : G a b in e te d a S e c r e ta r ia d e C id a d a n ia e A ç ã o S o c ia l — P M S A .
A meta de atendimento para 1998 era de 360 famílias, tendo sido efeti­
vamente inseridas 335 no Programa, Para 1999, a meta era de 600 fam í­
lias, tendo sido atendidas efetivamente 466. Até junho de 2000, o Pro­
grama atendeu 863 famílias.

O orçamento do Programa para o exercício de 1998 foi de R$ 1 milhão,

para o exercício de 1999 foi de R$ 1,35 milhões, ao passo que a previsão
para o exercício de 2000 foi de R$ 1,3 milhões.

A equipe inicial para a implantação do PRMSA era composta por três

duplas de profissionais, formadas cada uma por um assistente social e
uma psicóloga. Em junho de 2000, eram cinco duplas atuando junto às
fam ílias das quatro áreas de favelas, desenvolvendo um acompanha­
mento quinzenal sistemático por meio de atendimentos individuais e
em grupos socioeducativos.

O trabalho grupai é uma das marcas do PRMSA, o que lhe garante

diferencialidade e qualidade no atendimento. O objetivo é proporcionar
um espaço de discussão e reflexão com as fam ílias a respeito de temas
do cotidiano, que despertem e motivem a luta pela melhoria da quali­
dade de vida, oportunizem possibilidades de acesso a outros programas
e serviços, ampliem seus vínculos relacionais e contribuam para o for­
talecimento do grupo fam iliar em seu papel de ir autogestionando seu
processo de inclusão social e busca de autonomia.

A S REFLEXÕES SOBRE O PRMSA

A s estratégias para monitoramento e avaliação são diversificadas e

atendem às demandas específicas do Programa. Vão desde a supervisão
sistemática da equipe técnica até encontros públicos de reflexão sobre
os rumos, os resultados e os impactos do programa na comunidade
local, na relação com outros programas sociais e, ainda, na qualidade
de vida de cada indivíduo inserido no PRMSA.

Para refletir sobre o Programa de Renda Mínima de Santo André como

estratégia de inclusão social, no contexto da gestão social do município.
e iniciar uma reflexão sobre as possibilidades e os indicadores de
emancipação de fam ílias que foram alvo desse tipo de programa, apre­
sentamos, de forma resumida, pontos relevantes que emanaram dos
momentos de supervisão técnica, de apresentações e discussões públi­
cas ocorridas durante o processo de monitoramento.

• a renda dom iciliar per capita na região do ABC é alta, com um dos me­
nores graus de indigência na região metropolitana de São Paulo?

• o município de Santo André tem liderança regional, acarretando uma

capacidade de expansão das políticas públicas na região do Grande
ABC. É preciso, no entanto, que estas sejam articuladas entre as cida­
des e com 0 município de São Paulo, para que não haja transferência
de demandas, sobrecarregando certos municípios;

• é um programa de baixo custo direto (863 famílias atendidas desde a

implantação, a um custo global de R$ 3,4 milhões por um período de
24 meses);4

• com 0 orçamento atual, o Programa atinge 10 % da população indigente

do município;^ o valor do benefício médio por família (R$ 218,00) é
considerado elevado, quando comparado a outros programas de com­
plementação de renda e/ou de benefício continuado. Essa questão
merece estudos, pois, aparentemente, o Programa poderia estar atin­
gindo um número maior de famílias, com aportes menores;

• o custo administrativo do Programa,® a priori, é elevado, pois seu de­

senho prevê um acompanhamento sistemático e intensivo das fam í­
lias, acrescido de capacitação continuada dos técnicos;

• 0 PRMSA é parte do PIIS, o que possibilita uma leitura integrada da ci­

dade e da população que reside nas áreas de intervenção. Permite,
também, a integração das estratégias de inclusão, pois, isolado, o PRMSA
representaria apenas um “alívio” da pobreza, porém, quando articula­
do a outras políticas, insere-se no processo conjunto de combate à
pobreza; quebra a dicotomia entre a focalização do Programa e a u n i­
versalidade de acesso;
é visível a intersecção entre o PRMSA e o PIIS, mas os resultados são ain­
da modestos. É preciso maior ousadia, com destaque para a questão da
escolaridade, da educação dejovens e adultos, incrementando-se a edu­
cação fundamental, essencial ao processo de inclusão social;

a articulação com outros programas e políticas assegura às famílias,

durante o processo, mesmo quando desligadas, o acesso à escolariza­
ção, saúde, habitação e meio ambiente, geração de renda etc.;

quando integrado, os programas de renda mínima têm função alavan-

cadora, e, no caso específico de Santo André, tem também função
articuladora, pois o trabalho dos gmpos socioeducativos acaba se refle­
tindo nos outros programas e no repensar destes. Tal processo leva, de
um lado, ao avanço da noção de direito e, de outro, à credibilidade do
poder público;

a participação é um a estratégia do PRMSA e do PIIS, na medida em

que se tem a perspectiva de trabalhar em co-gestão com as comu­
nidades; estas se apropriam do conjunto de ações como direito, pos­
sibilitando abrir o espaço para outras ações, com a autonomia da co­
munidade, que vai se gestando no processo;

■ 0 PRMSA tem sua estratégia participativa inserida no processo mais

amplo de participação, que transcende o âmbito de cada Programa
(plenárias abertas do PIIS, por exemplo). As comunidades vão gradati­
vamente se inserindo num debate mais geral sobre a cidade (Orça­
mento Participativo, Conferências da Cidade), tendo o PIIS como refe­
rência para a reflexão sobre a inclusão social;

•0 impacto se faz sentir para além das áreas territoriais de interven­

ção, visto que tanto o Orçamento Participativo como o Projeto Cidade
do Futuro têm recebido a reivindicação da extensão do PRMSA e do
PIIS para outras regiões do município. As atuais quatro áreas de inter­
venção do PIIS/PRMSA representam uma experiência piloto, com base
na qual está se gestando uma proposta para toda a cidade, resguar­
dadas as particularidades de cada situação.
A CONSTRUÇÃO DE INDICADORES DE ACOMPANHAMENTO
E AVALIA ÇÃO DO PRMSA

A importância dos indicadores não está apenas na possibilidade de

medir e avaliar os avanços de um dado processo, mas devem também
ser um estímulo à reflexão, ao debate, à informação dos sujeitos envol­
vidos, ou seja, seu próprio processo de formulação deve ser um ele­
mento de transformação das relações existentes.

A participação das populações envolvidas é um importante pressupos­

to do processo avaliativo. Quanto maior for a apropriação dos indicado­
res pelos sujeitos implicados no processo, maior será o potencial de
transformação e de publicização das ações empreendidas, sobretudo
quando se está tratando de políticas públicas.

Nesse sentido, a avaliação é concebida como produção de conhecimento

público, preservando-se assim o direito à informação e ao conhecimento,
por parte dos cidadãos, sobre o uso dos recursos públicos, a eficiência e
a eficácia das políticas, os programas e as ações implementados.

A construção de indicadores é eivada de intencionalidades; daí a neces­

sidade de se trabalharem consensos e conflitos entre os diferentes atores
(organizações governamentais e não-govemamentais, universidade etc.)
envolvidos no monitoramento e avaliação. Os processos de monitora­
mento e avaliação exigem a sistematização das informações sendo cada
vez mais, imprescindível a existência de bancos de dados, de sistemas
de informações locais e regionais que alimentem esses processos.

A pouca tradição de avaliação das políticas sociais faz o processo de

construção de indicadores acontecer de forma mais lenta e no decorrer
do acompanhamento.

A questão dos indicadores talvez seja o aspecto mais desafiante no

contexto da avaliação e monitoramento do Programa de Renda Mínima
de Santo André, exigindo o aprofundamento de estudos e pesquisas
qualitativas. Os indicadores foram definidos à medida que o PRMSA foi

©
se consolidando. Sua construção é um processo que exige familiaridade
com a realidade a ser avaliada, maturação e sucessivas aproximações
ao longo do trabalho.

Desta forma, alguns dos indicadores não tiveram acompanhamento

desde a implementação do Programa, ao passo que, para outros, apesar
de serem relevantes, não foi ainda possível o estabelecimento de estraté­
gias de monitoramento. É o caso, por exemplo, do sucesso escolar de
crianças e adolescentes das famílias beneficiadas, previsto nos objetivos,
que não está sendo acompanhado e mensurado sistematicamente.

A ausência de um sistema informatizado de informações, que perm i­

tisse o registro e acompanhamento das fam ílias de forma contínua e
sistematizada, é outra questão que está sendo equacionada, em parte,
pelo próprio governo m unicipal, com a construção do Banco de Dados
do Cidadão. Está sendo desenvolvida também uma parceria, com apoio
da Fapesp, para a construção de uma ferramenta informatizada que
auxilie na gestão do PRMSA, em seus aspectos internos e na sua corre­
lação com os demais programas do PIIS.

In d icad o re s

Foram criados indicadores para o acompanhamento das famílias, sis­

tematizados em dois eixos:

D ados so cia is e econôm icos

• composição fam iliar (n° de membros na família, grau de parentesco,

idade, sexo, tipo de fam ília etc.);

• educação: escolaridade (jovens, adultos, crianças, crianças pequenas

X creche etc.); cursos profissionais, cursos de aceleração etc.;

• renda;

• qualificação profissional;

©
 formas de inserção no mercado de trabalho (formal, informal etc.);

participação em outros programas da PMSA (Geração de Renda, Coo­

perativas, Mova, Seja, Saúde da Mulher etc.);

valor do benefício;

utilização do benefício (medicamentos, alimentação, móveis, utensí­

lios, reformas, construção de moradia, prestações atrasadas, poupança
etc.).

D ados q ualitativo s

Trata-se de dados colhidos em entrevistas, depoimentos, relatórios etc.,

articulados com dados quantitativos:

• interesses iniciais (projetos de vida, expectativas)

• melhorias na qualidade de vida

conforto
consumo
aparência

• construção de cidadania (âmbito pessoal/profissional/comunitário)

discurso
participação
iniciativa (espírito reivindicador)

• acessibilidade
grau de conhecimento dos recursos disponíveis
grau de inclusão em outros programas

• condições de auto-sustentabilidade
inserção no mercado/renda/outras estratégias
empregabilidade (cursos profissionais e escolares, qualificação, auto-
estima)
A lg u m a s co n sid era çõ es

As considerações que se seguem são iniciais, uma vez que o processo

está em curso:

• A totalidade de crianças e adolescentes envolvidos freqüenta a esco­

la desde início da inserção das famílias no Programa. A escola é um
valor para a população em geral e, em especial, para as fam ílias po­
bres, que a vêem como uma possibilidade de alteração das precárias
condições de vida: “0 Programa ajudou com os meus filhos... voltaram a
estudar... fo Programa] empurrou a ir para afrente".

• O fortalecimento da auto-estima é a manifestação mais visível e rapi­

damente perceptível do sucesso do PRMSA. Expressa-se em atitudes
e comportamentos dos participantes do Programa: "Precisava buscar
novas alternativas para o futuro... Estou trabalhando na cooperativa... Pude
estudar, o marido não queria, não entendia... mas insisti, e hoje já fiz vários
cursos".

• A concentração de ações num mesmo território, e com a presença de

várias secretarias de govemo, potencializa o conjunto de ações volta­
das para a melhoria das condições de vida. Por exemplo, no tocante à
melhoria das condições habitacionais, é comum as fam ílias poupa­
rem, com o benefício recebido, a fim de comprarem materiais de cons­
trução ou pagarem serviços de pedreiro para melhorar as condições
da casa. Também no que se refere às melhorias ambientais, ativida­
des relacionadas a coleta de lixo, saneamento básico, higiene, entre
outras, contribuem para a melhoria do meio ambiente. A articulação
entre essas ações é, no entanto, um processo em construção. O pró­
prio PRMSA contribui para o fortalecimento dessas ações, enquanto
cria espaços de reflexão sobre as condições de vida, propicia a aqui­
sição e a troca de saberes. A falta de uma efetiva articulação entre as
ações setoriais das diversas secretarias não considera/utiliza plena­
mente essa potencialidade do PRMSA.

©
o PRMSA propicia uma alavancagem para a inserção das famílias em
outros serviços e programas da rede de proteção social, mediante le­
vantamento de necessidades e encaminhamento aos recursos exis­
tentes. Pelo fato de trabalhar com a noção do direito, cria também
novas demandas por parte da população, sobretudo no que se refere
aos serviços e, mais remotamente, à participação social.

’ Um certo descompasso na implantação do PIIS e de seus programas

repercute na dinâmica da aplicação dos recursos financeiros pela
população. Assim, por exemplo, se no início do PRMSA a população
beneficiada tinha como desejo a inserção em programas de geração
de renda (40%), hoje, efetivamente, participam deles 13 % , o que não,
significa desinteresse da população, mas, provavelmente, pouca oferta.
0 desejo por atividades de geração de renda continua sendo predo­
minante por ocasião do desligamento das famílias do PRMSA.

' A busca por capacitação/qualificação se expressa de várias formas:

pela real inserção dos jovens e adultos nos cursos oferecidos (alfabe­
tização, supletivos e cursos profissionalizantes; pela inserção dos
titulares e/ou familiares em atividades de geração de renda e em coo­
perativas; pelo depoimento dos titulares, durante as entrevistas de
desligamento, como um dos ganhos mais importantes da participa­
ção no Programa.

' 0 perfil da população atendida pelo PRMSA evidencia uma multiplicida­

de de carências, o que exige investimentos de várias ordens (financeiros
e econômicos, de apoio psicossocial etc.), num prazo médio de tempo.

' 0 quadro da situação de trabalho/ocupação dessas famílias demonstra

que estão distantes do mercado formal; é possível observar movimentos
nesse quadro, mas é certo que a transformação dessa situação não será
alcançada pelo Programa, pois trata-se de questões estruturais.

' As conquistas por parte das famílias desligadas são reais, mas não há
elementos para afiançar sua persistência no tempo; um_ acompanha­
mento longitudinal permitirá observar a consistência dessas aquisi­
ções e a pertinência do desenho do Programa.
• As repercussões sobre a qualidade dos vínculos sociais são claramente
expressas nas avaliações dos técnicos e dos beneficiados, com reflexo
na vida cotidiana. A melhoria das relações conjugais e familiares se
deve, em parte, pelo acesso das mulheres (a maioria dos titulares do
Programa) aos recursos financeiros, atribuindo-lhes uma nova quali­
dade em sua posição na configuração familiar. A novidade está, tam­
bém, na possibilidade das mulheres freqüentarem novos espaços,
adquirirem novos relacionamentos e participarem de novas atividades.

• 0 PRMSA trabalha algumas questões relacionadas à vida societária, à

participação comunitária, embora não suficientemente, pois o perfil
das fam ílias e o tempo de permanência no programa exigem que o
foco do trabalho permaneça nos aspectos individual e familiar.

• 0 acompanhamento realizado não permite ter uma visão de conjun­

to do uso das ações da assistência pelas fam ílias beneficiadas. Sabe-
se, porém, que o Programa de Complementação à Escola atende 56%
das crianças ejovens entre 7 e 13 anos, o que é bastante significativo;
e que houve uma queda na procura ao serviço de plantão da própria
Secretaria de Cidadania e Ação Social.

CONSIDERAÇÕES FINAIS

Apesar do desmonte das políticas sociais, conseqüência das políticas

neoliberais, os governos locais têm implantado, cada vez mais, progra­
mas de complementação de renda, como o PRMSA, que se apresenta
como alternativa a ser ampliada.

A abrangência em que o PRMSA foi implantado, decorrente da opção

política do governo local em focalizar o conjunto das ações do PIIS em
áreas pilotos, não permite a visualização de um impacto social signi­
ficativo para o município como um todo, embora sejam patentes os
impactos nas condições de vida das fam ílias atingidas.
É fundamental incrementar a interlocução e a definição de pautas co­
muns de proposição e intervenção, tendo em vista superar a fragmen­
tação das políticas sociais no município. O fortalecimento de espaços e
fóruns de articulação das políticas públicas municipais é um caminho
a ser perseguido.

Quanto ao desenho e à gestão dos programas e serviços, a pesquisa

identificou que, de modo geral, a Política Municipal de Assistência Social
de Santo André estabelece prioridades, desenha estratégias e prioriza os
segmentos populacionais típicos da atenção desta área de política públi­
ca, estabelecidos pela própria Constituição Federal e pela LOAS.

Há, no entanto, dois desafios a serem enfrentados: a consolidação de

um efetivo trabalho em rede, que articule de forma orgânica o conjun­
to de programas e serviços, tanto privados quanto governamentais; a
potenciaiização da gestão descentralizada e participativa das instân­
cias da política de assistência social (Conselhos, Fundo e Plano).

São fundamentais, portanto, a definição de objetivos comuns e a adesão

a procedimentos normativos e processuais pactuados em esferas públicas
democráticas, que articulem as diferentes redes sociais: movimentalis­
tas, espontâneas, de serviços sociais governamentais, sociocomunitárias,
com a finalidade de construir a rede de proteção socioassistencial à
população local.

A questão da construção e consolidação do trabalho em rede é, pois,

um dos aspectos centrais a ser enfocado na análise das estratégias de
gestão social, no âmbito das políticas públicas municipais.
N O TA S

1 C o m d e s ta q u e p a r a o P r o g r a m a In te g ra d o n a s ta x a s d e in d ig ê n c ia n o A B C p a u lis t a de
d e In c lu s ã o S o c ia l — P IIS . 0 P IIS . n o q u a l se 1 3 .3 4 % p a ra 6 .4 9 % . e n q u a n to a re n d a d o m i­
in s e r e o P ro g r a m a d e R e n d a M ín im a F a m ília c ilia r per capita so b e de R $ 276.00 p a r a R$
C id a d ã , é um a e s t r a t é g ia da P r e f e it u r a 378,00. D a d o s e x tr a íd o s de A n d ré U r a n i,
M u n ic ip a l d e S a n to A n d r é , p e la q u a l a s p o ­ M apa da Pobreza no A B C Paulista: d ia g n ó s tic o
lít ic a s s e to ria is s ã o c o n c e n tr a d a s e s p a c ia l­ e a lg u m a s re c o m e n d a ç õ e s de p o líticas. A b ril,
m e n te . v is a n d o à r e d u ç ã o d a p o b re z a e à 2000. (M im e o g r.)
a m p lia ç ã o d a in c lu s ã o s o c ia l d a s p o p u la ­
ç õ e s a b ra n g id a s . 4 S e to m a r m o s os v a lo r e s per ca p ita /m ê s no
P R M S A — R$ 43,00 a p r o x im a d o s — e, p o r
2 P ro g r a m a d e R e n d a M ín im a — F a m ília C id a ­
u m s im p le s e x e r c íc io c o m p a r a tiv o , c o t e j a r ­
d ã . d o m u n ic íp io d e S a n to A n d ré - S P. p e río d o
m o s c o m a q u e le d e u m a c r e c h e n o m u n i c i ­
1997-2000. g e s tã o C e ls o D a n ie l.
p io d e S ã o P a u lo (R $ 64,00) o u d e u m P r o ­

3 A re n d a d o m ic ilia r per capita do A B C p a u lis ta g ra m a d e E r r a d ic a ç ã o d o T V a b a lh o In f a n t il

é c e r c a d e 1 2 % s u p e r io r d o s n ív e is e n c o n t r a ­ n o p a ís (R$ 50,00), o P R M S A te m u m m e n o r

d o s n o B r a s il m e tr o p o lita n o , e a p ro p o rç ã o in v e s tim e n to .

d e p o b re s é c e rc a d e 3 8 % m e n o r d a q u e la
5 N a área geog ráfica a te n d id a p elo PIIS, o P R M S A
e n c o n tr a d a n o B r a s il m e tr o p o lita n o . O m u ­
a tin g e à t o ta lid a d e d a d e m a n d a .
n ic íp io d e S a n to A n d r é é c o n s id e r a d o de
B a ix a In d ig ê n c ia R e la t iv a (4 .7 8 % ). Q u a n d o 6 U m e s tu d o p r e lim in a r d e m o n s tra q u e o c u s ­
c o m p a r a d o s os p e río d o s 1995-1997 e 1992- to a d m in is t r a t iv o é d e a p r o x im a d a m e n t e
1993. o b se rva - s e u m a v a r ia ç ã o s ig n ific a tiv a R $ 84,50 fa m ília / m ê s .

©
!g U m a m e to d o lo g ia

^ p a r a a v a lia r

p r o g r a m a s d e

h a b ita ç ã o
NABIL BONDUKI, é arquiteto e urbanista, é doutor pela Faculdade de Arquitetura e
Urbanismo da Universidade de São Paulo — USP. Professor do Departamento de
Arquitetura e Planejamento da Escola de Engenharia de São Carlos — USP, é autor
de vários trabalbos publicados. É coordenador-geral do presente projeto.
APRESENTAÇÃO

Este texto apresenta de forma sintética a proposta prelim inar de Meto­

dologia de aualiação dos programas de habitação/inanciados com recursos do
Fundo de Garantia porTempo de Serviço — FGTS? que está sendo desenvol­
vida por uma equipe vinculada à Escola de Engenharia de São Carlos,
da Universidade de São Faulo (EESC-USF). Resulta de uma Resolução do
Conselho Curador do FGTS, que, objetivando “dar m aior transparência
às ações empreendidas com os recursos do trabalhador”, determinou
que fossem “desenvolvidos estudos visando à definição de uma meto­
dologia a ser aplicada na avaliação dos programas de aplicação lastrea-
dos em recursos do FGTS".

Com esse objetivo, foi desenvolvida uma abrangente metodologia a fim

de avaliar os programas Fró-Moradia, Carta de Crédito Associativo,
Carta de Crédito Individual, Apoio à Frodução e Fró-Saneamento, finan­
ciados pelo FGTS, num amplo leque de aspectos, que serão apresentados
e conceituados neste texto. Trata-se de uma metodologia de avaliação
inédita no país, uma vez que os programas de habitação e saneamento.

©
ao contrário dos programas sociais (saúde, educação e assistência), não
têm sido objeto de avaliações globais, que ficam restritas, se tanto, a
aspectos específicos ou a estudos de caso.

Para a EESC-USP, particularmente para o Departamento de Arquitetura e

Urbanismo, a elaboração dessa metodologia representou uma possibili­
dade extremamente rica de realizar um trabalho articulado de pesquisa e
extensão universitária, que exigiu a articulação entre a experiência adqui­
rida em pesquisas acadêmicas, particularmente na área de Ciências So­
ciais Aplicadas e de Tecnologia do Ambiente Construído, como o conhe­
cimento e a reflexão sobre a gestão e implementação de políticas públicas.
Foi uma oportunidade de utilização prática do desenvolvimento científico
e tecnológico, permitindo que a Universidade pudesse colaborar com o
poder público e com os vários segmentos da sociedade, representados no
Conselho Curador do Fundo de Garantia por Tempo de Serviço (entidades
empresariais e centrais sindicais, além do próprio govemo), na avaliação
e aperfeiçoamento dos programas de habitação e saneamento.

A formação do Grupo de Acompanhamento do Projeto — composto por

técnicos da Caixa Econômica Federal e do Grupo de Assessoria Per­
manente do Conselho Curador do FGTS, que, ao longo dos quase dois
anos de desenvolvimento da metodologia, se reuniu periodicamente
para discutir a proposta em cada uma das suas etapas — permitiu, por
sua vez, um a profícua troca de experiências e de pontos de vista entre
a equipe e os diferentes setores envolvidos e interessados na avaliação
e aperfeiçoamento dos programas do FGTS. Além disso, o seminário
realizado na Escola de Engenharia de São Carlos, em novembro de 1999,
possibilitou que a proposta prelim inar fosse debatida com especialistas
de todo 0 país, incorporando-se contribuições importantes para o aperfei­
çoamento da metodologia. Assim, pode-se dizer que a proposta apresen­
tada já passou por um processo de ampla discussão e crivo dos principais
setores envolvidos com esses programas.

O trabalho realizado exigiu enorme criatividade da equipe envolvida,

sobretudo por inexistir no Brasil outras metodologias semelhantes que
pudessem servir de referência. Os poucos trabalhos de avaliação em
habitação e saneamento que têm sido desenvolvidos no país, como já
foi mencionado, têm se limitado a analisar empreendimentos, especial­
mente em relação à qualidade do produto, sem contudo inseri-los em
uma avaliação de programas, nos seus diversos aspectos. Em outros
casos, alguns programas foram avaliados sem que os empreendimen­
tos produzidos fossem abordados conjuntamente.

O desenvolvimento da proposta, que gerou uma complexa metodologia

que permitirá avaliar os programas de aplicação do FGTS, mostrou a
necessidade de se aprofundar a pesquisa nesta área, pois, para muitos
indicadores propostos, inexistem parâmetros de avaliação consagrados.
Isto toma necessário o desenvolvimento de estudos para a criação de
critérios objetivos, capazes de permitir referências específicas de avalia­
ção para programas de habitação e saneamento. Malgrado este pro­
blema, a equipe estabeleceu os parâmetros indispensáveis para realizar
a avaliação, deixando claro que a proposta pode ser ainda muito aper­
feiçoada por estudos posteriores e após sua primeira aplicação integral.

Caberia ainda destacar que, embora a proposta de avaliação tivesse

sido solicitada para os cinco programas supracitados, ao longo de seu
desenvolvimento foi ficando clara a necessidade de, para efeito da for­
mulação da metodologia, serem desdobrados alguns dos programas nas
modalidades que apresentam especificidades significativas, decisão que
foi tomada em reunião com o Grupo de Acompanhamento do Projeto, que
defendeu com ênfase esta opção. Assim, o programa Pró-Moradia —
PPM foi dividido em dois (PPM-Conjunto Habitacional e PPM-Urbani-
zação de Áreas); o programa Carta de Crédito Individual — CCI, em três
(CCI-Aquisição, CCI-Construção e CCI-Cesta de Materiais); e o Pró-
Saneamento, em todas as suas modalidades. Esta opção acarretou uma
multiplicação do trabalho, pois, embora pudesse haver indicadores co­
muns aos vários programas, tomou-se necessário analisar cada caso
em detalhe, verificando-se a pertinência e os parâmetros, bem como cons-
tm ir propostas específicas para cada um dos indicadores, em todos os
programas/modalidades definidos.
Além disso, deve-se ressaltar que a metodologia desenvolvida tem
enorme potencialidade e versatilidade, podendo ser adaptada para ava­
liar outros programas de habitação e saneamento, seja no âmbito do
FGTS, seja no âmbito de outras esferas do poder público federal, estadual
e municipal. Espera-se que isto possa ocorrer, criando-se uma tradição de
avaliação de programas de habitação e saneamento que, sem dúvida,
poderá contribuir para uma melhor aplicação dos recursos neste setor.

A IM PORTÂNCIA DE AVALIAR

No quadro de escassez de recursos que caracteriza todas as esferas do

poder público no país e, em contrapartida, diante da enorme demanda
existente por serviços e equipamentos sociais, o desenvolvimento de
um processo contínuo de avaliação das políticas públicas é absoluta­
mente indispensável. Trata-se de um dos principais instrumentos para
o planejamento das ações de governo, para a racionalização na utiliza­
ção de recursos e a revisão das diretrizes e normativas que orientam os
programas públicos, podendo garantir um processo permanente de
aperfeiçoamento dos programas sociais.

Como afirmam Cohen & Franco (1998), “não é possível que os progra­
mas e projetos sociais sejam eficazes e eficientes se não forem avalia­
dos os resultados de sua aplicação. Por isto, dispor de avaliações ex post
de projetos em curso ou já realizados é fundamental para melhorar os
modelos”. Apesar da obviedade desta afirmação, não só no Brasil, como
em toda a América Latina, a avaliaçâo dos programas sociais não é fre­
qüente, sendo mesmo excepcional; em geral, os atores sociais envolvi­
dos são refratários a avaliar o que realizam. Não cabe aqui discutir as
razões dessa resistência, mas sobretudo destacar, neste quadro, a im ­
portância da iniciativa do Conselho Curador do Fundo de Garantia por
Tempo de Serviço — FGTS em propor a montagem de uma metodologia
de avaliação dos seus programas, que este relatório consolida.
No Brasil, como fruto da ausência sistemática de preocupação em
avaliar, existe um atraso no desenvolvimento de metodologias adequa­
das para analisar políticas, programas e projetos sociais, ao contrário
do que ocorre em relação à avaliação de custos e benefícios correspon­
dentes a projetos de investimentos, em que predominam critérios eco-
nomicistas, em geral requeridos pelos órgãos de financiamento. “Ao
contrário do que ocorre nos projetos de investimentos, as decisões
nesta área [programas sociais] costumam ser tomadas com as melho­
res intenções de atender às necessidades de uma determinada popula­
ção, mas geralmente carecem de análise técnica das alternativas que
permita selecionar a mais eficaz para a consecução dos objetivos pro­
curados e a m ais eficiente na utilização dos recursos que serão destina­
dos a tal programa" (Iglesias, in Cohen, 1998).

Se, de um a maneira geral, inexiste uma tradição de avaliação dos

programas sociais como um todo, no que diz respeito aos programas
habitacionais a situação é ainda mais grave. Embora no período do
Banco Nacional de Habitação — BNH tenha se iniciado um processo de
pesquisa e análise dos programas e projetos então implementados, não
foram formuladas metodologias sistemáticas de avaliação de progra­
mas como um todo. Desde o fim do BNH, as avaliações tomaram-se
ainda m ais escassas, limitando-se a estudos extremamente gerais, de
análise do conjunto da produção, geralmente baseados em dados se­
cundários ou pesquisas limitadas a aspectos específicos, em estudos de
caso. Predominam abordagens setoriais e disciplinares, que não perm i­
tem avaliações globais e que tratam o problema da habitação e do sa­
neamento de forma fragmentária, como foi mostrado no Relatório 2
deste projeto.

T a l verificação toma a implementação desta metodologia de extraordi­

nária relevância. Trata-se de um trabalho de grande complexidade,
pois, como será mostrado adiante, pretende-se avaliar os programas de
habitação e saneamento em todos os seus aspectos, requerendo in ­
terdisciplinaridade e diferentes métodos de pesquisa e análise. De fato.
raros são os setores de política social que apresentam tantas interfaces
como os programas habitacionais e de saneamento.

Por sua vez, a avaliação dos programas propostos — Pró-Moradia, Carta

de Crédito Individual, Carta de Crédito Associativa, Apoio à Produção de
Moradia e Pró-Saneamento — ganha ainda melhor relevância, na medi­
da em que eles foram criados há cerca de seis anos, no processo de re­
tomada dos financiamentos com recursos do FCTS, depois de uma lon­
ga paralisação, tendo sido orientados por novos pressupostos.

Assim , a aplicação desta metodologia permitirá a avaliação dos resul­

tados deste que se caracteriza como um momento distinto das políti­
cas de gestão urbana, aspecto de grande importância, pois pode permi­
tir o aprimoramento da política de habitação e saneamento à luz de
uma avaliação objetiva dos programas, identificando fragiiidades, in ­
consistências e avanços. Nesse sentido, é preocupante o fato de três dos
cinco programas analisados, embora sejam tão recentes, estarem prati­
camente paralisados — os programas Pró-Moradia e Pró-Saneamento,
em virtude da proibição de contratar com o setor público, determinada
pela Política Monetária Nacional, e o programa Apoio à Produção, por
não ter logrado aceitação pelo mercado. A interrupção ou descontinui­
dade desses programas pode, ao menos em parte, frustrar a expectativa
do projeto, que visa não só criar um sistema permanente de avaliação,
mas, sobretudo, colocá-lo na perspectiva de aperfeiçoar os programas e
a política de habitação e saneamento.

DIFICULDADES ENCONTRADAS PARA O

DESENVOLVIM ENTO DA METODOLOGIA

O desenvolvimento desta metodologia esbarrou numa série de dificul­

dades decorrentes da amplitude da proposta —, que buscou avaliar os
programas em todos os aspectos considerados relevantes —, e, sobre­
tudo, da grande diversidade de tipos de empreendimentos que os pro­
gramas de aplicação dos recursos do FGTS podem financiar (de uma
única unidade habitacional financiada pela Carta de Crédito Individual
a uma estação de tratamento de esgoto). Neste sentido, os novos pres­
supostos que orientaram a formulação desses programas, que são cor­
retos como diretrizes de política habitacional, ao possibilitarem o
financiamento de empreendimentos muito diferenciados entre si
geram enorme dificuldade para a formulação de uma metodologia de
avaliação, uma vez que criam especificidades que obstaculizam a con­
strução de indicadores capazes de serem observados em todos os casos.
Além disso, a própria diversidade de aspectos a serem considerados, que
acabam por requerer métodos muito diferentes de pesquisa, criam difi­
culdades no cruzamento de variáveis e na construção de indicadores.

Determinados aspectos, como Produto e Impacto na cidade e ambiente, que

têm em cada empreendimento sua unidade básica de análise e exigem
uma observação in loco, seriam avaliados de modo m ais preciso e apro­
fundado se fossem utilizados métodos como o estudo de caso, que re­
querem um levantamento mais detalhado e particularizado. Esta opção
metodológica foi, no entanto, descartada — decisão tomada em conjunto
com o Grupo de Acompanhamento —, pois o objetivo do projeto é a for­
mulação de uma metodologia voltada para a avaliação geral dos progra­
mas habitacionais e de saneamento sob análise. Isso exige a construção
de indicadores capazes de serem observados numa amostra represen­
tativa do universo dos empreendimentos contratados em cada um dos
programas de aplicação dos recursos do FGTS. Esta perspectiva impos­
sibilita a utilização do estudo de caso, método que propicia uma avaliação
mais aprofundada de cada empreendimento, mas que não pode ser apli­
cado, por razões de ordem operacional, prática e de custos, num grande
número de empreendimentos.

Por razões semelhantes, no aspecto Impacto nas condições de vida dos mo­
radores, a avaliação do Projeto Sodal desenvolvido nos empreendimen­
tos dos programas Pró-Moradia e Pró-Saneamento, modalidade Pró-
Sanear, ficou prejudicada, uma vez que sua observação dependeria de
entrevistas em profundidade e de análises qualitativas, métodos que
não poderiam ser aplicados em um grande número de empreendimen­
tos, representativos do universo dos contratos desses Programas.
Diante dessa impossibilidade, vários indicadores foram sendo alterados
ou eliminados ao longo da elaboração da metodologia, toda vez que não
era possível encontrar alternativas generalizáveis e indicadores, que só
poderiam ser construídos por meio de estudos qualitativos.

Apenas na avaliação da Instância Colegiada foi proposta a utilização de

entrevistas em profundidade e análises qualitativas, pois o fato de exis­
tir apenas uma instância por Unidade da Federação não permite o uso
de métodos quantitativos, ao passo que uma observação de profundi­
dade, mais específica de cada instância, é o melhor método para obser­
var as questões a serem avaliadas.

CONCEPÇÃO GERAL DA METODOLOGIA

HISTÓRICO DO DESENVOLVIMENTO DA PROPOSTA

O Termo de Referência, elaborado pelo Grupo de Assessoria Permanente

do Conselho Curador do FGTS e que deu origem a este projeto, propunha
que a metodologia de avaliação a ser desenvolvida “deveria necessaria­
mente abordar, pelo menos, os aspectos institucional, social, econômico e
urbanístico/ambiental”. Ficava estabelecido, também, os Programas que
seriam objeto de avaliação, a saber: Pró-Moradia (Programa de Atendi­
mento Habitacional por intermédio do Poder Público); Pró-Saneamento
(Programa de Saneamento); Programa Carta de Crédito Associativa; Pro­
grama Carta de Crédito Individual e Programa Apoio à Produção.

Com base na experiência acumulada em avaliações de programas sociais

e na literatura especializada, a equipe da EESC-USP apresentou, em ou­
tubro de 1998, uma perspectiva de avaliação que, embora não deixasse de
responder a todos os aspectos e dimensões sugeridas pelo GAP-FGTS,
alterava substancialmente a lógica original do Termo de Referência. As­
sim, sugeriu-se uma avaliação que enfocasse as dimensões do processo, do
produto e dos impactos dos Programas a serem avaliados. Tratava-se de
uma opção metodológica bastante adotada em avaliações semelhantes e
que diferia significativamente da maneira como o Termo de Referência
formulado pela CCFGTS propunha, preliminarmente, o desenvolvimento
da avaliação, em que prevalecia um recorte disciplinar (institucional, so­
cial, econômico, físico etc.). Malgrado esta modificação, todos os aspectos
previstos no Termo de Referência estavam presentes, embora não neces­
sariamente agrupados da forma proposta de início.

Com 0 início do desenvolvimento da metodologia propriamente dita, em

maio de 1999, buscou-se verificar quais deveriam ser, especificamente no
caso dos programas em análise, os aspectos em que essas dimensões
poderiam ser subdivididas. Mediante um complexo processo analítico,
procurou-se identificar quais os aspectos gerais que deveriam ser ava­
liados, considerando-se a grande especificidade e a diversidade de moda­
lidades presentes em cada um dos programas. Essa reflexão gerou uma
grande quantidade de aspectos específicos e de indicadores.

Após um intenso processo de depuração, marcado por uma ampla pes­

quisa bibliográfica, maior reconhecimento dos programas, muita refle­
xão e exaustivas discussões —, que contaram em várias oportunidades
com consultores externos e com o Grupo de Acompanhamento do
Frojeto —, foi formulada uma primeira proposta prelim inar de metodo­
logia de avaliação, debatida em seminário com especialistas na Escola
de Engenharia de São Garlos, em novembro de 1999. Foram então selecio­
nados os aspectos gerais mais relevantes e os indicadores mais adequados
para a avaliação. Naquele momento, muitos indicadores considerados
importantes foram excluídos, pela dificuldade de serem construídos ou
por requererem métodos de pesquisa, como o estudo de caso, incom pa­
tíveis com a dimensão da amostra e com a perspectiva de se avaliar de
modo integral os programas de aplicação do FGTS.

Após essa primeira etapa de elaboração, as três dimensões estabeleci­

das originalmente (processo, produto e impactos) foram subdivididas
em oito aspectos gerais, que permitiam uma avaliação m ais precisa dos
programas:
• Economicidade;
• Procedimentos de gestão;
• Desempenho operacional;
• Produto;
• Impacto nas condições de vida dos moradores;
• Impacto na cidade e no ambiente;
• Impacto macroeconômico;
• Atendimento às necessidades de habitação e saneamento.

Na versão da metodologia debatida no seminário, foram apresentados

os indicadores referentes a cada um desses oito aspectos gerais, mas
não sua parametrização e ponderação. 0 rico debate possibilitou o
avanço na proposta, gerando, entre outros, a junção dos aspectos gerais
Procedimentos de gestão e Desempenho operacional, além de um recorte dos
indicadores selecionados.

Definida a primeira versão da estrutura básica de avaliação, com o es­

tabelecimento dos indicadores e variáveis, foram elaboradas os instru­
mentos de coleta visando ao pré-teste da metodologia. De acordo com
a proposta original, o pré-teste foi dividido em duas etapas, sendo a pri­
meira no Estado de São Paulo, voltada fundamentalmente para o teste
dos instrumentos, da estratégia geral da pesquisa de campo e do le­
vantamento dos dados documentais, e a segunda nos estados da Bahia,
Goiás e Distrito Federal, quando se testaria o conjunto da metodologia.

O pré-teste, realizado em São Paulo entre os meses de janeiro e fevereiro

de 2000, em cerca de dezoito cidades, foi aplicado pela equipe responsável
pela elaboração de metodologia, tendo sido muito proveitoso tanto para
testar os instrumentos de coleta como para permitir um melhor conhe­
cimento dos empreendimentos financiados pelo FGTS e das informações
documentais existentes nos Escritórios de Negócios da Gaixa. Esta etapa foi
também fundamental para dimensionar as equipes de campo e o tempo
necessário para o levantamento; para definir a qualificação básica dos

©
entrevistadores, além de permitir uma completa revisão dos instrumentos
a fim de adequá-los à caracterização e diversidade dos empreendimentos;
e para superar dificuldades de aplicação, como linguagem, fluxo etc.

O segundo pré-teste foi precedido de um planejamento mais cuidadoso,

buscando-se superar os problemas encontrados em São Paulo e possibili­
tar a aplicação dos instrumentos por uma equipe extema, na perspectiva
de reproduzir as condições que seriam encontradas numa aplicação sis­
temática da metodologia. No caso do pré-teste da Bahia, estabeleceu-se
uma cooperação com a Faculdade de Arquitetura da Universidade Federal
da Bahia, para a formação e treinamento da equipe responsável pelo le­
vantamento. O mesmo se deu com a equipe que realizou o teste em Goiás
e no Distrito Federal, embora a maior parte de seus membros fossem
alunos da Escola de Engenharia de São Garlos e de outras universidades
de São Paulo, treinados antes de serem deslocados para a área. Pôde-se,
assim, testar não somente os instrumentos reelaborados após o primeiro
pré-teste como sua utilização por equipes externas, que não haviam par­
ticipado da formulação da proposta, bem como perceber a complexidade
do planejamento, que se faz necessário para que as várias frentes de cole­
ta funcionassem com eficiência, e também experimentar os demais pas­
sos da metodologia, incluindo a digitação e seu processamento e análise.

Este segundo pré-teste foi extremamente útil para o avanço e o desenvol­

vimento da metodologia. Além de testar novamente os instrumentos, apli­
cados por equipes externas em empreendimentos bastante diversificados
e distintos dos visitados em São Paulo, foram estabelecidas rotinas deta­
lhadas para o trabalho de pesquisa. Ademais, a digitação dos instrumentos
permitiu que se obtivessem os primeiros resultados sistematizados da
avaliação, representados pelo processamento das variáveis simples.

Outro resultado expressivo foi a sistematização das informações básicas

e o registro fotográfico de um grande número de empreendimentos habi­
tacionais, cerca de 54 unidades da Federação (incluindo o teste de São
Paulo), o que permitiu visualizar com concretude as características e a di­
versidade dos produtos gerados pelos programas financiados pelo FGTS.
o principal desdobramento do pré-teste foi, contudo, a elaboração defini­
tiva da estrutura básica da metodologia de avaliação. Nesse momento, já
com o total conhecimento das características e dos produtos gerados em
cada programa, iniciou-se a etapa mais difícil, demorada e importante de
todo 0 projeto, quando foram definitivamente definidos os indicadores de
cada aspecto geral, sua parametrização e ponderação, a fim de gerar a
avaliação dos programas. Além disso, nesse momento, foi necessário esta­
belecer quais seriam as unidades (programa/modalidade) a serem avalia­
das. Dada a grande diversidade existente no interior da cada programa,
chegou-se a sete, na área da habitação, mediante desdobramento dos
programas Pró-Moradia em dois e Carta de Crédito Individual em três.

Após de uma primeira proposta de ponderação dos indicadores para a

avaliação dos programas, gerou-se um intenso processo de discussões
entre a equipe e o Grupo de Acompanhamento do Projeto, visando-se
analisar o conjunto da metodologia e estabelecer a parametrização de
cada um dos indicadores e sua respectiva ponderação na avaliação dos
aspectos gerais.

Essa série de reuniões teve como resultado final a estrutura definitiva

de avaliação, apresentada neste texto, e permitiu formalizar a constru­
ção dos indicadores, com base nos indicadores simples e variáveis, para
cada um dos programas/modalidades a serem avaliados. Após a defini­
ção final dos indicadores, dos indicadores simples e, conseqüentemente,
das variáveis, pôde-se processar a revisão final dos instrumentos de co­
leta dos dados e os respectivos manuais e dicionários.

O longo processo de elaboração da metodologia e sua discussão com

todos os segmentos envolvidos permitem dizer que se alcançou um ele­
vado grau de consenso entre todos os atores presentes no processo, que
inclui, além da equipe, representantes das Gentrais Sindicais, das enti­
dades empresariais e do poder público, em particular da Gaixa Econô­
mica Federal. Ademais, as inúmeras alterações que foram realizadas
entre o segundo pré-teste e a versão final tomam necessário — como
não poderia deixar de ser numa proposta tão complexa como a que se
formulou — que a primeira aplicação seja realizada para, além de ava­
lia r os programas, contribuir na revisão final da metodologia.

A ESTRUTURA BÁSICA DA METODOLOGIA DE AVALIAÇÃO

A metodologia formulada parte do pressuposto de que se pretende rea­

lizar uma avaliação ex post e permanente, implementada por pesquisa­
dores externos às instituições envolvidas no financiamento e promoção
dos empreendimentos. Essa avaliação objetiva analisar os programas
de aplicação dos recursos do FGTS como um todo, nas diferentes dimen­
sões pertinentes, priorizando um olhar que contemple a conjunto dos
resultados alcançados por programa, sem aprofundar a avaliação espe­
cífica e particular de cada empreendimento financiado.

Para alcançar tal fim, estabeleceram-se, para cada um dos sete progra­
mas/modalidades habitacionais, os aspectos e indicadores a serem ava­
liados e o processo de construção dos indicadores, tomando-se por base
os indicadores simples e as variáveis obtidas por instrumentos de cole­
ta dos dados aplicados para empreendimentos selecionados numa
amostra representativa dos programas/modalidades.

Após um longo processo de reflexão, optou-se por adotar o aspecto como

unidade m áxim a de agregação na avaliação de cada programa/moda­
lidade, pois se considerou artificial estabelecer para os programas uma
avaliação global única, que permitiria obter uma só nota ponderando-se
notas atribuídas a aspectos tão diferentes. Assim, os programas seriam
avaliados em cada um dos sete aspectos, ou seja:

• Economicidade;
• Procedimento de gestão;
• Produto;
• Impacto nas condições de vida dos moradores;
• Impacto na cidade e no ambiente;
• Atendimentos às necessidades;
• Impacto macroeconômico.

©
Cada programa teria, a princípio, sete notas, cada uma expressando o
resultado relativo a um aspecto. A avaliação de cada um deles, que re­
sulta numa nota final, é resultado das notas ponderadas obtidas em
cada um dos indicadores que os compõe. 0 quadro, que será apresen­
tado mais adiante, mostra os indicadores relacionados com cada aspec­
to, por programa, e a ponderação proposta.

Além dessa avaliação geral por aspecto, indispensável para permitir

uma leitura mais global e clara de cada programa, a metodologia per­
mite conhecer todas as notas dos indicadores (que são no máximo 27),
além dos indicadores simples e até mesmo das variáveis que geraram
a nota fmal. Assim, ela possibilita tanto construir séries históricas por
aspectos e indicadores como observar questões mais específicas, trans-
formando-se num instrumento de gerenciamento para identificar pro­
blemas e soluções.

A nota de cada indicador é, por sua vez, resultado de um complexo pro­

cesso de construção, podendo, conforme cada caso, ser resultado de com­
plexas operações matemáticas processadas com base nas notas obtidas
pelos indicadores simples, variáveis compostas e/ou variáveis. Essas notas
expressam o resultado obtido mediante parametrização das variáveis.
Esta construção matemática e conceituai dos indicadores e dos indica­
dores simples é a base metodológica para a criação do modelo informati­
zado, que permite, a partir dos resultados obtidos em cada variável
coletada nos instrumentos, chegar às notas dos indicadores e aspectos.

Os instrumentos de coleta dos dados serão apresentados posterior­

mente, de modo sintético. Salvo os dados coletados diretamente no
Banco de Dados da Caixa e do roteiro a ser aplicado para a avaliação da
Instância Colegiada, que tem uma lógica específica, de uma maneira
geral os instrumentos são aplicados para cada empreendimento sele­
cionado na amostra representativa dos programas/modalidades (caso
da ficha de processo e projeto, de observação das áreas urbanizadas ou
do entorno, entre outros). São aplicados também em uma amostra de
moradores ou de unidades habitacionais de cada empreendimento se­
lecionado (caso de ficha de observação das unidades habitacionais e do
questionário ao beneficiário final). Isso significa que o plano amostrai
deve estabelecer uma amostra de empreendimentos a serem pesquisa­
dos e, no interior destes, uma outra referente a unidades habitacionais
e a moradores a serem observados e entrevistados.

A amostra de empreendimentos para cada programa/modalidade deve

ser calculada partindo-se de um universo de empreendimentos fin ali­
zados e ocupados no mínimo um ano e no máximo três anos antes do
início do período em que se pretenda processar a avaliação. 0 prazo de
um ano foi considerado o mínimo para que os novos moradores pu­
dessem conhecer razoavelmente suas novas condições e responder com
consistência às questões necessárias à avaliação, e também para que a
situação real da moradia, do ponto de vista construtivo, pudesse ser de­
tectada. Por sua vez, o prazo máximo de três anos foi estabelecido por
não ser conveniente alargar o tempo entre a pesquisa e a ocupação do
imóvel, posto que um dos aspectos que se pretende avaliar — Impacto nas
condições de uida dos moradores — utiliza-se, mediante questionário ao
beneficiário fmal, da memória dos moradores a fim de obter inform a­
ções sobre suas condições de habitação no momento anterior à mudan­
ça. Concluiu-se que um prazo superior a três anos colaboraria para tomar
m ais imprecisas essas informações.

Quanto à escolha da amostra a partir da entrega e ocupação das unida­

des habitacionais, isso fará que os indicadores relativos aos contratos
de financiamento tenham datas distintas, dependendo do momento
em que foram feitos. Essa questão foi considerada na montagem dos
indicadores, eliminando-se o risco de distorções.

Apesar dessa orientação geral, propõe-se que a primeira aplicação, a se

realizar no primeiro semestre de 2002, inclua todos os empreendimentos
finalizados e ocupados desde o início desses programas, em 1995, até 31
de dezembro de 2000. A partir daí, a avaliação se repetiria no primeiro se­
mestre dos anos ímpares, avaliando um período de dois anos.
C R IT É R IO S P A R A P O N D E R A Ç Ã O E P A R A M E T R IZ A Ç Ã O D A A V A L IA Ç Ã O

O estabelecimento de ponderação para definir a avaliação dos indica­

dores e aspectos é central na metodologia e envolve questões de caráter
técnico e subjetivo, vinculadas a valores, resultando de uma leitura
apurada dos objetivos e diretrizes dos próprios programas, quando eles
explicitam (o que raramente ocorre) com clareza seus propósitos, de
modo a apontar a importância de cada indicador na avaliação dos
aspectos.

Após a definição da composição dos aspectos e dos indicadores, um dos

maiores problemas do trabalho foi o estabelecimento desses critérios de
ponderação, assim como a parametrização dos indicadores. Essa questão
assume contornos ainda mais complexos em decorrência da diversidade
de métodos de pesquisa, das disciplinas envolvidas na avaliação e da ne­
cessidade de estabelecer critérios e parâmetros nacionais comparáveis
num país de dimensões continentais e de diversidades evidentes.

A importância desse aspecto é inquestionável, posto que são os parâ­

metros (estabelecidos para cada indicador, simples ou variável) que
definem, em últim a instância, a avaliação do programa.

Os critérios de parametrização utilizados foram os seguintes;

• critérios estabelecidos pelos próprios programas;

• critérios definidos “tecnicamente”, como as normas técnicas estabe­
lecidas por associações técnicas (como a ABNT); os padrões interna­
cionais criados por entidades como a Organização Mundial da Saúde;
normas criadas pela legislação;
• critérios comparativos, como os estabelecidos na relação com outros
países e os definidos na relação custo/beneficio, confrontados com
outras possibilidades de investimento correlato;
• critérios empíricos ou estatísticos, como os endógenos ou os estabe­
lecidos por padrões estatísticos, correlações etc.;
• critérios subjetivos definidos pela opinião dos moradores, técnicos ou
mesmo pelo bom senso.
São inúmeros os problemas advindos da utilização desses critérios,
mesmo quando eles são estabelecidos por instituições técnicas irrefu­
táveis. Muitas vezes, esses padrões definidos em nível internacional são
facilmente questionáveis, estando em desacordo com as condições na­
cionais; critérios técnicos irrefutáveis não são facilmente adaptáveis à
grande diversidade regional presente no país. No entanto, esses ainda
são problemas relativamente simples de serem enfrentados. Uma ques­
tão ainda m ais complexa é a referente aos indicadores que não têm ne­
nhum critério pré-estabelecido, exigindo uma definição da própria m e­
todologia de avaliação. 0 caráter inovador da proposta, incluindo m u i­
tos indicadores e até mesmo aspectos que jam ais foram objeto de avalia­
ção, tomou essa tarefa muito difícil. Ao mesmo tempo abriu, como já foi
afirmado, novas frentes de pesquisas, que talvez possam, brevemente, ser
objeto de estudos específicos, que permitam aprofundar a análise de pa­
râmetros para os indicadores criados por essa metodologia.

A definição de parâmetros para indicadores é um processo complexo,

que pode demandar longos períodos de pesquisa específica, o que não
é compatível com a formulação de uma metodologia geral de avaliação
tal qual a desenvolvida neste trabalho. Espera-se que, gradativamente,
essa metodologia possa ser aperfeiçoada incorporando novos referen­
ciais que venham a ser desenvolvidos, num processo contínuo de apri­
moramento metodológico.

ASPECTO S E INDICADORES A SEREM AVALIADOS,

CONCEITUAÇÃO E VALORES

Tomando-se por base as dimensões de avaliação estabelecidas in ic ia l­

mente (processo, produto e impacto), foram estabelecidos, após um
longo processo de elaboração e discussão, os sete aspectos a serem ava­
liados em cada programas/modalidade, apresentados no quadro a seguir.
Esses aspectos, como foi visto no item anterior, permitem a m áxima
agregação de indicadores, recebendo uma nota própria que identifica a
situação do programa em relação a cada um deles. Isso possibilita — se
a avaliação for executada a cada dois anos, como se propõe — a elabo­
ração de séries históricas de avaliação de cada um dos sete aspectos,
verificando-se em que medida as iniciativas tomadas pelos órgãos res­
ponsáveis pela formulação e implementação desses programas estão
gerando os efeitos previstos.

Para cada um dos aspectos foram definidos os valores a serem conside­

rados na avaliação, de essencial importância uma vez que foram eles
que determinaram não só a definição final dos indicadores como os
critérios de parametrização que orientaram sua construção e, em con­
seqüência, sua nota. Embora, por vezes, os valores apresentados possam
parecer óbvios, sua explicitação é fundamental em qualquer processo
objetivo de avaliação, permitindo identificar com clareza os princípios
que orientaram a formulação da metodologia e a definição da parame­
trização, elementos básicos ao se avaliar.

A seguir, são apresentados os aspectos gerais e os valores correspon­

dentes:

Aspecto Valores
Economicidade Sustentabiiidade econômico-financeira.
Eficiência. Melboria da relação
custo/benefício.
Procedimento de gestão Agilidade. Eficácia. Satisfação do
usuário. Participação. Descentralização.
Transparência.
Produto Qualidade. Conforto. Racionalidade.
Sustentabiiidade. Satisfação do usuário.
Impacto nas condições Melboria na qualidade de vida, respeito
de vida dos moradores aos direitos sociais e à cidadania e
participação.
Impacto na cidade e no ambiente Integração e compatibilidade com
diretrizes urbanas. Sustentabiiidade.
Melboria do entorno.
Atendimento às necessidades Abrangência. Distributivismo. Eficácia.
Desempenho.
Impacto macroeconômico Geração de emprego e renda.
A s definições de cada um destes aspectos, assim como dos indicadores
e indicadores simples que os compõem, serão apresentados a seguir. O
quadro também procura sintetizar a estrutura geral de avaliação.

E c o n o m ic id a d e

O aspecto Economicidade é entendido como a capacidade dos programas

em gerar, m obilizar e gerenciar os recursos aplicados em operações de
crédito, garantindo seu retomo de forma adequada. Os valores que
orientam a avaliação desse item são: sustentabiiidade econômico-
financeira, capacidade de agregação de recursos, efetividade dos recur­
sos investidos e distributivismo.

Esse aspecto é composto pelos seguintes indicadores: soluência finan­

ceira; recursos complementares; efetividade dos recursos inuestidos.

O indicador soluência financeira busca verificar a real capacidade de l i­

quidez na administração econômica dos contratos firmados com os
mutuários, poder público, pessoa física ou jurídica. 0 indicador recursos
complementares trata da capacidade de agregar recursos imobilizados e
viabilizados pelo financiamento do programa. Baseia-se no princípio de
que a possibilidade de agregar recursos das mais diversas fontes é ele­
mento fundamental, pois otimiza o investimento, questão que se destaca
ante a escassez de recursos disponíveis para investimentos em progra­
mas de habitação e saneamento. Foi utilizado como critério principal
na parametrização do indicador a eficiência em conseguir maiores con­
trapartidas, além da m ínim a estabelecida na resolução. 0 universo de
análise são os contratos da amostra.

O terceiro indicador de Economicidade, efetividade dos recursos inuestidos,

é 0 único que utiliza a avaliação de um outro aspecto como indicador
simples, ou seja, é composto pelo aspecto Produto e pelo indicador sim ­
ples valor médio por família atendida. Busca aferir a relação entre o valor
médio de investimento por família atendida e a avaliação dos produtos
gerados. O valor médio de investimento é endógeno, construído com base
nos empreendimentos da amostra selecionados.
A construção desse indicador baseou-se em Cohen & Franco (1993), no
que se refere à analise custo-efetividade, considerada mais adequada
aos impactos dos projetos sociais. Essa análise compara benefícios e
custos de um projeto, condiciona a sua aceitação ao fato dos benefícios
superarem os custos e incorpora o fato de que os benefícios dos progra­
mas sociais não se expressam necessariamente em moeda, colocando
a comparação entre custos, a relação custos/benefícios, bem como os
produtos e impactos resultantes.

Considerando-se a escassez de recursos disponíveis e a dimensão das de­

mandas existentes, optou-se por valorizar o princípio de sua racionaliza­
ção e otimização, ou seja, valorizar a busca de redução nos custos prati­
cados, mantendo como valor, neste indicador, o distributivismo dos recur­
sos relacionado com a qualidade do produto constmído ou obtido.

P ro c e d im e n to s d e g e s tã o

Na avaliação do aspecto procedimentos de gestão procurou-se aferir se os

propósitos, as estratégias e a execução do programa estão sendo reali­
zados de acordo com as metas estabelecidas. Trata-se de verificar a
adequação entre meios e fms, com a utilização de critérios de eficácia
e agilidade.

A valiar a gestão de um programa, no âmbito de uma política pública,

im plica deter-se em uma dimensão específica da montagem da políti­
ca avaliada, ou seja, im plica focalizar “o processo”, como o definiu
Figueiredo & Figueiredo. Para esses autores, avaliar o processo é aferir
se os propósitos, estratégias e execução do programa estão sendo rea­
lizados segundo os propósitos pré-definidos.

Os indicadores que compõe este aspecto são: desempenho operacional;

participação e gestão do empreendimento e contrato; Instância Colegiada.

Na análise do desempenho operacional, foi empregado o conceito de eficácia

funcional, em que se verifica a adequação dos meios aos fins previstos. Os
critérios dos parâmetros adotados foram endógenos, isto é, foi levada
em conta a situação presente hoje nesses programas, embora tenha
sido levantada a importância de estudos comparativos para a definição
de parâmetros mais precisos. Foram utilizados valores como a agilidade
na tramitação, cumprimento de prazos e tempo das obras. Desse modo,
procurou-se avaliar os resultados quantitativos e financeiros e a capa­
cidade dos programas em atender ao universo dos proponentes.

Além desses valores, foram incorporados critérios qualitativos, expres­

sos no indicador participação e gestâo do empreendimento e contrato, que
verifica a satisfação do usuário e sua participação no processo de ges­
tão, devendo esta ser considerada apenas nos programas cujos objeti­
vos a incluam . Os direitos do consumidor, valor de extrema relevância
na atualidade, foram também incluídos na avaliação dos modelos de
gestão dos programas, compondo este indicador.

A incorporação de critérios valorativos — como satisfação do usuário,

sua participação na gestão e os direitos do consumidor na avaliação dos
procedimentos de gestão — introduz uma dimensão qualitativa e abre
um viés analítico para que sejam questionados os fms estabelecidos, sem
que se fique limitado à verificação da adequação dos meios a eles.

Com base nessa conceituação, definiram-se os indicadores que medem

se a estrutura montada pelo programa é eficaz, se é capaz de gerar
resultados pretendidos e como o faz, isto é, qual o modelo adotado para
se chegar aos objetivos, procurando-se responder a duas questões:
O programa é capaz de gerar resultados compatíveis com a disponibi­
lidade do FGTS para contratações? Qual o modelo adotado para isso:
centralizador ou participativo, democrático ou ditatorial, impõe regras
ou valoriza a relação com o usuário/cliente?

Para responder a essas duas questões, foram montados os indicadores:

desempenho operacional, participação, gestão do empreendimento e exercício do
direito do consumidor, que valem para todos os programas; avaliação da
Instância Colegiada, que se restringe aos programas destinados ao setor
público, ou seja, Pró-Moradia e Pró-Saneamento.
o indicador desempenho operacional avalia a capacidade da instituição para
responder, de forma ágil e eficaz, às necessidades dos usuários. Considera-
se que, desta forma, o potencial de utilização dos recursos é maximizado
e que, além disso, minimiza-se o dispêndio de energia necessária para que
os pretendentes ao financiamento possam alcançar seus objetivos.

Pelo indicador participação, gestão do empreendimento e exercício do direito

do consumidor busca-se observar os principais elementos que identifi­
cam 0 modelo de gestão, adotado para os diferentes programas. Não há
um único modelo de gestão na medida em que existem várias linhas de
ação (programas), com o objetivo de atingir diferentes públicos e abar­
car uma ampla parcela da demanda por habitações.

Esse indicador contempla a questão da participação, seja na concepção

do projeto, seja na gestão do empreendimento e na dinâmica das rela­
ções compactuadas entre agente financeiro e usuário, que garantem
seus direitos como consumidores. Com essas questões, abrangem-se
três momentos distintos de uma política habitacional no que e refere
às relações entre beneficiário e agente promotor: o antes, por meio de
questões relacionadas à definição do projeto, quem participou e quem
decidiu 0 quê; o durante, sobre como se deu a fase de tramitação (com
acompanhamento ou sem) e de obras (com trabalho ou não, com acom­
panhamento ou não); e, por fim, o após contrato, quando o beneficiário
se transforma em mutuário e cliente.

Apesar das várias conotações que a questão da participação tem tido

desde os anos sessenta, neste caso, no âmbito da avaliação de gestão,
participação refere-se à possibilidade de controle e acompanhamento
de todo 0 processo por parte do futuro morador e à interferência na
definição das principais caracteristicas de sua unidade habitacional.

Nos programas em que a participação não faz parte dos objetivos, essa
questão não será avaliada, por mais que esse conceito goze hoje de um
certo consenso quanto à sua importância. Inclui-se, nesse caso, por
exemplo, os programas Carta de Crédito Individual, cujo objetivo é abrir
uma linha de crédito para aquisição de um imóvel produzido pelo m er­
cado ou então adquirir materiais de construção a serem utilizados pelo
próprio morador. É também o caso do programa Apoio à Produção, des­
tinado à empresa construtora. Nesses casos, não é possível avaliar a
participação, pois os próprios programas não propõem tal prática. O
mesmo se coloca em relação à avaliação do trabalho social, que somen­
te é requerido no Pró-Moradia e na modalidade Pró-Sanear.

Por fim, a avaliação do exercício do direito do consumidor coloca, para cada

programa, a necessidade de regras claras, de compromissos que devem
ser respondidos por ambas as partes, de respeito pelo usuário. Essa pos­
tura im plica um novo comportamento por parte dos promotores dos
empreendimentos e dos gestores dos programas: im plica garantir infor­
mações corretas, transparência nas relações com o usuário, na capaci­
dade de propor alternativas e na responsabilidade quanto à produção
de um bem de qualidade.

O indicador referente à avaliação da Instância Colegiada relaciona-se

com a necessidade de se verificar em que medida a seleção entre os vá­
rios candidatos aos recursos é realizada de forma transparente, democrá­
tica, uma das principais questões pertinentes à gestão dos programas.

Nos programas destinados ao setor público, essa seleção se dá de forma

descentralizada, por intermédio da Instância Colegiada, conselho esta­
dual presidido pelo governador e com representantes dos municípios,
agrupados segundo categorias, e membros da sociedade civil. Entende-
se que a participação colegiada é positiva e que a maior pluralidade e
representação de seus membros permitiriam uma melhor adequação
entre as decisões tomadas e as necessidades da comunidade-alvo.

Produto

O Produto é o resultado concreto e palpável dos programas habitacio­

nais, necessitam ser avaliados com base em de alguns valores que ex­
cedam a sua simples construção. Nesse sentido, os indicadores que
compõem a avaliação desse aspecto — habitabilidade (urbana e da u n i­
dade habitacional), espacialidade e constmtibilidade, além da satisfação do
usuário — agregam as dimensões valorativas da qualidade do projeto e
da obra, em termos arquitetônico-urbanísticos, do conforto da moradia,
da sustentabiiidade das soluções técnicas, da racionalidade construtiva
que 0 produto manifesta, além de sua inserção urbana e ambiental.

O indicador referente à habitabilidade da unidade habitacional diz respeito

ao conjunto de aspectos que interferem na qualidade de vida e comodi­
dade dos moradores, bem como na satisfação de suas necessidades físicas,
psicológicas e sociais. Os conceitos mobilizados foram: conforto ambi­
ental luminoso (nível de iluminância e fator de luz diurna), conforto am ­
biental térmico (transmitância térmica, atraso térmico e fator de calor
solar), conforto ambiental acústico (nível de isolamento sonoro), segu­
rança do usuário (estrutural e relativa a incêndios, acidentes atmosféricos
e utilização) e salubridade, aqui se incluindo estanqueidade (a gases e
líquidos), higiene e condições atmosféricas. Em relação aos conceitos de
conforto ambiental, deverão ser cruzados os dados objetivos levantados
com a percepção do usuário.

O indicador habitabilidade urbana parte do pressuposto de que moradia

é entendida em seu sentido amplo, conjugando-se ao direito à cidade.
Essa avaliação deve verificar em que medida a habitação responde a uma
preocupação dessa ordem, de estar inserida na malha urbana, baseada
em sua relação com a rede de infra-estrutura e a possibilidade de aces­
so aos equipamentos públicos. Soma-se a isso o estudo da implantação
urbana dos empreendimentos, mediante análise da acessibilidade físi­
ca, das barreiras arquitetônicas e das patologias e problemas construti­
vos que podem se manifestar no conjunto do empreendimento.

Quanto à espacialidade — em que são analisados os aspectos que deter­

m inam a configuração físico-espacial de um edifício ou assentamento
habitacional, da infra-estrutura e dos equipamentos e mobiliário urba­
nos —, os conceitos empregados foram: implantação do edifício, diver­
sidade tipológica, acessibilidade arquitetônica (ao edifício e do edifício),
ergonometria e atendimento à legislação vigente. Nesse item, os aspectos
estéticos, que deveriam aqui ser considerados, revelaram-se de difícil
apreensão nos levantamentos de campo realizados a título experimen­
tal e, portanto, também difíceis de serem considerados de modo mais
aprofundado na metodologia de avaliação, tendo-se em vista que se
trata de fatores marcados por forte subjetividade (gosto e preferências
pessoais e culturais, padrões da moda etc.).

A construtibilidade refere-se ao conjunto dos aspectos construtivos de um

edifício ou assentamento habitacional, da infra-estrutura, equipamentos
e mobiliário urbanos, que garantem sua viabilidade, dos pontos de vista
tecnológico, ambiental e econômico-financeiro. Refere-se tanto às quali­
dades técnico-construtivas do edifício ou assentamento habitacional
quanto à consideração de práticas socioculturais locais ou regionais.

Os conceitos aqui empregados foram os de tipologias construtivas, em

que se verifica o tipo de sistema construtivo adotado, isto é, seu estágio
tecnológico (artesanal, tradicional, racionalizado, pré-fabricado e
industrializado), para cada subsistema construtivo (fundação, estrutu­
ra, vedações, cobertura, instalações hidráulicas, sanitárias e elétricas);
racionalização do produto, que inclui modulação, padronização, nor-
matização e flexibilidade; o conceito de durabilidade, abrangendo esta­
do de conservação e vida útil dos subsistemas; o conceito de respeito às
práticas socioculturais locais ou regionais, em que são avaliados a dis­
ponibilidade de materiais locais, a utilização de materiais regionais, as
peculiaridades da mão-de-obra e o grau de dependência tecnológica; o
conceito de eficiência técnico-econômica, dado pela relação entre o
custo de construção da unidade e o valor do financiamento, e pela pro­
dutividade, isto é, 0 número de unidades por valor de financiamento.

O último indicador deste aspecto é a avaliação da moradia pelo usuá­

rio, que permite um contraponto à avaliação técnica, que predomina
nos demais indicadores. Sabe-se que a avaliação do usuário apresenta
um alto grau de subjetividade e se altera ao longo do tempo, segundo
fatores muitas vezes totalmente independentes do objeto avaliado. Ape­
sar disso, é de grande importância considerar a opinião dos moradores;
sendo um indicador, permite tanto uma leitura isolada como agregada
com os demais indicadores técnicos, gerando a nota global de Produto.

Im p a c to n a s co n d içõ es d e v id a d o s m o r a d o r e s

A avaliação no campo social objetiva apreender os múltiplos efeitos e

a produção de impactos imediatos e mediatos na vida dos cidadãos.
0 objetivo é 0 de aferir mudanças na qualidade de vida da população
envolvida em determinado programa ou ação pública.

Condições de vida da população é uma expressão ampla que abarca todos

os aspectos da vida social de um grupo, em um determinado contexto
histórico, político, econômico e cultural. 0 conceito está intimamente
ligado, por um lado, a uma visão de qualidade de vida e, por outro, à
identificação de necessidades sociais e indicadores de pobreza. Tem sido
utilizado em pesquisas e estudos como uma categoria genérica, que
deve ser qualificada de acordo com o objeto e o objetivo do trabalho a
ser realizado. Significa que é fundamental definir um determinado re­
corte, de acordo com o estabelecido no projeto de avaliação.

Nesta metodologia. Impacto nas condições de vida dos moradores é enten­

dido como as mudanças geradas pelos programas de habitação e sanea­
mento nas condições de vida dos beneficiários, tanto no que se refere à
situação posterior à implantação do empreendimento como na compa­
ração com a situação anterior. Envolve indicadores de mudança nas
condições de moradia, na obtenção da propriedade e estabilização da
posse, nos gastos com moradia e nas condições de sociabilidade, parti­
cipação e organização do grupo social beneficiado pelos programas de
aplicação dos recursos do FGTS.

Os valores que servem de referência para a avaliação deste aspecto são:

melhoria na qualidade de vida; respeito aos direitos sociais e à cidadania;
participação.

O principal desses valores, que norteia a construção da maior parte dos

indicadores de impacto nas condições de vida dos moradores, é a me­
lhoria na qualidade de vida, entendida como um conjunto de aspectos
que indicam mudanças qualitativas no cotidiano de vida da população,
dentro de um determinado contexto histórico, político, econômico e cul­
tural. Assim, é de fundamental importância obter dados sobre a situação
anterior ao empreendimento, ou seja, ter a informação de quais eram
as condições de vida antes da implantação dos programas habitacio­
nais e de saneamento, para que se possa comparar e aferir os impactos.

O conceito de qualidade de vida envolve dois elementos: a qualidade

propriamente dita das condições de vida do homem e do meio ambiente;
a democratização dos acessos ao usufruto dos serviços sociais produ­
zidos pela sociedade. Significa a possibilidade de desenvolvimento de
um ambiente saudável, participativo e ecologicamente sustentável; bem
como de construção da cidadania, como extensão e consolidação de
direitos sociais.

Neste sentido, consideram-se como Impacto ms condições de vida dos mora­

dores as mudanças que ocorrem após a implantação dos programas no
que se refere a condições de moradia, estatuto de propriedade do imóvel,
condições socioeconômicas das famüias e mudanças na sociabilidade,
participação e organização do grupo social envolvido na intervenção.
Busca-se detectar as modificações significativas, positivas ou negativas,
geradas neste conjunto de aspectos por determinado empreendimento
habitacional e de saneamento, com base na comparação do que se con­
vencionou chamar de antes e depois (A/D) do programa ou ação pública.

A proposta metodológica de avaliação de impacto busca analisar as alte­

rações de uma situação anterior em relação a uma posterior, como também
detectar mudanças ocorridas posteriormente, mas que não necessaria­
mente podem ser comparadas com uma situação anterior. A comparação
dos dados de diferentes momentos possibilita apreciar os avanços e retro­
cessos no período considerado e verificar as mudanças ocorridas.

Observa-se que o conjunto de indicadores apresentados pode ou não se

aplicar a um determinado programa ou modalidade, dependendo de
suas características e especificidades.

©
o indicador mudanças nas condições de moradia parte da compreensão de
que 0 ato de morar não se encerra na casa utilizada, mas abrange o estar
na cidade, usufruindo os serviços que ela propicia na sua diversidade,
conformando no morador um sentimento de pertencimento, segurança
e cidadania. Neste sentido, o conceito envolve os aspectos que dizem
respeito diretamente à unidade habitacional e também os aspectos re­
lativos ao acesso à cidade.

Ressalte-se que o impacto nas condições de saúde do morador — cuja

avaliação direta foi excluída por dificuldades de levantamento dos dados
e de isolar o impacto gerado especificamente pelo programa daqueles
provocados por outras intervenções neste campo — pode ser verificado
indiretamente por meio deste indicador, particularmente no que se re­
fere a densidade de ocupação e conforto da unidade habitacional, ins­
talações sanitárias, abastecimento de água e esgotamento sanitário, ou
mesmo pelo acesso aos serviços de saúde, todos integrantes deste indi­
cador. Vários estudos demonstram que as condições de moradia e de
saneamento têm forte impacto nas condições de saúde dos moradores.

O indicador impacto da obtenção da propriedade e da posse refere-se à mudan­

ça da condição de propriedade e de posse, como na mudança da situação
de inquilino para proprietário ou na passagem da situação de irregulari­
dade para a regularidade (no caso de favelas/empreendimento).

O indicador mudança nos gastos mensais com moradia está diretamente

relacionado com as alterações nas condições socioeconômicas no que
diz respeito à composição da renda fam iliar e às possibilidades de sus­
tentação financeira da família. A mudança nos gastos mensais com
moradia expressa-se pela variação no gasto mensal com prestação ou
aluguel do imóvel, tarifas e taxas de água e esgoto, energia elétrica,
condomínio, IPTU e a variação do percentual da renda fam iliar referen­
te ao gasto com moradia.

O indicador condições de sociabilidade, participação e organização refere-se

às diversas formas de relação social estabelecida entre os moradores de
determinada localidade, seja internamente ao conjunto, seja na vizi­
nhança do entorno, que possibilitam o desenvolvimento pessoal, fam i­
liar e do grupo social e que garantem a sustentabiiidade social do em ­
preendimento em questão.

Cabe destacar que, especificamente, a avaliação referente a mudanças

na participação e organização aplica-se nas modalidades dos progra­
mas habitacionais e de saneamento que envolvem um grupo de popu­
lação e/ou que colocam a exigência de um projeto social, como é o caso
do Pró-Sanear, Pró-Moradia, Carta de Crédito Associativa. No caso do
Programa Apoio à Produção, Carta de Crédito Individual e demais mo­
dalidades do Pró-Saneamento, este indicador não têm aplicabilidade,
dada a natureza das ações implementadas.

O indicador aualiação do morador sobre suas condições de uida busca captar

a avaliação subjetiva do morador sobre suas condições de vida, nos as­
pectos relativos a relações familiares, relações de vizinhança, condições
de saúde, condições de acesso ao trabalho e condições de segurança.
Esta avaliação se dá pela comparação da situação anterior com a atual,
para cada aspecto, identificando-se a percepção do morador quanto à
melhora, piora ou manutenção da situação anterior.

Im p a c to n a c id a d e e n o a m b ie n te

Neste aspecto, são avaliadas as mudanças relativas às condições urba­

nísticas, à dinâmica imobiliária e à qualidade ambiental. Trata-se de uma
avaliação de impacto ex post, realizada após a ocupação do empreendi­
mento habitacional pelos mutuários, no seu entorno.

São considerados os valores que dizem respeito às melhorias de inte­

resse coletivo no entorno, à sustentabiiidade ambiental e à adequação
a diretrizes de política urbana e ambiental. Para tanto, foram utilizados
os seguintes conceitos: impacto urbanístico, em que se considera a localiza­
ção do empreendimento em relação às diretrizes e normas de ocupação
urbana, estabelecidas pela administração municipal, e à disponibilidade
de infra-estrutura e serviços urbanos no entorno; geração de inuestimento
público no entorno, em que se verifica a melhoria das condições de infra­
estrutura e de serviços urbanos decorrentes da implantação do empre­
endimento; mudanças na dinâmica imobiliária do entorno, incluindo-se aí a
valorização dos imóveis e a indução de novos empreendimentos im o­
biliários; interferência nas condições ambientais, que leva em conta a ade­
quação à legislação ambiental vigente e a alteração das condições dos
corpos d’água e de saneamento.

Para relacionar a avaliaçâo de impacto na cidade e no ambiente às di­

ferentes situações urbanas em que se implantam os empreendimentos
habitacionais, utiliza-se o conceito de potencial de impacto, dado pela
relação entre o porte do empreendimento (população moradora ou nú­
mero de unidades) e a população urbana do município onde este se
localiza, bem como pela disparidade entre o padrão do empreendimen­
to e o padrão das edificações do entorno.

Os indicadores que foram utilizados para avaliar este aspecto são: atendi­
mento à legislação; geração de inuestimento; mudança na dinâmica imobiliária no
entorno; interferência nas condições ambientais do entorno; potencial de impacto.

O indicador atendimento à legislação avalia a localização do empreendi­

mento em relação às diretrizes e normas de ocupação urbana, estabele­
cidas pela administração municipal e estadual, assim como em relação
à disponibilidade de infra-estrutura e serviços urbanos.

No caso do Programa Pró-Moradia, para as modalidades que impliquem

remoção de população de áreas impróprias para ocupação (áreas de
risco, de proteção a mananciais, não previstas para ocupação urbana)
acrescenta-se, à avaliação de impacto urbanístico, a porcentagem da
população removida em relação ao total da demanda a ser removida da
área de origem da população beneficiária do empreendimento. Esse
total deverá considerar a população removida para outros empreendi­
mentos, sempre que o empreendimento em processo de avaliação não
previr a remoção da totalidade da população da área de origem.

O indicador geração àe inuestimento avalia os investimentos públicos de­

correntes da implantação do empreendimento em relação ao padrão de
urbanização do entorno, que é caracterizado pelas condições de infra­
estrutura, de equipamentos urbanos, de acessibilidade, do tratamento
dos espaços públicos e pela disponibilidade de comércio e serviços.

O indicador mudança na dinâmica imobiliária no entorno avalia a variação

ocorrida na procura, na venda e no preço dos imóveis nas proximidades
do empreendimento, além da atração de novos empreendimentos im o­
biliários após sua implantação.

O indicador interferência nas condições ambientais do entorno avalia a loca­

lização do empreendimento em relação ao estabelecido na legislação
ambiental e as mudanças ocorridas nas condições do solo, dos corpos
d’âgua e de saneamento do entorno, após sua implantação.

O indicador potencial de impacto visa dar parâmetros à avaliação de im ­

pacto na cidade e no ambiente, em razão das diferentes situações urba­
nas em que se inserem os empreendimentos financiados. A definição
da m aior ou da menor possibilidade de mudanças serem geradas por
um empreendimento em seu entorno é estabelecida com base no porte
e no padrão do empreendimento em relação à sua localização.

A te n d im e n to à s n e c e s s id a d e s h a b ita c io n a is

Nesse aspecto geral, pretende-se avaliar a capacidade dos programas

em atender ao perfil da demanda, constituída pelas fam ílias com ne­
cessidade de moradias e de saneamento básico. Com este objetivo,
espera-se estabelecer relações entre os resultados alcançados pelos
programas e as diferentes categorias de demanda que podem ser iden­
tificadas e agregadas. Nessa perspectiva, os indicadores que compõem
esse aspecto são: consecução das metas físicas; atendimento ao perfil do dé­
ficit; atendimento às solicitações e permanência das famüias atendidas.

A mais ampla categoria de demanda que pode ser definida é aquela

representada pela quantificação do déficit de moradias e de sanea­
mento, que se manifesta de forma diferenciada segundo regiões do país
e faixas de renda. Esse aspecto — atendimento ao déficit ou mais pro-

©
priamente impacto no déficit — constitui o horizonte mais palpável a
ser perseguido pela Política de Habitação e de Saneamento. Ademais, o
déficit é um a das variáveis que compõem a equação para a distribuição
dos recursos entre as Unidades da Federação, devendo servir ainda como
baliza importante para avaliar os programas.

Entende-se que a avaliação do impacto produzido no déficit resultante

da produção de uma certa quantidade de unidades implementadas
pelo conjunto dos programas toma-se um dos principais indicadores de
desempenho da política. Considerou-se, no entanto, que não é objetivo
do FGTS atender ao conjunto do déficit, posto que se trata de um recurso
oneroso e que nâo responde exclusivamente pela política de habitação
e saneamento. Desse modo, optou-se por avaliar apenas em que medida
os programas atendem ao perfil do déficit, de acordo com as resoluções
do CCFGTS. Na perspectiva, este indicador é composto por dois indi­
cadores simples: atendimento ao perfil do déficit até três salários mínimos e
atendimento ao perfil do déficit até cinco salários mínimos.

Outro indicador que permite avaliar os resultados dos programas é a

consecução das metas estabelecidas para cada um deles. Estas quantifi­
cam, ano a ano e em um prazo mais extenso de tempo, os recursos e os
objetivos físicos que se pretende alcançar. Ao serem estabelecidas, di­
mensionam a contribuição que determinado programa pretende dar para
a eliminação do déficit. Obviamente, essa avaliação só seria possível se
anualmente fossem estabelecidas as metas orçamentárias e físicas, por
programa, o que se propõe que seja adotado.

A relação entre metas e resultados, aspecto usual de avaliação de

políticas públicas, coloca-se aqui como uma das análises sobre a capa­
cidade que os programas estabeleceram para atendimento das neces­
sidades da demanda. É, desta forma, um indicador de desempenho dos
programas, na medida em que estabelece um balanço entre as propos­
tas (metas) e a efetiva realização (resultados). Assim, o único indicador
simples relacionado com este indicador é a relação entre metas físicas e
resultados.
o indicador atendimento às solicitações permite apontar em que medida
a demanda propriamente dita do FGTS, que se identifica como a quan­
tidade de interessados em obter financiamento para um dos progra­
mas, é atendida pelo programa. Este conjunto da demanda não é aten­
dido em sua totalidade por vários motivos, entre os quais incapacidade
de responder aos quesitos técnicos exigidos, renda inadequada etc.; de
qualquer forma, a relação entre os resultados e demanda identificável
dos programas cria outro indicador de desempenho, complementar aos
demais. 0 indicador simples que compõe este indicador é a relação entre
solicitações e resultados.

O indicador permanência das famüias atendidas trata da mesma proble­

mática — atendimento às necessidades de habitação —, mas partindo
de um outro ponto de vista: em vez de avaliar a entrada nos programas,
busca veriflcar em que medida o programa tem sido capaz de evitar que
0 esforço de atender a uma fam ília se perca pela conhecida e intensa
rotatividade que atinge comumente as famílias beneficiadas por finan­
ciamentos habitacionais

I m p a c to m a c r o e c o n ô m ic o

A metodologia de avaliação do Impacto macroeconômico — que apresenta

grande especificidade em relação à avaliação dos demais aspectos — foi
desenvolvida procurando atender a dois objetivos complementares. Em
primeiro lugar, fornecer informações que fossem relevantes para as de­
cisões de alocação dos recursos do FGTS pelos seus gestores; em segundo
lugar, estimar as variações em agregados macroeconômicos que tivessem
relação com as condições de reprodução da classe trabalhadora.

A metodologia para avaliação do impacto macroeconômico foi dese­

nhada, portanto, para capturar, em primeiro lugar, o impacto que o in ­
vestimento realizado com os recursos do FGTS ocasiona no mercado de
trabalho. Atendia-se à condição de relevância para a classe trabalhadora,
quantificando-se um importante efeito que o investimento com mora-

©
dia e saneamento provoca. 0 segundo critério, a importância para as
decisões alocativas dos gestores dos recursos, foi contemplado ao se de­
senhar uma metodologia de quantificação do emprego gerado que
identificasse esse resultado por programa e por modalidade das aplica­
ções do FGTS.

A possibilidade de estimar o emprego por programa e modalidade permi­

te que se avaliem alternativas de composição dos investimentos, adicio­
nando-se uma nova dimensão à análise das metas e dos valores alocados.
Permite, também, que se quantifiquem, por agregação, o emprego asso­
ciado ao total de recursos aplicados e sua contribuição à criação e m anu­
tenção de postos de trabalho na economia como um todo. A metodologia
adotada possibilita, ainda, que se obtenha, como um subproduto relevan­
te, a estimativa da receita tributária associada às aplicações realizadas.

A natureza macroeconômica das modificações no mercado de trabalho

a serem mensuradas exige a utilização de metodologia capaz de captu­
rar, simultaneamente, a totalidade dos efeitos que ocorrem como con­
trapartida aos investimentos. Vale dizer, torna-se necessário quantifi­
car variações na utilização de todos os fatores de produção ocasionadas
por essa despesa exógena. A metodologia disponível mais adequada é,
consensualmente, a estimativa, mediante a utilização da matriz de insu-
mo produto, do emprego direto, indireto e induzido gerado. Quantificam-se,
assim, emprego e receita tributária originários das atividades diretas de
produção de habitações e programas de saneamento, da oferta adicional
de insumos e serviços dos equipamentos, bem como a demanda de bens
finais ocasionada pela elevação do valor adicionado total.

A utilização da matriz de insumo produto, para estimativa dos efeitos

diretos, indiretos e induzidos no mercado de trabalho, constitui meto­
dologia já consolidada, que vem sendo aplicada aos diversos setores da
economia brasileira.

Os cálculos das variações de emprego e receita tributária até agora dis­

poníveis na literatura, entretanto, referem-se sempre aos grandes setores
da economia brasileira, entre eles o setor da Gonstrução Civil. A de­
finição desse setor, segundo a classificação do IBGE, agrupa atividades
bastante distintas como, por exemplo, construção, reforma, ampliação,
reparo de edificações e montagem de estruturas, de pré-moldados, in ­
clusive plataformas flutuantes. Gomo conseqüência, os estimadores de
emprego e receita tributária obtidos para o setor resultam em um valor
representativo de um conjunto de atividades bastante diversas, com
tecnologia, relação capital-trabalho e produtos bastante diferenciados.
Devem diferir, portanto, dos multiplicadores associados ao conjunto de
produtos viabilizados pelos recursos do FGTS, edificação de habitações
populares e programas de saneamento.

Para atingir o objetivo do trabalho — fornecer estimadores de emprego

e receita tributária que sejam a contrapartida das atividades e produ­
tos viabilizados pelo FGTS —, foi desenvolvida uma metodologia de cál­
culo dessas variáveis, utilizando-se a matriz de insumo produto elabo­
rada pelo IBGE e os protótipos dos produtos de cada programa: Pró-
Moradia, Garta de Grédito Individual, Garta de Grédito Associativa, Apoio
à Produção e Pró-Saneaments, em suas diferentes modalidade.

Entende-se por protótipo os produtos representativos de cada uma das

modalidades dos cinco programas do FGTS; sua concepção é traduzida
pela descrição da quantidade e da qualidade dos fatores de produção e
insumos utilizados para sua obtenção, pressupondo, portanto, tecnolo­
gia dada e constante. As unidades-padrão são obtidas aplicando-se o
vetor de preços de mercado dos insumos e os fatores a cada protótipo,
gerando-se, assim, os orçamentos de produção. Para cada uma das mo­
dalidades dos programas existentes será definida, desta forma, uma ou
mais unidades-padrão, representando os produtos financiados sob estas
rubricas. Definem, no seu conjunto, um setor de atividades produtivas,
específico e restrito aos programas do FGTS.

A matriz de insumo produto constitui uma extensão da teoria da inter-

dependência das atividades e decisões econômicas, representando a
economia como um todo. Uma matriz de insumo produto-padrão con­
tém colunas e linhas dispostas em forma de um tabuleiro de xadrez.
em que cada linha e respectiva coluna representa um particular setor
de atividade: indústria automobilística, têxtil, gráfica, construção civil
e todos os demais. Com base nesta representação, é possível obter os
coeficientes técnicos de produção de cada setor, bem como a interde­
pendência entre todos os setores da economia.

Buscando-se na matriz de insumo produto, elaborada pelo IBGE com os

dados das Contas Nacionais, obtêm-se os multiplicadores de emprego e
receita tributária. A matriz para o Brasil tem, como linhas e colunas, os
setores de atividade também definidos pelo IBGE, em que o setor de
Construção Civil tem o caráter abrangente já mencionado anterior­
mente. Cada um dos setores pode ser desagregado em um conjunto de
produtos a ele associado.
A s unidades-padrão permitem definir um novo setor de atividade, de­
finido como 0 conjunto de produtos utilizados para a obtenção das edi­
ficações e programas de saneamento do FGTS. Como conseqüência, são
obtidos os coeficientes técnicos para esses produtos e sua inter-relação
com todos os demais setores da economia. Podem-se, desta maneira,
estimar de forma precisa os multiplicadores de emprego e receita tribu­
tária associados às unidades-padrão, evitando-se os desvios das quan­
tificações obtidas mediante os multiplicadores da Construção Civil.

Os multiplicadores, quantificam, portanto, o emprego e a receita tribu­

tária que a produção de cada uma das unidades-padrão irá provocar.
São números que se mantêm inalterados enquanto são julgadas vá li­
das as duas hipóteses centrais na definição da metodologia: tecnologia
utilizada na construção dos produtos inalterada e representatividade
do universo de produtos pelas unidades-padrão.
O emprego efetivamente gerado pelas aplicações realizadas pelo FGTS
consiste no produto dos multiplicadores das unidades-padrão pelo
total de recursos alocado em cada uma das modalidades. 0 somatório
do emprego gerado pelas modalidades de cada programa representa o
emprego e a receita tributária associados a cada um deles, que, agrega­
dos, representarn o emprego e receita tributária gerados pelo total das
aplicações do FGTS.
IN S T R U M E N T O S D E C O L E T A D A S IN F O R M A Ç Õ E S

Os instrumentos de coleta dos dados necessários para a implementação

desta metodologia são conseqüência da sua concepção geral, ou seja,
dos aspectos e dos indicadores que se pretende avaliar. Para obter as
variáveis necessárias para a construção dos indicadores, foram criados
diferentes tipos de instrumentos de coleta, adotando-se vários métodos
de pesquisa: pesquisa documental, pesquisa de campo, entrevistas em
profundidade, questionários, vistorias, registro fotográfico etc.

Esses instrumentos são a porta de entrada de qualquer informação que

será processada na avaliação. Cada uma das informações coletadas nos
instrumentos, chamadas de variáveis, recebe um código, constituindo-
se a base de dados que alimenta o sistema informatizado responsável
pela geração da avaliação.

Os instrumentos utilizados são os seguintes:

• Solicitação aos Bancos de Dados da Caixa (BD). Este instrumento sis­

tematiza a solicitação do conjunto de informações pertencentes aos
sistemas da Caixa, que são necessárias para implementar a metodo­
logia. Essas variáveis são utilizadas para a definição da amostra, em
vários aspectos, como economicidade, procedimentos de gestão e impacto
macroeconômico.

• Questionário de Tramitação (QT). Este questionário, aplicado aos so-

licitantes do financiamento, garante informações básicas para a ava­
liação dos aspectos procedimentos de gestão.

• Instrumento de Solicitação ao Conselho Curador. Este instrumento

é bastante simples; objetiva registrar os dados relativos às metas es­
tabelecidas pelo CCFGTS, necessárias para o aspecto atendimento às
necessidades de habitação e saneamento.

• Questionários ao Secretário-executivo e a Membros da Instância

Colegiada (QI). Tais questionários são resultado de entrevistas abertas

©
 dirigidas aos membros das instâncias colegiadas e objetivam a avalia­
ção deste indicador, que compõe o aspecto procedimentos de gestão.

• Ficha de Leitura de Processo e Projeto (FP). Esta ficha é preenchida

no Escritório de Negócios da Caixa, tendo como fonte básica de infor­
mações 0 processo. Seus objetivos são, por um lado, sistematizar in ­
formações relativas ao contrato e ao empreendimento necessárias
aos aspectos procedimentos de gestão e economicidade e, por outro, sobre
o projeto, gerando variáveis necessárias para a avaliação de indi­
cadores de produto.

• Ficha de Observação da Unidade (FU). Esta ficha, preenchida por vis­

toria em campo, permite levantar dados relativos à unidade habita­
cional, visando à avaliação de indicadores de produto, em todos os
programas habitacionais.

• Ficha de Observação das Áreas Coletivas (FC). Esta ficha, preenchida

por vistoria em campo, permite levantar dados relativos às áreas co­
letivas dos empreendimentos, visando à avaliação de indicadores de
produto nos programas habitacionais coletivos.

• Ficha de Observação das Áreas Urbanizadas (FA). Esta ficha, preen­

chida por vistoria em campo, permite levantar dados relativos às áreas
urbanizadas, visando à avaliação de indicadores de produto no progra­
ma Pró-moradia, modalidade Urbanização de Áreas.

• Ficha de Observação do Entorno (FE). Esta ficha, preenchida por vis­

toria em campo no entorno do empreendimento, gera as informações
necessárias para a avaliação de impacto na cidade e no ambiente.

• Questionário com Im obiliárias (Qlm). Este questionário objetiva le­

vantar informações das imobiliárias sobre as transformações geradas
pelo empreendimento no processo imobiliário, indicador do aspecto
impacto nas condições de uida.

• Questionário com o Beneficiário Final (QB). 0 questionário com o

morador é um instrumento de pesquisa de campo tradicional, sendo
 0 mais extenso de toda a metodologia. Seu principal objetivo é cole­
tar os dados para a avaliação do impacto nas condições de uida, gerando
informações sobre as mudanças ocorridas entre a situação anterior e
posterior à implantação do empreendimento. 0 QB também é utiliza­
do para avaliar alguns dos indicadores do aspecto produto, como sa­
tisfação do usuário (na sua totalidade), habitabilidade urbana e habi­
tabilidade da unidade habitacional (em algumas de suas partes), e tam ­
bém alguns indicadores de procedimentos de gestão e atendimento às ne­
cessidades habitacionais.

CONCLUSÃO

Os programas públicos de habitação não têm sido avaliados de modo

objetivo no Brasil. Embora envolvam, de uma maneira geral, investi­
mentos significativos, até o rnomento não se desenvolveram metodolo­
gias sistemáticas e abrangentes capazes de avaliar esses programas,
inexistindo uma cultura nos órgãos promotores e financiadores que dê
prioridade à avaliação como um instrumento de aperfeiçoamento de
suas políticas. Isto é particularmente grave quando se considera que a
área da habitação é particularmente propícia à implantação de práti­
cas de caráter clientelista e assistencialista, em que critérios objetivos
de avaliação são desconsiderados.

Neste sentido, a criação de um sistema permanente de avaliação dos

programas de habitação financiados pelo FGTS — realizada por iniciati­
va do Conselho Curador do Fundo e com a participação de Caixa Econô­
m ica Federal (agente operador e financeiro do FGTS) e dos vários atores
representados no Conselho, como centrais sindicais e entidades empresa­
riais da área da construção civil — é de grande importância, podendo re­
presentar um ponto de inflexão e colaborar na formação de uma cultura
de avaliação do desempenho dos programas habitacionais no país.
NOTA
1 P r o je to r e s u lt a n t e da R e s o lu ç ã o 259 de c o le tiv o p o r u m a e q u ip e d e p e s q u is a d o re s
24,4.1997, ite m 1? d o C o n s e lh o C u r a d o r do do D e p a r ta m e n to d e A r q u it e t u r a e U r b a n is ­
F G T S , q u e g e ro u u m c o n tr a to fir m a d o e n tre m o d a E E S C - U S P e d e o u tr a s in s titu iç õ e s
a E s c o la d e E n g e n h a r ia d e S ã o C a r lo s da a c a d ê m ic a s . O s c o o rd e n a d o re s d a e q u ip e
U n iv e r s id a d e d e S ã o P a u lo , p o r in te r m é d io re s p o n s á v e l p e la m e to d o lo g ia d e a v a lia ç ã o
da F IP A I — Fundação de In c r e m e n t o à dos p r o g r a m a s h a b ita c io n a is s ã o os p r o fe s ­
P e s q u is a e A p e r f e iç o a m e n to In d u s t r ia l e a so res A n g e la A m a r a l, M ig u e l B u z z a r, R ic a r ­
C a ix a E c o n ô m ic a F e d e ra l, E s te tex to é u m a do M a r t u c c h i, R o s â n g e la Paz, R o s s e lla Ros-
s ín te s e d a m e to d o lo g ia fo r m u la d a d e m o d o setto. S a r a F e ld m a n e S ilv ia Sh or.
 PU C-SP — P o n tifíc ia U n iv e rs id a d e C a tó lic a d e S ã o P a u lo
R u a M o n te A le g re , 9 8 4 — P e rd iz e s
0 5 0 1 4 -0 0 1 — S ão P a u lo — SP
T elefo n e: (11) 3670 8000
Site: w w w .p u c s p .b r
R eitor: A n to n io C arlos C aruso R onca

lEE/PUC-SP — I n s titu to d e E s tu d o s E s p e c ia is d a
P o n tifíc ia U n iv e rs id a d e C a tó lic a d e S ã o P a u lo
R u a M in is tro Godoy, 1.213 — P e rd iz e s
0 5 0 1 5 -0 0 1 — S ão P a u lo — SP
T elefax : (11) 3871 4 4 2 9
E -m ail: ie e @ p u c sp .b r
D iretora: M a ria n g ela Belfiore W anderley

C enpec C e n tro d e E s tu d o s e P e s q u is a s e m
E d u c a ç ã o , C u ltu ra e A ç ã o C o m u n itá ria
R u a D a n te C a rra ro , 68 — P in h e iro s
0 5 4 2 2 -0 6 0 — S ão P a u lo — SP
T elefax : (11) 3816 0666
Site: w w w .c e n p e c .o rg .b r
E -m ail: in fo @ c e n p e c.o rg .b r
D iretora-Presidente; M aria Alice Setubal
C oordenadora Geral: M a ria do C arm o B ra n t de C arualho
O s te x to s a q u i a p re s e n ta d o s s ã o f r u t o d o

S e m in á r i o d e A v a lia ç ã o d e P o lític a s P ú b lic a s

e P r o g r a m a s S o c i a is , r e a l i z a d o e m 2 0 0 0 ,

e m S ã o P a u lo , p r o m o v i d o c o n j u n t a m e n t e p e l o

lE E /P U C - S P — I n s t i t u t o d e E s t u d o s E s p e c ia is d a

P o n t i f í c i a U n i v e r s i d a d e C a t ó l ic a d e S ã o P a u lo , p e l o

C e n p e c — C e n t r o d e E s t u d o s e P e s q u is a s e m

E d u c a ç ã o , C u lt u r a e A ç ã o C o m u n it á r ia e p e lo

C e d a c — C e n tr o d e E s tu d o s e D o c u m e n ta ç ã o

p a r a a A ç ã o C o m u n itá r ia .

P e s q u is a d o r e s d e d ic a d o s à i n v e s t i g a ç ã o e à

in t e r v e n ç ã o a v a lia t iv a n a á r e a s o c ia l e x a m in a m ,

p o r d if e r e n te s p o n to s d e v is ta , o r e fe r e n c ia l

t e ó r ic o - m e t o d o ló g ic o r e la c io n a d o à a v a lia ç ã o d e

p o lí t ic a s p ú b lic a s . O r e s u lt a d o c o n s t it u i u m m o s a ic o

d e r e f le x õ e s q u e c e r ta m e n te c o n t r ib u ir á p a r a o

a p r o f u n d a m e n t o d o d e b a te e m t o r n o d a g e s tã o d e

p o l í t i c a s p ú b l i c a s n a á r e a s o c ia l.

M a r ia n g e la B elfiore W a n d e rle y

'’OAno*
CENPEC ced o c