06_artigo_lenaura

11/2/04

16:14

Page 239

ARTIGO ARTICLE

AVALIAO DE POLTICAS SOCIAIS:

NOTAS SOBRE ALGUNS LIMITES E POSSVEIS DESAFIOS
EVALUATION OF SOCIAL POLICIES:
NOTES ON SOME LIMITS AND CHALLENGES

Lenaura de Vasconcelos Costa Lobato

Resumo Discutem-se alguns elementos da ava-

Abstract Some elements in the evaluation of so-

liao de polticas sociais. O argumento central

que, a par do fortalecimento da rea de avaliao em anos recentes, ainda predomina a concepo voltada para os objetivos especficos de
programas e projetos, e no para a avaliao da
poltica. Essa diferenciao tem especial importncia quando se trata de polticas sociais, j que
estas tm uma localizao especfica no conjunto das polticas pblicas principalmente no caso brasileiro, onde uma potente estrutura de
proteo social convive com nveis astronmicos
de desigualdade e excluso. Em primeiro lugar,
apontam-se algumas caractersticas da avaliao
referentes ao argumento do trabalho. Em seguida, so discutidas as possibilidades da avaliao
para alm de programas e projetos. Ao final,
apresentam-se, preliminarmente, alguns desafios atuais da avaliao de polticas sociais.
Palavras-chave polticas sociais; avaliao.

cial policies are discussed. The central argument

is that, despite the improvements in evaluation
methods in recent years, the conception that the
specific objectives of programmes and projects
should be assessed rather than the actual policies still prevails. This differentiation has special relevance when dealing with social policies,
since they occupy a specific place in the set of
public policies. This is particularly so in the
Brazilian case, where a powerful social security
structure coexists with astronomical levels of
inequality and exclusion. First we indicate some
of the characteristics of the type of evaluation
we refer to in the paper. Then we discuss the
possibility of evaluations that will go beyond
programmes and projects. Finally, we present a
preliminary and brief survey of the present
challenges found in the evaluation of social
policies.
Key words social policies; evaluation.

Trabalho, Educao e Sade, 2(1): 239-265, 2004

239

06_artigo_lenaura

240

11/2/04

16:14

Page 240

Lenaura de Vasconcelos Costa Lobato

Introduo

A rea de avaliao de polticas sociais vem se fortalecendo nos anos recentes. Apesar disso, ainda predomina uma concepo voltada para os objetivos especficos de programas e projetos, e no para a poltica. Isso faz com
que a avaliao, um poderoso instrumento de melhoria das condies de
exerccio da coisa pblica, perca a principal dimenso da poltica que a
de um mecanismo privilegiado nas relaes entre Estado e sociedade , limitando-se a um conjunto de medidas de aferio de objetivos com baixa
referncia social ou poltica. Essa diferenciao tem especial importncia
quando se trata de polticas sociais, j que estas tm uma localizao especfica no conjunto das polticas pblicas principalmente no caso brasileiro, onde uma potente estrutura de proteo social convive com nveis astronmicos de desigualdade e excluso.
As avaliaes so capazes de identificar os limites dos programas e projetos, mas a explicao para esses limites, em geral, est relacionada a elementos do sistema poltico e/ou de nossa estrutura institucional, como estrutura burocrtica, apropriao patrimonialista ou clientelista dos programas e dificuldade de pactuao entre nveis de governo. Embora os avaliadores reconheam esses elementos, a incluso destes nas estruturas de avaliao ainda restrita, pois h um descompasso entre os resultados da avaliao e a capacidade explicativa desses resultados, o que reduz a possibilidade de serem usados como orientadores de mudanas. E, principalmente,
ainda baixo o alcance da identificao das alteraes que a poltica de fato gera na proteo social e no bem-estar dos indivduos, caracterstica inerente poltica social.
Para discutir esses elementos apontam-se, em primeiro lugar, algumas
caractersticas da avaliao referentes ao argumento do trabalho. Em seguida, discutem-se as possibilidades da avaliao para alm de programas e
projetos. No final, apresentam-se, preliminarmente, alguns desafios atuais
da avaliao de polticas sociais.

Algumas caractersticas atuais da avaliao de polticas

Em artigo j clssico na rea de avaliao no Brasil, Figueiredo e Figueiredo

(1986, p. 108) chamavam a ateno para a necessidade da avaliao poltica
da poltica, ou seja, a incluso, pela avaliao, do contedo substantivo da
poltica, seus princpios orientadores, explcitos ou no. Nas palavras dos
autores: por avaliao poltica entendemos a anlise e elucidao do critrio ou critrios que fundamentam determinada poltica: as razes que a tornam prefervel a qualquer outra. E acrescentam, citando Barry, que estas

Trabalho, Educao e Sade, 2(1): 239-265, 2004

06_artigo_lenaura

11/2/04

16:14

Page 241

Lenaura de Vasconcelos Costa Lobato

razes tm que ser relevantes, ou seja, devem estar referidas a princpios cuja realizao ir, presumivelmente, contribuir para uma desejvel quantidade e distribuio de bem-estar. Os autores distinguiam este tipo de avaliao da avaliao de polticas stricto sensu, voltada para os processos ou impactos da poltica. A reflexo dos autores relevante, considerando-se o
contexto em que o trabalho foi realizado o perodo da chamada Nova Repblica ps-regime ditatorial , no qual o resgate da chamada dvida social era a questo em pauta para as polticas sociais. Analisando o perfil e
alcance das pesquisas de avaliao de polticas sociais no pas, detectaram,
entre outros aspectos, a pequena quantidade de pesquisas voltadas para a
efetividade substantiva, onde estariam situados os estudos que examinassem parmetros externos ao programa, como justia social, igualdade, eqidade e mesmo desenvolvimento econmico (Figueiredo e Figueiredo, op.
cit., p. 120).
A distino entre avaliao poltica e avaliao de polticas aponta, em
primeiro lugar, a restritividade das avaliaes denominadas polticas, mas
que so, na verdade, avaliaes de metas e objetivos de programas e projetos; em segundo, indica a necessidade de considerar o carter normativo da
poltica pblica, em especial da poltica social, que abordaremos mais
frente. Assim, trata-se do redirecionamento que j vinha sendo apontado
pela literatura e experincias internacionais h alguns anos e indicava o
adensamento da rea de avaliao de polticas por meio da interlocuo com
a rea tradicional de anlise de polticas pblicas, na qual at ento a avaliao era secundria. Isso levou a um avano significativo da rea de avaliao de polticas, com a introduo de critrios prprios da cincia poltica, incorporando uma srie de variveis que interferem na poltica pblica,
o que fez com que as avaliaes pudessem expressar muito melhor a dinmica real dessa poltica. Contudo, essa interlocuo no pde ainda dar conta de fazer a avaliao ultrapassar o plano dos programas e projetos; os elementos da poltica acabam sendo avaliados no limite desses programas e
projetos, deixando de lado a identificao do contedo inerente poltica,
que o de interferir e eventualmente transformar para o bem ou para o
mal as relaes sociais prevalentes.
Essa limitao bastante compreensvel e de difcil soluo. Supe-se
que um dos ns esteja na dificuldade de superar as rgidas estruturas de
corpos tericos e metodolgicos bastante distintos, como no caso da poltica e da avaliao. A rea de avaliao stricto sensu tem como domnio principal na rea social as avaliaes de servios em especial de sade e educao e, no campo das polticas pblicas, as tradicionais avaliaes voltadas para o acompanhamento e controle dos processos. No primeiro caso, a
predominncia de um arsenal bastante refinado de metodologias predominantemente quantitativas, que tm como premissa a delimitao muito cla-

Trabalho, Educao e Sade, 2(1): 239-265, 2004

241

06_artigo_lenaura

242

11/2/04

16:14

Page 242

Lenaura de Vasconcelos Costa Lobato

ra do objeto e a explicitao minuciosa dos critrios de avaliao e suas medidas correspondentes. Isso implica avaliaes setoriais, de pequeno escopo
e/ou com um nmero limitado de variveis. o respeito a esse domnio o
que, de alguma forma, identifica e mesmo autoriza uma avaliao. No segundo caso, as avaliaes no plano governamental eram de carter administrativo ou de auditagem, restritas ao cumprimento dos processos predeterminados pelos programas ou projetos, ao uso probo dos recursos e entrega do produto.
A entrada dos elementos da cincia poltica se faz principalmente a partir das referncias do policy making. Este, como se sabe, privilegiava a dinmica de como as decises so tomadas, com interesse especial na forma pela
qual a poltica formulada (Lindblon, 1981). A implementao era entendida como uma etapa dada, sob a responsabilidade da burocracia, e como um
problema gerencial. A distncia entre as polticas tal qual formuladas e sua
implementao tornou esta fase objeto de especial ateno dos cientistas polticos (Pressman e Wildavsky, 1973; Hogwood e Gunn, 1984), e hoje considerada uma etapa autnoma no policy making (Viana, 1995) sendo, inclusive, objeto especfico de avaliao, que desperta cada vez mais ateno e
interesse de especialistas (Draibe, 2001; Silva e Costa, 2002; Arretche, 2001).
Atualmente, so fundamentais, na avaliao de polticas pblicas, elementos como o papel dos participantes e interessados na poltica (stakeholders, reconhecidos ou no como atores), a estrutura e dinmica de deciso
dos agentes, as especificidades de cada um e as relaes entre os nveis de
governo. Esses elementos so de difcil aplicao nas avaliaes governamentais oficiais, que demandam estruturas de avaliao bem mais complexas. Entretanto, os especialistas vm considerando cada vez mais sua relevncia, sustentando que deveriam ser agregadas funo precpua dos governos no campo da aplicao eficiente e eficaz dos recursos pblicos.
A avaliao era entendida como uma etapa externa poltica, encaminhada por auditores ou avaliadores externos. Tinha um carter fiscalizador,
sempre realizada a posteriori e, portanto, auxiliava muito pouco a gesto e a
tomada de deciso (Mokate, 2000). Hoje, ao contrrio, ela avana como rea
de interesse no campo das polticas pblicas. Contriburam para isso a maior
complexidade dos aparatos estatais, a maior interao entre os setores pblico e privado, e a democratizao e maior transparncia das aes pblicas, que exigiram maior prontido (responsiveness) e responsabilizao (accountability) dos governos pelo resultado das polticas.
Em muitos pases, esses elementos foram conseqncia das iniciativas
de reforma do Estado levadas a cabo nas ltimas trs dcadas. Com base na
premissa da ineficincia dos aparatos estatais e na necessidade de reduzir
seu tamanho, foram introduzidos mecanismos de competio e gesto voltados a resultados. Em linhas gerais, esses mecanismos visavam dar ao Estado

Trabalho, Educao e Sade, 2(1): 239-265, 2004

06_artigo_lenaura

11/2/04

16:14

Page 243

Lenaura de Vasconcelos Costa Lobato

e administrao pblica a eficincia necessria para lidar com as novas demandas da economia globalizada, que exigiria uma velocidade de gesto incompatvel com as estruturas arcaicas e burocratizadas2. A forma mais acabada dessa concepo a chamada New Public Management, que inspirou
reformas da gesto pblica em diversos pases. Esta concepo sofreu vrias
crticas, dentre elas a de que, embora tenha como premissa central a idia
de gesto voltada para resultados, h poucas provas de que tenha dado resultados, j que ela no foi avaliada na maioria dos pases onde foi implementada (Pollitt e Bouckaert, 2002). Mais importante seria o fato de que a
gesto voltada para a eficincia e a prestao de contas resulta numa competio por rendimentos individuais e em estratgias de adaptao, mais do
que em responsabilidades polticas coletivas; ou seja, a ganncia por efetividade e eficincia comprometeria a responsabilidade poltica dos agentes
pblicos (Christensen e Laegreid, 2001).
Parte importante das estratgias de reforma da gesto pblica foi a idia
da administrao voltada para o cliente (OECD, 1987), depois expandida para o conceito de cidado (OECD, 1996), embora mantendo a noo de cidado como consumidor. Essa concepo inspirou iniciativas em diversos pases, que criaram mecanismos de aferio da prestao de servios pela administrao pblica, como as cartas de servios ou cartas de cidados (Coutinho, 2000). Apesar da importncia dada preocupao com o resultado
dos servios prestados, essa concepo tambm sofreu crticas, em razo da
dificuldade de se equiparar o cidado a um consumidor, j que consumidor
aquele que escolhe, e o cidado tanto no escolhe a administrao pblica
como no pode mud-la (Falco, 2000, p. 8).
Gilbert et al. (2000) concluem que as agncias governamentais que atendem consumidores com possibilidade de escolha so mais bem avaliadas. Estudando o caso americano, demonstram como os consumidores cativos
aqueles que no podem optar por outros servios tm uma avaliao negativa dos servios. J os usurios consumidores que podem optar por
outra alternativa quela ofertada pelo servio pblico tm opinio positiva do servio pblico prestado. curioso, porque, no caso brasileiro, os
resultados so totalmente inversos, ao menos no caso do Sistema nico de
Sade (SUS). Aqui, as pesquisas demonstram que os cidados cativos do
SUS tendem a consider-lo positivamente, enquanto os que tm planos de
sade julgam o sistema pblico negativamente (Lobato, 2000; Instituto Gallup, 1996; Conass, 1998). Mais do que uma diferena entre brasileiros e americanos, isso poderia demonstrar uma diferena substantiva entre o que se
avalia e a metodologia aplicada (que , de fato, o caso dos estudos citados).
Mais importante, contudo, ressaltar que se deve tomar com cuidado a
idia da satisfao do usurio como um mecanismo de avaliao de polticas.
A satisfao do usurio um importante instrumento de avaliao, mas seu

Trabalho, Educao e Sade, 2(1): 239-265, 2004

243

06_artigo_lenaura

244

11/2/04

16:14

Page 244

Lenaura de Vasconcelos Costa Lobato

alcance restrito quando o mbito a poltica. temerrio perguntar a um

cidado de uma pequena cidade de qualquer estado do pas sobre um projeto ou programa que ele identifica (claro, porque pouco provvel que
possamos perguntar sua opinio ou percepo sobre, por exemplo, a poltica nacional de combate fome) e esperar que estas respostas possam traduzir uma percepo sobre um conjunto de atividades, mecanismos e princpios que uma poltica envolve. A satisfao do usurio pode e deve ser identificada para avaliar servios e benefcios. J a relao entre governo e sociedade expressa na poltica envolve uma noo de coletivo mais do que a
posio de indivduos isolados. O cidado no o receptor de coisas que o
governo faz, o proprietrio da coisa pblica (Hirschmann apud Coutinho,
2000, pp. 44-45), ao menos do ponto de vista normativo. Assim, as avaliaes que privilegiam a satisfao do usurio como mecanismo de qualificao da poltica podem estar adotando uma concepo que, ao fim e ao cabo,
v o cidado como consumidor/cliente.

Possibilidades de avaliao da poltica

para alm de programas e projetos

A interlocuo entre o domnio da avaliao cientfica, a renovao empreendida nos sistemas tradicionais de avaliao e as estratgias de reforma
da gesto pblica lana novos desafios para os estudos de avaliao de polticas. Um deles seria superar a noo de causalidade. Como se sabe, ela informa grande parte das pesquisas de avaliao e de anlises de polticas; a
rea de avaliao de polticas tomou esse critrio como modo de aferir um
dos preceitos bsicos da avaliao, que a necessidade de poder identificar
claramente os resultados com o percurso da poltica. Em outras palavras,
preciso poder atestar que os resultados no seriam alcanados se no fosse
a interveno daquela poltica. Contudo, argumenta-se se possvel estabelecer relaes claras de causalidade quando se reconhece que a realidade da
formulao e implementao de polticas um territrio onde prevalecem o
conflito e a ambigidade. Na avaliao de servios, programas ou projetos,
possvel, e talvez mesmo necessrio, aplicar a relao causal, considerada
passvel de comprovao numa situao observada como ela o nas cincias sociais. Ou seja, pode-se a delimitar mais claramente a relao entre insumos gerais do projeto, programa ou servio e o efeito sobre, por exemplo,
a populao, um grupo de profissionais ou a organizao de um servio.
Um programa , por definio, um conjunto articulado e restrito de atividades, dirigido a situaes-problema s quais busca responder (OECD
apud Silva e Costa, 2002). No caso da poltica, a situao observada inclui
elementos nem sempre passveis de submisso a relaes causais. Por exem-

Trabalho, Educao e Sade, 2(1): 239-265, 2004

06_artigo_lenaura

11/2/04

16:14

Page 245

Lenaura de Vasconcelos Costa Lobato

plo, pode-se estabelecer uma relao causal entre programas de reduo da

mortalidade infantil, como o da Pastoral da Criana, e a reduo efetiva da
mortalidade naqueles grupos especficos. A relao causal entre, de um lado, medidas de alimentao e nutrio e, de outro lado, a reduo da mortalidade infantil est estabelecida mundialmente (mesmo que no como condies necessrias e suficientes), graas a estudos empricos em situaes
observveis que comprovaram esta relao. J se quisermos relacionar o
mesmo efeito como resultado da poltica de incentivo sade comunitria
atualmente em implementao pelo Ministrio da Sade, ser bem mais
complexo. Mesmo se fosse possvel estabelecer empiricamente esta relao
de causalidade, e os outros elementos da poltica? E se essa poltica tiver alcanado esse efeito final previsto e desejado, mas custa da reduo da
ateno em outros setores, ou pela imposio s mes de tratamentos com os
quais elas no concordavam, embora fossem princpios da poltica o respeito populao atendida e a ateno integral sade? A avaliao poderia
apontar esses aspectos, mas como indicar o que da poltica foi razoavelmente atingido para que ela pudesse ser replicada, aproveitada ou recusada? Seria a utilizao de mtodos rejeitados pelas mulheres a melhor forma de atingir os efeitos? Seria a reduo da mortalidade incompatvel com a ateno
integral, indicando, por exemplo, a focalizao das aes do Ministrio em
um segmento em prejuzo do outro? No toa, a dificuldade maior na confeco de modelos de causalidade no estabelecer as relaes, mas os valores de cada elemento no conjunto das relaes.
A questo se complica se considerarmos a profuso de variveis e indicadores que corretamente so hoje considerados necessrios avaliao. Em
recente e extensivo estudo sobre a funo avaliao em pases da Amrica
do Sul, Toledo (2002) apresenta essa diversidade a partir da experincia de
vrios pases. A complexidade talvez explique o fato de que se produzam
muito mais modelos de avaliao do que avaliaes propriamente. O autor
aponta, entre outras, como prioridades comuns entre os sistemas estudados,
a necessidade de aprofundar estudos e pesquisas sobre mtodos voltados a
resgatar o nexo entre indicadores de desempenho no mbito dos programas
e objetivos finais das polticas pblicas em que se inserem (Toledo, 2002,
p. 280).
Ao indicar critrios para uma metaavaliao (avaliao da avaliao), o
mesmo autor estabelece um conjunto de 11 critrios, cada um com distintas
situaes dispostas numa escala de cinco pontos, da mais positiva mais negativa (Toledo, 2002, pp. 66-73). Os critrios cobrem quase todas as reas
relacionadas ao desempenho dos sistemas de avaliao, mas dizem pouco
respeito aos problemas poltico-institucionais ou aos efeitos ou impactos sociais que os sistemas de avaliao deveriam considerar para avaliar polticas, exceo de um deles, que seria a incluso de parmetros de eqidade

Trabalho, Educao e Sade, 2(1): 239-265, 2004

245

06_artigo_lenaura

246

11/2/04

16:14

Page 246

Lenaura de Vasconcelos Costa Lobato

social. Isso parece evidenciar ao menos a especificidade dos sistemas oficiais

de avaliao em relao avaliao de polticas e, possivelmente, a impossibilidade de que esses sistemas oficiais introduzam critrios to complexos
como os que requerem a avaliao substantiva da poltica. Um caminho razovel talvez fosse os sistemas oficiais nacionais assumirem as limitaes de
um sistema de avaliao, enfocando mesmo nos critrios de desempenho de
programas e projetos, e se empenharem no desenvolvimento de sistemas refinados de informao, estimulando avaliaes locais ou regionais, e incentivando as universidades e os centros de pesquisas para as avaliaes de carter mais substantivo sobre os resultados das polticas. Isto ao menos redirecionaria recursos em consultorias na tentativa de montar metodologias
complexas que atendam tanto s necessidades de avaliao das aes governamentais quanto avaliao substantiva de resultados, que ao cabo so de
difcil aplicao.

Desafios para a avaliao de polticas sociais

Embora as caractersticas do processo de formulao e implementao das

polticas pblicas sejam similares, a poltica social apresenta especificidades
que devem ser consideradas no processo de avaliao, em especial na atualidade e no caso brasileiro. A poltica social tem sido, na trajetria do capitalismo, o lugar, por excelncia, de conflitos inerentes a todas as formas de
desigualdade e excluso. Nesse sentido, ela se distingue de um conjunto de
outras polticas pblicas, por revelar esses conflitos cotidianamente. Mesmo que qualquer poltica pblica interfira direta ou indiretamente nas condies de bem-estar da populao, para a poltica social que confluem os
atores, as demandas e os conflitos referentes a essas condies. Mesmo uma
poltica social que no gere nenhum bem-estar ainda uma poltica social.
Contudo, sob o ponto de vista da avaliao, cujo objetivo atribuir valor,
valorar, h que se adotar o critrio preliminar do bem-estar para se avaliar
uma poltica social. Uma avaliao poltica da poltica social deve necessariamente considerar essa premissa.
Por outro lado, a poltica social, ao gerar bem-estar, altera condies
existentes de distribuio da riqueza social. Entretanto, no altera necessariamente as relaes sociais que sustentam as regras dessa distribuio, da
as polticas distribudas como privilgios, por critrios clientelistas ou assistencialistas. Elas podem gerar bem-estar, mas no so capazes de assegur-lo, seja pela instabilidade da oferta, seja pela relao de dependncia a
elas associada. Assim, uma segunda premissa que deveria orientar critrios
para uma avaliao poltica da poltica social seria o impacto dessa poltica
na gerao de bem-estar permanente.

Trabalho, Educao e Sade, 2(1): 239-265, 2004

06_artigo_lenaura

11/2/04

16:14

Page 247

Lenaura de Vasconcelos Costa Lobato

A alterao das relaes sociais no sentido de um bem-estar permanente no possvel sem a mudana da correlao de foras prevalecente. Isso
implica que, tambm para avaliar a possibilidade de uma poltica social gerar bem-estar permanente, necessrio identificar possveis mudanas na
correlao de foras a favor de arranjos polticos e/ou mecanismos institucionais que indiquem projetos, estratgias ou mesmo inovaes gerenciais
que favoream uma nova distribuio de poder.
Um ltimo elemento a ser considerado na avaliao poltica diz respeito
aos impactos finais (Cohen e Franco, 1993). tema relevante e recorrente na
literatura, que enfatiza a importncia de identificar, mais do que a eficcia
na distribuio de produtos sociais, seus efeitos sobre a qualidade de vida,
em especial sobre a cidadania da populao (Rico et al., 2001). Contudo, as
avaliaes so ainda limitadas no que diz respeito capacidade de apreender a complexidade dessas dimenses. Da decorre que a aferio do impacto social das polticas se restringe a identificar a satisfao dos beneficirios
dos programas e projetos. hoje um desafio para a rea de avaliao incluir
elementos que dem conta de avaliar os indivduos como sujeitos e no somente como beneficirios de programas ou usurios de servios. H autores
que se debruam sobre a atualidade da noo de cidadania, buscando rever
as dimenses que ela comportaria para alm da relao formal cidadosEstado baseada em um corpo de direitos homogneos , para incluir a
complexidade dada pela diversidade, a subjetividade e a autonomia e sua
relao com a poltica (Fleury, 2003b; Kymlicka e Norman, 1997; Young,
1990; ). Essa atualizao merece ser confrontada com os conceitos mais recentes de capital social (Abu-El-Haj, 1999) e fortalecimento social ou empoderamento (empowerment) (Oakley e Clayton, 2003), j que permite a associao necessria entre a sociabilidade e a autonomia social, sem perda da
dimenso central do Estado na construo e manuteno da coletividade
(Evans, 1996).
A rea de sade no Brasil oferece uma boa oportunidade para os estudos de avaliao de polticas nesse sentido, pois apresenta hoje uma estrutura de distribuio de poder totalmente diversa daquela que prevalecia at
a institucionalizao da reforma sanitria com o Sistema nico de Sade. Essa nova estrutura se manifesta em diversos mecanismos institucionais e de
gesto, como as instncias de pactuao e negociao, e aquelas de controle
social, assim como incluem um novo papel e dinmica de vocalizao de demandas pelos distintos atores, em especial o setor privado e a sociedade civil organizada. A persistncia de inmeros problemas hoje no sistema pode
ser explicada pela complexidade do processo no qual a poltica formulada
no contava com os mecanismos polticos para sua implementao. Sua institucionalizao permanente no aparato estatal irradiou e consolidou uma
nova correlao de foras que, no sentido oposto, apoiou a consolidao de

Trabalho, Educao e Sade, 2(1): 239-265, 2004

247

06_artigo_lenaura

248

11/2/04

16:14

Page 248

Lenaura de Vasconcelos Costa Lobato

espaos no exclusivamente estatais. Essa dinmica garantiu que hoje a poltica da reforma sanitria seja no mais uma poltica de governos, mas uma
poltica de Estado (Fleury, 2003a).
Sem dvida, patente a universalizao alcanada, que, baseada no direito, garante a ateno sade para a maioria da populao, antes sem
acesso. Contudo, no se pode ainda atestar que a poltica de sade esteja garantindo as condies para um bem-estar permanente em sade, o que requer avaliaes que dem conta de associar, dos pontos de vista terico e
metodolgico, a dinmica poltico-institucional com os resultados relativos
a esse bem-estar.

Consideraes finais

Diante da grave situao social do Brasil hoje, a rea de avaliao tem uma
contribuio particular. A desigualdade reconhecidamente o principal
problema nacional, atestada por uma profuso de dados, indicadores e medidas de pobreza e excluso; e no h indcios de sua reduo expressiva em
curto prazo. Por outro lado, as polticas sociais tm passado por transformaes importantes, como a pluralizao e democratizao das arenas decisrias, a descentralizao, o fortalecimento do poder e das aes locais. Entretanto, pouco se sabe sobre os resultados substantivos das polticas implantadas ou em implementao. Costuma-se dizer que a avaliao cara, j que
exige pesquisas empricas extensivas e com amostras que dem representatividade s concluses. De fato, apesar das muitas propostas de metodologias, pouco se avalia de concreto. Outros fatores corretamente levantados
so a baixa tradio de avaliao no pas, a falta de continuidade das polticas, o uso poltico das avaliaes ou as avaliaes de carter poltico.
Talvez caiba aos especialistas, que pouco podem interferir nessas caractersticas, a confeco de avaliaes parcimoniosas nos custos, mas efetivas
na indicao dos entraves da poltica social e das possveis solues. Um caminho simplificar as metodologias utilizadas, para se aprofundar em contedo e identificao efetiva dos resultados, o que demandaria explorar
mais as tcnicas qualitativas e reduzir os universos de investigao. As
grandes avaliaes recentes da poltica social, que no so muitas, pouco impacto tiveram na direo da poltica. necessrio chegar mais perto dos indivduos que esto na ponta da linha; conhecer suas estratgias, seus modos de vida, suas expectativas e como interagem com as polticas. E isso no
privilegiar um tipo de avaliao (a avaliao de impacto). A avaliao da
poltica social deve necessariamente associar processo e impacto. Isoladas,
as avaliaes de processo e impacto so ou avaliaes de polticas pblicas
ou avaliaes de programas e projetos sociais, mas no de poltica social.

Trabalho, Educao e Sade, 2(1): 239-265, 2004

06_artigo_lenaura

11/2/04

16:14

Page 249

Lenaura de Vasconcelos Costa Lobato

Notas

1 Professora da Escola de Servio Social da Universidade Federal Fluminense. Sociloga, Doutora em Cincias Sade Pblica e Mestre em Administrao Pblica. <loba
to@alternex.com.br>.
2 Como se sabe, as reformas na gesto pblica so apenas um dos componentes das
chamadas reformas de Estado. Como o tema j foi exaustivamente explorado pela literatura, no cabe e nem interesse aqui explor-lo. Vale apenas lembrar que a expanso da avaliao faz parte desse processo, como estratgia recomendada pelas agncia internacionais
para favorecer a eficincia macro e micro-econmica dos Estados nacionais.

Referncias bibliogrficas

ABU-EL-HAJ, Jawdat. 1999. O debate em

torno do capital social: uma reviso crtica. BIB, 47:65-79.
ARRETCHE, Maria Teresa da Silva. 2001.
Uma contribuio para fazermos avaliaes menos ingnuas. In: Tendncias e
perspectivas na avaliao de polticas e
programas sociais (Barreira, Maria Ceclia Roxo Nobre. C. e Carvalho, Maria do
Carmo Brandt, orgs.), pp. 43-56, So
Paulo: IEE/PUC-SP.
CHRISTENSEN, Tom e LAEGREID, Per.
2001. La nueva administracin pblica:
el equilibrio entre la governanza poltica y la autonoma administrativa. Revista do Servio Pblico, 52(2):69-110, abrjun.
COHEN, Ernesto e FRANCO, Rolando. 1993.
Avaliao de projetos sociais. Petrpolis,
RJ: Vozes.
CONASS (Conselho Nacional de Secretrios
de Sade). 1998. A sade na opinio dos
brasileiros. Cadernos Conass. Braslia:
Conass.
COUTINHO, Marcelo Vasconcelos. 2000.
Administrao pblica voltada para o
cidado: quadro terico-conceitual. Revista do Servio Pblico, 51(3):41-74.
DRAIBE, Snia Maria. 2001. Avaliao da
implementao: esboo de uma metodologia de trabalho em polticas pblicas.
In: Tendncias e perspectivas na avalia-

o de polticas e programas sociais (Barreira, Maria Ceclia Roxo Nobre e Carvalho, Maria do Carmo Brandt, orgs.), pp.
13-42, So Paulo: IEE/PUC-SP.
EVANS, Peter. 1996. Government action, social capital and development: reviewing
the evidence on sinergy. World Development, 24(6):1119-1132.
FALCO, Salvatore Esposito de. 2000. Instrumentos de voice giving na relao entre
os cidados e a administrao pblica: a
carta dos servios. Revista do Servio
Pblico, 51(3):5-25.
FIGUEIREDO, Marcos Faria e FIGUEIREDO,
Argelina. 1986. Avaliao poltica e avaliao de polticas: um quadro de referncia terica. Anlise e Conjuntura,
1(3):107-127.
FLEURY, Snia. 2003a. Poltica de Estado,
no de governo. Observatrio da Imprensa. Jornal de Debates. 16 set 2003.
Disponvel em: <www.observatorioda
imprensa.com.br/artigos/jd160920033.
htm. Acesso em: 15 jan. 2004.
___ . 2003b. La expansin de la ciudadania.
In: Inclusin social e nuevas ciudadanias:
condies para la convivencia y seguridad
democrticas. Pontifcia Universidad Javerian, pp. 176-194, Colombia: Ed. Pontifcia Universidad Javerian.
GILBERT, G. Ronald et al. 2000. A mensurao da satisfao dos clientes do setor

Trabalho, Educao e Sade, 2(1): 239-265, 2004

249

06_artigo_lenaura

250

11/2/04

16:14

Page 250

Lenaura de Vasconcelos Costa Lobato

pblico. Revista do Servio Pblico, 51

(3):26-40.
HOGWOOD, Brian W. e GUNN, Lewis A.
1984. Policy analysis for the real world.
Oxford, New York: Oxford University
Press.
INSTITUTO GALLUP. 1996. Avaliao dos
servios pblicos de atendimento sade.
Rio de Janeiro: Instituto Gallup.
KYMLICKA, Will e NORMAN, Wayne. 1997.
El retorno del ciudadano. una revisin
de la produccin reciente en teora de la
ciudadana. Agora, 7:5-42.
LINDBLOM, Charles E. 1981. O processo de
deciso poltica. Braslia: Ed. da Universidade de Braslia.
LOBATO, Lenaura. 2000. Reforma sanitria
e reorganizao do sistema de servios de
sade: efeitos sobre a cobertura e a utilizao de servios. Tese de doutorado.
Rio de Janeiro: Escola Nacional de Sade Pblica, Fundao Oswaldo Cruz.
___ et al. 2002. Intersetorialidade, participao e sustentabilidade: desafios da gesto social para a integrao um estudo
de caso do Programa Favela-Bairro. Rio
de Janeiro. (Mimeo.)
MOKATE, Karen. 2000. Convertiendo el
monstruo en aliado: la evaluacin como herramienta de la gerencia social.
Washington: INDES/BID.
OAKLEY, Peter e CLAYTON, Andrew. 2003.
Monitoramento e avaliao do empoderamento. So Paulo: Instituto Plis.

Trabalho, Educao e Sade, 2(1): 239-265, 2004

OECD (Organization for Economic Co-operation and Development). 1987. Administration as service: the public as client.
Paris: OECD.
___ . 1996. Putting citizens first: Portuguese
experienece in public management reform.
Paris: OECD.
POLLITT, Christoffer e BOUCKAERT, Geert.
2002. Avaliando reformas na gesto pblica: uma perspectiva internacional.
Revista do Servio Pblico, 53(3):5-29.
PRESSMAN, Jeffrey e WILDAVSKY, Aaron.
1973. Implementation. Berkeley: University of California Press.
RICO, Elizabeth et al. 2001. Avaliao de polticas sociais: uma questo em debate. 3a
ed. So Paulo: Cortez/Instituto de Estudos Especiais.
SILVA, Pedro Luiz Barros e COSTA, Nlson
do Rosrio. 2002. A avaliao de programas pblicos: reflexes sobre a experincia brasileira. Relatrio Tcnico/Cooperao tcnica BID-Ipea. Braslia: Ipea/
BID.
TOLEDO, Ricardo. 2002. Eficincia e eficcia
da ao governamental: uma anlise comparativa de sistemas de avaliao. Relatrio Tcnico. Braslia: Ipea.
VIANA, Ana Luiza. 1995. Abordagens metodolgicas em polticas pblicas. Revista de Administrao Pblica, 30(2):543.
YOUNG, Iris Marion. 1990. Polity and
group difference: a critique of the ideal
of universal citizenship. Ethics, 99:250274.