issn 0034-7612

Avaliao de polticas pblicas: uma reviso terica de um campo em construo*

andrei pittol Trevisan** Hans michael van Bellen***

S u m r i o : 1. Introduo; 2. Avaliao de polticas pblicas; 3. Breve histrico sobre a avaliao de polticas pblicas; 4. Do estado de campo de avaliao de polticas pblicas; 5. Metodologia de avaliao de polticas pblicas; 6. Consideraes finais. S u m m a ry : 1. Introduction; 2. Evaluation of public policy; 3. Brief narrative on evaluation of public policy; 4. State of the discipline of the evaluation of public policy; 5. Methodology of public policy evaluation; 6. Final remarks. P a l av r a S - c h av e : polticas pblicas; avaliao de polticas pblicas; metodologias de avaliao de polticas pblicas. K e y w o r d S : public policy; evaluation of public policy; methodologies of evaluation of public policy. Este artigo realiza um resgate terico da literatura sobre a rea de polticas pblicas em geral, e de avaliao de polticas pblicas especificamente. O conhecimento terico-histrico de um dado campo do conhecimento essencial para sua prxis, para uma melhor compreenso dos seus desdobramentos, sua trajetria e perspectivas. O

* Artigo recebido em ago. 2007 e aceito em mar. 2008. ** Graduado em administrao pela Universidade Federal de Santa Catarina. Mestrando em administrao na Universidade Federal de Santa Catarina. Pesquisador e participante do Observatrio da Realidade Organizacional (UFSC/Fundao Getulio Vargas-RJ/UFPE). Endereo: Rua Vitor Konder, 302, Residencial Linda Koerich, ap. 1405 CEP 88015-400, Florianpolis, SC, Brasil. E-mail: andreipt@hotmail.com. *** Professor permanente do Curso de Ps-Graduao em Administrao e do Programa de PsGraduao em Contabilidade da Universidade Federal de Santa Catarina. Endereo: Caixa Postal 10042 CEP 88062-970, Lagoa da Conceio, Florianpolis, SC, Brasil. E-mail: hansmichael@ cse.ufsc.br.

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

530

andrei piTTol Trevisan Hans micHael van Bellen

artigo comea com uma explanao sobre polticas pblicas, sua origem e dimenses conceituais. Continua com uma discusso a respeito dessa temtica no Brasil, principalmente nos ltimos anos. A avaliao de polticas pblicas observada com maior profundidade, atravessando diversas definies conferidas pela literatura. Destaca-se a identificao de trs fases da avaliao desde a dcada de 1960 at os dias atuais. Posteriormente, apresentam-se metodologias de avaliao de polticas pblicas, suas diversas classificaes, timing, posio do avaliador, critrios e estruturao. Por fim, a possibilidade de aplicao de metaavaliaes, assim como o surgimento de novas issues que se impem ao contexto democrtico-participativo brasileiro. Evaluating public policies: a theoretical review of a field under construction This article performs a theoretical recovery of the literature about public policy in general, and evaluation of public policy specifically. The theoretical and historical understanding of a given field of knowledge is essential for its practice, including a better understanding of its consequences, its trajectory, and perspectives. The article begins with a general overview about public policy, its origins, and conceptual dimensions. It then continues with a discussion about this theme in Brazil, taking into consideration mainly the more recent years. The evaluation of public policy is observed more deeply for it has received numerous definitions within the literature. Three main phases of evaluation are identified since the 1960s until the present date. Subsequently the article presents some methodologies concerning the evaluation of public policy, including its several classifications, timing, the evaluators position, criteria and structure. Finally, it comments on the possibility of the application of meta-evaluations, as well as on the emergence of new issues that impose themselves into the participative-democratic Brazilian context.

1. Introduo
No final do sculo XX, com o aprofundamento da crise do welfare state, com as convulses econmicas, sociais e polticas enfrentadas, principalmente a partir do final da dcada de 1970, junto com o movimento da nova administrao pblica, o Estado fortemente questionado tanto em suas funes quanto na real eficcia de suas aes interventoras na realidade social. Aceitando-se que a compreenso do sucesso e do fracasso das polticas pblicas fundamental para o melhor desempenho da administrao pblica, passa-se a algumas consideraes sobre o Estado em ao.1 De acordo com Faria (2003), em seus primrdios, as polticas pblicas eram consideradas quase exclusivamente outputs do sistema poltico, o que

Termo cunhado por Jobert e Muller, 1987.

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

531

justificava o fato de a ateno dos investigadores ter se concentrado inicialmente nos inputs, isto , nas demandas e articulaes de interesse. Dessa forma, antes que a anlise de polticas pblicas fosse reconhecida como uma subrea da cincia poltica, os estudos recaam nos processos de formao de polticas pblicas, o que parece refletir o status privilegiado que os processos decisrios sempre desfrutaram junto aos profissionais da rea (Faria, 2003:21). Nos Estados Unidos, segundo Frey (2000), pesquisas em polticas pblicas comearam a se estabelecer no incio dos anos 1950, sob a designao de policy science, enquanto na Europa, especialmente na Alemanha, a preocupao com campos especficos de polticas somente toma fora a partir do incio dos anos 1970. Nesse perodo a unidade de anlise torna-se a prpria definio das polticas pblicas, o que conferiu destaque aos aspectos dinmicos do policy process e aos distintos atores, estatais e no-estatais, geralmente envolvidos (Faria, 2003). No caso do Brasil, os estudos sobre polticas pblicas so bem recentes. Nesses estudos dispersos, a nfase recaiu ou anlise das estruturas e instituies ou caracterizao dos processos de negociao das polticas setoriais especficas. Para Faria (2003), h atualmente uma Babel de abordagens, teorizaes incipientes e vertentes analticas que buscam dar significao diversificao dos processos de formao e gesto das polticas pblicas, considerando um mundo cada vez mais caracterizado pela interdependncia assimtrica, incerteza e complexidade das questes. Assim, para que se possa entender melhor a anlise das polticas, Frey (2000) apresenta algumas categorias que tm conseguido relevncia na literatura, com nfase em policy cycle (ciclo poltico). O agir pblico pode ser dividido em fases parciais do processo polticoadministrativo de resoluo de problemas, que correspondem a uma seqncia de elementos do processo. Comum a todas as propostas de divises do ciclo poltico so as fases da formulao, da implementao e do controle dos impactos das polticas (Frey, 2000). Para os fins deste artigo, destaca-se a ltima fase do ciclo poltico, a avaliao de polticas e da correo de ao (evaluation), na qual se apreciam os programas j implementados no que diz respeito aos seus impactos efetivos. Investigam-se os dficits de impacto e os efeitos colaterais indesejados para poder extrair conseqncias para aes e programas futuros. Nessa etapa, caso os objetivos do programa tenham sido atendidos, o ciclo poltico pode ser suspenso ou chegar ao fim, seno iniciao de um novo ciclo, isto , a uma nova fase de percepo e definio de problemas. Com isso, a fase da avaliao imprescindvel para o desenvolvimento e a adaptao contnua das formas e instrumentos de ao pblica (Frey, 2000:229).
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

532

andrei piTTol Trevisan Hans micHael van Bellen

Na concepo apresentada do modelo de policy cycle o processo para resoluo de um problema tem uma seqncia de fases. Na prtica, segundo Frey (2000), os atores poltico-administrativos dificilmente se fixam a esse contnuo, especialmente para programas polticos mais complexos que se baseiam em processos interativos, cuja dinmica movida por reaes mtuas dos atores envolvidos. Assim, o policy cycle pode servir como um quadro de referncia para a anlise processual.

Polticas pblicas no Brasil

De acordo com Melo (1998), a construo histrica da agenda de polticas pblicas no Brasil pode ser identificada e dividida em etapas. Porm, no se pretende um aprofundamento detalhado em cada etapa, apenas uma descrio sumria dos ltimos anos e seus destaques. A anlise de polticas pblicas experimentou um boom na dcada de 1980, impulsionada pela transio democrtica. So trs os motivos da expanso (Melo, 1999). Em primeiro lugar, pelo deslocamento na agenda pblica. Durante os anos 1970, a agenda pblica se estruturou em torno de questes relativas ao modelo brasileiro de desenvolvimento, onde a discusso limitava-se aos impactos redistributivos da ao governamental e ao tipo de racionalidade que conduzia o projeto de modernizao conservadora do regime ditatorial. Eram centrais para essa agenda as questes de arranjo institucional: descentralizao, participao, transparncia e redefinio do mix pblico-privado nas polticas. A essa transformao da agenda seguiu-se uma redescoberta na agenda de pesquisas das polticas municipais e descentralizao. Em segundo lugar, no obstante o fim do perodo autoritrio, constatouse que os obstculos consecuo de polticas sociais efetivas continuaram existindo, o que serviu para fortalecer os estudos sobre polticas. A perplexidade e o desencantamento em relao ao Estado levaram a um maior interesse sobre as condies de efetividade da ao pblica. Em terceiro lugar, a difuso internacional da idia de reforma do Estado e do aparelho de Estado passou a ser o princpio organizador da agenda pblica dos anos 1980-90, o que provocou uma proliferao de estudos de polticas pblicas. As questes de arranjo institucional ganharam grande centralidade na agenda: (...) ao tomar-se o modo e a qualidade da interveno pblica na economia e na sociedade como objeto de estudo, cria-se por extenso um programa de pesquisa de carter emprico sobre questes relativas eficincia de polticas e programas (Melo, 1999:81). Por outro lado, se antes o encantarap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

533

mento da imaginao social brasileira era o Estado, nos anos 1990, esse apego passa a ser direcionado, paulatinamente, para a sociedade civil. De fato, nos ltimos anos tem-se visto um crescimento dos estudos da rea de polticas pblicas no Brasil (Arretche, 2003; Souza, 2003). Conforme Arretche (2003), multiplicaram-se as dissertaes e teses sobre temas relacionados s polticas governamentais; disciplinas de polticas pblicas foram criadas ou inseridas nos programas de graduao e ps-graduao; criaramse linhas de pesquisa especialmente voltadas para essa rea; instituram-se agncias de fomento pesquisa, assim como linhas especiais de financiamento para a rea. Apoiando-se em Melo (1999), Arretche (2003) confirma que a rea de polticas pblicas no Brasil se caracteriza por uma baixa capacidade de acumulao de conhecimento, em funo da proliferao horizontal de estudos de caso e da ausncia de pesquisa. Souza (2003) diz que esse o primeiro problema a ser superado pela rea. A soluo, felizmente, tem avanado com a criao de fruns especficos sobre polticas pblicas em espaos acadmicos, e com o advento da informatizao de peridicos nacionais e internacionais.2 Esses fruns e instrumentos permitem-nos conhecer melhor e mais rapidamente a produo de nossos pares, embora no exista um peridico especfico que abrigue exclusivamente a produo da rea (Souza, 2003:16). Reis (2003) assinala que a poltica pblica no se furta ao imperativo da utilidade social, ou seja, mesmo quando adota uma postura crtica, ela o faz apostando na possibilidade de cursos de ao alternativos. Portanto, h poucas dvidas quanto ao objeto de anlise de polticas pblicas. A anlise do Estado em ao tem como objeto especfico o estudo de programas governamentais, suas condies de emergncia, mecanismos de operao e provveis impactos sobre a ordem social e econmica (Arretche, 2003). Por ser uma subrea muito ampla, decorre outro problema, ressaltado por Souza (2003) e comentado por Melo (1999): a abundncia de estudos setoriais, dotando a rea de uma diversificao de objetos empricos que se expandem horizontalmente, sem um fortalecimento vertical da produo. Conforme a autora, isso acontece porque a disciplina envolve, no mnimo, anlises sobre a identificao do problema que vai ou no se transformar em uma poltica (agenda setting), a formulao, a legitimao, gesto, implementao e avaliao da poltica. da essncia da rea a multidisciplinaridade, razo pela qual estudos setoriais transitam em diversas reas do conhecimento, logo,

Ver: <www.scielo.org> e <www.periodicos.capes.gov.br>.

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

534

andrei piTTol Trevisan Hans micHael van Bellen

em sntese, o problema do crescimento horizontal excessivo versus a falta de fortalecimento vertical decorre do crescimento da prpria disciplina no Brasil, pois ela assumiu uma formao que mais gira em torno de reas temticas do que grupo de pesquisa (Souza, 2003:16). Souza (2003) sustenta-se em Melo (1999) novamente para apontar um terceiro problema, que diz respeito proximidade da rea de polticas pblicas com a burocracia governamental, o que tanto pode resultar em trabalhos normativos e prescritivos, como a possibilidade desses mesmos rgos governamentais ditarem a agenda de pesquisa acadmica. Esse ponto vlido tambm para organismos multilaterais. Arretche (2003:8-9) afirma que o programa de pesquisa brasileiro tem estado fortemente subordinado agenda poltica do pas:
o contedo da produo acadmica (teses, artigos e pesquisas) tem sido, em boa medida, a avaliao dos resultados alcanados pelas polticas em voga ou a atualizao da informao existente sobre programas j consolidados. Na verdade, a subordinao da agenda de pesquisa agenda poltica potencialmente maior na rea de polticas pblicas do que em outras reas do conhecimento (...).

Alm da baixa capacidade de acumulao de conhecimento (Melo, 1999), Arretche (2003) e Souza (2003) destacam que os mtodos de investigao tm recebido escassa ateno no debate dessa rea de pesquisa. Nas palavras de Souza (2003:17), a rea ainda apresenta um uso excessivo de narrativas pouco pautadas por modelos ou tipologias de polticas pblicas, por teorias prximas do objeto de anlise e que mantm uma leveza metodolgica exagerada. Com relao s pesquisas brasileiras, Souza (2003:17) diz que urge superar a atual gerao de estudos, excessivamente concentrada nos fracassos, pouco preocupada com as questes polticas e fortemente assentada no pressuposto de que a formulao e a implementao de polticas pblicas so processos exclusivamente racionais e lineares, desvinculados dos processos polticos. Essa nova gerao de estudos deve seguir na direo do desenvolvimento de tipologias analticas, e concentrar-se na identificao das variveis que causam impactos sobre os resultados das polticas. Isso implica na superao da dicotomia dos estudos em se analisar sucessos ou fracassos para um estgio onde se enfatize o melhor entendimento dos prprios resultados (Souza, 2003).
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

535

No entender de Carvalho (2003:186), ao se considerar que o sistema das polticas pblicas um processo em fluxo, por associao uma dada poltica pblica no poderia estruturar-se como seqncia linear de fases:
a abordagem que melhor expressa o quadro real das polticas pblicas a que a considera um processo contnuo de decises que, se de um lado pode contribuir para ajustar e melhor adequar as aes ao seu objeto, de outro, pode alterar substancialmente uma poltica pblica

Ao final de seu balano sobre o estgio atual da disciplina de polticas pblicas no Brasil, Souza (2003) comenta que j existe uma quantidade relevante de estudos sobre polticas pblicas nacionais e sobre polticas locais, mas sabe-se muito pouco sobre questes cruciais na esfera estadual, como, por exemplo, as diferenas to marcantes nas polticas formuladas e/ou implantadas pelos governos estaduais.

2. Avaliao de polticas pblicas

Avaliar significa determinar a valia de algo, atribuir um valor (Ferreira, 1999) e outras lnguas, incluindo o espanhol e o ingls, coincidem na associao de avaliao como atribuio de valor (Mokate, 2002; Garcia, 2001). No entanto, Ala-Harja e Helgason (2000) advertem, de incio, que no existe consenso quanto ao que seja avaliao de polticas pblicas, pois o conceito admite mltiplas definies, algumas delas contraditrias. Esse fato se explica justamente porque a rea de polticas pblicas perpassada por uma variedade de disciplinas, instituies e executores, abrangendo diversas questes, necessidades e pessoas. Ala-Harja e Helgason (2000:8) definem avaliao em termos simples, afirmando que o termo compreende a avaliao dos resultados de um programa em relao aos objetivos propostos.3 Combinando contribuies de diversos autores, Garcia (2001:31) define avaliao:
Avaliao uma operao na qual julgado o valor de uma iniciativa organizacional, a partir de um quadro referencial ou padro comparativo previa-

Segundo Silva e Costa (2002), as polticas pblicas tornam-se programas quando, por ao de uma autoridade, as condies iniciais para sua implementao se concretizam.
3

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

536

andrei piTTol Trevisan Hans micHael van Bellen

mente definido. Pode ser considerada, tambm, como a operao de constatar a presena ou a quantidade de um valor desejado nos resultados de uma ao empreendida para obt-lo, tendo como base um quadro referencial ou critrios de aceitabilidade pretendidos.

O Comit de Assistncia ao Desenvolvimento da OCDE assinala que o propsito da avaliao determinar a pertinncia e alcance dos objetivos, a eficincia, efetividade, impacto e sustentabilidade do desenvolvimento. A avaliao deve proporcionar informao que seja crvel e til para permitir a incorporao da experincia adquirida no processo de tomada de deciso. A avaliao deve ser vista como um mecanismo de melhoria no processo de tomada de deciso, a fim de garantir melhores informaes, sobre as quais eles possam fundamentar suas decises e melhor prestar contas sobre as polticas pblicas (Ala-Harja e Helgason, 2000). Thoenig (2000) declara que o uso da avaliao orientado para ao, assim, a prioridade dela fornecer informao. Contudo, Mokate (2002) acautela que diversas definies, inclusive a do comit, falham em resgatar explicitamente o conceito de valor ou de mrito, pois se centram na verificao do cumprimento de um plano e anlise do atingimento de objetivos, supondo que o plano e os objetivos correspondentes tm um valor j reconhecido e aceito em si. No obstante a grande utilidade das informaes provindas da avaliao, esta muito pouco utilizada. No caso das reformas do setor pblico, Thoenig (2000:55) observa que nenhuma iniciativa foi lanada para avaliar as reformas; pelo contrrio, pode-se encontrar um relativo ceticismo para com a avaliao, particularmente, entre praticantes bem-informados e experientes em reforma da gesto pblica, alguns at mesmo expressam uma resistncia avaliao que parece predominar no seu prprio governo. As avaliaes podem ser um problema para os governantes, executores e gerentes de projetos porque os resultados podem causar constrangimentos pblicos. As informaes e resultados das avaliaes podem ser usados pelo pblico e pela imprensa para criticar os governos, da mesma forma que, em caso de boas notcias, os governos podem us-las para legitimar as prprias polticas, como ganho poltico etc.

3. Breve histrico sobre a avaliao de polticas pblicas

Os esforos e estudos de avaliao de polticas pblicas se desenvolveram em diversas fases. De acordo com a literatura sobre o assunto, Faria (2005) afirma
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

537

que existe uma diversidade de maneiras de se pensar a evoluo do papel atribudo pesquisa avaliativa, desde o boom da avaliao de polticas pblicas nos Estados Unidos, principalmente aps a dcada de 1960. Uma classificao fornecida por Derlien (2001). Ele parte da distino das trs funes bsicas atribudas avaliao informao, realocao e legitimao para dividir em trs as fases evolutivas das pesquisas de avaliao, dos anos 1960 aos anos de 1990. Nos anos 1960, a nfase poltica sobre a avaliao de polticas pblicas preponderou sobre a funo de informao. O foco era a melhoria dos programas, e os gerentes tinham interesse em usar a avaliao como mecanismo de feedback. A funo (re)alocao foi predominante nos anos 1980, durante a segunda etapa de institucionalizao, a qual estava claramente destinada a promover uma alocao racional de recursos no processo oramentrio (Derlien, 2001; Ala-Harja e Helgason, 2000). Durante a dcada de 1990, a tnica poltica na avaliao de polticas passa a ser a funo de legitimao. Esse deslocamento, segundo Derlien (2001) e Faria (2005), teria sido causado por fatores poltico-econmicos especficos, havendo tambm uma mudana dos atores dominantes. A influncia da nova administrao pblica percebida na dcada de 1990, quando os avaliadores se convertem em auditores que privilegiam a medio dos resultados. Assim, a avaliao substituda (novos mercados internos surgem como avaliadores intrnsecos), complementada (a regulamentao de monoplios privatizados cria uma enorme demanda por avaliaes) e aplicada a novas questes (novas ferramentas de avaliao, como os contratos) (Faria, 2005; Ala-Harja e Helgason, 2000). A partir dos anos 1990, na Amrica Latina, ocorre um questionamento crescente sobre o tamanho e a eficincia do setor pblico. Da surgiram novas iniciativas para desenhar e pr em marcha processos de avaliao (Mokate, 2002). Para Faria (2005), nas dcadas de 1980 e 1990, a avaliao das polticas pblicas foi posta a servio da reforma do setor pblico, entretanto, a avaliao no se circunscreve a um tipo especfico de Estado ou cultura administrativa. Faria (2005:99) assinala que o desenho das reformas do setor pblico privilegiou dois supostos bsicos:
a adoo de uma perspectiva de conteno dos gastos pblicos, de busca de melhoria da eficincia e da produtividade, de ampliao da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximizao da transparncia da gesto pblica e de responsabilizao dos gestores, em um processo no qual o consumidor dos bens e servios pblicos estaria, supostamente, em primeiro plano. O segundo propsito ou expectativa de
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

538

andrei piTTol Trevisan Hans micHael van Bellen

que tais reformas pudessem contribuir para uma reavaliao da pertinncia das organizaes governamentais preservarem todo o seu leque tradicional de atribuies, prevalecendo um contexto de valorizao da proviso privada de bens e servios.

Assim, a avaliao ganha centralidade porque se esperava que garantisse a credibilidade do processo de reforma e sustentabilidade poltica das diretrizes de desregulamentao e de diminuio do tamanho do governo, seja pelo deslocamento das funes e dos servios para as esferas subnacionais, quer pela via da privatizao (Ala-Harja e Helgason, 2000; Faria, 2005).

4. Do estado do campo de avaliao de polticas pblicas

Como j descrito, a avaliao tem um papel de destaque nas reformas do setor pblico, assim como tem estado cada vez mais presente nos processos de anlise das polticas pblicas. Cabe destacar, contudo, que tal como no caso do movimento da nova administrao pblica, as avaliaes de polticas passam atualmente por uma fase de crticas ao gerencialismo de suas concepes. Wiesner Duran (citado por Mokate, 2002:90) chama a avaliao de proxy do mercado na administrao pblica. Tal como apontado por Misoczky (2004), Faria (2005) reconhece a hegemonia inconteste da perspectiva gerencialista nas discusses sobre polticas pblicas (no geral) e avaliao de polticas (em especfico). De acordo com esse autor, a nova nfase dada avaliao de polticas pblicas passa quase que despercebida (pelo menos sem interesse acadmico equivalente) pelas reas de sociologia e cincia poltica, no sentido de se abrirem novos campos de pesquisa. Por outro lado, no campo da administrao pblica o tema freqente e pode ser consultado, por exemplo, em peridicos nacionais como a Revista do Servio Pblico e Revista de Administrao Pblica.4 Apesar disso, a escassez de estudos ps-deciso (Faria, 2003, 2005) pode ser explicada tanto pela frgil institucionalizao da rea no Brasil (o que faz com que a anlise de polticas pblicas continue imersa nas questes analticas tradicionalmente valorizadas pela cincia poltica), quanto pela debilidade do campo de estudos da administrao pblica no pas (Faria, 2003:22).

Outras instituies tambm tm encampado a temtica, tais como o Ipea, a Fundao Seade e a Fundao Carlos Chagas.
4

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

539

Assim, une-se crtica esposada a notria carncia de estudos dedicados aos processos e s metodologias de avaliao, que atribuda por Faria (2003) rara utilizao da avaliao, como instrumento de gesto, pelo setor pblico do Brasil nas trs esferas de governo. Nessa linha, se a prpria avaliao tem sido relegada, o papel das idias e do conhecimento no processo das polticas pblicas tem passado praticamente em branco no pas (Faria, 2003). Se, como reverbera na literatura em polticas pblicas, a avaliao tem o condo de aumentar a eficincia e eficcia do setor pblico, relevante mencionar que a avaliao ainda no logrou um papel significativo ou estratgico dentro do trabalho de desenhar e implementar estratgias, programas ou projetos (Mokate, 2002:90). Em outras palavras, apesar do reconhecimento da avaliao como importante ferramenta, ela no se converteu em um processo indispensvel que tome parte do processo de gesto (Cotta, 2001; Garcia, 2001; Mokate, 2002; Faria, 2005). Conforme Ala-Harja e Helgason (2000), as avaliaes so malvistas porque representam um universo de muitas promessas e poucas realizaes. Para alguns setores, a avaliao corresponde a um novo modismo, gerador de burocracia e poucos resultados. Cotta (2001) reconhece que o simples fato de realizar uma avaliao no significa, automaticamente, que as informaes produzidas sero utilizadas. Dessa forma, para essa autora, uma resposta posio apresentada por Ala-Harja e Helgason (2000) que o principal motivo pelo qual a avaliao geralmente no atende s expectativas que cria a presuno de que as condies para o aproveitamento desse tipo de informao esto dadas. Ocorre justamente o contrrio: a avaliao uma atividade que, por suas prprias caractersticas, exige que essas condies sejam intencional e meticulosamente criadas, sob pena de comprometer todo o esforo despendido (Cotta, 2001:94). Faria (2005:102) aponta outros possveis fatores que podem interferir na utilizao dos resultados da avaliao: existncia de crenas e interesses conflitantes na organizao que gerencia o programa; ocorrncia de conflitos de interesses entre as distintas unidades do programa; mudanas no pessoal encarregado (exemplo, novatos tm prioridades diferentes daquelas vigentes no incio da avaliao); eventual inflexibilidade das regras e dos padres operacionais da organizao, que pode impedir a adoo das recomendaes feitas quando da avaliao; mudanas nas condies externas, tais como cortes oramentrios e alteraes no ambiente poltico. Uma vez superados os fatores impeditivos da utilizao da avaliao, Faria (2005) distingue quatro tipos de uso da avaliao:
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

540

andrei piTTol Trevisan Hans micHael van Bellen

instrumental depende no apenas da qualidade da avaliao, mas tambm da adequada divulgao de seus resultados, sua inteligibilidade e da factibilidade das recomendaes propostas; conceitual as descobertas da avaliao podem alterar a maneira como esses tcnicos entendem a natureza, o modo de operao e o impacto do programa que implementam. Nenhuma deciso ou ao esperada, pelo menos no imediatamente; instrumento de persuaso quando a avaliao utilizada para mobilizar o apoio para a posio que os tomadores de deciso j tm sobre as mudanas necessrias na poltica ou programa; esclarecimento acarreta, pela via do acmulo de conhecimento oriundo de diversas avaliaes, impacto sobre as redes de profissionais, sobre os formadores de opinio e sobre as advocacy coalitions, bem como alteraes nas crenas e na forma de ao das instituies (Faria, 2005:103), orientando a agenda governamental.

Referente aos usos da avaliao, alm dos diretamente envolvidos nos programas, diversos outros usurios podem se valer das descobertas da avaliao: gerentes de programas similares e/ou de diferentes nveis governamentais; agentes do governo e representantes de fundaes, interessados em conhecer projetos bem-sucedidos que meream financiamento ou preocupados em aprimorar os programas dos quais so responsveis; membros do Legislativo interessados na melhoria de programas existentes ou na elaborao de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas (Faria, 2005). Por fim, o interessado final o pblico em geral ou a sociedade civil, a qual o governo deve ser accountable for. Dessa forma, os relatrios das avaliaes podem servir tanto para divulgao, quanto para fomento do debate pblico em torno das alternativas de interveno governamental em uma dada realidade social.

5. Metodologia de avaliao de polticas pblicas

De acordo com Faria (2005), parte significativa dos estudos sobre os processos de avaliao de polticas pblicas desde a dcada de 1960 refere-se s questes de ordem metodolgica e/ou s distintas maneiras de se classificar a avaliao. Para Cotta (2001:91), a avaliao tem sido classificada em funrap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

541

o do seu timing (antes, durante ou depois da implementao da poltica ou programa), da posio do avaliador em relao ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processo e resultados). Sem ordem de principalidade, uma das primeiras observaes remete diferenciao entre o timing da avaliao. A avaliao antes (ex ante) sempre foi muito estimulada e induzida nos programas financiados pelos organismos multilaterais de financiamento, especialmente aqueles voltados infra-estrutura econmica e ao desenvolvimento urbano. Essas avaliaes consistem em anlises de custo-benefcio, de custo-efetividade, das taxas de retorno econmico dos investimentos previstos (Lobo, 1998). A avaliao intermediria, tambm chamada de formativa, conduzida durante a implementao de um programa como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O objetivo dar suporte e melhorar a gesto, a implementao e o desenvolvimento do programa. A nfase dada aplicabilidade direta dos resultados (Ala-Harja e Helgason, 2000). As avaliaes posteriores implementao do programa so chamadas ex post ou somativas, e visam trabalhar com impactos e processos, portanto, estuda-se a eficcia e o julgamento do valor geral do programa. A objetividade e a credibilidade dos achados so mais importantes que a aplicabilidade direta dos resultados (Lobo, 1998; Ala-Harja e Helgason, 2000). No que diz respeito posio do avaliador ante o objeto avaliado, Arretche (1998) defende que, porque destinadas a exercer controle sobre as intervenes pblicas, seja dos cidados sobre o governo, seja do governo sobre si mesmo, as avaliaes precisam ser conduzidas por rgos independentes. O ponto em questo a neutralidade da avaliao. Para a autora, muito difcil que avaliaes realizadas pelas prprias equipes governamentais encarregadas da execuo de uma dada poltica sejam crveis e isentas (embora a neutralidade absoluta seja impossvel). H uma srie de incentivos para que tais avaliaes concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus elementos de fracasso. Tais razes vo desde a manuteno dos prprios empregos at o interesse das burocracias em aumentar suas margens de poder e de gasto. Por isso, mais difcil que tais avaliaes tenham em geral valor avaliativo, ainda que possam ser bons instrumentos de pesquisa para estudos de avaliao, mais particularmente avaliaes de eficcia (Arretche, 1998:37-38). impossvel prevenir erros em julgamentos ou tendncias na forma como o homem pensa ou age. Em vista disto, Henry (2002) defende que o iderap rio de Janeiro 42(3):529-50, maio/Jun. 2008

542

andrei piTTol Trevisan Hans micHael van Bellen

al tornar as decises transparentes e identificar os participantes nas decises e suas afiliaes ideolgicas. Com essas informaes em mos as tendncias podem ser confrontadas. O mesmo deve valer para os resultados de avaliaes que, alm da transparncia, devem ser amplamente disponveis, com descrio do desenho do estudo e os processos. Henry (2002) oferece pelo menos duas razes para transparncia dos processos de avaliao de polticas pblicas. O primeiro motivo o aprendizado decorrente do trabalho de outros pesquisadores, substantiva e metodologicamente. De acordo com o autor (2002:424), evaluation reports should make the methods for systematic inquiry transparent, as the best reports do currently. A segunda razo apontada demonstrar mais sistematicamente os benefcios de processos especficos que podem ser usados para selecionar indicadores de sucesso, como dilogos deliberativos, negociaes com os usurios ou stakeholders. Nas palavras de Henry (2002:421), to stand up in the contentious environs of modern democracies, evaluation must be perceived as producing credible information that is not unduly biased by its sponsor or by bad decisions of the evaluator (...). Continuando com Henry (2002:425)
Without making evaluations transparent, we are forced into arguments that can gain no traction because of information asymmetry; that is, those who have used the approaches have complete control over what information is available to those who are considering the use or adaptation of the approaches.

Assim, as avaliaes podem ser discutidas em uma arena pblica, onde os cidados tm pleno acesso s informaes, metodologia empregada e aos resultados alcanados. A avaliao torna-se, assim, um verdadeiro instrumento democrtico de controle sobre a ao dos governos (Arretche, 1998). Arretche (1998) assevera que a literatura de avaliao de polticas pblicas costuma distingui-la em termos de sua eficcia, eficincia e efetividade, recurso analtico destinado a separar aspectos distintos dos objetivos, da abordagem e dos mtodos e tcnicas de avaliao. Uma postura mais abrangente sobre a metodologia de avaliao de polticas pblicas exposta por Costa e Castanhar (2003). Os autores partem do pressuposto que se avaliao uma forma de mensurao, de julgamento de valor, preciso estabelecer, antes de tudo, os critrios de avaliao, e nesse ponto no h consenso sobre aspectos metodolgicos e conceituais. O que existe um autntico emaranhado conceitual.
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

543

A lista de critrios longa e a escolha de um, ou vrios deles, depende do que se deseja privilegiar na avaliao. Com fulcro no manual da Unicef,5 Costa e Castanhar (2003:973) listam os mais comuns: eficincia, eficcia, impacto (efetividade), sustentabilidade, anlise custo-efetividade, satisfao do usurio, eqidade. No entanto, a aplicao dos critrios depende de operacionalizao para identificao e quantificao dos resultados obtidos. A operacionalizao pode ser feita, segundo Costa e Castanhar (2003), por meio de indicadores. O termo indicador derivado da palavra latina indicare, que significa tornar patente; demonstrar, revelar, denotar; expor (Ferreira, 1999). Para a OCDE, um indicador deve ser compreendido como um parmetro, ou valor derivado de parmetros que forneam informaes sobre o estado de um fenmeno, com uma extenso significativa (van Bellen, 2005). Tendo em mente os critrios e indicadores a serem utilizados, resta fazer as comparaes com o referencial, tal como aludido por Garcia (2001). Os padres de referncia para guiar a avaliao podem ser classificados em: absolutos (as metas estabelecidas so consideradas como o padro a ser alcanado), histricos (comparao dos resultados ao longo do tempo), normativos (comparao do desempenho com programas similares ou semelhantes), tericos (estabelecidos na prpria elaborao do programa, sob a hiptese da obteno dos resultados planejados), negociados ou de compromisso (baseiam-se em algum procedimento especfico para sua fixao, normalmente decorrente de consensos entre as partes envolvidas na gesto e os formuladores) (Costa e Castanhar, 2003). O desenho de um programa pblico pode ser sintetizado em uma seqncia de definies correspondentes a graus sucessivos de agregao de objetivos. A tradio brasileira costuma organizar, segundo Costa e Castanhar (2003), de maneira hierarquizada, a seqncia de compromissos de um programa pblico da seguinte forma: propsito > objetivo > meta > atividade. Atualmente maior ateno tem sido dada a uma metodologia de estruturao de polticas pblicas chamada metodologia do marco lgico.6 Esta metodologia parte da concepo de polticas pblicas como processos articulados e estabelece os recursos que configuram a poltica pblica, seus

The United Nations Childrens Fund (em portugus, Fundo das Naes Unidas para a Infncia). 6 Tambm chamada de matriz lgica (Costa e Castanhar, 2003) e marco conceitual (Mokate, 2002).
5

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

544

andrei piTTol Trevisan Hans micHael van Bellen

programas e projetos, e encadeiam as etapas de um mesmo programa, desde o diagnstico da populao-alvo at a definio de critrios para interveno (Carvalho, 2003). A ferramenta de base se estrutura em forma de uma matriz de organizao: de um lado ficam os objetivos, indicadores, meios de aferio e fatores externos a influenciar os resultados do programa; de outro, a especificao dos objetivos geral e especficos, componentes e atividades (Carvalho, 2003). Outra forma de se estruturar a matriz lgica dada por Costa e Castanhar (2003): comea-se pela identificao dos objetivos gerais e especficos do programa e dos indicadores pelos quais o programa ser avaliado, assim como a identificao das fontes de dados que sero usadas para as mensuraes, comparaes e anlises. Num segundo momento volta-se para a identificao dos recursos (financeiros, humanos, infra-estrutura) alocados ao programa, as atividades previstas, os resultados esperados e as relaes causais que a teoria por trs do programa pressupe que podem ser atingidas. Um exemplo de modelo lgico, para primeira etapa descrita por esses autores, relacionando objetivo do projeto, variveis operacionais, indicadores, informao necessria e forma de obteno dos dados apresentado na tabela 1.
Ta b e l a 1

Exemplo parcial da primeira etapa do modelo lgico

Informao necessria dados sobre produo dados sobre receita financeira Mtodo de coleta de dados pesquisa secundria (anurios de produo) pesquisa de campo

Objetivo aumentar a produo agrcola dos beneficirios do projeto

Varivel volume da produo agrcola valor da produo agrcola

Indicador Quantidade produzida por cultura

Fonte: costa e castanhar, 2003: 978.

A identificao de recursos do programa, as atividades e os resultados esperados (imediatos, mdio e longo prazos) pode ser visualizada no exemplo da tabela 2.

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

545

Ta b e l a 2

Exemplo da segunda etapa do modelo lgico em projetos de agricultura irrigada fatores contextuais
Inputs do programa recursos financeiros Atividades do programa Financiamento produo Resultados imediatos mudana nos sistemas produtivos melhoria de volume de produo Resultados (impactos) de mdio prazo instalao de agroindstrias e servios correlatos mudanas nos sistemas de comercializao da produo aumento nos nveis de associao e integrao entre os usurios Resultados (impactos) de longo prazo mudana nos padres de vida das populaes beneficiadas reduo da ingerncia do setor pblico na operao do programa

apoio comercializao

pessoal alocado ao programa

Treinamento assistncia tcnica apoio comercializao

melhoria de renda

recursos de treinamento (material instrucional) infra-estrutura

Treinamento assistncia tcnica realizao de obras de irrigao aquisio e distribuio de equipamentos para irrigao cadastramento e identificao dos perfis dos beneficirios

manuteno de nveis adequados de endividamento

equipamentos

manuteno de nveis adequados de arrecadao x custos de operao manuteno de nveis mnimos de inadimplncia manuteno de nveis mnimos de transferncia de lotes

produtores rurais elegveis para o projeto

Fonte: costa e castanhar, 2003: 977-978.

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

546

andrei piTTol Trevisan Hans micHael van Bellen

Os fatores contextuais dizem respeito aos aspectos que esto fora do controle da equipe de planejamento e gesto do programa, porm podem exercer impacto positivo ou negativo sobre os resultados, tais como: caractersticas empreendedoras dos beneficirios, perfis de gerentes envolvidos na execuo do projeto, caractersticas e atuao dos lderes comunitrios. Conforme Carvalho (2003:193), a metodologia do marco lgico se destaca pela clareza na distino dos conceitos de avaliao e das atividades necessrias para seu desenvolvimento, bem como na proposio de dimenses para avaliao, possibilitando resultados analticos baseados em uma interpretao integrada do comportamento dos agentes, das atribuies das instncias de implementao e da interao com as populaes potencial e beneficiria. Diante dos diversos objetivos de uma avaliao de poltica pblica, podem-se distinguir trs modalidades de avaliao: avaliao de metas, avaliao de processos e avaliao de impacto (Garcia, 2001; Carvalho, 2003; Costa e Castanhar, 2003). A avaliao de metas tem como propsito mensurar o grau de xito que um programa alcana. As metas de um programa so os resultados mais imediatos que dele decorrem (nmero de pessoas atendidas em centros de sade, nmero de horas de aula, nmero de leitos hospitalares). Trata-se, pois, de uma avaliao ex post facto, visto que pressupe a atribuio de valores a um conjunto de metas, definindo-se o xito do programa em funo de que tais metas tenham sido cumpridas. Algumas limitaes desse tipo de avaliao so: dificuldade de especificar as metas de forma precisa; seleo de metas a serem includas no processo de avaliao; mudanas nas metas ao longo da prpria execuo do programa (Costa e Castanhar, 2003). A avaliao de processo visa detectar defeitos na elaborao dos procedimentos, acompanhar e avaliar a execuo dos procedimentos de implantao dos programas, identificar barreiras e obstculos sua implementao e gerar dados para sua reprogramao, por meio do registro de intercorrncias e de atividades. Essa avaliao se realiza concomitantemente ao desenvolvimento do programa, portanto, o uso adequado das informaes produzidas permite incorporar mudanas ao seu contedo (Carvalho, 2003; Costa e Castanhar, 2003). J a avaliao de impacto, conforme Carvalho (2003:186), aquela que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto, para alm dos beneficirios diretos da interveno pblica, avaliando-se sua efetividade social. Busca-se nessa avaliao detectar as mudanas que efetivamente ocorreram e em que medida as mudanas ocorreram na direo desejada. De acordo com a autora, dois pressupostos orientam a avaliao de
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

547

impacto: o primeiro reconhece propsitos de mudana social na poltica em anlise e, dessa forma, faz sentido configurar a investigao para mensurar seus impactos; o segundo pressuposto o que estrutura a anlise com base em uma relao causal entre o programa e a mudana social provocada. No basta constatar a ocorrncia de mudana, preciso estabelecer a relao causa-efeito entre as aes de um programa e o resultado final obtido; entre essas e a ao pblica realizada por meio da poltica (Garcia, 2001; Carvalho, 2003; Costa e Castanhar, 2003). Por sua natureza avaliativa ela considerada ex post facto. Por fim, a avaliao, como instrumental de anlise, pode-se valer tambm dos mtodos prprios da pesquisa social. A sua escolha, entretanto, no casual nem mesmo predeterminada, pois o pressuposto que seja conforme os objetivos (explcitos ou implcitos) estabelecidos pela poltica (Carvalho, 2003). Um ltimo comentrio merece ser prestado aos estudos de avaliao de avaliaes, ou metaavaliaes. Segundo Henry (2001), em algum momento os avaliadores tambm sero responsabilizados (accountable) pelas suas decises. Mais provavelmente, os avaliadores sero responsabilizados no apenas em adotar procedimentos-padro, mas pelos seus resultados e pelos impactos de seus achados. Para esse autor, o futuro da metaavaliao passar a focar com mais intensidade as avaliaes individuais durante o processo, os critrios para definir o que certo nas avaliaes individuais sero melhorados, criticados, revisados e, talvez, aceitos. Conforme Henry (2001), o interesse em metaavaliaes pode produzir duas linhas importantes de trabalhos para o campo. Em primeiro lugar, um resultado muito positivo poderia ser um conjunto de estudos empricos que examinam os impactos verdadeiros das avaliaes. A segunda contribuio das meta avaliaes diz respeito s revises de avaliaes individuais. Henry (2001) assinala que os mtodos para testar avaliaes especficas devem trazer luz preconceitos e inclinaes quando eles ocorrerem e devem fazer com que esses achados sejam acessveis. Alm disso, eventually, to engender confidence in the independence of these reviews, the methods must not only be capable of a determination of bias, they must actually determine some instances in which it has actually occurred (Henry, 2001:426).

6. Consideraes finais
As ltimas dcadas tm registrado o ressurgimento e crescimento do campo de conhecimento das polticas pblicas, em especial no Brasil. Esse novo frap rio de Janeiro 42(3):529-50, maio/Jun. 2008

548

andrei piTTol Trevisan Hans micHael van Bellen

lego deve-se em grande parte s alteraes histricas, polticas e econmicas vivenciadas pela sociedade, e encaradas pelos governos como desafios, que se traduziram em modificaes sobre a forma de compreender, formular e avaliar as prprias polticas. Nesse veio, conforme levantado pela literatura em avaliao de polticas pblicas, a funo de avaliao sofreu deslocamentos terico-discursivos, tomando-se como ponto de partida a dcada de 1960. Nesse perodo, a nfase poltica sobre a avaliao concentrou-se no fornecimento de informao para os gerentes de programas pblicos, de forma a garantir feedbacks para correes de rumo. Na dcada de 1980, a avaliao pende para a funo de (re)alocao, ou seja, buscava-se eficincia na alocao de recursos com base em critrios racionais do processo oramentrio. A dcada de 1990 marca a ltima fase evidenciada pela literatura, na qual o deslocamento terico-discursivo fortemente marcado pelo questionamento do papel do Estado, aliado influncia da nova administrao pblica. A avaliao assume a funo de legitimao, ao mesmo tempo em que so exigidos resultados da administrao e das polticas pblicas. Inovaes e refinamentos tericos com relao a metodologias de avaliao acompanharam e acompanham de perto as concepes e funes das polticas pblicas. Nesse sentido, os esforos de pesquisa na avaliao de polticas apontam para uma maior estruturao e sistematizao dos programas, tal como visto com a metodologia do marco lgico. Contudo, outros questionamentos sobre a avaliao de polticas pblicas se colocam, lentamente, na agenda de pesquisas acadmicas. Assim como o movimento da nova administrao pblica vem sofrendo presses sobre seu carter democrtico-participativo (ou falta dele), est em aberto o debate sobre novas formas de accountability e participao social sobre a avaliao de polticas pblicas no contexto democrtico brasileiro.

Referncias bibliogrficas
ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direo s melhores prticas de avaliao. Revista do Servio Pblico, Braslia, v. 51, n. 4, p. 5-59, out./dez. 2000. ARRETCHE, Marta. Dossi agenda de pesquisa em polticas pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, p. 7-9, fev. 2003. ______. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998. p. 29-39.

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

avaliao de polTicas pBlicas

549

CARVALHO, Sonia Nahas de. Avaliao de programas sociais: balano das experincias e contribuio para o debate. So Paulo em Perspectiva, So Paulo, v. 17, n. 3-4, p. 185-197, jul./dez. 2003. COSTA, Frederico Lustosa da; CASTANHAR, Jos Cezar. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37, n. 5, p. 962-969, set./out. 2003. COTTA, Tereza Cristina. Avaliao educacional e polticas pblicas: a experincia do Sistema Nacional de Avaliao da Educao Bsica (Saeb). Revista do Servio Pblico, Braslia, v. 52, n. 4, p. 89-110, out./dez. 2001. DERLIEN, Hans-Ulrich. Una comparacin internacional en la evaluacin de las polticas pblicas. Revista do Servio Pblico, Rio de Janeiro, v. 52, n. 1, p. 105-122, jan./mar. 2001. FARIA, Carlos Aurlio Pimenta de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 20, n. 59, p. 97-109, out. 2005. ______. Idias, conhecimento e polticas pblicas: um inventrio sucinto das principais vertentes analticas recentes. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, p. 21-29, fev. 2003. FERREIRA, Aurlio Buarque de Holanda. Dicionrio Aurlio Eletrnico: sculo XXI. Rio de Janeiro: Nova Fronteira, 1999. verso 3.0. CD-ROM. FREY, Klaus. Polticas pblicas: um debate conceitual e reflexes referentes prtica da anlise de polticas pblicas no Brasil. Planejamento e Polticas Pblicas, Braslia, n. 21, p. 211-259, jun. 2000. GARCIA, Ronaldo Coutinho. Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, Braslia, n. 23, p. 7-70, jan./jun. 2001. HENRY, Gary T. How modern democracies are shaping evaluation and the emerging challenges for evaluation. American Journal of Evaluation, v. 22, n. 3, p. 419-429, Sept. 2001. JOBERT, Bruno; MULLER, Pierre. LEtat en action. Paris: PUF, 1987. LOBO, Thereza. Avaliao de processos e impactos em programas sociais: algumas questes para reflexo. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998. p. 75-84. MELO, Marcus Andr. As sete vidas da agenda pblica brasileira. In: RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998. p. 11-28.
rap rio de Janeiro 42(3):529-50, maio/Jun. 2008

550

andrei piTTol Trevisan Hans micHael van Bellen

______. Estado, governo e polticas pblicas. In: MICELI, Srgio (Org.). O que ler na cincia social brasileira (1970-1995). So Paulo: Sumar, 1999. v. 3, p. 59-100. MISOCZKY, Maria Ceci. Uma defesa da reflexo terico-crtica na pesquisa e prtica da administrao pblica. In: ENCONTRO DE ADMINISTRAO PBLICA E GOVERNANA, 1., 2004, Rio de Janeiro. Anais... Rio de Janeiro: Anpad, 2004. p. 1-14. CD-ROM. MOKATE, Karen Marie. Convirtiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social. Revista do Servio Pblico, Braslia, v. 53, n. 1, p. 89-131, jan./mar. 2002. REIS, Elisa P Reflexes leigas para a formulao de uma agenda de pesquisa em . polticas pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, p. 11-14, fev. 2003. SILVA, Pedro Luiz Barros; COSTA, Nilson do Rosrio. A avaliao de programas pblicos: reflexes sobre a experincia brasileira. Braslia: Ipea, 2002. SOUZA, Celina. Estado do campo da pesquisa em polticas pblicas no Brasil. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, p. 15-20, fev. 2003. THOENIG, Jean-Claude. A avaliao como conhecimento utilizvel para reformas de gesto pblica. Revista do Servio Pblico, Braslia, v. 51, n. 2, p. 54-70, abr./jun. 2000. VAN BELLEN, Hans Michael. Indicadores de sustentabilidade: uma anlise comparativa. Rio de Janeiro: FGV 2005. ,

rap rio de Janeiro 42(3):529-50, maio/Jun. 2008