A AVALIAO NO CICLO DE GESTO PBLICA Maria das Graas Rua (mimeo, 2004)

O conceito de avaliao das aes governamentais, assim como o de planejamento, surge com as transformaes no papel do Estado especialmente devido ao esforo de reconstruo aps a Segunda Guerra, adoo de polticas sociais e conseqente necessidade de analisar os custos e as vantagens de suas intervenes. Mais recentemente, no mbito do grande processo de mudana das relaes entre o Estado e a sociedade e da reforma da administrao pblica, que passa do primado dos processos para a priorizao dos resultados, a avaliao assume a condio de instrumento estratgico em todo o ciclo da gesto pblica (Kettl, 2000). Segundo Guba & Lincoln (1990), a trajetria histrica dos processos de avaliao, passa de um primeiro estgio, centrado na medida dos fenmenos analisados, para a focalizao das formas de atingir resultados, evoluindo para um julgamento das intervenes e, finalmente, tendendo a constituir um processo de negociao entre os atores envolvidos na interveno a ser avaliada (Constandriopoulos, 1997). O termo avaliao amplamente usado em muitos e diversos contextos, sempre se referindo a julgamentos. Por exemplo, se vamos ao cinema ou ao teatro formamos uma opinio pessoal sobre o que vimos, considerando satisfatrio ou no. Quando assistimos a um jogo de futebol, formamos opinio sobre as habilidades dos jogadores. E assim por diante. Estes so julgamentos informais que efetuamos cotidianamente sobre todos os aspectos das nossas vidas. Porm, h avaliaes muito mais rigorosas e formais, envolvendo julgamentos detalhados e criteriosos, sobre a consecuo de metas, por exemplo, em programas de reduo da excluso social, melhoria da sade dos idosos, preveno da delinqncia juvenil ou diminuio de infeces hospitalares. Essas correspondem avaliao formal, que o exame sistemtico de certos objetos, baseado em procedimentos cientficos de coleta e anlise de informao sobre o contedo, estrutura, processo, resultados e/ou impactos de polticas, programas, projetos ou quaisquer intervenes planejadas na realidade (Rua, 2000). As definies de avaliao so muitas, mas um aspecto consensual a sua caracterstica de atribuio de valor. A deciso de aplicar recursos em uma ao pblica sugere o reconhecimento do valor de seus objetivos pela sociedade, sendo assim, sua avaliao deve verificar o cumprimento de objetivos e validar continuamente o valor social incorporado ao cumprimento desses objetivos (Mokate, 2002). A avaliao representa um potente instrumento de gesto na medida em que pode e deve - ser utilizada durante todo o ciclo da gesto, subsidiando desde o planejamento e formulao de uma interveno, o acompanhamento de sua implementao, os conseqentes ajustes a serem adotados, e at as decises sobre sua manuteno, aperfeioamento, mudana de rumo ou interrupo. Alm disso, a avaliao pode contribuir para a viabilizao de todas as atividades de controle interno, externo, por instituies pblicas e pela sociedade levando maior transparncia e accountability s aes de governo. Por isso, Mokate (2002) defende que uma das caractersticas chave da avaliao deve ser sua integrao a todo o ciclo de gesto, desenvolvendo-se simultaneamente a ele, desde o momento inicial da identificao do problema. Alm dos objetivos relacionados eficincia e eficcia dos processos de gesto pblica, a avaliao decisiva para o processo de aprendizagem institucional e tambm contribuiria para a busca e obteno de ganhos das aes governamentais em termos de satisfao dos usurios e de legitimidade social e poltica. Por essas e outras razes, tem sido ressaltada a importncia dos processos de avaliao para a reforma das polticas pblicas, modernizao e democratizao da gesto pblica.

Nos pases desenvolvidos os processos de avaliao de polticas vm se tornando crescentemente institucionalizados. Isso exige o empenho das estruturas poltico-governamentais na adoo da avaliao como prtica regular e sistemtica de suas aes, na regulao das prticas avaliativas e no fomento de uma cultura de avaliao integrada aos processos gerenciais (Hartz, 2001). No Brasil, a importncia da avaliao das polticas pblicas reconhecida em documentos oficiais e cientficos, mas esse reconhecimento formal ainda no se traduz em processos de avaliao sistemticos e consistentes que subsidiem a gesto pblica (Hartz et Pouvourville, 1998). Esse consenso no plano do discurso, no produz automaticamente a apropriao dos processos de avaliao como ferramentas de gesto, pois freqentemente a tendncia percebe-los como um dever, ou at mesmo como uma ameaa, impostos pelo governo federal ou por organismos financiadores internacionais. Mokate (2002) identifica algumas das possveis razes pelas quais a avaliao no seria facilmente integrada ao ciclo de gesto: (1) Os paradigmas gerenciais dificultam a apropriao da avaliao pelas equipes de gesto, na medida em que focalizam mais as atividades e processos do que os resultados, no valorizando a explicitao de metas e objetivos, e a responsabilizao pelo seu alcance; (2) As aplicaes convencionais dos processos de monitoramento e avaliao tm se realizado de tal maneira que no tm induzido sua percepo como aliados do processo de gesto, cabendo freqentemente apenas aos avaliadores externos e assumindo o aspecto de fiscalizao, auditoria ou controle, cujos resultados no costumam ser utilizados no processo decisrio e gerencial; (3) A complexidade dos objetivos e a adoo de estratgias e tecnologias diferenciadas, que no necessariamente conduzem ao mesmo resultado, dificultam a avaliao das intervenes. A sensibilidade dos problemas sociais a mltiplas variveis faz com que a seleo de estratgias para seu enfrentamento se baseie em hipteses de relaes causais. particularmente difcil atribuir, atravs da avaliao, as mudanas observadas a uma interveno especfica operada sobre um problema, at porque, freqentemente, os efeitos de algumas intervenes s se evidenciam no longo prazo. O fato que toda avaliao tem que enfrentar uma srie de desafios. Primeiro, deve lidar com as limitaes resultantes do fato de que uma das suas principais fontes de informaes so registros administrativos. Ora, como a avaliao nem sempre concebida ex-ante, os registros administrativos no so elaborados com a perspectiva de prover os dados necessrios avaliao. Com isso, o avaliador sempre tem que lidar com lacunas nesses dados e tentar ir alm delas. Segundo, uma outra fonte de informaes so os beneficirios, dos quais se obtm dados diretos. Isso coloca a necessidade de construir instrumentos fidedignos de coleta, bases de dados precisas e confiveis o suficiente para sustentar as apreciaes a serem feitas. Assim, quanto mais slido o treinamento metodolgico do avaliador, melhor, embora a avaliao no se resuma aplicao de tcnicas metodolgicas. Terceiro, fundamental que sejam avaliados os contextos. H uma importante pergunta neste sentido: porque que em contextos diferentes as mesmas aes apresentam resultados diferentes? Esta indagao d a medida da relevncia do contexto e indica a necessidade de mtodos prprios para o seu estudo. Quarto, ao mesmo tempo que a avaliao implica associar meios e fins, preciso abrir a possibilidade de exame de resultados no antecipados. Isto tem sido feito com mtodos de avaliao livre dos resultados ou avaliao independente dos objetivos, que permite questionar se h outros processos que podem produzir tais resultados, independentemente dos objetivos e atos dos gestores.

Quinto, preciso que a avaliao seja capaz de captar mudanas atravs do tempo, retroalimentando as polticas, programas e projetos. Isto requer que, ao invs de representar uma iniciativa pontual, a avaliao seja concebida como um processo contnuo. Sexto, preciso abrir a possibilidade da avaliao orientada para a inovao. Trata-se da avaliao que comea com incio do ciclo de uma poltica, quando h pouco conhecimento sobre a mesma. Este tipo de avaliao implica uma concepo ex-ante, ou seja, a avaliao que construda anteriormente prpria formulao, a partir da qual se realizam simulaes com a finalidade de identificar estratgias e propor cursos de ao . Isso, evidentemente, vai requerer o estabelecimento de uma base de informao (baseline) e a coleta e anlise de evidncias capazes de sustentar polticas novas. Um aspecto que deve ser considerado tem a ver com os avaliadores, suas habilidades e competncias (alm das habilidades analticas que so tomadas como dadas). fundamental que os avaliadores tenham capacidade de trabalhar com policy-makers no sentido de estabelecer com eles parcerias estratgicas visando o melhor resultado das polticas pblicas; isso significa superar a postura de que avaliadores e gestores se situam em campos opostos, sem perder a caractersticas da independncia da avaliao. Tambm essencial que o avaliadores sejam capazes de atuar junto aos stakeholders, estabelecendo dilogos, ajudando a construir consensos e a gerenciar mudanas. igualmente necessrio que o avaliador seja capaz de analisar a coerncia da poltica e interpretar resultados com o distanciamento necessrio. Finalmente, indispensvel que a avaliao tenha conseqncias. E isso significa elaborar planos de ao, formular recomendaes visando o aperfeioamento das polticas, programas e projetos. Essas habilidades so a base para a formao e consolidao de uma cultura de avaliao, capaz de encarar as falhas como oportunidades de aprendizado para fazer mais e melhor em termos de polticas pblicas. A avaliao tem constitudo uma estratgia de mudana do paradigma gerencial. Sob o ponto de vista da gerncia social, as polticas devem ser avaliadas pelo cumprimento de seus objetivos e os gerentes devem ter incentivos naturais para utilizar informao no acompanhamento de seu desempenho em relao a esses objetivos. Mokate (2002) aponta quatro desafios prioritrios para construir um processo de avaliao aliado gerncia social: 1. A definio de um marco conceitual da interveno que se pretende avaliar, indicando claramente objetivos, resultados e as supostas relaes causais que orientam a interveno, pois quando no se sabe onde e como se quer chegar, torna-se muito difcil avaliar nosso desempenho. 2. A superao da brecha entre o quantitativo e o qualitativo na definio de metas e objetivos e na prpria avaliao, gerando complementaridade e sinergia entre eles; 3. A identificao e pactuao de indicadores e informaes relevantes, levando em conta o marco conceitual e as diversas perspectivas e interesses dos atores envolvidos; 4. A definio e manejo efetivo de fluxos da informao gerada pelo processo avaliativo e a introduo de estratgias de incentivos que promovam o uso dessa informao. Para uma cultura gerencial que incorpore uso efetivo da avaliao ao ciclo de gesto, Mokate (2002) aponta algumas condies: incentivar a flexibilidade e a inovao como mecanismos para assegurar o alcance de objetivos mximos desejados e tolerar o erro para promover ajustes e mudana de opes; permitir que, dentro da organizao, os que tm a informao possam fazer uso dela, inclusive dissemina-la, em funo dos objetivos pretendidos; definir valores objetivos e valores de referncia que facilitem a interpretao da informao; adotar incentivos organizacionais e gerenciais que favoream o uso da informao (premiao ou reconhecimento por mrito ou alcance de resultados); estabelecer mecanismos de ajuste para realocao de recursos humanos, fsicos e financeiros, redefinio de estratgias operativas e modificaes nos produtos e servios para alcanar os objetivos desejados;

a) b) c) d) e)

f) g) indicadores; h)

vincular os indicadores ou informaes com os processos decisrios; especificar pontos de deciso, fixando prazos e valores objetivo para alguns comprometer os gestores e suas equipes com o alcance de metas atravs de pactos e contratos de gesto ou desempenho. A avaliao de desempenho constitui um importante instrumento para a gesto das intervenes, mas a falta de acordo sobre como medir esse desempenho ainda um desafio. Como o desempenho refere-se ao grau de alcance dos objetivos e os pases definem diferentes objetivos, metas e dimenses de desempenho nas suas avaliaes, muitas vezes torna-se difcil fazer anlises comparativas. Esse tipo de avaliao deveria focalizar fundamentalmente qualidade, eficincia e eqidade mas as experincias internacionais de avaliao de desempenho enfocam de maneira desigual essas dimenses. Nos pases da OECD predominam anlises sobre a melhoria de resultados e sobre a responsividade. Apesar das recomendaes de organismos internacionais, no sentido de que a eqidade seja uma dimenso transversal de todas as avaliaes de desempenho especialmente no caso das intervenes de natureza social, ainda so poucas as experincias que consolidaram o exame desta dimenso.

CONTANDRIOPOULOS, A. P. (1997). A avaliao na rea da sade: conceitos e mtodos. In: HARTZ, Z.M.A. Avaliao em Sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: Fiocruz. GUBA, E.G. & LINCOLN Y.S. (1990). Fourth generation evaluation. Berverly Hills: Sage. HARTZ, Z. M. A. (2001). Institucionalizando a avaliao em sade: lies (inter)nacionais nas evocaes da Frana. Cadernos de Sade Pblica. 15(2): 229-260. HARTZ Z.M.A. & POUVOURVILLE, G. (1998). Avaliao da eficincia em sade: a eficincia em questo. Cincia & Sade Coletiva. , III(1): 68-82. KETTL, D. (2000). The Global Public Management Revolution: A Report on the Transformation of Governance. Acessado em 10/03/2004: http://www.brookings.edu/scholars/dkettl.htm MINTZBERG, H. (1994). The rise and fall of strategic planning. Nova York: Free Press. MOKATE, K. M. (2002). Convirtiendo el monstruo en aliado: a avaliao como herramienta de la gerencia social. Revista do Servio Pblico, 8(1), 91-136. NASSUNO, M. (2003). Avaliao de resultados e avaliao de satisfao do usurio-cidado: elementos para reflexo. Res Pblica Revista de Polticas Pblicas e Gesto Governamental. 2(2): 99-139. RUA, M.G. (2000). Avaliao de Polticas, Programas e Projetos: Notas Introdutrias. Mimeo. SILVA, P. L. B. e MELO, M. A. B. (2000). O processo de implementao de polticas pblicas no Brasil: caractersticas e determinantes da avaliao de programas e projetos. In: Caderno n 48 NEPP-UNICAMP. TAYLOR, C. (2003) O teste ACIDD: uma estrutura para o planejamento de polticas e processos decisrios. In: Desafios para o desenvolvimento de polticas pblicas: uma viso geral. Braslia: ENAP.