AVALIAO EXECUTIVA DE PROJETOS:

EXPERINCIA E RESULTADOS NO
GOVERNO DO ESTADO DE MINAS GERAIS

Glauco Knopp
Vanda Catarina Duarte
Cinthia Bechelaine
Daniel Paulino Teixeira Lopes
 Construindo um Sistema de Monitoramento e Avaliao de Polticas Pblicas:
Painel 25/088
resultados e desafios do Governo do Estado de Minas Gerais

AVALIAO EXECUTIVA DE PROJETOS: EXPERINCIA E

RESULTADOS NO GOVERNO DO ESTADO DE MINAS GERAIS
Glauco Knopp
Vanda Catarina Duarte
Cinthia Bechelaine
Daniel Paulino Teixeira Lopes

RESUMO

O artigo apresenta a experincia da Avaliao Executiva dos Projetos Estruturadores

(AEP) do Governo do Estado de Minas Gerais, realizada em 2010. A avaliao foi
inspirada em experincias internacionais de avaliaes rpidas de programas e
projetos, notadamente Chile, Colmbia, Mxico e EUA, e adaptada s necessidades e
realidade da Administrao Pblica estadual. Toda a carteira de Projetos
Estruturadores foi avaliada com base em uma metodologia composta por 29 questes,
distribudas em quatro eixos: propsito e concepo; planejamento; execuo e
gerenciamento e resultados. A avaliao permitiu a identificao das caractersticas,
das boas prticas e das vulnerabilidades dos projetos e o apontamento de
oportunidades de melhorias para cada critrio avaliado. Os resultados apontam para a
evoluo do modelo de gesto adotado e sua maturao ao longo dos anos, se
consolidando como uma estrutura de Estado e no de Governo, mas que, em relao
ao processo de planejamento e adoo de ferramentas especficas para o
gerenciamento de projetos, tem espao para avanar.
 2

INTRODUO

Um nmero crescente de governos trabalha para aprimorar a

performance da sua atuao, atravs da criao de sistemas para medir e
compreender seu desempenho. Esses sistemas de monitoramento e avaliao
(M&A) so usados para medir a quantidade, qualidade e segmentao dos
produtos e servios que o Estado oferece (MACKAY, 2007). Dessa maneira,
eles facilitam a compreenso das causas do desempenho de programas
governamentais.
Enquanto o monitoramento se constitui uma atividade gerencial
interna que se realiza durante o perodo de execuo e operao das polticas
pblicas, o conceito de avaliao, por sua vez, ultrapassa essa competncia
(COHEN e FRANCO, 1993).
De acordo com Weiss (1972), uma definio provisria e imprecisa
de avaliao, seria avaliao como uma anlise sistemtica de aspectos
importantes de um programa governamental e seu valor.
Para Weiss (1972), o objetivo das avaliaes de polticas pblicas
no outro seno prover subsdios para que a tomada de deciso seja mais
racional, motivada por um conjunto de informaes confiveis sobre a
implementao e o desempenho de programas governamentais.
O objetivo das avaliaes no seriam concluir relatrios, consolidar
dados e realizar pesquisas densas, mas proporcionar uma gesto baseada em
fatos ao contrrio de opinies (PISCO, 2006). As avaliaes no devem,
portanto, apenas demonstrar os problemas ou propor solues para os
problemas detectados, mas produzir mudanas apropriadas que conduzam ao
cumprimento de padres mnimos de qualidade em diferentes servios.
Para Ala-Harja e Helgason (2000), uma avaliao no se destina a
abolir a subjetividade envolvida na tomada de deciso, mas permite certa
melhoria no provimento de informaes aos governantes, sobre as quais eles
possam fundamentar suas decises e melhor prestar contas sobre as polticas
e os programas pblicos, como abordado por Cohen e Franco (1993, p. 278):
A avaliao no um fim em si, e tampouco se pode pensar que seja o
meio idneo para superar todos os problemas que surjam na prestao de
servios [...]. Mas, sem dvida ela contribui para aumentar a racionalidade
na tomada de decises, identificando problemas, selecionando alternativas
de soluo dentro do possvel suas conseqncias, e otimizando a
utilizao dos recursos disponveis.
 3

Nesse sentido, o fortalecimento de estudos confiveis de avaliao

de polticas pblicas uma necessidade inerente a um bom governo, sendo
designada a influenciar a reformulao de polticas, durante sua
implementao ou posteriormente (ARRETCHE, 1998).
Para Figueiredo e Figueiredo (1986) a literatura de avaliao de
polticas pblicas costuma distingui-las em termos de sua efetividade, eficcia e
eficincia. Por efetividade, entende-se o exame da relao entre a
implementao de um determinado programa e seus impactos; por avaliao
de eficincia, a relao entre os custos empregados na implementao de uma
dada poltica e os benefcios alcanados; e por eficcia, a avaliao da relao
entre os objetivos e instrumentos explcitos de um dado programa e seus
resultados efetivos.
As avaliaes de efetividade sugerem uma relao de causa e
efeito, isto , os efeitos do programa sobre seu pblico-alvo. So, portanto,
mais difceis e mais caras, vez que exigem metodologias mais complexas.
As avaliaes de eficincia indicam uma noo de otimizao dos
recursos disponveis, custo mnimo possvel para o mximo de benefcio. Para
Arretche (1998) a avaliao de eficincia a mais urgente de ser realizada,
dado o contexto de escassez de recursos pblicos que exige uma maior
racionalizao do gasto.
Por fim, as avaliaes de eficcia podem ser feitas entre, por
exemplo, as metas propostas e as metas alcanadas pelo programa ou entre
os instrumentos previstos para sua implementao e aqueles efetivamente
empregados. Constitui, usualmente, o tipo mais aplicado nas avaliaes
correntes de polticas pblicas, porque ela a mais simples e menos custosa
(FIGUEIREDO e FIGUEIREDO, 1986).
Nesse campo das avaliaes de eficcia so inseridas as avaliaes
executivas, objeto desse artigo. As avaliaes executivas tm como objetivo
proporcionar uma avaliao "instantnea" do desempenho de um programa
governamental (WORLD BANK, 2009a). Para tanto, so introduzidas por
governos que desejam possuir uma viso padronizada de seus programas
governamentais j em funcionamento, independentemente de seu setor e
tamanho, o alcance das metas pactuadas.
 4

No caso do Estado de Minas Gerais, de acordo com Guimares e

Campos (2009), a introduo de mecanismos de avaliao de polticas pblicas
apresenta-se como a terceira onda da consolidao do sistema de M&A
mineiro, introduzido, primeiramente, a partir das polticas do Choque de Gesto
e pelo Estado para Resultados. As avaliaes executivas fazem parte dessa
cultura, que teriam um olhar mais crtico acerca dos elementos faltantes para
um processo de planejamento dos projetos estruturadores projetos
prioritrios do governo.
O objetivo desse artigo apresentar a experincia e os resultados
da Avaliao Executiva de Projetos (AEP) do Governo do Estado de Minas
Gerais. Aps esta breve conceituao sobre avaliaes de polticas pblicas na
introduo, ser discutido, o conceito de avaliaes executivas e suas
experincias internacionais. Posteriormente, apresenta-se a experincia
mineira nesse campo, seu histrico, contexto de implantao, metodologia e
processos. Na seo seguinte so expostos os principais resultados da
avaliao da carteira dos 56 projetos estruturadores avaliados e, por fim,
apresentam-se as impresses e concluses desse trabalho executado ao longo
do ano de 2010.

2 AVALIAES EXECUTIVAS BREVE CONTEXTUALIZAO

As avaliaes executivas, tambm chamadas de avaliaes rpidas

ou de escritrio, se caracterizam por ser um processo analtico global e integrado
de programas e projetos governamentais, a partir de uma metodologia
padronizada e relativamente rgida, com perguntas que demandem critrios para
as respostas. Essas caractersticas possibilitam que as avaliaes executivas
sejam aplicadas a programas e projetos em todos os setores da Administrao
Pblica, independente de sua rea de atuao e objeto.
Em essncia, trs aspectos distinguem uma avaliao executiva dos
demais tipos (ver: Guzmn, 2007; Mackay, 2007).
O primeiro est relacionado ao fato de que essas avaliaes
concentram-se na anlise de aspectos de desenho, operao e resultados dos
programas e projetos, sem a pretenso de chegar a concluses sobre os
 5

efeitos e os impactos destes nem estabelecer relaes de causalidade entre o

desempenho das aes e as mudanas nas condies dos seus beneficirios.
O segundo aspecto diz respeito sua metodologia, caracterizada
pela coleta de informaes documentadas (pesquisas existentes, avaliaes
anteriores, bases de dados, outros documentos), pela concluso em um prazo
razovel (entre trs e seis meses) e pela gerao de propostas de ajustes nos
aspectos avaliados dos programas e projetos governamentais. Dois modelos
principais tm sido utilizados pelas avaliaes executivas:
Modelo I: as avaliaes so baseadas em um questionrio
predefinido com um nmero definido de perguntas que sero
respondidas pelos avaliadores. As perguntas so divididas em
reas de atuao. A avaliao acompanhada de orientaes e
critrios detalhados sobre como cada questo deve ser
respondida.
Modelo II: as avaliaes, apesar de ter um quadro geral, com
reas predeterminadas de desempenho que sero avaliados, so
mais flexveis, no sentido de que os avaliadores tm mais
autonomia para decidir como avaliar cada rea (WORLD BANK,
2009).
Por fim, o terceiro aspecto refere-se a sua utilizao. As avaliaes
executivas podem (e costumam) ser utilizadas como metodologias
complementares s avaliaes de desenho, impacto e outros tipos de
avaliao de programas.
De uma maneira geral, de acordo com Mackay (2007) e Guzmn
(2007), consideram-se como principais pontos fortes das avaliaes executivas
a sua velocidade, o custo relativamente baixo e sua capacidade de ordenar e
sistematizar informaes relacionadas aos programas avaliados. Suas
principais desvantagens, em comparao com abordagens mais rigorosas, so
as suas tcnicas de anlise de dados menos consistentes, alm da extrema
dependncia da existncia de informaes disponveis e de qualidade. As
avaliaes executivas tambm enfrentam dificuldade em identificar relaes
causais possveis entre as aes do governo e os seus efeitos ou impactos.
Dentre as principais iniciativas em avaliaes executivas j
executadas encontram-se experincias mais antigas, como as do Chile e
Estados Unidos, e mais recentes, como Mxico e Colmbia (QUADRO 1).
 6

QUADRO 1

Experincias Internacionais de Avaliao Executiva de Programas Governamentais

PASES
CARACTERSTICAS
Chile Colmbia Mxico EUA

Evaluacin de Programas Consistencia y Program Assessment

Avaliao Evaluacin Ejecutiva (E2)
Gubernamentales (EPG) Resultados (CyR) Rating Tool (PART)

Modelo Modelo II Modelos I e II Modelos I e II Modelo I

Consejo Nacional de
Instituio Direccin de Departamento Nacional Evaluacin de la Poltica Office of Management
responsvel Presupuestos (DIPRES) de Planeacin (DNP) de Desarrollo Social and Budget (OMB)
(CONEVAL)

Avaliadores Externos Externos Externos Internos

Nmero de questes No identificado 34 100 25

Desenho Estratgico;
Insumos Financeiros e Desenho; Plano
Desenho; Organizao e
no Financeiros; Gesto Estratgico; Cobertura e Propsito e Desenho;
Gesto; Resultados;
operacional; Estrutura focalizao; Gesto Plano Estratgico;
Eixos avaliados Sustentabilidade;
Organizacional; Gesto operacional; Percepo Gerenciamento;
Justificativa de
estratgica, dos beneficirios; Resultados.
continuidade.
Monitoramento e Resultados.
avaliao; Resultados.
 7

Avaliao inicia com o

marco lgico que
reformulado pelo
80 Questes binrias
avaliador; Projetos so
(sim/no) e 20 questes
avaliados pela qualidade Questes binrias
Faz avaliao da abertas; Utiliza-se o
e organizao de sua (sim/no) e algumas
qualidade do marco marco lgico como um
documentao; poucas no se aplica;
Caractersticas lgico; No possui referencial de anlise;
Classificao em 04 Pesos diferenciados para
Principais mtodo de medio global Projetos recebem um
faixas: muito bom; bom; cada eixo, com maior
(nota, ranking etc.); sinal verde, amarelo ou
com problemas; com peso para o eixo
Questes abertas. vermelho para cada
srias deficincias; Resultados.
rea/eixo avaliado,
Projetos recebem um
conforme desempenho.
sinal verde, amarelo ou
vermelho para cada
rea/eixo avaliado.

Tempo mdio 03 a 06 meses (por projeto)

Custo US$ 11.000,00 US$ 45.000,00 (por projeto)

Fonte: Mackay, 2007; Banco Mundial, 2009; Programa Estado para Resultados, 2010.
 8

Embora existam caractersticas comuns entre as experincias nesse tipo

de avaliao, elas diferem e so adequadas pelos governos de acordo com suas
necessidades e contexto de operao. Cada experincia singular, tanto no que diz
respeito s motivaes iniciais quanto aos objetivos e resultados que se almejam
com a implementao das avaliaes executivas.

3 A EXPERINCIA DE MINAS GERAIS

A experincia do Governo de Minas Gerais em avaliaes executivas teve

como precedente outras iniciativas implementadas desde 2003 no sentido de
aprimorar o modelo de gesto pblica estadual. A partir daquele ano, foram criados
instrumentos que serviram como alicerce para uma gesto orientada aos resultados,
dentre os quais se destacam o desdobramento da estratgia em planos de mdio
prazo, a implantao do escritrio central de monitoramento intensivo de projetos
estratgicos e de escritrios setoriais de projetos, a contratualizao de metas e
resultados dos nveis institucional ao individual e a conduo de pesquisas e
avaliaes de impacto1.
Embora o modelo de gesto e as primeiras aes isoladas de avaliao
das polticas pblicas implementadas se tornassem um referencial de avaliao de
projetos de governo, o governo mineiro ainda necessitava de uma avaliao mais
sistmica e estrutural de suas iniciativas prioritrias: os Projetos Estruturadores,
derivados da estratgia de longo prazo.
A definio do modelo de avaliao executiva no Governo de Minas
Gerais iniciou-se em 2009 a partir de uma proposta de intercmbio entre algumas
das experincias internacionais mencionadas anteriormente, notadamente dos
Estados Unidos, Mxico e Colmbia. Esse intercmbio se materializou na realizao
do seminrio Experincias em Monitoramento e Avaliao: o modelo mineiro em
dilogo com a experincia internacional. Tal iniciativa foi realizada em busca de
casos de sucesso que pudessem ser adaptados para uma experincia de avaliao
dos Projetos Estruturadores.

1
O caminho percorrido na ltima dcada pela gesto pblica estadual em Minas Gerais encontra-se
detalhado em Guimares et al. (2010).
 9

A partir do seminrio foram iniciados os trabalhos de adaptao de

metodologias internacionais, com o trabalho de uma consultora que havia feito parte
do Banco Mundial. O trabalho de benchmark e o dilogo com experincias
internacionais relevantes resultaram em uma proposta metodolgica para avaliao
executiva adaptada ao contexto da gesto pblica mineira.
Dessa forma, surge a AEP de Minas Gerais com o objetivo de possibilitar
uma viso geral e uniformizada sobre a carteira de Projetos Estruturadores, com
vistas a aprimorar sua qualidade, evidenciando melhores prticas e oportunidades
de melhoria a partir do levantamento de informaes sistematizadas. Nesse sentido,
a avaliao apresenta carter consultivo, que permite a identificao da maturidade
dos projetos, a melhoria da tomada de deciso e a discusso sobre os pontos
crticos, em um processo de dilogo entre a equipe dos projetos e as estruturas
centrais de planejamento. O seu carter consultivo realado no fato da avaliao
no gerar nota ou qualquer tipo de classificao dos Projetos preconizando a
relevncia tanto do dilogo quanto do uso de suas informaes para subsdio aos
prprios gestores e a alta gesto.
A implementao da AEP iniciou-se a partir de maro de 2010, quando foi
realizada uma experincia piloto com quatro Projetos Estruturadores2. O piloto
permitiu ajustar ainda mais a metodologia s especificidades do contexto mineiro e
dimensionar o processo e o contedo em relao ao objeto da avaliao, gerando
conhecimentos sobre como avaliar, quem avaliar, tempo despendido, custo gerado
nas avaliaes, aderncia da avaliao ao contexto mineiro, entre outros aspectos.
Do ponto de vista das experincias internacionais, a AEP apresenta
caractersticas do Modelo I, ou seja, se baseia em um questionrio com 29
questes com possibilidade de resposta binria (sim/no), critrios de aceitao
claramente definidos e orientaes sobre as fontes de evidncias.
Comparativamente apresenta, ainda, custo (US$5.500,00) e tempo mdio de
durao (1,5 meses) menores.

2
Informaes detalhadas sobre a experincia piloto foram discutidas por Bechelaine et al. (2010).
 10

3.1 O contedo avaliado

As questes da avaliao executiva foram definidas em torno de quatro

eixos: 1) propsito e concepo, 2) planejamento, 3) execuo e gerenciamento e 4)
resultados. Considerando o referencial metodolgico adotado, a quantidade de
questes em cada eixo e sua relevncia ao alcance dos objetivos da avaliao
executiva foram determinados os pesos de cada eixo.
O primeiro eixo propsito e concepo avalia a clareza do propsito
do projeto e a preciso na sua concepo. So avaliados quesitos relativos ao
diagnstico que caracteriza a situao-problema que o projeto busca responder,
objetivo, escopo, pblico-alvo, entre outros aspectos. Parte-se da premissa de que
um projeto bem concebido, alm de favorecer o seu planejamento, possui maiores
chances de alcanar o potencial de transformao desejado dada a clareza em
relao interveno necessria.
O eixo planejamento avalia o desdobramento do desenho do projeto em
atividades, metas e medidas de desempenho, abordando tambm o processo de
definio de recursos financeiros, humanos e temporais necessrios ao alcance do
objetivo. Considera-se de suma relevncia que o processo de planejamento seja
elaborado tendo como referncia as necessidades identificadas na fase de
concepo, de forma a facilitar seu gerenciamento e contribuir para o alcance dos
resultados.
No terceiro eixo execuo e gerenciamento so avaliados os
mecanismos de gesto das aes e correo de rumos, o desempenho dos atores
envolvidos, a qualidade da gesto oramentria e financeira, o desempenho
financeiro do projeto, a gesto de riscos, de mudanas e o nvel de publicizao.
Esse eixo permite, portanto, verificar como os resultados planejados esto sendo
alcanados.
Por fim quarto eixo avalia o desempenho do projeto em termos do seu
avano fsico, do alcance dos resultados planejados e das informaes geradas por
avaliaes externas. O eixo resultados avalia, assim, se h evidncias de que a
trajetria percorrida pelo projeto responde ao problema inicialmente identificado.
Destaca-se a interdependncia do cumprimento dos requisitos de
algumas questes. H dependncia, por exemplo, entre a questo sobre a
existncia de um plano de riscos e aquela que aborda o gerenciamento de riscos: se
 11

a primeira tiver resposta negativa, a segunda necessariamente ser negativa. Da

mesma forma, algumas questes do eixo planejamento esto ligadas a questes do
eixo de resultados.

3.2 O processo de avaliao

A experincia piloto realizada no incio de 2010 permitiu testar e aprimorar

o processo de avaliao executiva. A metodologia adotada para avaliar toda a
carteira de Projetos Estruturadores compreende cinco etapas sequenciais:
inicializao, entrevistas, elaborao de relatrios, devolutiva e finalizao. Essas
etapas e respectivos detalhamentos so apresentados na Figura 1 a seguir.

FIGURA 1: Etapas do Processo de Avaliao Executiva de Projetos em Minas Gerais.

Fonte: Manual de Avaliao, Avaliao Executiva de Projetos, 2010.
 12

A realizao sequencial de todas as etapas do processo apresentado no

Quadro 2 fundamental para que todos os projetos sejam avaliados
adequadamente. Porm, outros aspectos so importantes para garantir o sucesso
das avaliaes: a existncia do Conselho Gestor e o desenvolvimento de
mecanismos destinados ao controle de qualidade da avaliao.
O Conselho Gestor foi criado para apoiar a coordenao da AEP nas
definies estratgicas, validar a metodologia, aprimorar a qualidade dos relatrios
de avaliao e tomar decises estratgicas que fogem da governana da equipe de
avaliao. Esse conselho, composto por membros da Superintendncia Central de
Gesto Estratgica de Recursos e Aes do Estado de Minas Gerais (GERAES) e
do Programa Estado para Resultados (EpR), divide-se em executivo e tcnico e se
rene periodicamente para conhecer o resultado das avaliaes e deliberar sobre
assuntos pertinentes avaliao.
O Conselho Executivo responsvel pelo direcionamento estratgico da
AEP, particularmente em aes que envolvem a promoo institucional,
acompanhamento do cronograma de avaliao, deliberao de questes crticas
junto a atores governamentais centrais e outros. J o Conselho Tcnico tem o papel
de assegurar o alinhamento tcnico e a qualidade da avaliao, incluindo as
atribuies de validar alteraes na metodologia de avaliao, revisar relatrios e
garantir alinhamento destes.
A partir da atuao do conselho e das demandas da equipe de
avaliadores, foram criados mecanismos para assegurar a qualidade das avaliaes
realizadas. A garantia da qualidade das avaliaes, de fato, um dos principais
pressupostos da atuao da AEP no mbito do subsdio tomada de deciso e
gerao de conhecimento sobre a Carteira de Projetos. Por ter a sua concepo
baseada na adaptao de metodologias internacionais de avaliao e
monitoramento de programas, o primeiro obstculo a ser superado foi o
aprimoramento dos critrios de avaliao para que se tornassem mais customizados
s necessidades do Governo de Minas Gerais.
Com o propsito de buscar a qualidade das avaliaes e padres de
respostas similares, feita a leitura transversal dos eixos da avaliao. Os eixos so
distribudos entre os avaliadores que analisam as respostas dadas para todos os
projetos e apresenta ao grupo suas consideraes acerca de boas prticas
 13

identificadas nas respostas, inconsistncias entre critrios e justificativas e pontos

crticos para reflexo sobre a forma de avaliar. Esse procedimento, alm de permitir
o alinhamento de dvidas e dificuldades em relao aos critrios de avaliao,
alinha questes conceituais e metodolgicas.
O controle de qualidade das avaliaes tambm feito pela leitura
integral dos relatrios por um ator externo ao grupo de avaliadores, membro do
Conselho Tcnico, responsvel por identificar inconsistncias e zelar pela
uniformidade dos contedos apresentados nas avaliaes.
Alm da preocupao com a qualidade do contedo das avaliaes foi
identificada a necessidade da garantia da padronizao do processo de avaliao,
uma vez que a iniciativa era indita e a equipe de avaliadores foi composta por com
profissionais de formao e experincia heterogneas. Desse modo, uma vez
mapeado esse processo, foram elaborados os Padres de Procedimento para cada
uma das atividades da AEP, de modo a permitir que o trabalho fosse feito de
maneira uniforme por qualquer avaliador em qualquer projeto avaliado.
Conforme mencionado anteriormente, a primeira experincia de avaliao
executiva foi realizada durante o ano de 2010 para a carteira de 56 Projetos
Estruturadores. A seo seguinte apresenta os resultados dessa experincia,
incluindo dados sobre o processo de avaliao e os resultados agregados dos
projetos.

4 RESULTADOS

O processo de avaliao dos 56 Projetos Estruturadores do Governo de

Minas Gerais por meio da AEP contou com o envolvimento de sete avaliadores que
atuaram em dupla e realizaram 379 entrevistas com durao mdia de uma hora e
meia. Isso significa que foram realizadas, em mdia, 6,7 entrevistas por projeto. O
tempo mdio da avaliao, ou seja, da reunio inicial elaborao dos relatrios foi
de aproximadamente 40 dias e a durao de todo o processo incluindo a
devolutiva ao gerente e finalizao do processo avaliativo 62 dias, mostrando-se
menor que as experincias internacionais detacadas na seo anterior. Essa
diferena se explica pela dificuldade de agenda com o gerente e pela demora no
retorno de suas consideraes.
 14

importante destacar que 48% dos gerentes no encaminharam seus

comentrios transparecendo a, ainda, frgil institucionalizao de um processo em
que a cultura de avaliao de polticas pblicas ainda encontra-se em construo. A
maioria dos projetos estruturadores, por exemplo, existe desde 2007 sem que
fossem submetidos a qualquer avaliao, principalmente que informassem de seus
desenhos e processos. Nessa condio, a AEP foi recebida por alguns como uma
oportunidade, mas para outros com certa resistncia que teve de ser vencida pela
forma como se deu a abordagem, claramente realada na reunio inicial com a
equipe dos projetos identificar oportunidades de melhorias dos projetos.
Como todo processo dessa natureza a institucionalizao gradativa e
acontece com intervenes avaliativas regulares, mas passados alguns meses da
avaliao, os relatrios tm sido procurados por diferentes pblicos e tm servido de
fonte de informao sobre os projetos para os novos gestores.
No mbito de resultados mais concretos e quantitativos, o Grfico 1 mostra
a classificao dos projetos em faixas de acordo com o nmero de quesitos atendidos
(nmero de SIM) por projeto avaliado. De acordo com a distribuio dos projetos,
observa-se que 46% situam-se na faixa de 10 a 14 itens atendidos indicando a
existncia de espaos significativos para a introduo de melhorias (GRF. 1).

GRFICO 1: Distribuio dos projetos de acordo com a quantidade de quesitos

atendidos (respostas SIM).
Fonte: Avaliao Executiva de Projetos.
 15

Em relao aos eixos avaliados propsito e concepo, planejamento,

execuo e gerenciamento, e resultados observa-se que a Carteira de Projetos
Estruturadores do Estado apresentou desempenho melhor no eixo Propsito e
Concepo (70%) que nos demais eixos, que apresentaram resultados inferiores a
44% (GRF. 2). Esse desempenho indica que, apesar de se perceber uma
satisfatria consistncia no desenho dos Projetos em geral, eles tm perdido em
qualidade quando se considera seu planejamento e conseqente monitoramento,
to relevantes para o alcance dos resultados.
Um dos pontos que impactam nesta baixa qualidade a m
caracterizao da situao problema, assim como a ausncia de definio de onde
se pretende chegar com as intervenes propostas, ou seja, debilidades no objetivo
e escopo. Ressalta-se ainda uma capacidade incipiente, mas incremental, de
apropriao e adequada utilizao das ferramentas de gesto de Projetos que se
refletiu no desempenho nos eixos de planejamento e gerenciamento da avaliao.

GRFICO 2: Percentual de Elementos Atendidos por Eixo do conjunto da

Carteira de Projetos Estruturadores de Minas Gerais.
Fonte: Avaliao Executiva de Projetos.
 16

4.1 Eixo Propsito e Concepo

Ao se analisar o desempenho dos Projetos em relao ao eixo Propsito

e Concepo, observa-se que o eixo possui fragilidades relevantes destacando-se,
fundamentalmente: a) a falta de diagnstico ou a presena de diagnsticos
incompletos; b) indefinio ou alterao do escopo do Projeto, sem o respectivo
registro; e c) a no delimitao do que o Projeto pretende intervir, no permitindo a
clara identificao dos limites de sua atuao.
Em relao ao diagnstico, observou-se que, alm de no se constituir
uma prtica na maioria dos Projetos, a sua ausncia se justificou nos seguintes
aspectos:
a) o Plano Mineiro de Desenvolvimento Integrado do Governo (PMDI) foi
considerado suficiente para justificar a existncia do Projeto;
b) as aes dos projetos j existiam no mbito das Secretarias e foram
adequadas ao formato de Projeto Estruturador;
c) os projetos partiram de intervenes intuitivas como soluo de
problemas estratgicos; e
d) os projetos se embasaram em orientaes legais j previstas na
legislao.
No entanto, claro que todo Projeto, antes da sua concepo, requer a
realizao de uma pesquisa/estudo para a caracterizao do problema, que garanta
minimamente o levantamento de dados e informaes regionais de modo a dar
sustentabilidade ao Projeto, embasar a definio de metas de curto, mdio e longo
prazo e direcionar as entregas com recorte regional de forma a nortear a alocao
dos recursos. Um bom diagnstico permite identificar com clareza o problema a ser
sanado e, consequentemente, a definio de uma boa estratgia de interveno. o
que vai subsidiar o desdobramento do Projeto em suas etapas, delimitar melhor o
seu objetivo e publico alvo e propiciar a elaborao de um bom planejamento.
Em relao ao escopo, notou-se a dificuldade de alguns projetos na
definio de seu foco e suas principais entregas alguns amplos, outros mais
restritos. Escopos amplos tendem a abraar muitas aes de natureza diferente que
prejudicam a mensurao dos resultados podendo levar ao dispndio de esforos e
recursos. Escopos restritos podem deixar de contemplar aes significativas para o
Projeto. Portanto, o escopo do Projeto deve fornecer a todos os envolvidos a
 17

fronteira de atuao em que devem se concentrar todos os esforos do Projeto. A

definio de escopo , em certa medida, decorrente de um diagnstico objetivo que,
quanto mais preciso, maior a chance de uma delimitao clara das fronteiras de
atuao do Projeto.
O elemento que mais favoreceu o desempenho do eixo foi o alinhamento
dos Projetos Estruturadores com a estratgia apenas dois projetos se constituram
exceo. O alinhamento com a estratgia de governo favorece uma atuao mais
consistente do Projeto com a incluso de elementos que possam trazer mais
contribuies para os resultados finalsticos pretendidos.
Para finalizar esse eixo, destaca-se que 20% dos Projetos foram
duplicados de alguma forma, apresentado iniciativas semelhantes com as de outros
Projetos do governo estadual ou federal ou mesmo da iniciativa privada em
execuo no territrio de Minas Gerais. A duplicidade de aes implica em esforos,
propsitos e recursos competitivos entre os Projetos, e devem ser evitados a fim de
se otimizar os resultados e evitar o retrabalho, corroborando com um dos pilares da
estratgia de Minas que a qualidade e inovao em gesto pblica.

4.2 Eixo Planejamento

O eixo de planejamento, que apresentou um atendimento de 39% das

perguntas, permite identificar que o baixo atendimento aos quesitos desejveis
deveu-se principalmente ausncia sistmica da linha de base nos Projetos e
indefinio do seu ciclo de vida somente 3 de 56 Projetos atenderam este item.
A linha de base crucial para que se tenha a clareza do ponto de partida
do Projeto e onde se pretende chegar permitindo a visualizao do ciclo de vida (do
incio ao fim) de cada uma de suas aes. Essa visualizao contribui para o
monitoramento/acompanhamento da execuo do Projeto em relao ao planejado
e a comparao de seu desempenho. Dessa forma, alm de ser um recurso
importante para se identificar o horizonte de atuao do Projeto, a linha de base
um meio de racionalizar a utilizao de ferramentas de gerenciamento. A sua
ausncia na maioria dos Projetos indica tanto a dificuldade dos Projetos enxergarem
o seu fim o que caracteriza um Projeto quanto certo distanciamento dos
resultados e mesmo dos objetivos estratgicos pretendidos. Cabe ressaltar que o
fato de aes rotineiras e contnuas estarem inseridas em vrios Projetos prejudica
sobremaneira a visualizao de todo o ciclo de vida e a definio de linha de base.
 18

Outro destaque do eixo a dificuldade em se definir um

planejamento/fluxo de comunicao para os Projetos (somente 8 de 56 Projetos
definiram algum meio formal de comunicao). No planejar fluxo de comunicao
o que, quando e para quem informar pode comprometer os resultados dos
Projetos dado que os fluxos para engajamentos dos atores relevantes para o
alcance dos resultados pretendidos no so formalmente estabelecidos.
importante assegurar que as informaes do Projeto sejam geradas, coletadas,
distribudas ao atores relevantes, armazenadas, recuperadas e organizadas de
maneira oportuna e apropriada.
Nota-se, tambm, que nmero significativo de Projetos (75%) no utiliza a
ferramenta de planejamento de riscos. O mapeamento dos riscos potenciais do
Projeto e a criao de propostas de monitoramento e de implementao de
contramedidas so elementos fundamentais para o gerenciamento dos custos,
entregas e prazos, tendo como base o registro de riscos j ocorridos e um banco de
respostas s ameaas, para que posteriormente seja possvel estudar as
conseqncias destes riscos e elaborar um plano de gesto de riscos. importante
se ter em mente que, quando se conhecem os riscos do Projeto, abre-se a
possibilidade de obter resultados mais ousados e, por conseqncia, mais
relevantes.
As demais questes do eixo variaram no percentual de atendimento aos
elementos do SIM.Em uma viso geral, o aprimoramento do processo de
planejamento dos Projetos ainda uma lacuna fundamental para a evoluo da
estratgia de atuao em Projetos, uma vez que nenhuma das questes foi atendida
por mais de 64% dos Projetos.

4.3 Eixo Execuo e Gerenciamento

Ao se analisar o eixo de execuo e gerenciamento cujo resultado geral foi

43% (GRF.2), observa-se que a maioria dos projetos adota mecanismos para
monitorar o seu desempenho, de modo a contribuir para o seu gerenciamento, essa
foi a questo mais atendida pelos projetos avaliados. No entanto, 12 Projetos ainda
precisam avanar no sentido de criar mecanismos gerenciais para se apropriar melhor
das informaes geradas no seu gerenciamento e direcionar correes tempestivas.
Atenta-se tambm para a questo do eixo que mostra clara ausncia de
mtricas de eficincia que permitam a comparao com benchmarks, o que impacta
diretamente no uso mais eficiente dos recursos do Projeto e, consequentemente, no
 19

gerenciamento do mesmo. Cabe destacar que antes de se pensar em eficincia para

os Projetos, necessrio que os mesmos cumpram etapas do processo de
planejamento, como, por exemplo, estabelecer os custos dos mesmos embasados em
parmetros bem definidos. Destaca-se, ainda, a forte carncia de monitoramento dos
riscos conseqncia, muitas vezes, da ausncia de um planejamento dos mesmos.
O resultado das respostas ao eixo reflexo, tambm, da carncia por
uma efetiva apropriao da metodologia de gerenciamento de projetos e de rotina
pelas equipes de grande parte dos projetos avaliados. de fundamental importncia
para o sucesso de um Projeto que o mesmo tenha um processo de trabalho definido,
profissionais que estejam dedicados em tempo integral e que possuam experincia e
conhecimento em metodologia de Projetos. Pode-se inferir que esta lacuna
(percebida na maioria dos Projetos) est associada, entre outros fatores, ao enfoque
dado pelo governo no gerenciamento/monitoramento, por meio de uma equipe
central (GERAES) que atua fortemente nesta etapa. Entretanto, quando o Projeto
define uma estrutura forte, coesa, tecnicamente robusta e que trabalha em parceria
com os demais rgos do governo, os resultados tendem a serem alcanados de
maneira mais efetiva.

4.4 Eixo Resultados

O eixo resultados apresentou um desempenho pouco satisfatrio (35%,

conforme Grfico 2). Entretanto cabe destacar que esse um eixo voltado tanto
para aferir as mtricas identificadas no planejamento do Projeto, taxa de execuo
(linha de base e indicadores de resultados), quanto identificar outras formas de se
observar o desempenho, como avaliaes. Como a maioria dos Projetos
apresentou ausncias dessas medidas fundamentais e ainda existe uma cultura
incipiente de avaliao de Projetos no mbito do Estado, o desempenho do eixo
deixou a desejar.
Destaca-se, portanto, que, do conjunto da Carteira de Projetos (56),
apenas dois apresentaram trajetria desejvel para cumprir as metas estipuladas
nas linhas de base de suas principais aes. Por sua vez, dos 14 Projetos que
tiveram algum tipo de avaliao, apenas cinco implementaram as recomendaes
delas provenientes.
 20

Ressalta-se, contudo, que, exceo da ltima questo, as questes do

eixo esto voltadas para os resultados na perspectiva quantitativa. Ao se realizar um
olhar qualitativo, percebe-se que 84% dos Projetos (somente nove Projetos no
atenderam os elementos da pergunta) tm potencial para mitigar o problema que o
originou. Destaca-se que esta questo casa elementos sustentados nas entrevistas
e percepo do avaliador. A anlise dessa questo permite afirmar que, apesar dos
Projetos apresentarem problemas relacionados aos seus desenhos e processos,
eles guardam relao com a situao-problema que o originou e tm potencial para
alcanar melhores resultados, no entanto, h uma extrema debilidade no uso correto
de ferramentas que permitam a definio e visualizao dos resultados pretendidos.

CONCLUSO

A AEP se apresenta como uma primeira tentativa de avaliar de forma

sistmica e padronizada a carteira de projetos estruturadores de Estado. Essa
fotografia, alm de permitir a identificao das fragilidades estruturais e
operacionais dos projetos, explicitou um espao significativo para interveno e
melhoria das iniciativas estaduais. Nesse espao cabem aes de melhoria quanto
ao planejamento e gerenciamento dos projetos e, fundamentalmente, na definio
de medidas que permitam mensurar os seus resultados.
Comparando a avaliao executiva mineira com as demais iniciativas
internacionais que a originaram, observa-se que a metodologia da avaliao ainda
apresenta pontos de melhoria, principalmente em relao ao eixo resultados e
publicizao dos resultados finais da avaliao.
Ainda que a AEP tivesse como foco o desenho e os processos de
planejamento e gerenciamento dos Projetos, ela permitiu identificar elementos
relevantes para se repensar a estratgia e o sistema de monitoramento e avaliao
do Estado, ultrapassando seus limites iniciais.
Em relao estratgia percebeu-se que o modelo de Projeto
Estruturador vem sendo entendido como uma lgica que associa oramento a
Projetos prioritrios, perdendo-se o olhar de iniciativas estratgicas. Tais Projetos
tm sido entendidos como garantia de recursos oramentrios e de status. Essa
 21

compreenso tem levado a dois efeitos no previstos: a forte presena de aes

rotineiras ou de custeio nos Projetos e a certo grau de dependncia condio de
Projeto Estruturador, descaracterizando, em certa medida, a lgica de gesto por
Projetos.
Identificou-se, tambm, que muitos rgos priorizam a execuo sem se
apropriarem das metodologias de gesto e dos processos, prejudicando uma
adequada atuao dos projetos. Como exemplo destaca-se o enfraquecimento da
lgica de implementao de uma estratgia de longo prazo na qual resultados
finalsticos so almejados e direcionam as entregas de cada frente prioritria. Assim,
os instrumentos estratgicos, como o Plano mineiro de Desenvolvimento Integrado
(PMDI) e suas diretrizes, ficam distanciados da prtica dos Projetos, no se
constituindo fontes de consulta e recurso de alinhamento para no se perder o foco
da estratgia. Contribuem com esse formato uma cultura de planejamento de curto
prazo (anual) focada na definio de metas vinculadas ao oramento disponvel sem
replanejar as entregas no longo prazo. Ainda que o planejamento de curto prazo se
faa necessrio e seja importantssimo, ele tem sido pensado descolado da
estratgia, ou seja, focado fundamentalmente na execuo.
Esse processo leva ao enfraquecimento do planejamento de mdio e
longo prazo (PPAG e PMDI), sobretudo quando se considera a funo diretiva e
norteadora que estes instrumentos deveriam representar, fazendo com que se perca
de vista a estratgia na qual o Projeto se insere e a que ele se prope nesse
contexto.
Quanto ao sistema de monitoramento e avaliao, observou-se a
concordncia quase unnime em relao introduo da cultura de monitoramento
dos Projetos no mbito do Estado por meio do papel fundamental desenvolvido,
principalmente, pelo escritrio central de projetos do Estado (GERAES).
Observou-se na avaliao que os Projetos que contavam com estrutura
prpria para acompanhar a gesto dos Projetos nos rgos tiveram melhor
desempenho nos eixos planejamento e gerenciamento. Essa modalidade um
amadurecimento dos prprios rgos em relao gesto de Projetos e tambm
fruto do esforo de introduo de uma nova cultura monitorar e, ainda que
incipiente no momento, avaliar.
 22

Logo, uma necessidade inerente a um governo que utiliza meios de

verificao para assinalar a necessidade de reviso de polticas pblicas,
aproximar o planejamento e acompanhamento dos indicadores de desempenho e
avaliaes de resultado das equipes setoriais e incentivar a reviso de tais iniciativas
de acordo com os apontamentos realizados. Do contrrio, os benefcios de um
sistema de M&A, como apoio ao processo de decises polticas, auxlio no
desenvolvimento de polticas pblicas, assistncia ao gerenciamento dos programas
governamentais em seus diferentes nveis e reforo transparncia e a
responsabilizao do governo (accountability) tornam-se limitados.
Por fim, refora-se a relevncia dessa iniciativa para o mbito da
administrao pblica mineira, tanto na construo de um sistema de avaliaes de
suas polticas pblicas, quanto na identificao de oportunidades de melhoria para
as frentes prioritrias implementadas. Como todo processo de natureza inovadora
que implica em mudana de cultura, a institucionalizao do processo de avaliao
gradativa e ainda depende do enfrentamento de desafios como a implantao das
oportunidades de melhoria indicadas nas avaliaes, a publicizao de seus
resultados e a interface com outros modelos de avaliao.
 23

REFERNCIAS

ALA-HARJA, M.; HELGASON, S. (2000). Em direo s melhores prticas de

avaliao. Revista do Servio Pblico, Braslia, 51 (4): 5-59.

ARRETCHE, M. T. S. (1998). Tendncias no Estudo sobre Avaliao. In: RICO,

Elizabeth Melo (org.). Avaliao de Polticas Sociais: uma questo em debate. So
Paulo: Cortez.

BECHELAINE, C. et al. (2010). A Avaliao Executiva de Projetos no Estado de

Minas Gerais: contexto de benchmarking e institucionalizao da avaliao de
polticas pblicas. In: II Seminrio da Rede Brasileira de Monitoramento e Avaliao.
Fortaleza/CE: Rede Brasileira de M&A.

COHEN, E. & FRANCO, R. (1998). Avaliao de Projetos Sociais. Petrpolis: Editora

Vozes.

FIGUEIREDO, M. F.; FIGUEIREDO, A. M. C. (1986). Avaliao Poltica e Avaliao

de Polticas: Um Quadro de Referncia Terica. In: Textos IDESP, no. 15, mimeo.

GUIMARES, T. B., & CAMPOS, E. S. (2009). Sistema de Monitoramento e

Avaliao no Governo do Estado de Minas Gerais: Aspectos de Gerenciamento.
Disponvel em: <
http://siteresources.worldbank.org/INTLACREGTOPPOVANA/Resources/Tadeu_Bar
reto_Minas_Gerais.pdf> Acesso em 14/10/10.

GUIMARES, T. B; PORDEUS, I. A; CAMPOS, E. S. (Orgs.) (2010). Estado para

Resultados: Avanos no monitoramento e avaliao da gesto pblica em Minas
Gerais. Belo Horizonte: Editora UFMG.

GUZMN, M. (2007). Evaluacin de Programa notas tcnicas. ILPES/CEPAL

(Serie Gestin Pblica n 64), Santiago de Chile.
 24

MACKAY, K. (2007). How to Build M&E Systems to Support Better Government.

Washington DC: World Bank Independent Evaluation Group.

PISCO, L. A. (2006). A avaliao como instrumento de mudana. Cincia & Sade

Coletiva, Rio de Janeiro, 11 (3): 564-576.

WEISS, C. H. (1972). Evaluation Research: methods of assessing program

effectiveness. Englewood Cliffs. NJ. Prentice-Hall.

WORLD BANK. (2009). Results of the expert roundtables on innovative performance

measurement. Washington: World Bank. Techinical Notes, 2. Disponvel em:

<http://siteresources.worldbank.org/INTLACREGTOPPOVANA/Resources/840442-
1235414009766/TechnicalNoteExecutiveEvaluations.pdf>. Acesso em: 14 de maio
de 2010.
 25

___________________________________________________________________
AUTORIA

Glauco Knopp Mestre em Administrao Pblica pela EBAPE/FGV e bacharel em Administrao

de Empresas pela ESPM. Empreendedor Pblico no Governo do Estado de Minas Gerais. consultor
do Instituto Publix.
Endereo eletrnico: knopp.glauco@gmail.com / glauco.knopp@institutopublix.com.br

Vanda Catariana Duarte Formada em Psicologia pela Pontifcia Universidade Catlica de Minas
Gerais (1990). Especialista em administrao gesto de recursos humanos pela Fundao Joo
Pinheiro (1992). Mestre em Administrao Pblica, rea de concentrao Gesto de Polticas Sociais
pela Fundao Joo Pinheiro (2002). Atua no Escritrio de Prioridades Estratgicas na frente de
polticas pblicas de educao.
Endereo eletrnico: vandacatarina.duarte@gmail.com / vanda.duarte@escritorio.mg.gov.br

Cinthia Bechelaine Formada em Administrao Pblica pela Escola de Governo da Fundao

Joo Pinheiro e mestranda em administrao pela UFMG. Atua no Escritrio de Prioridades
Estratgicas nas frentes de polticas pblicas de emprego e avaliao de programas.
Endereo eletrnico: cinthia.bechelaine@gmail.com / cinthia.bechelaine@escritorio.mg.gov.br

Daniel Paulino Teixeira Lopes mestre e bacharel em Administrao pela UFMG. Atualmente,
Empreendedor Pblico do Escritrio de Prioridades Estratgicas do Governo de Minas Gerais,
atuando como Gerente Adjunto do Programa Travessia; Scio da Nunes & Lopes Consultoria Ltda. e
coordenador do site http://www.inovacaogerencial.com.br.
Endereo eletrnico: daniel.lopes@globo.com