Avaliacao Monitoramento

Secretaria de Estado do Meio Ambiente SEMA-MT
- Em defesa da meio ambiente

Instituto Brasileiro de Administrao para o
Desenvolvimento IBRAD
Curso de Avaliao e Monitoramento de Polticas
Pblicas
01-12/12/2008 Cuiab - MT
Monitoramento de Polticas Pblicas
A civilizao de um povo medida pela forma como este trata suas fontes
de vida: a terra, a gua e o ar
Elias Arajo
Planejamento, Monitoramento e
Avaliao de Polticas Pblicas
Ferramentas e Metodologia:
O Planejamento Situacional: Carlo Matus
Conceito: uma iniciativa e atribuio de quem governa
(gerencia) que busca organizar as aes, de forma lgica e
sistmica, orientada por e para uma viso de futuro.
Premissa:
a) Considera as mudanas: O planejamento um processo
dinmico de mediao entre o conhecimento e a ao, e deve
ser continuamente reconstrudo, de modo a responder s
mudanas da realidade, sem perder o foco no futuro desejado,
pelo uso permanente dos mecanismos de acompanhamento e
controle.
Planejamento Pblico
Planejamento Situacional Carlos Matus
Premissas:
b) Incorpora dimenso poltica: o planejamento situacional
prope que, entre as condies para se mudar uma
realidade, alm dos recursos tcnicos, financeiros,
materiais e institucionais, preciso considerar as
diferentes interesses especficos, vises da realidade e
perspectivas dos atores envolvidos, bem como os espaos
e relaes de poder, naquilo que possa representar
resistncia ou apoio s aes e construo do futuro.
Planejamento Pblico
Planejamento Situacional Carlos Matus
Momentos no seqenciais do Planejamento Matusiano:
Explicativo: foco no que , nas causas e origens de uma realidade para
identificar oportunidades e solues; (presso, estado)
Normativo: foco no devir, pela definio formal dos problemas e das
aes que, considerando diferentes cenrios, possam promover as
mudanas desejadas da situao inicial situao-objetivo (estadoresposta)
Estratgico: foco nos obstculos econmicos, polticos e
institucionais-orgnizacionais que precisam ser superados, de modo
que as mudanas se efetivem; (foras motrizes-presso-estadorespostas)
Ttico-Operacional: foco na quantificao do que e do que se
pretende mudar, com o dimensionamento das aes , e da capacidade
de avaliar e corrigir continuamente a linha de atuao, bem como pelo
emprego dos recursos disponveis. (resposta-presso-estado-resposta)
Planejamento Pblico
Dificuldades no estabelecimento dos parmetros e
modelos de planejamento pblico:

Complexidade das questes envolvidas;

O grau de subjetividade, envolvendo valores, princpios,
crenas e culturas diferentes
A diversidade de atores sociais, econmicos e polticos
que interagem na implementao das polticas pblicas
O carter multidisciplinar das aes de polticas pblicas
Planejamento Pblico
Desafios do Planejamento Pblico:

Como avaliar diferentes programas, com diferentes

atores (pblicos e privados), com diferenciados
objetivos?
Como os gerentes de governo e a sociedade usurio
final podem avaliar o impacto dos programas?
Como preparar e motivar os servidores envolvidos no
planejamento e execuo para produzirem informaes
teis sobre o andamento dos programas?
Como selecionas as informaes que sirvam para avaliar
e mudar a realidade?
Evoluo Histrica da Avaliao

PERIODO
OCORRNCIA/FOCO
1950/1960 Sucia e Alemanha avaliao

voltada ao planejamento e
programao
INSTRUMENTO/
PROCESSOS
INSTITUCIONALI
DADE
Avaliaes prvias ad hoc,

Relatrios
Governo: Comisses,
rgos de pesquisa e
agncias
1970/1980 Noruega, Holanda, Reino Unido, Avaliao/processo

Sucia foco na distribuio
dos recursos e nos resultados,
sem nfase nos impactos
1980/1990 Holanda Finlndia: foco em

processos e resultados e
reformas do setor pblico
Unio Europia difuso dos
instrumentos , foco no
oramento, e resultados
(desempenho)
1990/2000 Inglaterra, OCDE foco

gerencial em produtos e
resultados, reformas da
administrao pblica
oramentrio/ relatrio anual

de desempenho e resultado/
reviso
Governos e
Parlamentos
Avaliaes ex ante,
intermedirias e ex-post,
internas e externas , no nvel
dos ministrios
Ministrio da Fazenda
e Tribunal de Contas
Avaliaes ex-ante, ex-post .

Plano anual de avaliao,
Demonstrativos financeiros e
avaliativos, manuais, Structural
Funds, peridicas plurianuais
Ministrios, gerncias,
rgos executores
rgo de controle e
avaliao interna e
externa
Taylorismo, toyotismo e
Balanced Scorecad, Planos,
relatrios.
Ministrios, agncias,
gerncias equipes

Nova Administrao Pblica ou Administrao
Pblica Gerencial
Contexto: Desmoronamento do Bloco Sovitico, Fim da Guerra Fria,
crise do Welfare State, revoluo tecnolgica (informatizao/robotizao),

nova era de globalizao, marcada pela transnacionalizao dos capitais e
empresas, e pela virtualizao da comunicao em escala planetria (aldeia
global).
Precedentes: Thatcherismo Inglaterra
Paradigma: Estado Mnimo (regulao e controle), neoliberalismo e
fundamentalismo de mercado
Pressupostos: reforma do Estado, privatizao, agencificao, clientelizao
dos cidados; reduo dos direitos bens e servios; separao (fsico e
funcional) entre poltica e administrao, entre processo de tomada de
deciso (ministrios) e execuo administrativa das decises (agncias no
subordinadas a ministrios e terceirizao). O estado no mais o
garantidor de direitos (que se flexibilizam e precarizam),porm um
prestador de servios que o mercado no tiver interesse em ofertar.

Pblica Gerencial
Reforma da Administrao Pblica
Modelo Westminster de reformas: Inglaterra (Reino Unido,
Canad, Nova Zelndia e Austrlia)
Inglaterra (Tatcherismo), principais dimenses:
reduo do poder do servio pblico civil para que o aparato estatal
responda mais rapidamente s decises polticas;

adoo das prtica gerenciais do setor privado para promover a
economia e a eficincia no governo;
cidados, como clientes, passam a ter mais liberdade quanto a entrega
dos servios pblicos, em contraposio ao controle e dominao do
Estado (oramento participativo)
substituio do modelo burocrtico (hierarquia, controle, cautela e
normatizao), pelo modelo ps-burocrtico (inovao, flexibilidade,
menos controle estatal, competio, aprendizagem contnua, qualidade de
servios e orientao para os resultados

Pblica Gerencial
Modelo Westminster de reformas: Nova Zelndia (Reino
Unido, Canad e Austrlia)
Estgios:
1.
2.
3.
4.
(1978/1985) introduo das prticas gerenciais privadas na

administrao pblica;
(1986/1991) abordagem de livre mercado gerncia do governo:
contratualizao, competio e estmulo a interesses individuais);
(1992/1996) adoo de abordagem estratgica, para promover a
viso ampla dos programas e fazer face a fragmentao advinda da
etapa anterior;
(1997/........) prioridade em desenvolver potencialidades, em especial
dos recursos humanos.

Pblica Gerencial
Modelo Westminster de reformas: Austrlia (Canad,
Reino Unido e Nova Zelndia)
Principais caractersticas:

(1980 1990) - a estratgia de avaliao integrada gesto e o

planejamento das organizaes e programas foram integrados
reforma da administrao pblica;
Avaliao dos programas a cada 3 ou cinco anos;
Avaliaes conduzidas pelo prprios gerentes de programas, orientadas
gesto de desempenho, e sob a coordenao dos pelos responsveis
pela alocao dos recursos;
Avaliao associado ao processo oramentrio, sendo eficcia dos
programas o critrio para a alocao dos recursos;
Ministrio da Fazenda coordena os rgos de governo no processo de
avaliao e Auditoria Geral interfere nas atividades.

Pblica Gerencial
Modelo Westminster de reformas: Austrlia (Canad,
Reino Unido e Nova Zelndia)
Razes do sucesso da avaliao:
Reformas no setor pblico voltada aos resultados finais;
Exigncia de avaliao adotada pelo primeiro escalo;
Apoio de ministrios-chave;
Redes de avaliadores e unidades centrais de avaliadores
nos ministrios; e
Planejamento, coordenao, qualidade e bons sistemas
de informao sobre o desempenho.

Nova Administrao Pblica ou Administrao Pblica
Gerencial
Experincia dos Estados Unidos:

Governo implementa e Congresso legisla sobre a realizao de avaliao em
larga escala
General Accounting Office (GAO): rgo assessor do Congresso, realiza
auditorias de desempenho e avaliaes de programas
Government Performance and Results Act (GPRA,1993): planejamento
estratgico e mediao de desempenho nfase nos resultados e no nos
impactos, tendendo a avaliar instituies ao invs dos programas planos
anuais e plurianuais.
National Performance Review (NPR): ato do governo, visando o melhor
funcionamento da mquina pblica, visando um menor custo, focado mais no
comportamento da burocracia, do que nas mudanas de estrutura e
processos
Best Practices in Performance Measurement: princpios de avaliao
utilidade no processo decisrio; tempestividade, relevncia e conciso.

Nova Administrao Pblica ou Administrao Pblica Gerencial
Experincia Latino-Americana
Colmbia (1991): Sistema Nacional de Avaliao da Gesto e Resultados
(SINERGIA) acompanhamento e avaliao de planos nacionais de
desenvolvimento
Argentina (1995): Sistema de Informao, Avaliao e Monitoramento de
Programas Sociais (SIEMPRO) avalia gastos relativamente altos na rea
social, porm com baixa eficincia e efetividade
Chile (1997): Programa de Avaliao de Projetos Governamentais (PAPG),
originado em funo de demanda do Congresso, conduzido pelo
Ministrio do Planejamento e Secretaria Geral da Presidncia da Repblica

A experincia brasileira:
Antecedentes:
Decreto-Lei 579/1938 - DASP - Departamento Administrativo do

Servio Pblico (1938) primeiro processo de planejamento da
reforma administrativa no Brasil, baseado nos princpios da
Administrao Cientfica (Taylor, Gant, Ford) e no modelo Weberiano
de burocracia.
Decreto-Lei 200, de 25 de fevereiro de 1967 - Estatuto da Reforma
Administrativa define a administrao pblica direta e indireta; cria
o conceito de empresa pblica; autoriza a instituio do IPEA;
estabelece os princpios da administrao pblica: 1) Planejamento; II)
Coordenao; III) Descentralizao; IV) Delegao de competncia; e
V) Controle; e distingue os nveis de direo e execuo.
Lei 8.031, de 12 de abril de 1990 Institui o Programa Nacional de
Desestatizao PND: autoriza a privatizao de empresa de modo a
permitir que a administrao pblica concentre seus esforos nas
atividades em que a presena do Estado seja fundamental para a
consecuo das prioridades nacionais.

A experincia brasileira:
Constituio Federal de 1988:
A administrao pblica direta e indireta de qualquer dos Poderes da Unio, dos
Estados, do Distrito Federal e dos Municpios obedecer aos princpios de legalidade,
impessoalidade, moralidade, publicidade e eficincia... (Art.37)
- assegura:
- O controle externo, a cargo do Congresso Nacional, ser exercido com o auxlio
do Tribunal de Contas da Unio (Art. 71)
- a manuteno de servios de atendimento ao usurio e a avaliao peridica,
externa e interna, da qualidade dos servio. (Art. 37, XXI, 3.)
- A autonomia gerencial, oramentria e financeira dos rgos e entidades da
administrao direta e indireta poder ser ampliada mediante contrato, a ser
firmado entre seus administradores e o poder pblico, que tenha por objeto a
fixao de metas de desempenho para o rgo ou entidade (Art. 37, XXI, 8.)
Leis de iniciativa do Poder Executivo estabelecero:
I - o plano plurianual;
II - as diretrizes oramentrias;
III - os oramentos anuais. (Art. 165)
Nova Administrao Pblica

Experincia Brasileira
Ministrio da Administrao Federal e Reforma do Estado
MARE
- Plano Diretor da Reforma do Estado - PDRAE(1995)

a)"orientao do Estado para o cidado usurio ou cidado-cliente;

b)nfase no controle dos resultados, atravs de contratos de gesto (ao invs de
controle de procedimentos);
c)fortalecimento e aumento da autonomia da burocracia estatal, organizada em carreiras
ou "corpos" de Estado, e valorizao de seu trabalho tcnico e poltico de participar,
juntamente com os polticos e a sociedade, da formulao das polticas pblicas;
d)separao entre as secretarias formuladoras de polticas pblicas, de carter
centralizado, e as unidades descentralizadas, executoras dessas polticas;
e)distino entre dois tipos de unidades descentralizadas: as agncias executivas, que
realizam atividades exclusivas do Estado, por definio monopolistas, e os servios sociais
e cientficos de carter competitivo, em que o poder do Estado no est envolvido;
f)transferncia para o setor pblico no-estatal dos servios sociais e cientficos
competitivos;
g)adoo cumulativa, para controlar as unidades descentralizadas, dos mecanismos (1) de
controle social direto, (2) do contrato de gesto em que os indicadores de desempenho
sejam claramente definidos e os resultados medidos, e (3) da formao de quasemercados em que ocorre a competio administrativa;
h)terceirizao das atividades auxiliares ou de apoio, que passam a ser licitadas
competitivamente no mercado".

Lei de Responsabilidade Fiscal (Lei Complementar n. 101 de 04.05.2000)
Art. 1o Esta Lei Complementar estabelece normas de finanas pblicas
voltadas para a responsabilidade na gesto fiscal, com amparo no
Captulo II do Ttulo VI da Constituio.
1o A responsabilidade na gesto fiscal pressupe a ao planejada e
transparente, em que se previnem riscos e corrigem desvios capazes de
afetar o equilbrio das contas pblicas, mediante o cumprimento de
metas de resultados entre receitas e despesas e a obedincia a limites e
condies no que tange a renncia de receita, gerao de despesas com
pessoal, da seguridade social e outras, dvidas consolidada e mobiliria,
operaes de crdito, inclusive por antecipao de receita, concesso de
garantia e inscrio em Restos a Pagar.

PPA 2000/2003 Avana Brasil:
Diretrizes Estratgicas da Presidncia da Repblica;
Plano Plurianual
Oramento Geral da Unio
Programas Unidade de Gesto:
Objetivos
Pblico-alvo
Valores
Prazos
Metas fsicas
Indicadores
SIGPLAN Sistema de Informaes Gerenciais e de Planejamento

PPA 2000/2003 Avana Brasil
Etapas de avaliao:
1 identificao dos resultados junto sociedade; anlise do
desempenho fsico/financeiro; adequao da concepo/execuo aos
objetivos do programa nvel gerencial
II anlise dos resultados dos programas luz das Diretrizes Estratgicas
ministrios: responsveis pelo planejamento e gesto das polticas
setoriais
III - anlise do conjuntos dos programas luz das Diretrizes Estratgicas,
a cargo da coordenao do MPOG
Administrao Pblica Profissional e

a Servio do Cidado - GESPBLICA
Decreto 5.378, de 23/02/2005 institui o Programa Nacional de Gesto Pblica e
Desburocratizao GESPBLICA, com a finalidade de contribuir para a melhoria da qualidade
dos servios pblicos prestados aos cidados e para o aumento da competitividade do Pas.
Os instrumentos e abordagens devem:

I - eliminar o dficit institucional, visando ao integral atendimento das competncias constitucionais do
Poder Executivo Federal;
II - promover a governana, aumentando a capacidade de formulao, implementao e avaliao das
polticas pblicas;
III - promover a eficincia, por meio de melhor aproveitamento dos recursos, relativamente aos
resultados da ao pblica;
IV - assegurar a eficcia e efetividade da ao governamental, promovendo a adequao entre meios,
aes, impactos e resultados; e
V - promover a gesto democrtica, participativa, transparente e tica.
Art. 3o Para consecuo do disposto nos arts. 1o e 2o, o GESPBLICA, por meio do Comit Gestor de
que trata o art. 7o, dever:
I - mobilizar os rgos e entidades da administrao pblica para a melhoria da gesto e para a
desburocratizao;
II - apoiar tecnicamente os rgos e entidades da administrao pblica na melhoria do atendimento ao
cidado e na simplificao de procedimentos e normas;
III - orientar e capacitar os rgos e entidades da administrao publica para a implantao de ciclos
contnuos de avaliao e de melhoria da gesto; e
IV - desenvolver modelo de excelncia em gesto pblica, fixando parmetros e critrios para a
avaliao e melhoria da qualidade da gesto pblica, da capacidade de atendimento ao cidado e da
eficincia e eficcia dos atos da administrao pblica federal.

PPA 2004/2007 Decreto 5.233 de 06/10/2004. Foram mantidos o
modelos de gesto, a organizao dos programas, as instncias e o
sistema de informaes, acrescido de:
Estratgia participativa na formulao do plano: consultas pblicas e
Validao pelos 26 Estados e Distrito Federal.
O titular da Unidade Administrativa qual se vincula o programa
tornou-se o seu gerente, e o titular da unidade a que se vinculam a
ao tornou-se seu coordenador
Criao do Sistema de Monitoramento e Avaliao do Plano Plurianual
(SMA), com estrutura integrada ao modelo de gesto:
Comisso de Monitoramento e Avaliao (UMA), em cada
ministrio e secretaria especial, com o papel de integrar as vrias
iniciativas de avaliao, inclusive externa, o sistema de
monitoramento.
PPA 2008/2011 Decreto 11.623, de 07/04/2008, Decreto 6.60, de
10/10/2008 (Gesto

Princpios Bsicos da Gesto Governamental
Plano Diagrama 1:
Situao Problema - Sp
Situao Objetivo - So
Interveno do Estado
IE = Sp < So
Onde a Situao Objetivo (So) final dever ser melhor
que a Situao Problema inicial (Sp), antes da
interveno estatal (IE)
Administrao Pblica - MT
Princpios Bsicos da Gesto Governamental
Quadro 1
Relao entre Plano,
Programas e Aes
Plano
Programa 1
Programa n
Ao n.m
Ao 1.1
Ao 1.n
Ao n.1
Ao n.1
Quadro 2
Relao entre os
beneficirios
Populao de Referncia
Populao afetada por

um problema especfico
Pblico Alvo
Populao no
afetada
Populao beneficiria
postergada
Definies das Unidades de Planejamento e Avaliao
Poltica: estgio onde as propostas ganham forma e estatuto, com a
definio de metas, objetivos e recursos. Se transforma em programa
quando a autoridade define uma estratgia de implementao, bem como as
condies iniciais desta.
Plano: Conjunto de programas que buscam objetivos gerais comuns,

ordenando-os e desagregando-os em objetivos especficos, que sero, por
sua vez objetivos gerais ou estratgicos para os programas. O Plano
organiza as aes programticas em uma seqncia temporal, de acordo
com a racionalidades tcnica e as prioridades de atendimento.
Programa: um instrumento de organizao da ao governamental
que articula um conjunto de aes que concorrem para um objetivo
comum pr-estabelecido, mensurado por indicadores, visando a soluo de
um problema ou o atendimento a uma necessidade ou demanda da
sociedade, ou ainda da prpria manuteno das atividades do gesto e
execuo do Estado (programas finalsticos, programas de gesto de
polticas pblicas e programas de apoio administrativo).
Aes: instrumento de programao que contribui para atender ao
objetivo de um programa, podendo ser oramentria ou no-oramentria,
sendo a oramentria classificada, conforme a sua natureza, em:
a) Projeto: instrumento de programao para alcanar o objetivo de um
programa, envolvendo um conjunto de operaes, limitadas no tempo,
das quais resulta um produto que concorre para a expanso ou
aperfeioamento da ao de governo;
b) Atividade: instrumento de programao para alcanar o objetivo de um
programa, envolvendo um conjunto de operaes que se realizam de
modo contnuo e permanente, das quais resulta um produto necessrio
manuteno da ao de governo;
c) Operao Especial: despesas que no contribuem para a manuteno,
expanso ou aperfeioamento das aes do governo federal, das quais
no resulta um produto, e no gera contraprestao direta sob a forma
de bens ou servios.
Meta: a dimenso quantitativa, temporal e especial do
objetivo, aquilo que efetivamente se quer alcanar com a
realizao das aes previstas.
Produto: o resultado concreto das atividades
desenvolvidas pelo programa, podendo ser tanto bens quanto
servios.
Efeito: o que decorre da influncia do programa, estando
localizado temporalmente antes do incio do programa. Os
efeitos so resultados das aes do programa, e podem ser
intermedirios, ocorrendo durante o programa, ou finais, que
so os que perduram aps o programa.
Impacto: o resultado do programa, que pode ser atribudo
exclusivamente s suas aes, aps a eliminao dos efeitos
externos. o resultado lquido do programa.
Avaliao: o processo pelo qual se examina, de forma sistemtica e
objetiva, o programa ou projeto finalizado ou em curso, quanto a sua
implementao, desempenho e resultados, com vistas a determinar sua
eficincia e eficcia, efetividade (impacto), sustentabilidade e relevncia,
considerando critrios previamente estabelecidos, e cujas concluses e
recomendaes possam servir prestao de contas junto aos poderes
pblicos e sociedade, contribuindo para a melhoria da interveno do
Estado.
Avaliao Critrios:
Eficincia: termo originado nas cincias econmicas, que significa a menor relao
custo/benefcio para o alcance dos objetivos estabelecidos no programa ou projeto
Eficcia: medida do grau em que o programa ou projeto atinge os objetivos e
metas estabelecidos
Impacto: indica se o programa ou projeto tem efeitos (positivos) no ambiente
externo em que interveio, em termos tcnico, econmicos, socioculturais,
institucionais e ambientais;
Anlise custo/efetividade: similar anlise de custo de oportunidade e ao
conceito de pertinncia: feita a comparao de formas alternativas para a
obteno de determinados impactos, para ser selecionada aquela que atenda aos
objetivos com menor custo.
Satisfao do beneficirio: avalia a atitude do usurio em relao qualidade do
atendimento que est obtendo do programa ou projeto.
Equidade: procura avaliar o grau em que os benefcios de um programa esto
sendo distribudos de maneira justa e compatvel com as necessidades do usurios
Avaliao padres de referncia:
Absolutos: quando as metas estabelecidas por um programa so
consideradas como um padro a ser alcanado e os desvios so
registrados e analisados;
Histricos: quando se comparam os resultados de um perodo com o os
obtidos em perodos anteriores;
Normativos quando feita comparao de um programa com outros
similares ou com programas semelhantes realizados em outros nveis de
governo, regio ou no exterior;
Tericos: so os estabelecidos na prpria elaborao do programa, sob
hiptese dos resultados esperados, dado os recursos disponveis
Negociados: ou de compromisso, so aqueles que se baseiam em
procedimento especfico para sua fixao, geralmente decorrendo de
acordo entre as partes envolvidas na gesto do programa.
Avaliao metodologia:
Avaliao de impacto: procura identificar os efeitos produzidos
sobre os beneficirios de um programa ou projeto.
Avaliao de metas: (realizao de produo ou produto) tem
como propsito avaliar o xito de um programa ou projeto em
relao ao alcance e desempenho de metas previamente
estabelecidas;
Avaliao de processos: uma modalidade que investiga de forma
sistemtica o desenvolvimento do programa, com o propsito de
medir a sua cobertura estabelecer o grau em que est alcanando os
beneficirios e, principalmente, acompanhar os seus processo
internos.
Avaliao:
Quanto ao tempo: somativa (resultados e impactos expost), formativa (processos - durante) e de marco zero
(referncia ex-ante);
Quanto iniciativa ou personalidade quem avalia: interna,
externa mista;
Quanto ao envolvimento do pblico: participativas,
particularmente para pequenos projetos, nos quais se
prev a participao dos beneficirios em todas as etapas
do programa, que tm, entre outros objetivos, o
empoderamento da comunidade.
Conceitos
Monitoramento: um processo contnuo de acompanhamento de
variveis selecionadas para avaliar se o programa est sendo executado
como planejado.
Est focado nos resultados e implica no acompanhamento dos avanos, com
vistas a consecuo das metas.

muitas vezes realizada em tempo real, contando com ferramentas
computacionais que permitam a coleta e a anlise dos indicadores, ou apoiado
por entidades externas.
Sua viso essencialmente operacional, devendo contribuir para a construo

de indicadores tticos e estratgicos, normalmente visualizados no decorrer do
programa e suas aes, que dependem da construo de um base estatstica
confivel.
Reviso: feita ocasionalmente, para verificar se as aes, medidas e tarefas de

um programa contribuem para a sua execuo de forma encadeada, com vista
correo de rumos e ajustes de recursos.
Monitoramento
Reviso
Avaliao
Quando
feita?
Continuamente, durante
execuo
Ocasionalmente,
Ocasionalmente. Na
prevista (millestones) ou
indicada pelo monitoramento
elaborao, de forma
peridica, ou aps a
cloncluso
O que
medido?
Eficincia: uso dos recursos,
Eficcia, relevncia e
impacto imediato
Impacto de longo
prazo (sutentabilidade)
atividades, resultados e prazos
Alcance de propsito
Pessoal
envolvido
Servidores da organizao
executora
Servidores de
organizaes
Consultores
Servidores externos
Fontes de
informao
Documentos internos
informaes e dados gerenciais,
relatrios mensais, registros de
viagem, atas de reunio
Documento internos
e externos
Documentos internos
e externos
Usurio do
resultado
Gestores, Gerentes,
supervisores
Gestores, Gerentes e
beneficirios
Gestores, gerentes,
pblico, fiscalizadores
Uso dos
resultados
Pequenas mudanas no
programa
Mudanas de rumo
Alterao nas
polticas pblicas
unidade executora ou
pessoas externas ao
governo
O processo de avaliao rvore de Problemas
1 Conhecendo os problemas
Descentralizao do
licenciamento ambiental
Aferio deficiente do impacto das
atividades poluidoras
Pouca efetividade do licenciamento,

monitoramento e fiscalizao
Maioria dos
municpios no
habilitados para
licenciar
Dficit no
licenciamento e
monitoramento de
empreendimentos
Recurso Humanos Insuficientes
Baixa capacidade
de atendimento de
emergncias com
produtos perigosos
Quadro
permanente sem
capacitao
continuada
A&M Passo a Passo
Metodologia do Planejamento de Projetos por
Objetivos - MPPO
Passo 1- Definindo o problema-chave ou a

Situao-Problema que se quer mudar
Princpio de Pareto: 80% dos fenmenos se originam em
20% das causas, enquanto que as outras causas restantes
geram apenas 20% dos fenmenos.
O problema dado pelo ponto de convergncia onde
20% das causas se concentram e voltam a ser dispersar
em 80% de efeitos.
A&M MPPO: Passo a Passo
Passo 1- Caracterizao e Hierarquia dos das
causas e seus efeitos
Brainstorm Princpio de Pareto rvore de
problemas hierarquizao, classificao e
encadeamento dos problemas diagrama de
Ishikawa seleo do problema central
Passo 2 Definindo o objetivo e pblico alvo
Brainstormrvore de Problemas Problema central
identificao, classificao e ordenamento hierrquico dos
efeitos diagrama de Ishikawa formulao de hiptese
fluxograma/Pareto definio do objetivo rvore de
Objetivos pblico relevante.
A&M MPPO: Passo a Passo rvore de Problemas
Efeitos
Baixo nvel de
renda
Baixo nvel de
produtividade
Altos ndices de
delinqncia
Baixa insero no
mercado de trabalho
Insuficincia do Sistema
Educacional
Professores
mal
preparados
Alta incidncia no
uso de drogas
Baixo nvel educacional

dos jovens
Problema central
Causas
Desagregao
familiar
Baixa oferta
de vagas
Ambiente Familiar no
incentivador ao Estudo
Currculo
Inadequado
Pouca
importncia dada
Educao
Necessidade de
trabalhar
precocemente
rvore de Objetivo
Passo 4 Definindo e Organizando a ao
Programa: 0177 - CONTROLE DE ATIVIDADES POLUIDORAS
PPA-MT 2008/2011
Ferramenta: 5W1H Diagrama de Gantt
O qu?
Por qu ?
Quem?
Como?
Onde?
Quando?
Quanto?
1528 -
Forte
centralizao
das aes de
licenciamento,
todas
realizadas na
sede da sema
(problema)
Municpios/
Prefeituras
(pblico)
Ampliar a
capacidade de
gesto ambiental
dos municpios,
partir da
descentralizao
das atividades
poluidoras de
pequeno porte
(objetivo
especfico da
ao), via
consrcios
Regio VII
Sudoeste
(beneficiri
o direto)
2009?
2010?
2011?
150.000
Descentralizaco
do licenciamento
ambiental de
atividades
poluidoras
(ao)
(cronograma)
(recursos
disponveis)
Passo 5 Definindo e planejando o monitoramento
Conceito:
Indicadores de resultado: definem o sentido e o alcance de um
programa (avaliao ex-ante) e medem o sucesso dos objetivos de cada
uma de suas etapas (avaliao somativa ex-post)
Indicadores de processo: possibilitam o acompanhamento do
desenrolar dos programas e projetos, concentrado no como fazer, visando
garantir a eficcia das aes (avaliao formativa durante)
Indicadores de monitoramento: se relacionam com o cumprimento
das medidas e tarefas das aes, assumindo uma postura mais operacional
Exemplos:
Indicadores de resultado: % de licenciamentos realizados pelos
consrcios, em relao ao realizado pelo estado, por ano, considerando
como referncia, os licenciamentos de atividades de pequeno porte
realizadas em 2007.
Indicadores de processo: % licenciamentos anual feito pelo consrcio,
em relao, s realizadas pelo estado, no mesmo ano.
Indicadores de monitoramento: nmero de protocolos e termos de
cooperao efetivados e com assistncia em curso pela SEMA, por ano.
Atribuies dos indicadores
Confiabilidade: distintos avaliadores devem obter os
mesmos resultados ao analisar o mesmo programa com os
indicadores propostos
Validade: para medir precisamente aquilo que se deseja
medir
Adequao: mensurar mudanas quer possam ser atribudas
aos resultados da execuo das aes e do programa
Clareza: suficientemente simples e utilizveis pelos diversos
atores
Passo 5 Definindo e organizando os indicadores
Descrio: denominao do indicador selecionado
Unidade de medida: padro escolhido pra mensurar a quantidade ou relao
adotada
ndice: valor da apurao de um indicador em determinado momento
Data de apurao: data mais recente ou relacionada ao ndice
ndice (meta) desejado ao trmino: valor que se deseja atingir com a
execuo do programa ou projeto, expresso pelo indicador, ao final do perodo
Fonte de apurao: setor ou instituio responsvel pela apurao e
acompanhamento do indicador escolhido
Base geogrfica de apurao: menor nvel de agregao geogrfica de
apurao do ndice
Periodicidade: frequncia com que o ndice apurado e divulgado
Frmula de clculo: frmula matemtica e outros esclarecimentos necessrios
Produto: o bem ou servio que resulta da ao e se destina ao pblico alvo.
O produto de uma ao oramentria (projeto ou atividade) dever ser
desagregado em tantos produtos quantos sejam necessrios para um bom
gerenciamento .
Meta: a quantidade de produto que se pretende alcanar com realizao de
uma ao.
que produto ou servio ser entregue?
Quantos produtos ou servios sero entregues?
Quem ser beneficiado pelos produtos ou servios?
Meta fsica: a quantidade do produto que se deseja obter em um determinado

horizonte temporal (cronograma) , expressa na unidade de medida absoluta
Programa: 0177 - CONTROLE DE ATIVIDADES POLUIDORAS
Objetivo: Realizar o monitoramento e o ordenamento do espao,
licenciando, vistoriando e fiscalizando os empreendimentos com potencial
poluidor.
Objetivo Estratgico: conservao do meio ambiente e da biodiversidade
com o uso e manejo sustentvel dos recursos naturais e com diminuio das
presses antrpicas, especialmente sobre a floresta.
Indicador do Programa: 246 - Municpios atendidos pelo licenciamento
Ao: 1528 - Descentralizao do licenciamento ambiental de atividades poluidoras
ndice Incio do PPA: 69
ndice Final do PPA: 139
Data de apurao (22/04/2005) Periodicidade: quadrimestral

Fonte: SUAD/SEPLAN-MT
Base Geogrfica:
Frmula de clculo
Ao: 1528 Descentralizao do licenciamento ambiental de atividades
poluidoras
Objetivo especfico: ampliar a capacidade de gesto ambiental dos
municpios ,a partir da descentralizao das atividades de licenciamentos
ambientais das atividades poluidoras de pequeno porte.
Responsvel pela ao: Sildemar Ziezkowski
Produtos/servio
Unidade de Medida
Consrcio habilitado (ao)
Unidade
Protocolo de intenes firmado

(medida)
Unidade
Projeto de descentralizao
apresentado aos consrcios (tarefa)
Reunies
Fonte: PTA 2008 FIPLAN/SEPLAN/MT
Meta Fsica
Conceitos:
Regionalizao das aes: critrio para atribuio das
metas focado nos beneficirios
No caso da Ao 1528 Descentralizao do licenciamento
ambiental de atividades poluidoras, a regio definida a
Regio VII Sudoeste. Ou seja, abrange os municpios e
consrcios desta Unidade de planejamento e gesto no
Estado de Mato Grosso.
Passo 7 O processo de avaliao
Conceitos:
Estimativa de custos: de um programa ou projeto consiste no clculo
das despesas em que se ir incorrer quando da execuo das aes e na
previso dos valores e datas dos aportes de recursos financeiros que
devero sustentar as despesas. Inclui todas as despesas diretas e
indiretas.
Anlise Custo X Benefcio: metodologia permite verificar a
pertinncia do programa, projeto ou ao, comparando-se os custos com
os benefcios econmicos e/ou socais gerados, considerando outros
programas, projetos ou aes similares. Pode ser feita ex-ante, para a
tomada de deciso, e ex-post, para compor a avaliao.
Conceitos:
Estimativa de custo mnimo: essa metodologia compara os custos
monetrios com a possibilidade de alcance eficiente dos objetivos. No
avalias os aspectos qualitativos.Verifica apenas eficincia, sem avaliar a
eficcia (resultado ou impacto).
Anlise Custo X Efetividade (impacto): esta metodologia compara,
da mesma forma que a de a de Custo X Benefcio, os custos com a
possibilidade de alcance efetivo da ao, incluindo balano da eficincia e
eficcia no alcance do objetivo, incluindo os efeitos sobre o pblico-alvo.
adequada para o exame ex-ante e ex-post.
Quadro 3 Comparao entre Anlise de Custo x Benefcio, Anlise de
Custo Mnimo e Anlise de Custo Efetividade
ACB
ACM
ACE
Termos de Comparao
Custos e benefcios
(unidades monetrias)
Custos (unidades
monetrias)
Custos do bem ou
servio e o impacto
produzido
Avaliao do Impacto
Sobre a sociedade em
seu conjunto
No considera
Sobre o pblico-alvo e
com os objtivos
Quando se aplica
ex-ante e ex-post
ex-ante
ex-ante e ex-post
Critrios de Deciso
Relao entre os custos

e os benefcios
financeiros
Custos do Programa Relao entre os

ou Projeto
custos e os impactos
Passo 7 O processo de avaliao Balancing Scorecard
O BSC estrutura a Organizao em quatro perspectivas:
1 Financeira trata da gesto dos custos, dos lucros e da
aplicao. No Setor Pblico a gesto do oramento.
2 Cliente identifica os segmentos de clientes onde quer
competir e avalia o nvel de atendimento e satisfao do cliente.
No Setor Pblico o atendimento ao cidado.
3 Processos Internos mapeia e prioriza os processos mais
importantes para atingir os objetivos e metas do cliente e
financeira.
4 Aprendizado e Crescimento desenvolve a estratgia para o
aprendizado e crescimento da equipe para que se possa cumprir os
objetivos das outras perspectivas.
Matriz Lgica: este mtodo tem como propsito oferecer uma
estrutura lgica comum e possibilitar uma sntese das informaes sobre
os programas, de seus elementos centrais, e mostrando as relaes de
causa-efeito entre atividades e resultados. Objetiva, ainda, auxiliar os
gestores a definir com maior clareza os objetivos e parmetros
necessrios para monitorar e avaliar programas e projetos.
O uso deste mtodo visa:
Analisar a consistncia do Programa, pela verificao da lgica entres atividades
e objetivos;
Determinar alcance da responsabilidade dos gestores no caso de insucesso; e
Evitar falta de clareza na definio dos resultados, que dificulte a possibilidade de

comparao e avaliao.
Matriz Lgica ou Marco Lgico: deve ser preenchida de
baixo para cima e da esquerda para direita:
Marco
Lgico
Descrio
Metas e
indicadores
Meios de
Verificao
Hipteses
Impacto
13
16
Resultados
12
Componentes
Atividades
Matriz Lgica ou Marco Lgico:
A lgica vertical esclarece a razo pela qual se elabora o programa ou
projeto, enquanto a razo horizontal mostra o que ser alcanado e o
que deve ser feito para prever o alcance.
Objetivos
Finalidade
Objetivo
Componentes
Atividades
Indicadores
Meios de
Verificao
Hipteses
Matriz Lgica ou Marco Lgico: Pressupostos
Primeira hiptese: considera que no desenvolvimento desta
tcnica certas aes so desenvolvidas permitindo o alcance de um
objetivo especfico. Para a implementao das aes necessrio
estabelecer sua composio: tarefas que permitiro sua
implementao, assim como a disposio dos recursos necessrios
(custo e tempo) e a identificao de cada responsvel pela tarefa.
Segunda hiptese: se os objetivos especficos forem alcanados, as

mudanas tcnicas, econmicas, sociais ou ambientais sero
introduzidas e o objetivo do programa ser atingido.
Matriz Lgica ou Marco Lgico: encadeando causas e efeitos
Hiptese
Elemento do
programa
Indicadores
Objetivo do Programa
Indicador de mensurao
o objetivo do programa
Objetivo especfico
Indicador do alcance do
objetivo especfico
Aes
Metas fsicas
Tarefas
Recursos humanos,
materiais, tempo
Se o objeto especfico,
ento o objetivo do
programa
Se aes, ento objetivos

especficos
Se tarefas, ento aes
Matriz Lgica ou Marco Lgico: organizando o programa:
Programa
Elementos do
Programa
Objetivo do programa
Objetivo especfico 1
Ao 1
Tarefas da ao 1
Ao 2
Tarefa da ao 2
Ao n
Tarefa da ao n
Indicadores
Meios de
verificao
Condicionantes
Passo 10 Alinhando programa e plano
Antes de dar incio execuo e proceder a avaliao ou o
monitoramento, conveniente verificar a aderncia ao plano
de governo e, mais uma vez, analisar a consistncia do
programa ou projeto, para se certificar que o melhor
caminho. Os procedimentos so:
Aderncia:
consiste em verificar o alinhamento do programa com as

orientaes estratgicas do governo, para definio da sua prioridade.
Validao tcnico-cientfica: superadas todas essas etapas, em estando
confiante de que o programa ou projeto merece ser executado, os
avaliadores devem comear o processo de coleta e anlise das
informaes, para verificarem a confirmao do que foi planejado.
IBRAD Instituto Brasileiro de

Administrao para o desenvolvimento
Presidente: Newton Lima Braga
Diretora Tcnica: Mariza Soares
Elaborao: Elias Arajo
Texto de referncia:
Monitoramento e avaliao. FIGUEIREDO, Paulo, Ibrad, Braslia, 2007
Documentos de apoio
Plano Plurianual 2008-2011. SEPLAN, Governo do Estado do
Matogrosso, Cuiab, 2007.
Avaliao, Monitoramento e Construo de Indicadores. Oswaldo
Noman. ENAD, Braslia, 20008
MPPO Metodologia de Planejamento de Projeto orienta a Objetivo. Rui
Pena e Bee-Consulting. www.arvore de problemas.com, 2004
Contatos: IBRAD SCS, QD. 01, BL. D, n. 28, SL 22, Ed. JK, 61- 3226 1084 e
3225 2780. CEP 70.306-900 Braslia DF, www.ibrad.org.br

Agradecimentos:
Superintendncia de Planejamento SEMA- MT
Participantes do Curso de Avaliao e
Monitoramento dezembro/2008
Edio e arte: Elias Arajo

Contatos: eparaujo@hotmail.com, ibeg@ibeg.org.br
Por que avaliar e monitorar?

O que vemos depende
principalmente
do que estamos
procurando
Jonh Lubbock

Obrigado!

Avaliacao Monitoramento

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Avaliacao Monitoramento

Uploaded by

Copyright:

Available Formats

Secretaria de Estado do Meio Ambiente SEMA-MT

- Em defesa da meio ambiente

Monitoramento de Polticas Pblicas

Complexidade das questes envolvidas;

Como avaliar diferentes programas, com diferentes

Evoluo Histrica da Avaliao

1950/1960 Sucia e Alemanha avaliao

Avaliaes prvias ad hoc,

1970/1980 Noruega, Holanda, Reino Unido, Avaliao/processo

1980/1990 Holanda Finlndia: foco em

1990/2000 Inglaterra, OCDE foco

oramentrio/ relatrio anual

Avaliaes ex-ante, ex-post .

Evoluo Histrica da Avaliao

crise do Welfare State, revoluo tecnolgica (informatizao/robotizao),

Evoluo Histrica da Avaliao

responda mais rapidamente s decises polticas;

Evoluo Histrica da Avaliao

(1978/1985) introduo das prticas gerenciais privadas na

Evoluo Histrica da Avaliao

(1980 1990) - a estratgia de avaliao integrada gesto e o

Evoluo Histrica da Avaliao

Evoluo Histrica da Avaliao

Experincia dos Estados Unidos:

Evoluo Histrica da Avaliao

Evoluo Histrica da Avaliao

Decreto-Lei 579/1938 - DASP - Departamento Administrativo do

Evoluo Histrica da Avaliao

Nova Administrao Pblica

a)"orientao do Estado para o cidado usurio ou cidado-cliente;

Nova Administrao Pblica

Nova Administrao Pblica

Nova Administrao Pblica

Administrao Pblica Profissional e

Os instrumentos e abordagens devem:

Administrao Pblica Profissional e

Administrao Pblica Profissional e

Populao afetada por

Plano: Conjunto de programas que buscam objetivos gerais comuns,

vistas a consecuo das metas.

Sua viso essencialmente operacional, devendo contribuir para a construo

Reviso: feita ocasionalmente, para verificar se as aes, medidas e tarefas de

Eficincia: uso dos recursos,

atividades, resultados e prazos

Pouca efetividade do licenciamento,

Recurso Humanos Insuficientes

Passo 1- Definindo o problema-chave ou a

Baixo nvel educacional

que produto ou servio ser entregue?

Quantos produtos ou servios sero entregues?

Quem ser beneficiado pelos produtos ou servios?

Meta fsica: a quantidade do produto que se deseja obter em um determinado

ndice Final do PPA: 139

Data de apurao (22/04/2005) Periodicidade: quadrimestral

Consrcio habilitado (ao)

Protocolo de intenes firmado

Fonte: PTA 2008 FIPLAN/SEPLAN/MT

Relao entre os custos

Custos do Programa Relao entre os

Determinar alcance da responsabilidade dos gestores no caso de insucesso; e

Evitar falta de clareza na definio dos resultados, que dificulte a possibilidade de

Segunda hiptese: se os objetivos especficos forem alcanados, as

Se aes, ento objetivos