Avaliação Da Formação

_____________________________________________________________________ Avaliao da Formao
ndice
OBJECTIVOS PEDAGGICOS DO MANUAL................................................................................ 3 COMO UTILIZAR O MANUAL.......................................................................................................... 4 CONTEDOS PROGRAMTICOS.................................................................................................... 5 INTRODUO ...................................................................................................................................... 6 CAPTULO 1 A AVALIAO E A EFICCIA DA FORMAO PROFISSIONAL ............... 7 CAPTULO 2 - CRITRIOS E INDICADORES DA EFICCIA DA FORMAO.................... 9 INDICADORES DA EFICCIA DA FORMAO ......................................................................................... 9 COMPORTAMENTO E DESEMPENHO DOS FORMANDOS NO SEU LOCAL E POSTO DE TRABALHO ............. 10 EFEITOS SOBRE O CONTEXTO SCIO-ORGANIZACIONAL ONDE INSEREM-SE OS FORMANDOS ............... 11 OBJECTIVOS DA AVALIAO ...................................................................................................... 12 CAPTULO 3 - O QUE AVALIAR? ................................................................................................. 13 A DEFINIO DAS QUESTES AVALIATIVAS A COLOCAR ................................................................... 13 CAPTULO 4 - NVEIS DE AVALIAO DA FORMAO ...................................................... 14 NVEL 1 AVALIAR O GRAU DE SATISFAO DOS PARTICIPANTES NA FORMAO ............................. 15 NVEL 2 AVALIAO DO GRAU DE DOMNIO DE DETERMINADOS SABERES AVALIAO DE APRENDIZAGENS ................................................................................................................................. 21 NVEL 3 AVALIAR A TRANSFERNCIA DA FORMAO ...................................................................... 22 NVEL 4 AVALIAO DOS IMPACTES DA FORMAO NO DESEMPENHO DA ORGANIZAO............. 23 NVEL 5 RETORNO DO INVESTIMENTO (ROI RETURN ON INVESTMENT) ..................................... 24 CAPTULO 5 SELECCIONAR AS TCNICAS DE AVALIAO A UTILIZAR................... 25 TCNICAS MAIS UTILIZADAS EM CADA NVEL DE AVALIAO ............................................................ 28 Nvel 1 Avaliao do grau de satisfao dos participantes na formao .................................. 28 Nvel 2 Avaliao do grau de domnio de determinados saberes .............................................. 28 Nvel 3 Avaliao da transferncia da formao....................................................................... 29 Nvel 4 Avaliao dos impactes da formao nos indicadores de desempenho e da organizao ...................................................................................................................................................... 29 CONCLUSO ...................................................................................................................................... 35 BIBLIOGRAFIA .................................................................................................................................. 37
__________________________________________________________________
Formao Pedaggica Inicial de Formadores
Objectivos Pedaggicos do manual

O presente manual tem como principais objectivos: Apresentar uma perspectiva integrada de avaliao que permita ao utilizador deste manual dotar-se de um conjunto de ferramentas capazes de garantir, de forma sistemtica, coerncia e articulao entre os vrios momentos de avaliao; Sinalizar algumas das principais responsabilidades a assumir por parte dos vrios actores que intervm em processos de avaliao da formao.
__________________________________________________________________
Como utilizar o manual

O presente manual encontra-se organizado em captulos: Captulo 1 A Avaliao e a eficcia da Formao Profissional Captulo 2 Critrios e indicadores da eficcia da Formao Captulo 3 O que avaliar? Captulo 4 Nveis de avaliao da Formao Captulo 5 Seleccionar as tcnicas de avaliao a utilizar Este manual pode ser explorado tanto na parte terica como tambm nos exemplos prticos dos instrumentos de avaliao que so disponibilizados no Captulo 5.
__________________________________________________________________
Contedos Programticos
Critrios de eficcia da formao Anlise evolutiva e sistmica dos resultados de formao Tipos de desvios e aces de regulao Instrumentos de avaliao
__________________________________________________________________
Introduo
Valoriza-se cada vez mais a avaliao nas prticas de formao. E isto compreende-se luz de trs elementos novos: i) as empresas e outras organizaes no vem a formao como uma mera obrigao ou uma inevitabilidade, antes a consideram como uma estratgia de gesto e inovao; ii) aos responsveis pela formao ou pela execuo dos planos de formao exige-se agora o conhecimento dos resultados dos investimentos realizados em formao; iii) a formao permanente, ao longo de toda a vida, requer uma avaliao de cada etapa da formao que se desenvolve. Sendo um investimento, preciso, desde incio, prever os seus resultados. Assim, a avaliao da formao vai fazendo parte integrante dos prprios planos de formao, constituindo, medida que estes vo sendo executados, uma preciosa fonte de informao para a gesto das pessoas, ao servio das organizaes e dos seus projectos. Avaliar a formao no , contudo, uma tarefa fcil. Fcil e usual reproduzir os modelos de avaliao escolar e aplic-los avaliao da formao contnua nas organizaes. E esta uma tendncia que importa combater, evoluindo para uma avaliao mais completa e complexa do impacto da formao tanto nas pessoas e no seu desempenho como nas equipas de trabalho e na evoluo da organizao.
__________________________________________________________________
Captulo 1 A Avaliao e a Eficcia da Formao Profissional

Para as Pessoas Ao considerar-se uma avaliao, h que ter em conta as possveis consequncias que esta pode representar para as pessoas avaliadas. A avaliao cria uma situao em que as pessoas se expem perante os outros, provocando uma certa ansiedade, inquietao, receio, por pensar-se que pode estar em jogo uma diminuio de crdito, a interrupo de um projecto, etc. No sentido de obviar a estas dificuldades, os formandos devero ser implicados na sua prpria avaliao, o mais possvel, fazendo com que esta funcione como um estmulo e no como uma sano. O formando dever tambm ser preparado para auto-avaliar-se, comprovando ele prprio os seus progressos, tentando descobrir o seu prprio caminho na busca de solues, e colaborar com o/a formador/a na correco de possveis lacunas. Os resultados devero ser interpretados (analisados) luz de critrios conhecidos e aceites pelos formandos e serem imediatamente acessveis a eles. Portanto, a avaliao dever preocupar-se tambm com as expectativas dos formandos procurando encontrar respostas para elas e assim contribuir para a eficcia da formao.
Para os Grupos Num grupo em formao deve procurar-se obter uma conjugao de esforos para alcanar um objectivo que comum. O comportamento do grupo dever pautar-se pela tolerncia e compreenso na busca de consensos possveis, e no respeito pela individualidade dos seus membros. Sendo na diversidade de aptides e comportamentos que o grupo encontrar a sua dinmica, a cooperao que conduzir a resultados positivos.
__________________________________________________________________
_____________________________________________________________________ Avaliao da Formao A avaliao bem conduzida poder e dever ter um papel fundamental no relacionamento do grupo se for orientada por princpios de justia e objectividade que possam ser aceites e assumidos por todos, contribuindo desta forma para a criao de um clima de confiana e entre ajuda do qual beneficiar a eficcia da formao.
Para as Instituies Enquanto organizaes definidoras e executoras das polticas de formao e no cumprimento dos objectivos pr-determinados, devero criar, implementar e assumir um sistema de avaliao em que elas prprias estejam includas como objecto de avaliao. Devero criar mecanismos que permitam a escolha e explorao objectiva dos resultados da formao, introduzir as necessrias reformulaes quer no que respeita a programas, mtodos, tcnicas, como meios, estruturas e ou introduo de novos elementos de apoio que garantam a eficcia da formao
__________________________________________________________________
Captulo 2 - Critrios e Indicadores da Eficcia da Formao
OBJECTIVOS
Aprendizagem, organizao, desejveis, etc.
RESULTADOS
INDICADORES
Indicadores da Eficcia da Formao

Comportamento e desempenho dos formandos no seu local e posto de trabalho Efeitos sobre o contexto scio-organizacional onde inserem-se os formandos.
__________________________________________________________________
Comportamento e desempenho dos formandos no seu local e posto de trabalho
Objectivo da Medio Avaliar: Quanto do que foi transmitido resultou em mudanas de comportamento e atitudes no trabalho? Foram resolvidos problemas e necessidades? Indicadores de melhoria da produtividade, eficcia, eficincia, comunicao, integrao scio-profissional, etc. Medir Avaliao de Desempenho: Ritmos de trabalho; Hipteses de promoo profissional; Organizao no trabalho; Motivao; Iniciativa; Comunicao empresarial; Exerccio das funes conforme o cargo que ocupa.
Melhoria de Desempenho e Integrao Profissional Diminuio da Rotao e Absentismo; Melhoria da Produtividade; Melhoria do Nvel de qualidade.
__________________________________________________________________
10
Efeitos sobre o contexto scio-organizacional onde inseremse os formandos

Objectivos da Medio Indcios que a formao foi uma mais valia para o xito organizacional; Avaliar se foram alcanadas expectativas formandos/entidade, a nvel de:
o o o o
Melhoria da produtividade/qualidade; Melhoria Motivao/satisfao; Melhoria da rede e do fluxo de comunicao; Incrementaram conhecimentos;
Indicadores a Medir ndice de Produtividade ndice de Qualidade ndice de Satisfao ndice de Promoo
__________________________________________________________________
11
Objectivos da Avaliao
A avaliao, processo que visa a obteno e tratamento de dados, pondo em evidncia as competncias adquiridas pelos formandos, tem como principais objectivos: a) Seleccionar os candidatos mais aptos para seguirem uma formao; b) Testar os conhecimentos e competncias necessrias para abordar a formao com sucesso; c) Situar os formandos no nvel que lhes convm em funo do desempenho demonstrado; d) Controlar as aquisies dos formandos nos vrios domnios do saber; e) Informar aos formandos dos seus progressos; f) Classificar os formandos, situando-os em relao ao grupo; g) Orientar, aconselhar ou corrigir os formandos durante a formao; h) Controlar no final da formao se as competncias adquiridas pelos formandos correspondem ao perfil desejado; i) Avaliar os objectivos da formao; j) Diagnosticar os pontos fracos da formao, atravs dos resultados obtidos; k) Recolher e processar dados com vista melhoria da formao.
__________________________________________________________________
12
Captulo 3 - O Que Avaliar?

A Definio das questes avaliativas a colocar
Devemos ter sempre presente que qualquer processo de avaliao procura resposta a um conjunto de questes, normalmente designadas por questes de avaliao. As questes de avaliao so normalmente colocadas de acordo com: 1) a tipologia de avaliao pretendida (diagnstica, formativa, sumativa); 2) a natureza das dimenses/componentes da formao em presena; 3) o maior ou menor domnio das metodologias de avaliao pretendidas. O avaliador poder ter de sacrificar algumas questes avaliativas, sempre que no estejam reunidas as condies necessrias recolha dos dados pretendidos.
Vejamos que questes de avaliao so normalmente consideradas em cada um dos nveis de avaliao.
__________________________________________________________________
13
Captulo 4 - Nveis de Avaliao da Formao

Conceito bastante utilizado no mbito da abordagem apresentada por D. Kirkpatrick (1994). Para este autor nveis representam as diferentes dimenses (avaliar o qu?) em que a formao pode ser avaliada. Essas dimenses so: Nvel 1 Reaco (em que medida os participantes esto satisfeitos com o programa?); Nvel 2 Aprendizagem (em que medida ocorreram aprendizagens?); Nvel 3 Comportamento (em que medida as aprendizagens
adquiridas/desenvolvidas foram transferidas para os contextos de trabalho?); Nvel 4 Resultados (em que medida a aplicao dos novos saberes provocaram mudanas no desempenho da organizao?). Os nveis de D. Kirkpatrick so provavelmente os mais conhecidos pela maior parte dos especialistas de avaliao. Esta taxonomia difundiu-se sobretudo, e rapidamente, no contexto dos projectos de formao intra-empresa, tendo sido entretanto desenvolvido/ajustado por forma a ser aplicado a outros contextos. J. Phillips prope um quinto nvel de avaliao, tambm sequencial em relao aos nveis de D. Kirkpatrick: Nvel 5 Retorno do investimento (aplicao da abordagem ROI). Este autor defende que para alm da aferio de eventuais impactes ao nvel do desempenho de uma organizao, importa efectuar anlises custobenefcio de forma a determinar em que medida os impactes obtidos justificaram o investimento efectuado.
Fontes: Phillips, J. (1997); Kirkpatrick (1998-A); Phillips, P. (2002)
__________________________________________________________________
14
Nvel 1 Avaliar o grau de satisfao dos participantes na formao

A sinalizao das questes de avaliao, associadas ao nvel 1 de avaliao, implica que se reflicta sobre as grandes dimenses ou compenentes da formao acerca das quais se deseja aferir o grau de satisfao dos formandos.
Expectativas Iniciais Apoio Logstico Objectivos de Aprendizagem
Condies fsicas de apoio
Nvel 1 de avaliao
Contedos de Formao
Actividades Pedaggicas Formadores/as
Recursos pedaggicos
Sobre cada uma destas componentes do processo de avaliao so colocadas questes que visam gerar informao a devolver aos diferentes destinatrios deste nvel avaliativo. Importa aqui ter presente que, podemos sinalizar um conjunto diversificado de questes para cada dimeno a avaliar, assim como oscilar entre uma abordagem de avaliao dimenses. Sugere-se que sobre cada uma das dimenses/componentes de avaliao sinalizadas sejam colocadas as seguintes questes: __________________________________________________________________
com maior ou menor grau de profundidade de
anlise, consoante o tipo de dados a recolher sobre cada uma destas
15
_____________________________________________________________________ Avaliao da Formao O que se considera pertinente saber sobre ....? Ou: O que que os vrios agentes envolvidos na formao gostariam de saber sobre...? Numa avaliao de reaco podem ser consideradas questes abertas, que permitem recolher informao mais detalhada acerca das intervenes formativas em curso ou a desenvolver, relativas a:
QUESTES DE DIMENSES DE ANLISE AVALIAO (POSSVEIS)
Cumprimento As expectativas EXPECTATIVAS INICIAIS iniciais dos formandos foram cumpridas? dos das ao expectativas longo da formandos de no
CRITRIOS DE AVALIAO
execuo da formao Cumprimento iniciais ( intervenes) A articulao dos mesmos com as necessidades de formao previamente sinalizadas; expectativas final das
Como foram construdos os objectivos?
Clareza
na
determinao
da
aco a executar, das condies de execuo e respectivo critrio de xito a alcanar Participao dos formandos na
OBJECTIVOS DE APRENDIZAGEM Como foram comunicados os objectivos aos formandos?
participao dos mesmos. Apresentao e discusso, no incio das intervenes, a alcanar dos a objectivos formao; Clareza na respectiva descrio; Sinalizao avaliao. Como se articulam Correspondncia de cada um dos dos respectivos critrios de xito, para posterior com
__________________________________________________________________
16

as necessidades de formao sentidas pelos formandos com os objectivos de aprendizagem prdefinidos? objectivos de aprendizagem a competncias concretas a desenvolver; Coerncia entre a natureza do saber contemplado no objectivo de aprendizagem e a natureza da competncia a mobilizar posteriormente Foram cumpridos os objectivos de aprendizagem? Conformidade com o apresentado no programa da aco/curso; Conformidade com o definido ao longo da realizao do curso. Capacidade de resposta demonstrada quando questionado pelos participantes acerca dos O/A formador/a DESEMPENHO DO/A FORMADOR/A domina as matrias/temas abordados? assuntos abordados; Domnio dos termos tcnicos da rea de interveno; Capacidade participantes referncia abordadas; Adequao dos mtodos pedaggicos face s caractersticas dos formandos; O/A formador/a recorre a mtodos pedaggicos adequados? Adequao dos mtodos pedaggicos face aos estilos de aprendizagens dos formandos; Adequao dos mtodos pedaggicos face natureza dos saberes/competncias a desenvolver. Clareza na apresentao dos assuntos abordados; Compreenso por parte dos O/A formador/a recorre a linguagem adequada? formandos, dos termos tcnicos utilizados na abordagem aos assuntos; para para nas remeter autores os de
matrias
__________________________________________________________________
17

Facilidade dos formandos em acompanhar a dinmica das exposies efectuadas pelo/a formador/a. Disponibilidade para responder s questes dos formandos; Demonstrao de interesse pelas Como se relacionou o/a formador/a com os formandos? questes apresentadas por parte dos formandos; Incentivo participao activa dos formandos nas vrias actividades pedaggicas; Acompanhamento da progresso da aprendizagem dos formandos. Actualidade dos assuntos abordados; Utilidade dos mesmos para a resoluo de problemas concretos sinalizados pelos formandos; Os contedos propostos para o curso foram os mais adequados? CONTEDOS PROGRAMTICOS Utilidade dos mesmos para a funo exercida ou a exercer; Adequao de exemplos e exerccios prticos apresentados face ao nvel de qualificao dos formandos; Estruturao e articulao dos contedos; Aplicabilidade dos contedos na resoluo de problemas concretos de trabalho. Profundidade na abordagem dos O desenvolvimento dos contedos foi o mais adequado? temas; Equilbrio entre a teoria e a prtica; Coerncia na abordagem aos vrios assuntos. A durao do Adequao da carga horria
__________________________________________________________________
18

programa foi a mais adequada? associada a cada interveno programtica, face s exigncias de cada objectivo de aprendizagem; Cumprimento de cargas horrias pr-estabelecidas. Qualidade dos recursos utilizados; Diversidade dos recursos; RECURSOS TCNICOPEDAGGICOS (ao servio do/a formador/a e dos formandos) Os recursos tcnicopedaggicos utilizados foram os mais adequados? Eficcia na sua explorao; Actualidade dos recursos; Adequao da respectiva explorao; Contributo dos recursos para a compreenso/construo dos saberes pretendidos SUPORTES DE APOIO UTILIZADOS NA FORMAO (meios udiovisuais) Os suportes de apoio utilizados foram os mais adequados? Diversidade dos suportes mobilizados para a formao; Qualidade dos suportes de apoio; Actualidade dos suportes de apoio utilizados. Cuidados na apresentao da documentao; Adequao do momento em que distribuda a documentao aos formandos; Acessibilidade aos respectivos contedos ( organizao e DOCUMENTAO DE APOIO FORMAO (perspectiva do formando) A documentao disponibilizada foi a mais adequada? estruturao dos contedos); Profundidade na abordagem dos temas; Quantidade da documentao fornecida; Diversidade dos materiais fornecidos; Qualidade da documentao fornecida (na perspectiva da sua utilidade para os formandos).
__________________________________________________________________
19

APOIO TCNICO/ADMINISTRATIVO/ APOIO LOGSTICO O apoio logstico prestado foi suficiente e adequado? Os espaos e instalaes ESPAOS E INSTALAES colocados ao servio da formao foram os mais adequados? Oportunidade das intervenes; Qualidade do servio prestado; Diversidade dos servios prestados. Adequao de luminosidade, temperatura, equipamento disponibilizado para a formao; Adequao da rea disponibilizada para a formao face aos objectivos de aprendizagem pretendidos.
Aces de Formao em curso Comentrios/sugestes de melhoria ou comentrios sobre o curso; Pontos fortes/pontos fracos da aco que se encontra a decorrer; Sugestes para a entidade formadora temas a suprir; acrescentar; a aprofundar. Aces de Formao j concludas Sugestes/crticas/recomendaes para aces futuras; Outras aces que gostaria de frequentar; Grau de facilidade de transposio para a sua organizao dos conhecimentos adquiridos; Aces que pensa empreender, no respectivo contexto de trabalho, no seguimento da aco de formao; Impacte esperado do programa na respectiva evoluo profissional; Classificao da aco quando comparada com outras aces de formao em que j participou. Primeira medida a desencadear aps o regresso ao respectivo posto de trabalho; Recomendaes (perspectiva global) a dirigir aos coordenadores e formadores/as da interveno formativa; Se o ex-formando recomendaria a aco de formao, na qual participou, a outros colegas de trabalho ou amigos. __________________________________________________________________
20
Nvel 2 Avaliao do grau de domnio de determinados saberes Avaliao de aprendizagens

Visa aferir em que medida os objectivos de aprendizagem do programa foram alcanados, por parte dos seus beneficirios directos (formandos). No mbito de uma avaliao de aprendizagens podem ser utilizados mtodos de natureza qualitativa e quantitativa. Este tipo de avaliao procura, regra geral, dar uma resposta concreta s seguintes questes: Que conhecimentos (saberes) foram adquiridos/desenvolvidos por parte dos formandos? Que capacidades (saberes-fazer) foram adquiridos ou melhorados? Que atitudes (saberes relacionais) foram adquiridas e /ou melhoradas?
Numa avaliao centrada no tipo de saberes (de natureza cognitiva) adquiridos/ desenvolvidos, os testes de conhecimentos so os instrumentos mais aplicados. Mtodos e/ou tcnicas, tais como a simulao de actividades, a elaborao de trabalhos/projectos finais, as avaliaes sem contextos reais de trabalho (caso das actividades formativas realizadas em regime de alternncia), etc. so mais utilizadas nas avaliaes que incidem sobre saberes-fazer tcnicos. No que respeita s abordagens avaliativas centradas nos saberes relacionais, as tcnicas de avaliao mais utilizadas so os testes (que visam medir atitudes), as observaes e as simulaes.
Fontes: Kirkpatrick (1998); Woods J. (et al.) (2000); Valadares e Graa (1998)
__________________________________________________________________
21
Nvel 3 Avaliar a transferncia da formao

Visa aferir em que medida os saberes adquiridos pela via da formao foram efectivamente mobilizados para os respectivos contextos de aplicao. A anlise a vrios estudos realizados sobre a matria, permitiu concluir que a preparao do contexto de desempenho de um indivduo recm-formado assume uma importncia crucial aquando da respectiva mobilizao de saberes adquiridos/desenvolvidos pela via da formao. Das principais barreiras ao processo de transferncias de aprendizagens destacam-se as seguintes: Ausncia ou fraco envolvimento da gesto de topo ao longo do processo formativo; Desarticulao entre os vrios nveis hierrquicos de uma organizao, no que se prende a estabelecimento de objectivos consensuais de mudana; Estabelecimento de objectivos ambiciosos para a formao. Na maior parte das vezes a formao encarada como um fim e no, como seria desejvel, um meio para alcanar determinados fins.
Fontes: Phillips (1997); Broad (et al.) (1992); Kirkpatrick (1994); Meignant (1999)
__________________________________________________________________
22
Nvel 4 Avaliao dos Impactes da Formao no Desempenho da Organizao

Visa aferir as mudanas ocorridas ao nvel do desempenho dos indivduos, das organizaes e eventualmente do contexto socioeconmico no qual estes se inserem, decorrentes da implementao de determinado programa/projecto formativo. Realiza-se normalmente aps a execuo da formao, podendo, no entanto, ser igualmente aferida durante e no final de uma interveno formativa (ex.: no contexto de programas formativos desenvolvidos em regime de alternncia); Neste tipo de avaliao podem ser aplicados mtodos de natureza quantitativa e qualitativa. Uma avaliao de impactes pode incidir partida sobre duas realidades distintas: (1) em que medida o programa de formao contribuiu directamente para o cumprimento dos objectivos da organizao; (2) em que medida criou as condies para que tal viesse a acontecer (contribuio indirecta). A compreenso destes dois tipos de objectivos torna-se fundamental aquando da aferio do retorno do investimento A utilidade deste tipo de avaliao reside, fundamentalmente, no facto de permitir (1) aferir as alteraes produzidas pela formao nos contextos em que foi aplicada; (2) justificar a eventual continuidade de um programa/plano de formao, a sua reformulao ou mesmo a sua extino; (3) aferir o retorno do investimento na formao.
Fontes: Phillips (1997); Kirkpatrick (1998-A); Moy e MacDonald (2000);
__________________________________________________________________
23
Nvel 5 Retorno do investimento (ROI Return On Investment)

O retorno do investimento a comparao, em valores monetrios, dos resultados lquidos obtidos face ao custo do programa formativo (expresso em percentagens). Este novo nvel de avaliao tornou-se muito popular. Muitos directores no esto dispostos a empreender um projecto de formao se no lhes garantido um bom nvel de retorno do investimento que foi exigido para o levar a cabo. No lhes basta bons resultados, querem garantir uma recuperao do investimento. importante no confundir Retorno do investimento com ndice custo/ benefcio. Vejamos a diferena:
IBC = Benefcios Brutos da Formao Custos do Programa
ROI = Benefcios Lquidos da Formao Custos do Programa
Como se pode constatar, a diferena fundamental consiste no facto de o IBC considerar os benefcios brutos e o ROI considerar os benefcios lquidos, descontando os custos e sendo expresso em percentagens. O problema de fundo deste quinto nvel de avaliao consiste em isolar os benefcios ligados directamente ao programa de formao, isto , saber como quantific-los separadamente. Esta tcnica tem, evidentemente, dificuldades, mas, apesar disso, no deixa de ser um exerccio relevante.
__________________________________________________________________
24
Captulo 5 Seleccionar as Tcnicas de Avaliao a utilizar

TIPO DE TCNICA BREVE CARACTERIZAO Associado a testes de caneta e papel que pretendem avaliar aprendizagens de cariz terico. Consiste em colocar um conjunto de questes ou exerccios prticos destinados a aferir a aquisio/desenvolvimento de determinados saberes. A respectiva aplicao surge, regra geral, associada a uma determinada norma ou critrio de sucesso prTESTES DE CONHECIMENTOS definidos. Testes com itens objectivos: Testes de verdadeiro/falso Testes de escolha mltipla Testes de associao Testes de complemento (preenchimento de espaos) Testes de resposta curta Testes com itens no objectivos Associados a desempenhos reais de trabalho, visam TESTES DE PERFORMANCE (DESEMPENHO) recolher dados acerca dos nveis de proficincia profissional detidos pelos indivduos, uma vez colocados em situaes de demonstrao de domnios e saberes especficos. Consiste em recolher informao, de forma mais ou menos estruturada, atravs da aplicao de processos de comunicao e interaco humana. Contrariamente ao inqurito por questionrio, a entrevista caracteriza-se, normalmente, por um INQURITO POR ENTREVISTA contacto mais aprofundado entre o entrevistador e os seus interlocutores. Entrevista aberta (o entrevistador prope um tema e apenas intervm para insistir ou encorajar); Entrevista semidirectiva (semidirectiva no sentido em que no inteiramente aberta, nem orientada por um grande n de perguntas precisas);
__________________________________________________________________
25

Entrevista directiva (o entrevistador dispe de um conjunto de tpicos precisos que, necessariamente, aborda durante a entrevista) Consiste em colocar a um determinado n de inquiridos, geralmente representativo de uma dada populao, uma srie de perguntas pr-estabelecidas e orientadas para um conjunto de temas de interesse INQURITO POR QUESTIONRIO do avaliador. Inqurito por questionrios com aplicao indirecta (quando o prprio inquiridor o completa a partir das respostas que so fornecidas pelo inquirido; Inqurito por questionrio com aplicao directa (quando o prprio inquirido preenche o inqurito) Consiste em reunir e analisar diferentes fontes de ANLISE DOCUMENTAL informao, tais como, os resultados de relatrios, inquritos, entrevistas ou outros documentos, j existentes. Consiste em observar e registar uma impresso sensorial directa, recorrendo a grelhas de registo, com OBSERVAO DIRECTA maior ou menor grau de pormenor, podendo aplicar-se a diferentes contextos e, de preferncia, com recurso a observadores com formao prpria. Consiste em reunir/animar um grupo para discutir um FOCUS GROUP ou mais temas previamente definidos, de uma forma estruturada ou semi-estruturada, e com a interveno de um moderador. Consiste em recolher informaes sobre casos concretos (indivduos, grupo de formandos, projectos formativos, organizaes, etc.) considerados significativos para o processo de avaliao. ESTUDO DE CASO Um estudo de caso pode ser: Explicativo (destinado a justificar casualidades); Descritivo/Ilustrativo (destinado a descrever/ilustrar a interveno formativa e o seu contexto); Exploratrio (aplicado no caso em que a interveno formativa no apresenta resultados). SIMULAO/DRAMATIZAO A criao de situaes fictcias que permitam aos
__________________________________________________________________
26

DE DESEMPENHOS (ROLEPLAY) vrios participantes na formao demonstrar que detm determinadas competncias, traduz, no essencial, a tcnica do Role Play. O desafio para a construo de um projecto ao longo ELABORAO DE PROJECTOS FINAIS ou no final de determinada interveno formativa permite, igualmente, aferir da capacidade do formando em mobilizar saberes construdos ao longo da execuo da formao. Consiste num conjunto de procedimentos que visam a recolha de informaes sobre desempenhos efectuados, considerados referncias positivas ou ANLISE DE INCIDENTES CRTICOS negativas, sendo solicitado ao indivduo responsvel pelo desempenho em anlise, a descrio do incidente-crtico de modo a poderem ser aferidos aspectos a manter e reforar ou aspectos a corrigir, melhorar. uma coleco organizada e devidamente planeada de trabalhos produzidos por este ao longo de um ELABORAO DE PORTFLIOS determinado perodo de tempo, de forma a poder proporcionar uma viso to alargada e detalhada quanto possvel das diferentes componentes do seu desenvolvimento (cognitivo, metacognitivo, afectivo) (Valadares e Graa, 1998) Um Mapa Conceptual remete o formando para a construo de diagramas hierrquicos constitudos por ELABORAO DE MAPAS CONCEPTUAIS conceitos e respectivas interligaes. So utilizados no contexto da avaliao da formao sempre que se pretende que sejam externalizadas as estruturas cognitivas dos respectivos autores. Consiste em comparar os custos com os benefcios associados ao desenvolvimento da formao. As variantes para este tipo de tcnica esto ANLISE CUSTO/BENEFCIO associadas seleco das variveis para caracterizar os custos (pessoal, material, logsticos, etc.) e os benefcios (produtividade, lucros, gesto de recursos humanos, etc.)
__________________________________________________________________
27
Tcnicas mais utilizadas em cada nvel de avaliao

Nvel 1 Avaliao do grau de satisfao dos participantes na formao
Inquritos por questionrios para a aferio do grau de satisfao dos formandos (auto e hetero-avaliao); Realizao de Focus Group; Inqurito por entrevista; Registo de comentrios mais ou menos estruturados dos participantes na formao (ex.: criao de fruns de discusso onde os formandos so convidados a pronunciarem-se sobre a interveno formativa/registo de comentrios fora do espao de aprendizagem); Registo de comentrios mais ou menos estruturados dos elementos da equipa de formao; Aplicao de instrumentos de controlo e acompanhamento de processo; Realizao de observaes de comportamentos dos participantes na formao.
Nvel 2 Avaliao do grau de domnio de determinados saberes

Testes escritos; Testes orais; Role Play; Elaborao de projectos; Jogos pedaggicos para a resoluo de situaes/problemas reais associados a parte ou ao todo organizacional (business games); Estudos de caso; Aplicao de instrumentos de auto-avaliao; Realizao de observaes (participantes e no participantes) exige construo de grelhas de avaliao; Elaborao de portflios de competncias; Elaborao de mapas conceptuais; __________________________________________________________________
28
_____________________________________________________________________ Avaliao da Formao Recurso mtodos j existentes (contactos com os vrios intervenientes no processo formativo) Ex.: assessment center method; Registo e anlise de incidentes crticos (aplicao de grelhas de observao)
Nvel 3 Avaliao da transferncia da formao

Entrevista de chegada (aquando do regresso do colaborador ao posto de trabalho); Aplicao de questionrios para avaliar transferncias e resultados no desempenho individual; Construo de um plano de interveno especfico; Observaes no posto de trabalho; Anlise de performance; Registo e anlise dos incidentes crticos; Auto-avaliao;
Nvel 4 Avaliao dos impactes da formao nos indicadores de desempenho e da organizao

Anlise de painel de indicadores de performance; Aplicao da frmula ROI (Return on Investment); Anlise custo-benefcio; Anlise dos resultados de planos de interveno especficos; Anlise dos resultados de planos de desenvolvimento de competncias (valor do capital humano da organizao).
__________________________________________________________________
29
_____________________________________________________________________ Avaliao da Formao Exemplos de Instrumentos de Avaliao da Formao Exemplo 1 Critrios de Avaliao 1 Insuficiente 2 Suficiente 3 Bom 4 Muito Bom 5 Excelente
1. Objectivos da Aco
1.1 Os Objectivos propostos para a aco foram atingidos 1 2 3 4 5
1.2 As Actividades realizadas Motivaram o Grupo 1 2 3 4 5
1.3 Os Acompanhantes enquadraram-se fcilmente no espirito do grupo 1 2 3

2. Os Meios
2.1 A organizao da aco foi eficaz
2.2 O ambiente exterior foi adequada e agradvel realizao das actividades 1 2 3 4 5
2.3 Os Meios para a realizao das actividades foram adequados 1 2 3 4 5
__________________________________________________________________
30

3. Os Formadores
3.1 Os Mtodos Utilizados
1 3.2 O empenhamento 1 3.3 O relacionamento 1
4. A Sua Satisfao Pessoal
4.1 Tudo Somado, qual a sua Satisfao Geral com esta Aco? 1 2 3 4 5
5. Comentrios e Sugestes
__________________________________________________________________
31
_____________________________________________________________________ Avaliao da Formao Exemplo 2 AVALIAO DO PROCESSO DE FORMAO
APRECIAO GLOBAL DA ACO POR PARTICIPANTE

DESENVOLVIMENTO DA ACO DE FORMAO
OBJECTIVOS DA ACO CONTEDOS DA ACO UTILIDADE DOS CONTEDOS MOTIVAO E PARTICIPAO ACTIVIDADES PROPOSTAS RELACIONAMENTO ENTRE PESSOAS INSTALAES E EQUIPAMENTOS DOCUMENTAO DE APOIO MEIOS AUDIOVISUAIS DISPONVEIS UTILIZAO DOS RECURSOS DIDCTICOS APOIO DA COORDENAO DA ACO Confusos Inadequados Inaplicveis Nula Insuficientes Negativo Deficientes Inadequada Inadequados Inadequado Ineficaz 1 2 3 4 5 Muito claros Totalmente adequados Totalmente aplicveis Plena Muito adequadas Muito positivo Excelentes Totalmente adequada Totalmente adequados Totalmente adequado Muito eficaz
INTERVENO DOS FORMADORES

FORMADORES DOMNIO DO ASSUNTO 1 2 3 4 5 MTODOS 1 2 3 4 5 1 LINGUAGEM 2 3 4 5 EMPENHAMENTO 1 2 3 4 5 RELACIONAMENTO 1 2 3 4 5
Inadequados
Muito adequados
Muito clara
Confusa
SUGESTES / CRTICAS Temas considerados mais importantes, a desenvolver com maior profundidade ou a incluir em aces deste tipo. Aspectos mais conseguidos e a melhorar. Sugestes e outras observaes.
(Continue numa outra folha, se o espao for insuficiente)
DATA
____ - ____ - ____
NOME (facultativo)
32
__________________________________________________________________
Insuficiente
Deficiente
Fechado
Elevado
Aberto
Pleno
_____________________________________________________________________ Avaliao da Formao Exemplo 3 AVALIAO DO PROCESSO DE FORMAO PELO COORDENADOR
Data de Incio da aco ____ - ____ - ____
Data Final da aco ____ - ____ - ____
Coordenador da Aco/Coordenador da Equipa Formativa ______________________________________________________________________
Unidade(s) Modular(es) /Mdulo(s)
Avaliao Desempenho do Formador
Formador
Designao
Data de Incio e Fim
Monitoragem do Mdulo M 1 2 Mt Boa 3 4 M 1
Interveno na Avaliao dos Formandos (Mdulo) Mt Boa 2 3 4
Interveno na Avaliao dos Formandos (Avaliao Final) M 1 2 Mt Boa 3 4
De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__ De __.__.__ a __.__.__
__________________________________________________________________
33
_____________________________________________________________________ Avaliao da Formao Exemplo 4 RELATRIO DE APRECIAO SNTESE DA ACO

1. Identificao da Entidade Formadora
Denominao Endereo da Sede Cdigo Postal Acreditao n. Domnios de Acreditao Localidade Vlida at Telefone
2. Identificao do Curso / Aco de Formao

Designao do Curso Certificado de Homologao n. Local de realizao Data de realizao Incio Fim Vlido at Horrio de Realizao N. Inicial de Formandos
3. Anlise da Realizao da Aco

1. Avaliao dos formandos
N. formandos aprovados N. formandos no aprovados
2.
Grau de sucesso:
Avaliao dos formadores (em percentagem)

Insatisfatrio Satisfatrio Bom Muito bom
3.
Avaliao dos materiais pedaggicos (em percentagem) (Quantidade, qualidade e relao com os temas)
4.
Avaliao dos aspectos organizativos (em percentagem) (Articulao da formao com os meios audiovisuais, materiais didticos, equipamento e servios de apoio)
5.
Avaliao dos meios associados (em percentagem) Instalaes Utilizadas

Equipamentos Pedaggicos Insatisfatrio Servios de Apoio

Insatisfatrio
Satisfatrio
Bom
Muito Bom
Satisfatrio
Bom
Muito Bom
4. Observaes Sntese dos Comentrios / Propostas dos Formadores / Propostas dos Formandos
Pela Entidade Formadora:

Nome: _____________________________________ Cargo: ________________________ Data: ___- ___ - ___ Assinatura: ______________________
__________________________________________________________________
34
Concluso
A formao conheceu nos ltimos anos um grande incremento, tornando-se uma forte aliada das empresas, que reconhecem que necessrio manter os seus colaboradores a par de novos mtodos, tcnicas, tecnologias ou conceitos. As mudanas no mundo empresarial so constantes, situando-se estas no s no plano tecnolgico como tambm no plano organizacional e no domnio das atitudes. No raras vezes as mudanas procuradas pelas empresas situam-se sobretudo ao nvel dos comportamentos e da maneira de pensar perante novas exigncias de desempenho profissional. A avaliao da formao pode dar um contributo precioso, fornecendo novas referncias e sugestes de aperfeioamentos para incorporar tanto no decurso de aces de formao como em futuras aces. Para alm das melhorias que se podem introduzir nos dispositivos de formao, muitas vezes as informaes obtidas a partir de processos contnuos de avaliao tambm permitem, inclusive, transportar de novo e directamente para o universo laboral ideias, sugestes e solues vlidas e directamente aplicveis. A formao e a sua avaliao so duas faces de uma mesma moeda que fomentam a melhoria das organizaes, na medida em que procuram que as actividades formativas sejam consequentes, ajustadas e com impacto positivo nos processos de trabalho. As repercusses da formao ao nvel dos processos de trabalho s podem ser apreendidas se a sua avaliao for de facto aproveitada e incorporada em processos de melhoria contnua. De facto, saber que uma dada aco correu bem ou mal no chega. preciso conhecer os desvios entre uma situao desejada e a situao a que efectivamente chegmos. A avaliao deve ajudar-nos a (re) pensar as situaes-problema na ptica da sua soluo. Mais do que proceder meramente ao controlo de resultados, importante aliar s actividades formativas momentos de reflexo interactivos para captar efeitos de __________________________________________________________________
35
_____________________________________________________________________ Avaliao da Formao mudana. Por outras palavras, importante aliar a prtica anlise, transformar uma vivncia numa experincia que ajude a tomar conscincia, a verificar o valor e atribuir um sentido ao que feito em formao. Esse sentido assume cada vez mais importncia enquanto sentido de mudana, de mudana necessria e contnua. Avaliar como aprender, um processo contnuo. A avaliao ganha um sentido acrescido e utilitrio a partir do momento em que percebida como um processo de aprendizagem e conhecimento contnuos. Se verdade que uma aco de formao isolada s por si no provoca a mudana, tambm verdade que uma avaliao de uma dimenso isolada no se revela til. importante captar, absorver e adaptar os resultados da avaliao e inseri-los nas actividades formativas de forma contnua. O desenvolvimento das organizaes e dos indivduos que as integram um processo que implica mudanas, sendo importante acolher a formao enquanto oportunidade facilitadora para que essas mudanas ocorram. Cabe avaliao fornecer o sentido do que feito, encontrar formas para que as melhorias desejadas sejam, de facto, alcanadas.
__________________________________________________________________
36
Bibliografia
MNDEZ, J.M. lvarez, Avaliar para conhecer, examinar para excluir, Porto: Edies ASA, 2002 PAIN, Abraham, valuer les actions de formation, Paris: Les ditions dOrganisation, 1992 PARRY, Scott B. Evaluating the impact of training a collection of tools and techniques, Alexandria: ASTD, 1997 ROLDO, Maria do Cu et al., Avaliao do impacto da formao: um Estudo dos centros de formao da Lezria e Mdio Tejo 1993/1998, Lisboa: Edies Colibri, 2000 TIRA-PICOS, Antnio, A avaliao da formao profissional, Lisboa: IEFP, 1990
__________________________________________________________________
37

Avaliação Da Formação

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Avaliação Da Formação

Uploaded by

Copyright:

Available Formats

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

Objectivos Pedaggicos do manual

_____________________________________________________________________ Avaliao da Formao

Como utilizar o manual

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

Captulo 1 A Avaliao e a Eficcia da Formao Profissional

_____________________________________________________________________ Avaliao da Formao

Captulo 2 - Critrios e Indicadores da Eficcia da Formao

Indicadores da Eficcia da Formao

_____________________________________________________________________ Avaliao da Formao

Comportamento e desempenho dos formandos no seu local e posto de trabalho

_____________________________________________________________________ Avaliao da Formao

Efeitos sobre o contexto scio-organizacional onde inseremse os formandos

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

Captulo 3 - O Que Avaliar?

_____________________________________________________________________ Avaliao da Formao

Captulo 4 - Nveis de Avaliao da Formao

Fontes: Phillips, J. (1997); Kirkpatrick (1998-A); Phillips, P. (2002)

_____________________________________________________________________ Avaliao da Formao

Nvel 1 Avaliar o grau de satisfao dos participantes na formao

Expectativas Iniciais Apoio Logstico Objectivos de Aprendizagem

Condies fsicas de apoio

Actividades Pedaggicas Formadores/as

com maior ou menor grau de profundidade de

anlise, consoante o tipo de dados a recolher sobre cada uma destas

Como foram construdos os objectivos?

OBJECTIVOS DE APRENDIZAGEM Como foram comunicados os objectivos aos formandos?

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

Nvel 2 Avaliao do grau de domnio de determinados saberes Avaliao de aprendizagens

_____________________________________________________________________ Avaliao da Formao

Nvel 3 Avaliar a transferncia da formao

_____________________________________________________________________ Avaliao da Formao

Nvel 4 Avaliao dos Impactes da Formao no Desempenho da Organizao

Fontes: Phillips (1997); Kirkpatrick (1998-A); Moy e MacDonald (2000);

_____________________________________________________________________ Avaliao da Formao

Nvel 5 Retorno do investimento (ROI Return On Investment)

IBC = Benefcios Brutos da Formao Custos do Programa

ROI = Benefcios Lquidos da Formao Custos do Programa

_____________________________________________________________________ Avaliao da Formao

Captulo 5 Seleccionar as Tcnicas de Avaliao a utilizar

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

_____________________________________________________________________ Avaliao da Formao

Tcnicas mais utilizadas em cada nvel de avaliao

Nvel 2 Avaliao do grau de domnio de determinados saberes

Nvel 3 Avaliao da transferncia da formao

Nvel 4 Avaliao dos impactes da formao nos indicadores de desempenho e da organizao

1.1 Os Objectivos propostos para a aco foram atingidos 1 2 3 4 5

1.2 As Actividades realizadas Motivaram o Grupo 1 2 3 4 5

1.3 Os Acompanhantes enquadraram-se fcilmente no espirito do grupo 1 2 3

2.1 A organizao da aco foi eficaz

2.2 O ambiente exterior foi adequada e agradvel realizao das actividades 1 2 3 4 5

2.3 Os Meios para a realizao das actividades foram adequados 1 2 3 4 5

_____________________________________________________________________ Avaliao da Formao

3.1 Os Mtodos Utilizados

- -

Data de Incio da aco - -

Data Final da aco - -