1

Avaliao de software educativo para o ensino de matemtica

1

Alex Sandro Gomes
2
, Jos Aires Castro Filho
3
, Vernica Gitirana
4
, Alina Spinillo
5
,
Mirella Alves, Milena Melo, Julie Ximenes

Introduo
Milani (2001) inicia seu captulo afirmando que O computador, smbolo e principal
instrumento do avano tecnolgico, no pode mais ser ignorado pela escola. No entanto, o
desafio colocar todo o potencial dessa tecnologia a servio do aperfeioamento do processo
educacional, aliando-a ao projeto da escola com o objetivo de preparar o futuro cidado.
(p.175). Alm desse desafio, um outro, anterior ao uso desse instrumento, surge como
fundamental para que o potencial dessa tecnologia contribua de forma efetiva para o processo
educacional: a avaliao dos softwares educativos.
Mais importante que o software, em si, o modo como ele utilizado, pois nenhum
software , em termos absolutos, um bom software (Meira, 1995; 1998). A escolha do mesmo
precisa se fundamentar na proposta pedaggica de matemtica da escola (Hinostroza & Mellar,
2001), visto que no se faz uma proposta de ensino para se usar um software; ao contrrio,
escolhe-se o software em funo da proposta de ensino adotada. Entretanto, tanto designers
como professores precisam dispor de critrios que permitam nortear tanto a criao de
softwares como a sua escolha. Neste sentido, torna-se relevante discutir a maneira como os
softwares educativos so avaliados pelos especialistas na rea.
Tendo isso em vista, o presente artigo discute a maneira tradicional e uma maneira
alternativa na avaliao de softwares educativos. Antes porm, apresenta-se uma breve
fundamentao terica sobre o uso de softwares no ensino de matemtica. Para finalizar,
apresenta-se um estudo que ilustra o uso de uma metodologia alternativa para a avaliao de
softwares educativos para o ensino de matemtica..
O uso de softwares no ensino de matemtica: referenciais tericos
O principal referencial terico deste artigo centra-se na teoria de campos conceituais de
Vergnaud (1997), segundo a qual um conceito definido a partir de trs instncias: suas
propriedades invariantes, os sistemas de representaes e as situaes de uso. Aprender um
conceito matemtico, portanto, implica dominar um conjunto de propriedades que emergem
diferentes situaes e que so mediadas por diferentes sistemas de representaes. Dominar um
campo conceitual significa saber resolver problemas em situaes diversas nas quais
determinado conceito est inserido.
Esta viso remete idia de que a aprendizagem no pode ser tomada de forma geral,
intransitiva. Na realidade, a aprendizagem envolve sempre a aprendizagem de algo. Tal

1
Parte de projeto financiado pelo pelo CNPQ proc. n. 680210/01-6 e n. 477645/2001-1.
2
Ps-Graduao em Informtica, Centro de Informtica, UFPE.
3
Ps-Graduao em Educao da UFC.
4
Ps-Graduao em Educao da UFPE.
5
Ps-Graduao em Psicologia da UFPE.
2
afirmao precisa ser considerada em relao avaliao e escolha de um software educativo:
ele relativo ao ensino de algo.
Em relao escolha de um software, sua adequao depende da forma como este se
insere nas prticas de ensino, das dificuldades dos alunos identificadas pelo professor e por
uma anlise das situaes realizadas com alunos para os quais o software destinado. Assim,
importante que ele tenha parmetros de qualidade definidos, para poder identificar a adequao
de um software s suas necessidades e objetivos. Percebe-se, como observado em um mini-
curso realizado, como a formao dos professores est longe de permitir que esta tecnologia
seja adotada de forma que sejam exploradas todas as suas potencialidades. Em conseqncia
deste e de inmeros outros fatores (sistema, funcionamento, estrutura fsica da escola etc.), a
prtica da informtica na escola, muitas vezes, distancia-se de seu carter pedaggico.
Em relao avaliao de um software, verifica-se na literatura que existem tantos
sistemas de classificao como critrios voltados para este fim (Valente, 1999; Vieira, 1999;
Campos, 1993). Recentemente, pesquisadores e especialistas na rea tm levantado importantes
questes a respeito da avaliao de softwares educativos; sendo o presente artigo um esforo na
direo de levantar discusses e propor uma metodologia alternativa para a avaliao da
adequao e qualidade de softwares educativos.
Como tm sido avaliados os softwares educativos no ensino de matemtica: linhas gerais
Tradicionalmente, os softwares educativos so analisados seguindo-se grades de
categorias oriundas do campo da engenharia de software que focalizam parmetros gerais
relativos qualidade da interface, coerncia de apresentao dos conceitos e aos aspectos
ergonmicos gerais dos sistemas. Esta avaliao feita a partir da aplicao de tabelas de
critrios nas quais aspectos como: consistncia da representao, usabilidade, qualidade da
interface, qualidade do feedback, so considerados segundo uma escala de trs ou quatro nveis
(regular, bom, timo; ou regular, bom, muito bom e timo).
A literatura sobre avaliao de softwares educativos abundante em adaptaes de
tabelas que ora se adaptam ao tipo de software (independentemente do contedo veiculado)
(Gladcheff, Zuffi & Silva, 2001), ora adaptam-se ao tipo de ferramenta (software ou site). Esta
literatura busca pontuar aspectos importantes na anlise de um software educativo como:
idioma, contedos abordados, pblico-alvo, documentao (ficha tcnica clara e objetiva,
manual do professor com sugestes para o uso, ajuda on-line), aspectos pedaggicos (facilidade
no acesso s informaes, adequao a faixa etria, clareza nas informaes, tipo de
exerccios), interface (facilidade de uso, interatividade com o usurio, qualidade de udio,
grficos e animao, recursos de avanar e recuar, adaptao do usurio), contedos (fidelidade
ao objeto, coerncia de apresentao do contedo, correo dos exerccios, organizao dos
contedos, promoo da criatividade e motivao dos usurios), feedback (forma deste e
qualidade da motivao), aspectos tcnicos (instalao, manipulao, apresentao visual e
controle dos comandos), avaliao (forma de avaliao, tempo destinado s respostas, forma de
correo e de orientao), e aspectos gerais (alcana os objetos propostos, contribui para a
aprendizagem dos contedos apresentados, preo compatvel).
Neste paradigma de anlise, aspectos importantes da relao entre as caractersticas da
interface e a aprendizagem ficam encobertos por alguns desses critrios, principalmente, em
relao queles relacionados forma de apresentao dos contedos. Isso no significa que
3
uma anlise por critrios fixos e gerais seja equivocada, mas, torna-se incompleta e pouco
compatvel com as idias tericas apontadas acima, tornando-se necessrio adotar critrios
mais especficos que contemplem as especificidades do software e a quem ele se destina.
Como avaliar os softwares educativos no ensino de matemtica: uma proposta alternativa
complementar
Considerando-se um software educativo como um ambiente de aprendizagem de algo, e
tomando por base as atuais tendncias tericas no campo da Psicologia e da Educao, surge a
necessidade de se criar grades de avaliao que contemplem as especificidades do software
para o ensino de um contedo especfico, atentando para a natureza do objeto de conhecimento
que se deseja ensinar e a natureza das habilidades nele envolvidas. A criao de uma
metodologia de avaliao de interfaces educativas especificamente voltadas para a
aprendizagem de matemtica respalda-se em uma perspectiva construtivista de aprendizagem
(Vergnaud, 1997; Gomes, 1999), buscando contribuir para a criao de uma grade de avaliao
que inclua aspectos relativos ao seu uso em diferentes situaes de resoluo de problemas. A
aplicao dessa metodologia pode contribuir para: (a) auxiliar educadores a construir
representaes mais precisas a respeito da adequao dos materiais disponveis sua prtica
docente; (b) o desenvolvimento de softwares educativos, permitindo focalizar o contedo a ser
mediatizado, alm do exame de sua usabilidade; e (c) a aplicao em modelos de papelo e
fitas das interfaces (Gomes, em preparao), o que significa uma simplificao importante do
processo de depurao das interfaces, antes de sua implementao.
Tomando a resoluo de problemas como o cerne da educao matemtica, conforme
proposto por (e.g., Vergnaud, 1997), a resoluo do problema a origem e o critrio do saber
operatrio. Proporcionar aos alunos situaes que visem alargar a significao de um conceito
e colocar prova suas competncias e concepes. Assim, a aprendizagem matemtica atravs
de softwares deve ser baseada em situaes-problema que considerem: os processos cognitivos,
o raciocnio, as estratgias adotadas durante o processo de resoluo, os estgios de
desenvolvimento relativos s habilidades envolvidas e caracterizao dos diversos problemas e
seu nvel de complexidade. atravs das situaes-problema que um conceito adquire sentido.
Considerando a teoria dos campos conceituais, nota-se que a maioria dos softwares
destinados educao matemtica parece evocar apenas uma estreita poro de um campo
conceitual especfico, sendo relevante facilitar a emergncia de um grande nmero de situaes
que daro significado aos conceitos matemticos. Nesse sentido, nenhum software garante a
emergncia de todas as situaes necessrias relacionadas com um dado conceito especfico,
em especial os softwares ditos fechados, com possibilidades de uso limitadas. Dentro desta
linha de argumentao, a qualidade de um software depende da possibilidade de os indivduos
construrem um vasto conjunto de situaes, envolvendo um nmero relativamente importante
de invariantes operacionais ou propriedades de conceitos.
No que concerne aprendizagem da matemtica, os softwares mais proveitosos seriam
aqueles que permitem uma grande interao do aluno com os conceitos ou idias matemticas,
propiciando a descoberta, inferir resultados, levantar e testar hipteses, criar situaes-
problema (Misukami 1986, citado em Gladcheff, Zuffi & Silva, 2001).
importante para o professor de matemtica e para o designer de softwares educativos
saber identificar as situaes que figuram nas interfaces. Para o professor, essa informao
importante para orientar o planejamento das aulas; e para o designer, isso importante para
4
saber identificar que situaes de um determinado campo conceitual esto presentes,
analisando, assim, a abrangncia do software quanto ao contedo de um campo conceitual.
O outro aspecto a observar-se a possibilidade de o software fazer emergir um conjunto
de estratgias eficazes e conhecimentos relevantes sobre o campo conceitual nele envolvido
(Gomes, 1999; Laborde e Capponi, 1994; Hlzl, 1996 e Magina et all, 2001). O designer
precisa estar atento a isso em vrios momentos na construo de interfaces, podendo esta
metodologia ser utilizada em etapas iniciais do processo de desenvolvimento do software.
Nesse momento, nenhuma questo de usabilidade levantada, apenas so considerados
aspectos conceituais da semntica das interfaces.
O objetivo deste artigo contribuir na linha de qualidade desses produtos, propondo
uma forma alternativa para avaliar a qualidade de um software educacional, a ser utilizado no
ensino de matemtica nas sries do ensino fundamental. Diferentemente da forma usual de
avaliao de softwares educativos, propomos que a avaliao e classificao de softwares
educativos sejam centradas nas caractersticas dos contedos a serem trabalhados. Em vista
disso, apontam-se alguns aspectos que devem ser considerados para o julgamento de sua
qualidade.
O Estudo: Mtodo
O estudo ora apresentado faz parte de um projeto mais amplo voltado para o
desenvolvimento de ambientes virtuais para o ensino de matemtica Projeto AMADeUS. Os
resultados dessa pesquisa sero utilizados no design de novas ferramentas de software que
comporo a arquitetura do ambiente virtual ora em desenvolvimento. O projeto, de modo geral,
est sendo desenvolvido atravs de uma metodologia composta pelo acompanhamento do
desenvolvimento de professores de matemtica em um curso de formao continuada, proposto
como curso de extenso universitria.
Participantes
Cinco (05) professores de matemtica do ensino fundamental de escolas pblicas
estaduais que esto equipadas com laboratrios conectados internet realizaram um mini-curso
com 68 h.a de durao e foram regularmente observados quando usando softwares em suas
aulas de matemtica. Os alunos dessas salas so considerados, tambm, participantes nesta
pesquisa.
Procedimento e fases do estudo
Duas fases compem a investigao: anlise a priori das interfaces e anlise da
aprendizagem dos alunos.
Fase 1: Anlise a priori das interfaces
Partiu-se de uma tabela conhecida da comunidade de informtica educativa para
analisar determinados softwares. Desta tabela, eliminou-se alguns critrios marcadamente
tcnicos e privilegiou-se aspectos mais relacionados ao processo de ensino-aprendizagem. A
tabela abaixo foi proposta para uma mensurao dos graus de clareza, da qualidade educacional
da documentao e de outros aspectos.
5
Aps esta anlise prvia, foram realizadas anlises que buscam mapear: contedos
matemticos (conceitos, procedimentos, propriedades, etc.), representaes e situaes
utilizadas pelo software. Alm disto, as articulaes entre representaes e o papel das
representaes no software tambm foram considerados. Nestas consideraes, pode-se
tambm traar uma anlise a priori das possveis estratgias do aluno para resoluo dos
problemas, discutindo-se as competncias e habilidades trabalhadas. Esta segunda parte da
Fase 1 da anlise, buscou-se um mapeamento nominal e no mais ordenar em graus de
satisfao os resultados obtidos.
Critrio E B R P
Clareza


Grau de compreenso sem a presena de um instrutor


Clareza das alternativas possveis de comando


Coeso de linguagem e gramtica.


Clareza na exposio das informaes


Clareza da transio entre partes dos programas e/ ou lies


Clareza de diagramas e grficos

Documentao

Quanto qualidade da sugesto para o uso didtico

Quanto indicao pr-requisitos, tais como: faixa etria ou nvel de instruo,
exerccios que devem anteceder ao programa, etc.

Outros


Grau de especificao dos objetivos educacionais


Quanto veracidade das informaes apresentadas no programa


Quanto apropriao dos sons utilizados nos eventos da interface (se so
coerentes e consistentes)


Quanto forma como apresenta erros de funcionamento do sistema


Seqncia lgica na apresentao de frases


Fase 2: Anlise da aprendizagem
Nesta segunda fase da investigao, realizou-se estudos de casos a partir de observaes
do uso destes softwares por alunos em sala de aula. Estes alunos foram pr-selecionados
segundo critrios de nvel de escolaridade, idade e familiaridade com o uso de recursos
computacionais. Tais estudos tinham por objetivo analisar a qualidade do processo de
resoluo de problemas pelos aprendizes com aqueles softwares analisados a priori atravs da
tabela acima descrita. Estes estudos de caso foram realizados pelos professores de matemtica e
acompanhados por um pesquisador-observador. O registro foi realizado atravs de filmagens,
sendo tambm as manipulaes no computador registradas com o software de captura de
imagens (Lotus ScreenCam Lotus).
Resultados
Neste artigo discutiremos apenas os resultados obtidos com a metodologia de avaliao
de software desenvolvida na Fase 1.
6
Estudo de caso
A fim realizarmos um estudo inicial dos resultados alcanados com a metodologia de
anlise a priori, foram selecionados dois softwares educacionais disponveis na internet:
Aritmtica tick-tack-toe e KidMaths. Ambos abordam elementos da aritmtica em forma de
jogos. O kidMaths composto de 8 jogos, sendo eles: de treino com o mouse, contagem,
adio e subtrao (paddle ball), nmeros ordinais, ordenao numrica, adio (shuffle board),
diviso e frao. Dado que nossa anlise ser dedicada apenas ao campo das estruturas aditivas,
apenas os jogos Paddle Ball e o Shuffle board sero discutidos. Quanto ao Aritmtica tick-tack-
toe, esse compe-se de um nico jogo.



Telas Exemplos



Nome do Software Aritmtica tick-tack-toe KidMaths Paddle Ball KidMaths Shuffle board
Contedo Mapeado
Campo numrico

Grandeza numrica
Operaes

Propriedades


Nmeros Inteiros (Naturais
com o zero)
At Dezenas
Adio, Subtrao,
Multiplicao e Diviso



Nmeros Inteiros
(Naturais com o zero)
At Dezenas
Adio e Subtrao


Nmeros inteiros (Naturais
com o zero)
At Dezenas
Adio

Valor posicional
Composio e decomposio
numrica
Representaes/status

Operao vertical
Informao/Ao

Operao em expresso
(ex. 4+3=) Informao/
Ao
Colees de objetos
Informaes/feedback
para o erro
Coleo de placas com
dezenas e unidades
Informao, feedback
Adaptao de quadro valor
de lugar feedback de erro
Articulao entre
representaes


Colocao do problema e
feedback
Feedback de erro,
demonstrao da composio
das placas e a soma.
Estruturas
trabalhadas
No usa significado para as
operaes.
Composio com total
desconhecido
Transformao com total
desconhecido
Composio com total
desconhecido

Habilidades
Trabalhadas
Memorizao das 4
operaes com valores
baixos.
Operao a partir da
contagem ou
memorizao.
Adio por decomposio e
composio em dezenas e
unidades


Feedback para o
aluno
Caso no acerte o aluno
percebe o erro, com
mensagem e por no ser
marcada a sua jogada, i.e. o
aluno perde a jogada.
O tempo de resposta
controlado
Acerto Mensagem
Erro Usa a coleo para
relacionando com a
operao.
Acerto Mensagem
Erro Articulao via
composio de dezenas e de
unidades

7
O Aritmtica tick-tack-toe um jogo baseado no jogo da velha que explora as 4
operaes elementares, no campo dos nmeros naturais com o zero e ordem de grandeza at as
dezenas. O problema para o aluno se constitui em resolver a operao, apresentada na forma
vertical, preocupao em atribuir significado s operaes. O feedback se d pela marcao ou
no dos pontos e pelo controle do tempo de jogada. Atingindo apenas as operaes elementares
com controle de tempo, pode-se concluir que o software trabalha apenas a memorizao de
resultados das 4 operaes elementares com valores baixos.
O KidMaths, nas duas plataformas analisadas, explora o mesmo campo numrico do
Aritmtica tick-tack-toe, ou seja os naturais com o zero e ordem de grandeza at as dezenas. O
mesmo apesar de restringir s operaes de adio e subtrao, na plataforma Shuffle board,
trabalha com propriedades das operaes como o valor posicional e a composio e
decomposio do sistema de base 10. Na plataforma Paddle Ball, o problema que se coloca a
resoluo de operaes que aparece como expresso (na forma horizontal). Acompanha o
problema colees de objetos que representa a operao, porm os alunos no podem interagir
com eles. Pode-se dizer que a significao apenas um feedback, o qual animado quando o
aluno erra, a fim de explicar ao aluno o resultado correto. Nessas animaes, usam-se situaes
de transformao de uma coleo e de composio da mesma. Portanto, argumentamos que o
problema colocado pelo Paddle Ball a resoluo da operao, o significado aparece como
apoio. Trabalha-se, portanto, a realizao das operaes a partir da contagem dos objetos e a
conseqente memorizao das mesmas. A plataforma Shuffle board diferencia-se por colocar
o problema pelo contexto. Deseja-se que o aluno, aps jogar para acertar alvos (numricos),
calcule o valor total acertado por ele mesmo. Os alvos so dezenas e unidades, representando a
composio numrica em dezenas e unidades. Uma segunda representao que auxilia o aluno
que erra a resposta a do quadro-valor-de-lugar, o qual preenchido de forma animada
correlacionada a cada alvo acertado. Apesar disto, ao aluno cabe apenas observar a explicao
da resposta correta. Essa plataforma do Kidmaths explora um tipo especfico de situao de
composio onde o total desconhecido, e tambm, a habilidade do aluno de composio e
decomposio dos nmeros em unidades e dezenas.
Por fim, o mapeamento dos dois softwares nos mostra que esses trabalham com poucas
estruturas. Os significados atribudos s operaes so poucos e repetitivos. Mesmo o
KidMaths-Paddle Ball, que apresenta duas estruturas, composio de medidas e transformao,
esta diferenciao est mais ligada estratgia adotada pelo aluno para resolver a operao, que
a proposio do software. Quanto s representaes, elas aparecem pouco articuladas, em geral
a articulao feita apenas no feedback de erro. Alm disto, a ao do aluno se d apenas na
representao simblica-numrica. Apesar disto, um ponto interessante do KidMaths a
demonstrao da estratgia de composio de dezenas e unidades articulando as duas
representaes de forma dinmica, apesar de automtica (sem a participao efetiva do aluno).
Vale salientar ainda que a seqncia em que os tipos de enfoques aparecem de forma
repetitiva, at que o usurio decida sair para um outro jogo. Tudo isto nos mostra um
distanciamento entre as pesquisas em estruturas aditivas (Vergnaud, 1997; Nunes e Bryant,
1997), que discutem a necessidade de diferentes enfoques e representaes, alm de articulao
entre eles, para uma aprendizagem dos conceitos.
8
Concluso
Com esses exemplos queremos reforar a idia de que a avaliao de software
educativo deve considerar com mais nfase e de forma bem fundamentada a relao entre o uso
do software e a aprendizagem de conceitos. Alm disso, esses resultados iniciais apontam para
a necessidade de realizarmos um mapeamento de aspectos de campos conceituais. Essas
informaes podem orientar na reflexo sobre a qualidade e o uso dos softwares, ao mesmo
tempo em que um inventrio bem catalogado e analisado de software pode orientar o professor
na escolha de um software e no uso de software mesmo que sejam restritos a alguns poucos
elementos do campo conceitual. Ao saber o campo explorado, o professor pode utiliz-lo como
mais um dos materiais e em momentos adequados de sua abordagem.
Referncias Bibliogrficas
Campos, G.H.B. de & Rocha, A.R. (1993). Avaliao da qualidade de Software Educacional.
Em Aberto, 12 (57).
Gladcheff, A. P., Zuffi, E.M. & Silva, M.da (2001) Um Instrumento para Avaliao da
Qualidade de Softwares Educacionais de Matemtica para o Ensino Fundamental, Anais do
XXI Congresso da Sociedade Brasileira de Computao, 2001.
Gomes, A.S. (1999) Dveloppement conceptuel conscutif a l'activit instrumente -
Lutilisation dun systme informatique de gomtrie dynamique au collge, Thse de
doctorat, Universit Paris V, Paris [www.cin.ufpe.br/~asg/gomes1999.exe].
Hinostroza, J.E. & Mellar, H. (2001), Pedagogy embedded in educational software design:
report of a case study, Computers & Education 37 (2001) 2740;
Hlzl, R. (1996) How Does Dragging Affect The Learning Of Geometry, International
Journal of Computers for Mathematical Learning 1: 169187.
Laborde C. et Capponi, B. (1994) Cabri Gomtre constituant dun milieu pour lapprentissage
de la notion de figure gomtrique, Recherches en Didactique des Mathmatiques, vol 14,
n 1.2, p. 165-210, Ed. La Pense Sauvage, Grenoble.
Magina, S., Campos, T., Nunes, T. e Gitirana, V. (2001), Repensando a Adio e a Subtrao:
contribuies da Teoria dos Campos Conceituais, So Paulo, PROEM-PUC/SP.
Meira, L. (1995) Mediation by tools in the mathematics classroom, Proceedings of the XIX
International Conference for the Psychology of Mathematical Education, vol. 1, pp. 102-
111, Recife, Brazil.
Meira, L. (1998) Making sense of Instructional Devices : The emergence of Transparence in
Mathematical Activity, Journal for Research in Mathematics Education, vol. 29, n. 2, pp.
121-142.
Milani, E. (2001). A informtica e a comunicao matemtica. Em K. S. Smole & M. I. Diniz
(Orgs.); Ler, escrever e resolver problemas: Habilidades bsicas para aprender
matemtica (pp.176-200). Porto Alegre: Artmed.
Nunes T. e Bryant, P. (Eds.) (1997) Learning and teaching mathematics: An international
Perspective, Psychology Press, Hove.
Valente, J.A. (1999). O computador na sociedade do conhecimento. Campinas: Unicamp/NIED.
Vergnaud G. (1997) The nature of mathematical concepts. In T. Nunes e P. Bryant (Eds.), Learning
and teaching mathematics: An international Perspective, Psychology Press, Hove, pp. 5-28.
Vieira, Fbia Magali Santos (1999) Avaliao de Software Educativo: Reflexes para uma
Anlise Critrios Internet: [www.edutecnet.com.br/edmagali2.htm]