Avaliações Internacionais e Desempenho Dos Alunos Portugueses

Avaliaes internacionais e desempenho dos alunos portugueses
Seminrios e Colquios
SEMINRIO
As opinies expressas nesta publicao so da responsabilidade dos autores e no refletem necessariamente a opinio ou orientao do Conselho Nacional de Educao.
Ttulo: Avaliaes internacionais e desempenho dos alunos portugueses [Textos do Seminrio realizado no CNE a 25 de maro de 2013] Autor/Editor: Conselho Nacional de Educao Direo: Ana Maria Bettencourt (Presidente do Conselho Nacional de Educao) Coordenao: Manuel Miguns (Secretrio-Geral do Conselho Nacional de Educao) Coleo: Seminrios e Colquios Organizao e apoio edio: Carmo Gregrio e Teresa Catarina Ribeiro Composio e montagem: Paula Antunes Edio Eletrnica: julho de 2013 ISBN: 978-972-8360-77-1 CNE Conselho Nacional de Educao Rua Florbela Espanca 1700-195 Lisboa Telefone: 217 935 245 Fax: 217 979 093 Endereo eletrnico: cnedu@cne.min-edu.pt Stio: www.cnedu.pt
SUMRIO
ABERTURA
Ana Maria Bettencourt Brtolo Paiva Campos 7 9 15
Avaliaes internacionais e a melhoria da qualidade e da equidade dos sistemas educativos

Hans Wagemaker
17
19
Os resultados dos alunos portugueses no TIMMS em Matemtica e Cincias e as suas implicaes para o ensino, para a formao de professores e para o sistema educativo
Joo Pedro da Ponte Pedro Reis
53
55 61
Os resultados dos alunos portugueses no PIRLS em Leitura e as suas implicaes para o ensino, para a formao de professores e para o sistema educativo
Ins Sim-Sim
69
71 91 93 95 103
Um outro olhar sobre o TIMMS 2011

Jorge Miguel Marques da Silva Filipe Oliveira Pedro Fevereiro
SEMINRIO
Os testes internacionais, o sistema de avaliao externa e a promoo das aprendizagens

Helder Sousa Ana Sousa Ferreira Jos Augusto Pacheco Leonor Santos Rui Santos
109
111 119 135 151 163
Sntese e concluses
Brtolo Paiva Campos
169 171
ABERTURA
SEMINRIO
Ana Maria Bettencourt
Agradeo a todos a disponibilidade para, mais uma vez, refletirmos em conjunto sobre o impacto das avaliaes internacionais na melhoria da qualidade e da equidade dos sistemas educativos. Agradeo a todos os ilustres participantes nos painis a disponibilidade para esta colaborao. Um agradecimento especial ao Senhor Hans Wagemaker por apresentar aqui o trabalho da IEA (International Association for the Evaluation of Educational Achievement) sobre a avaliao internacional dos resultados de aprendizagem e, em particular, dos alunos portugueses do 4 ano de escolaridade, nos domnios da Literacia (PIRLS Progress in International Reading Literacy Study), da Matemtica e das Cincias (TIMSS Trends in International Mathmatics and Science Study). O Conselho Nacional de Educao um rgo independente que tem por misso o acompanhamento das polticas educativas. Desde 2010 que, para alm de pareceres e recomendaes, e usando do direito de iniciativa prpria, publica o Estado da Educao. Nestes relatrios, procuramos retratar o desenvolvimento do sistema, desde a educao pr-escolar at ao ensino superior, selecionando os indicadores mais pertinentes para a anlise da qualificao dos portugueses, da rede de oferta e acesso educao em todos os nveis, dos resultados de aprendizagem, do abandono precoce e da qualidade dos percursos educativos, nomeadamente apreciando a evoluo do desvio etrio nos vrios ciclos do ensino bsico e no ensino secundrio. Os relatrios incluem igualmente recomendaes do Conselho. Da anlise realizada ressalta uma evoluo significativa, nos ltimos quarenta anos, em matria de democratizao do acesso. A ltima dcada registou progressos assinalveis ao nvel da qualidade e da equidade do sistema.
Presidente do Conselho Nacional de Educao
SEMINRIO
No Estado da Educao 2012 inclumos uma sntese dos dados da ltima edio do TIMMS e do PIRLS relativos aos alunos portugueses. Foi com o maior interesse que tivemos conhecimento dos nossos resultados obtidos em testes internacionais, realizados por uma instituio com a competncia da IEA. Depois de vrias provas internacionais, iniciadas na dcada de noventa do sculo passado, em que os nossos resultados eram negativos, confirmada a tendncia para uma evoluo positiva, iniciada com os ltimos testes PISA. Considero ser nossa misso contribuir para o debate sobre esta evoluo, os fatores que a podem explicar e sobre a sua sustentabilidade. A importncia da melhoria das aprendizagens e competncias alcanadas nos primeiros anos de escolaridade tem sido objeto de grande preocupao por parte do CNE. Temos dedicado a maior ateno ao problema do desvio etrio e acumulao de dificuldades pelas nossas crianas desde os primeiros anos de escolaridade. Temos igualmente apelado necessidade de uma interveno ao primeiro sinal de dificuldade e ao reforo dos apoios como estratgia de preveno do insucesso escolar e de melhoria das aprendizagens e dos percursos escolares. A iniciativa que hoje levamos a cabo mais um testemunho do interesse do CNE pela problemtica da avaliao e mais uma oportunidade para o aprofundamento do debate sobre a qualidade da nossa educao. , tambm, mais um momento de reflexo sobre o potencial das avaliaes internacionais. A avaliao , alis, uma das dimenses estruturantes da atividade do CNE, sendo inclusivamente um dos objetos de anlise da 1 Comisso Especializada, cujo coordenador, o conselheiro Brtolo Paiva Campos, me acompanha nesta abertura. Permitam-me que, neste incio dos trabalhos, partilhe convosco uma preocupao e dois desafios relacionados com as problemticas do seminrio:
10
A preocupao que vos queria transmitir diz respeito aos meios para a sustentabilidade da melhoria dos resultados obtidos pelos alunos portugueses. Neste momento de graves dificuldades, sabemos como o futuro do pas depende da prioridade poltica atribuda ao sector da educao. O CNE tem apelado de forma repetida para a necessidade de, mesmo em tempos de crise, a educao ser considerada como o investimento decisivo para o futuro do pas. H poucos dias foi publicado um documento da Comisso Europeia sobre O Impacto da Crise no Financiamento da Educao na Europa. Embora algumas das anlises a publicadas tenham de ser lidas com algum cuidado, por se basearem em informao recente a necessitar, em alguns casos, de consolidao, os dados divulgados apontam para uma situao preocupante em Portugal, em comparao com outros pases da Unio Europeia. Estamos no grupo dos pases que mais reduziu o financiamento da educao desde 2010, o que se deve a fatores como a diminuio do nmero de professores, o aumento do nmero de alunos por turma e o agrupamento de escolas dos ensinos bsico e secundrio em unidades orgnicas de maior dimenso. E, se a extenso do oramento no por si s sinnimo de aumento da qualidade, na maioria dos pases em que existe qualidade educativa estes dois fatores esto associados. No podendo descurar a necessidade de prosseguir esforos para melhorar a eficincia do sistema e a rentabilidade dos meios existentes, com preocupao que encaramos a possibilidade de virmos a diminuir, ainda mais, a fatia do Oramento do Estado dedicada educao. No podemos esquecer o passado sombrio do nosso pas nesta rea e os baixos nveis de qualificao que ainda persistem na populao portuguesa, apesar dos progressos verificados. A dimenso do nosso atraso, sem paralelo na Unio Europeia, no permite que se abrande a recuperao em curso. A tendncia de queda mais acentuada do investimento em educao nos pases em crise poder ter como consequncia o aprofundamento da clivagem j existente entre grupos de pases europeus, em matria de
11
SEMINRIO
desenvolvimento e competitividade, e contribuir ainda mais para a falta de coeso europeia. Como vos disse atrs, a qualidade e a equidade da nossa educao tm vindo a registar melhorias significativas. So notveis os progressos verificados no acesso desde a educao pr-escolar at ao ensino superior. A qualidade dos nossos tcnicos e cientistas conhecida em Portugal e almfronteiras. A sustentabilidade destes progressos essencial para que Portugal se afirme e vena a grave crise econmica em que se encontra. Passando aos dois desafios que vos queria deixar: O primeiro desafio diz respeito necessidade de valorizar a melhoria dos nossos resultados e o papel dos professores. Numa altura em que as nossas escolas e os professores vivem momentos de grande instabilidade e de fraca autoestima essencial tomarmos conscincia de que melhormos e acreditar que somos capazes de progredir ainda mais, corrigir erros e encontrar as solues para os problemas. sabido como o papel dos professores o mais decisivo para a qualidade das aprendizagens e como a sua valorizao essencial. A recente democratizao do acesso educao em Portugal relativamente aos outros pases da Unio Europeia, geradora de situaes de grande complexidade. O enquadramento exigente do trabalho dos alunos na escola e o apoio para que superem dificuldades so decisivos. A divulgao de solues positivas da maior justia e pode ser a base para frutuosos intercmbios entre escolas e professores. O CNE tem procurado conhecer e divulgar a ao de professores e escolas situadas em zonas sensveis que so capazes de acrescentar valor e romper com expetativas negativas. essencial construir conhecimento sobre a ao das escolas e dos professores portugueses e empenhar toda a sociedade na sua valorizao. Mas igualmente necessrio criar condies atrativas de trabalho que, por sua vez, possam contribuir para assegurar a permanncia no sistema de um corpo docente altamente qualificado e motivado. Um segundo desafio diz respeito necessidade de conhecer melhor e debater os resultados obtidos pelas avaliaes internacionais. Com prticas e
12
normas to enraizadas na sociedade, as avaliaes internacionais tm a vantagem de nos fazer descentrar de hbitos e crenas por confronto com outras realidades e outros resultados. Numa rea em que, com frequncia, impera o senso comum na definio de propostas para a soluo dos problemas educativos, o estudo de situaes muito diversas enriquecedor. Temas como, por exemplo, a autonomia das escolas, a sua responsabilizao pelos resultados, a existncia de metas claras, o agrupamento dos alunos e as vias para uma maior equidade tm sido objeto de estudos internacionais, podendo constituir um apoio fundamental deciso poltica. Das avaliaes internacionais podemos igualmente colher ensinamentos sobre a importncia da estabilidade das polticas, outra das recomendaes persistentemente defendida pelo CNE. Neste seminrio apostmos em propor a anlise das implicaes dos testes internacionais na promoo das aprendizagens, na formao de professores e no sistema educativo. Para alm do contributo do senhor Hans Wagemaker, contamos com a colaborao de ilustres investigadores de reas essenciais como as Cincias da Educao e as Cincias Exatas e de responsveis por estas reas no Ministrio da Educao.
A todos agradeo a disponibilidade e o contributo.
13
SEMINRIO
14
Brtolo Paiva Campos
Depois desta interveno mais poltica, vou sugerir algumas questes que podem organizar a nossa reflexo ao longo do dia. A misso da 1. Comisso, que coordeno, o acompanhamento global das polticas educativas; por isso, logo que saram os resultados destes estudos internacionais, nos pareceu importante organizar uma reflexo alargada sobre os mesmos. Como sabemos, a eficcia dos sistemas educativos tem sido analisada luz de dois grandes grupos de indicadores. Durante um certo tempo, foi privilegiado o primeiro grupo, que o dos indicadores de escolaridade. Nestes, a preocupao centra-se no acesso e na permanncia na escola e na concluso de um determinado nmero de anos de escolaridade. E, assim, foram realizados muitos estudos que relacionam o aumento do nmero mdio de anos de escolaridade de uma populao ou de um grupo etrio com o crescimento do PIB, com os salrios e com outros indicadores sociais. A partir de um certo momento, sobretudo graas a estes estudos comparativos internacionais, facilmente se verificou aquilo que se poderia pensar, mesmo sem os estudos, isto , que ao mesmo nvel de escolaridade em vrios pases, no correspondia o mesmo nvel de aprendizagem obtida. A aprendizagem conseguida comeou, ento, a ser considerada um melhor indicador da eficcia dos sistemas educativos. justamente a este nvel que se situa o presente seminrio, ao nvel da comparao das aprendizagens conseguidas, e no do nmero de anos de escolaridade realizado por uma populao ou por um grupo etrio. Para a organizao do debate, ouso propor trs questes sem impedimento de surgirem outras. A primeira questo a de saber se os progressos que estes estudos evidenciam so progressos reais, consolidados, ou se so resultados
1
Conselho Nacional de Educao
15
SEMINRIO
ilusrios, efmeros, devidos, por exemplo, a questes de amostragem ou de pouca dificuldade das provas. Esta primeira questo se, de facto, houve progresso e onde que o progresso se verificou. Claro que h sempre maneira de comparar os resultados com uma meta que se deseja; mas h tambm maneira de avaliar os resultados em funo de um ponto de partida, de onde se veio. E conforme a nossa focalizao, assim a nossa atitude, o nosso pessimismo ou o nosso otimismo. A segunda questo que proponho a de saber, havendo progresso, quais so os fatores do mesmo. evidente que, em ltima anlise, o progresso, se existe, devido a um desempenho diferente dos professores e dos alunos. A questo saber o que que conduziu a um desempenho diferente dos professores e dos alunos. A identificao de causas provveis, ou com alta probabilidade de estarem relacionadas com estes resultados, tem importncia para a deciso de continuidade das polticas: as que convm continuar, aperfeioando, eventualmente, ou as que convm, como agora se diz, descontinuar. A terceira questo refere-se sustentabilidade destes resultados. Em funo da segunda questo, convm examinar se h condies para continuar a contar com os provveis fatores de progresso e garantir, assim, no s o no-recuo, como ainda a melhoria no nvel das aprendizagens conseguidas pelos nossos alunos. E num clima de crise financeira, a questo que se pode colocar se se pode aumentar a eficincia, isto , se com menos meios se conseguem os mesmos ou melhores resultados. Porque, com menos meios conseguir piores resultados, no habilidade nenhuma. Bom trabalho.
16
Avaliaes internacionais e a melhoria da qualidade e da equidade dos sistemas educativos Presidente da Mesa Maria Arminda Bragana - CNE
17
SEMINRIO
18
Hans Wagemaker
I understand youve already had an opportunity to listen to what PISA does. I think its important to understand that what we do is very different. And those differences are important in terms of understanding what we can do and how we can work with the data. This morning I will talk very briefly about some of the outcomes related to TIMSS and PIRLS for Portugal. Some of you already had the opportunity to see these results, so I would like to to use some of the information from the data from Portugal, and talk a little bit about the information in general that exists, and also consider some questions related to equity, particularly in Portugals context. In the time that we have available, I cant possibly cover all the issues that arise when we go through the data. These studies take 4 or 5 years respectively to conduct, and the more comprehensive analysis that countries undertake usually takes the 4 or 5 intervening years between cycles. What weve seen over the last years is a change of the demand for the types of information we used to make judgments about the quality of our educational systems. And the shift, the transition has been from a focus on the inputs out of the equation to what happens when children are actually in school. And its not just what happens, but its also the nature of what happens, that is at the hear of the issue of quality in education. And quality is defined in a variety of ways, not always in terms of performance but it also takes into consideration questions of equity and efficiency. The other big driver in terms of this transformation of focus, I think, as we are all aware, is globalization. Students that are being produced in Portugal are not competing just for jobs and employment working in companies locally, but they are expected to be
1
Diretor Executivo da International Association for the Evaluation of Educational Achievement (IEA)
19
SEMINRIO
able to compete internationally and help develop the local economy to be competitive internationally. So this is a different demand. One of the things that often arise when we talk about issues of educational outcomes is, why we should bother with international comparisons? This it is argued is because many countries already work with national assessment systems that address a number of the issues and concerns related to quality and equity. The following quotation however, from some of the early scholars from IEA captures the essence of what were trying to achieve. If custom and law define what is educationally allowable within a nation, the educational systems beyond ones national boundaries suggest what is educationally possible(Foshay 1962:p. 2). I think it is about trying to find and define the limits of possibilities of schooling. The opportunity to learn from other nations or sub-national jurisdictions about what is possible in education and how we might achieve either the same results or hopefully better results for our students is what drives international assessments. IEAs work spans more than 50 years now. While were here to talk about TIMSS and PIRLS today, we have a number of other activities that are going and one of the things that youll see in relation to TIMSS is our TIMSS advanced assessment, which focuses on advanced Mathematics and Physics. We are also developing what we describe as TIMSS numeracy, which is intended for those countries which children are earlier in a stage of acquire the foundational skills in Mathematics. Its not just developing countries, its also countries that for one reason or another may be actually rich in terms of GDP but have systems that have languished. In the area of reading we also have a parallel assessment that we call prePIRLS. Pre-PIRLS has been around for a few years now and we administered it successfully to a number of countries during the last cycle. We currently have a Citizenship study starting this year. Weve just completed a study in the preparation of Mathematics teachers. This year
20
again we will be starting a new project in early childhood and we also have ongoing a study which is halfway through which has as its focus digital literacy. A characteristic of these developments is that theres much greater diversity in terms of the countries that we work with. In the early years of IEA we were working largely with the countries of what is now the European Union. There were some exceptions, but it was a rather homogenous group. We are now working with countries that have huge linguistic diversity, huge cultural diversity, and huge, global, economic diversity, which place new demands on the sort of work that we are trying to do. To give you an idea of what has happened in the last four decades, in the 1970s when we talked about international assessment and this pre-dates the work of PISA, there were about 23 countries.
Cumulative growth in unique IEA participants over the decades (beginning of each decade)
140 120 100 80 60 40 20 0 1970 1980 1990 2000 2011 53 23 30 4 72 17 Benchmarking Participants 100 Regular Participants 32
21
SEMINRIO
You can see not only the growth in terms of unique countries that have participated but also the phenomenon that begins in the 1990s with a number of what we called sub-national or benchmark participants. They may be regions in Spain, they are states of the United States, even countries like the Emirates of the UAE There are a couple of the Emirates participating independently, as well as a number of Canadian provinces which participated independently. And we are seeing that these autonomous, administratively autonomous, regions, also want to understand the development of their local systems in a global context. Given the context of diversity and the breath of interests and our attempt to try and understand not only the outcomes of schooling but also the antecedents of learning, what approach does IEA take in its assessments? IEA takes a grade-based approach, as I mentioned this is different from what PISA does. And the reason we do that is that, our argument is that children learn by going to school, not by getting older. Perhaps it is a bit glib but the reality is that in many countries that we work with, 15 year-olds are distributed across 4 or 5 grades in some cases. The modal grade differences among some PISA countries are up to 2 years. So most of the children in New Zealand for example, have had 2 years more schooling than the 15 year-olds in Finland. So when New Zealand says, we did pretty well in PISA, I remind them, yes, but our kids have had 2 years more schooling (on average), they should be doing OK. So, in that context and that age distribution is an issue. For us the challenge is, because we are curriculum focused, to make sure that we capture the curriculum emphasis in each country. The other feature of the TIMSS design for example is that we offer a trend assessment. What this allows you to do is at successive participation intervals to look at a same cohort over time. For example 4 years later, the grade 4 students in 1995 are the grade 8 students in 1999, and so on. This permits an examination of comparisons among countries but also within the same country.
22
The target grades for TMSS and PIRLS are not arbitrarily chosen. They represent important transition points in the educational system: end of primary, beginning of lower secondary, and end of secondary, in the case of TIMSS. These grades also represent theoretically important developmental stages. In the case of Reading (PIRLS), in the developed world, grade 4 represents a point at which in most countries, reading instruction, that is, formal Reading instruction finishes. While there are often remedial reading programs that go into the later grades and additional development often occurs through language programs, the reading process, the acquisition of those fundamental skills, usually ends at the end of grade 4. Underpinning all of this is a curriculum model. We start with the intended curriculum, that is, whats dictated by policy, what is described in terms of curriculum statements. We try to capture this through background questionnaires, first from policy makers, from national research coordinators and to a certain extent from teachers. We then are interested in the implemented curriculum. What happens in the classroom and how is it that those broad curricular statements are implemented in the classroom? What do teachers actually do? Finally, at the last level, we are interested in the achieved curriculum, which is what can students demonstrate in terms of their knowledge attitudes, skills and dispositions towards learning. This is captured not only by the content of assessments but also by the background questionnaires. Of course, one of the key players in this, in addition to the teachers, and in addition to all the resources that the State provides, is parents. We are interested in what parents do prior to children starting school, the extent to which they are involved in the acquisition of early skills in the learning process. So we augment the content of the test that we develop with a comprehensive set of questionnaires which goes to, as I said, the research coordinators and the policy makers, the principals of schools, the teachers in the classroom,
23
SEMINRIO
the children in the selected class and the parents of the children that we work with. Schools are selected on a random basis, and the sample intended to cover (represent) the whole system. If you start to exclude parts of your system we begin to annotate and describe whats missing, so that we understand exactly who is it we are talking about. And I think the last thing on this slide is the issue of trend design.
PIRLS 2011 19th
24
The assessments we offer were designed from the beginning to measure trend. In the case of TIMSS 2011 the design allows us to be able to link back to the 1995 assessment. This design requires a discipline in terms of retaining certain parts of the assessment, keeping it secure so that it can be used again. But also requires planning ahead in terms of what the rotation of booklets is, and the consequent development of new stimulus materials. This design allows us to measure change and to modify or change our assessment with changing curricular expectations for the learning in these key subject areas. The demands of schooling in terms of the knowledge and skills that students are expected to learn in Mathematics, Science and Reading are as you will be aware, are not stable and evolve over time. At the end of this development and assessment process, we report not only the average scores that everybody talks about, but we also talk about the sub-domains of Mathematics and Reading. We describe performance in terms of achievement benchmarks, what students can actually do in terms of demonstrating their skills. And we look at the relationship between some of the antecedence of learning and the learning outcomes. We produce an encyclopedia that describes the broader political and social and educational context in which this learning takes place. These are extremely useful documents in terms of interpreting not only your results, but also understanding the results of other countries. The thing that always struck me, I think in 2003 in the Reading assessment, when I looked at the performance of some of the lower performing countries, was to see the limited aspirations stated in the curriculum about what children should learn by way of Reading. If you have low expectations, if you have low aspirations, its pretty certain that that is what you are going to get. And so, it (the encyclopedia) provides another insight into the potential for the reform process. We also produce thematic reports from time to time, address particular issues of interest. Gender is one of them. We have a new one coming up, on
25
SEMINRIO
high performing students, and Ill show you the graphs a bit later on about what this might look like. Now, for TIMSS 2011, there was an opportunity to look at the same students for Maths, Science and Reading. So the question of what proportion of those students in participating countries, were high achieving for all three subjects? Similarly, what proportion of students within each country had high scores, and achieved at the high benchmarks in one subject. I would also refer you to the technical reports for the study, so that you can really understand the quality of the data, not only for your country but for every other country and make appropriate judgments about how that information might be used. International databases are produced together with tools to allow you to analyze this data correctly. The challenge of analyzing, working with this data in non-trivial. That is, these studies are based on complex samples, and normal statistical software does not handle these complex sampling designs. These studies require analysts to be very aware of the sampling design and the weighting strategy thats applied to the data. The software we provide allows you to do this without fear of making an error. Of course at the end of this process, there is always a portion of the assessment that is made available as released materials. The idea here is that, for example, in Reading theres a reader that we use as an example of authentic reading text. Many countries use this as a classroom resource later on just for augmenting their classroom libraries. Examples of the questions are used in many countries as instructional tools to give them some guidance on how to start thinking differently about their instructional programs. There is considerable evidence that these resources are penetrating teachers training providers. So, to understand all this activity, I think what we try and convey is that the assessment is not the goal, the test is not the goal. We can develop tests. What we are trying to achieve is to provide countries with the sort of information that allows them to come to understand the functioning of their educational system, and perhaps provide some insights into the way in
26
which they can improve educational performances. The Goal is ultimately educational reform and improvement. I think lastly we like to think of these studies (TIMSS and PIRLS) as an opportunity to develop local capacity. We argue that TIMSS and PIRLS and the other assessments need to be understood as both process and product. They represent a tremendous opportunity for people to learn what we think of as the cutting edge of assessment technology from the development of frameworks to item writing, (where we run workshops), to data management and analysis. In 2011, we had a huge amount of press coverage. I guess most of that focused on the international averages. This is part of the kit that we provided for countries just to give them a quick summary we provided the media. I have it demonstrated at the bottom of the table where the countries bellow the scale center point, not because it is not interesting, its just that I want to go on from here.
TIMSS 2011 G4 Math 15th
27
SEMINRIO
TIMSS 2011 Science 19th
I think what Portugal should do is celebrate its performance. If we look at PIRLS, particularly if you discount some of the Asian countries, in terms of Europe, you (Portugal) have a great performance. An average score of 542 is a significant level of performance. But what you see at the very top, when you look at Korea and Singapore at 600, and in the case of Science, Korea and Singapore nearly at 600, Finland at 570, - these countries are all reaching this level of achievement in the same period of schooling, - 4 years of schooling. So there are always possibilities for improvement. But as I say, this performance (for Portugal) is a very significant level of achievement.
28
Another way of looking at this is to look at the relative strengths and weaknesses for Portugal, and again Im comparing it to Singapore here, which was at the top, generally at the top-performing countries. Reading is obscured here, but again, a very strong performance.
Singapore, on the other hand stands out for Maths and Science, but if you think that their assessment is in English and theyre still achieving at 575, again, its an extraordinary performance. Again, there are possibilities for improvement. New Zealand doesnt get a mention in this part. When I was asked to come to the meeting I was asked first to talk a little bit about, addressing issues of equity and what could we learn from the data that might address these issues Its interesting when we are working with the artifacts, in fact, when we are looking at this data, when we are working with the artifacts of a policy, we are looking at how countries dictate how schools should be resourced and how this might impact learning outcomes.
29
SEMINRIO
Were looking at the outcome of policies related to teaching (instructional programs) and resourcing. How do we know when we achieve equity? It appears it is often in terms of differences between groups and subgroups, this type of thing. The first opportunity we have to begin to look at issues of equity, is in the first table, the first exhibit on our international report. So we never report those scores like I produced just a little while ago in our international reports. We begin to produce them like this, and youll see on the right hand side of the table the range, and Ill blow this up a little bit. Ill just take it from the bottom so you can see what this represents. It represents the spread of scores within a country. The wider they spread, the greater I guess you could say the inequity there is. And if you look at Abu Dhabi its wide. If you look at countries like New Zealand, its very wide.
30
TIMSS 2011 Grade 4
Other countries are much more effective in terms of educating the total cohort to a certain standard. Ill take that to the next step. Before I go into that, the other way, as I mentioned, we look at the sub-domains. I dont know if you can read all of these from the back of the room. But the idea here is that we look at where the strengths and weaknesses lie within the system in terms of the Maths content. Portugal in terms of the strengths and weaknesses I guess is slightly less strong in Number, (and these are strategically significant differences,) but stronger in Geometry and measurement and data display.
31
SEMINRIO
We also, as I mentioned report not only the content domains but also the cognitive domains. That is, what can children do with the information that they learn in school, what can they demonstrate in terms of what they know, how can they apply that knowledge and how can they reason with the Mathematical knowledge that they have acquired in the learning process. If you look at Portugal again, actually there it is pretty much the same.
32
Now, as I mentioned, one way of looking at the question of equity is to look at the performance distribution. In fact the average scores in terms of policy any review, are of very limited value. I mean what they tell you is that you are doing relatively well or relatively poorly but they dont provide you any insight into what should be better, what could be better., A more informative indicator is how do you understand the score distribution., Who lives at the bottom 10% of the distribution, who lives at the top 10%.
33
SEMINRIO
Percentage of G4 mathematics population reaching international benchmarks TIMSS 2011
So one of the exhibits that we produce is the international benchmarks. We try to link score points to descriptions of what children can actually do. And if you look at the difference between this advanced benchmark and the low benchmark, you can see that at the low end this is a very basic level of performance. One of the important things to note is that while we have four benchmarks, we have 5 zones. But before I go into that Ill just talk about this. As I mentioned, this is a new report that we are just producing, this is not public yet, but what we are looking at high-performing students in all the countries; and what proportion in each countries of students perform at the advanced benchmark level in all subjects and what proportion perform each in single subjects. And again, for Portugal this is a great performance. But we can always do better, and this for example, is what happens in Singapore. And one of the
34
interesting things here for Mathematics, they have almost of their students achieving at a high benchmark. It is an extraordinary performance; its more than one standard deviation above the scale center point, on average. So, anyway, getting back to the 5 zones, here is a display of comparison of some countries in terms of the proportion of students in each of the zones, of the benchmark achievement. Singapore, even with this high achievement (is difficult to see) has about 1% of the students who fall bellow that low benchmark, below the low benchmark, Korea has nobody in that zone. So this is one of the systems that I say performs well in terms of equity or in terms of efficiency, maybe. The system somehow manages to bring all their children up to this performance mark. When we look at New Zealand, I think we have 16% of kids who fall below this low benchmark. Now when I look at Portugal it is a small percentage, is not large, but its in an area, from the policy point of view that, I will say, should be targeted. Who are these people and what are the explanations for their position in the system? If you want to talk about equity, even if you dont want to talk about efficiency, thats an area where you can pay attention. Given that you have these benchmarks, what can you achieve by trying to begin to understand who these people are?
35
SEMINRIO
Here Ive just broken it down by gender for Mathematics. The below low are more girls than boys; these differences by the way are probably not significant, and I couldnt put in the standard of errors, but for the purposes of illustration you can get the point. You need to begin to decompose the average and as you begin to decompose the benchmarks you can begin to understand the nature of the challenge that you have from a policy point of view. What you are seeing at grade 4 is that the boys, at that point at least, are achieving at a higher level of performance than the girls. I dont think that stays. And again Im not sure of what the standard error is, it may not be that significant. We can take this the next step and say, OK, given that you have thes e gender differences, are there any differences between the rural and the urban? Is there something systematic about living in an urban community that stimulates better performances in comparison to a rural community? And of course, I should say from the beginning, these are just relationships. There is probably an underlying reason for all of this, it may be poverty, but again, systematically beginning to decompose these benchmarks begins to give you an understanding about the possible policy remediation.
36
If you look at the difference between, let me see, rural and urban, on the left hand side are the rural, there is a slightly different profile between that and the urban areas. One I was looking at before, at the high end, the differences between the students in the high benchmark in urban areas and in rural areas, is likely to be significant.
37
SEMINRIO
Reading. We have the same challenge here. In this case, the girls are the better readers, systematically. And this is showing up, and I think these differences are significant, statistically significant. And already at grade 4 youve got these differences appearing for boys, here. And from that point on, shifting to the right, there is improvement.
38
39
SEMINRIO
Urban/rural differences, just like that, again, I think these are statistically significant differences. And you break it down by gender, and again you get a different profile, where urban students, particularly girls; have an advantage here. Again, its a different way of understanding, or beginning to understand performance differences in terms of achievement.
As I mentioned before, we also looked at the content domains, and we also looked at these by gender as a matter of routine. And if you go to Portugal, down on the bottom, in terms of content domains, there are no significant differences. But you see the patterns in other countries. Again, in terms from a policy perspective, you begin then to question what the issues about our instructional practices are that may, or systematically advantage one group or another, assuming that we discount a number of generic explanations which here make no sense.
40
Content domains, weve got something here, which I cant explain, but I understand that its not an unexpected outcome here in Portugal. That is the boys seem to be better at knowing. I dont know what that is; maybe someone here can tell me what the possible explanation is for that. But again, this sort of decomposition can begin to provide some sort of policy guidance into potential remediation programs.
PIRLS 2011 & Attendance at Pre school
Aside from the question of what happens in the school system, there has been increasing attention and interest in the relationship between early childhood experiences and early parenting experiences and subsequent learning outcomes. And here, in the PIRLS and TIMSS 2011, we collected information from parents and asked them about their childrens early childhood experiences. And here you can look at the relationship here between performance and participation in early childhood. Again, an underlying factor may in part be in play. It may be poverty, people who dont go, cant afford to go, that type of thing. But nevertheless, this sort of relationship (increasing performance with increased attendance at pre school) was present in all countries, while
41
SEMINRIO
maybe poverty is operating in all the countries, I suspect is more than that. I suspect that there is something about that pre-school experience which is important for later learning.
Math 2011 & Preschool attendance
For Mathematics its the same, and in fact, from memory, I think the performance in Mathematics is assisted, maybe Im wrong, but it had a greater impact on learning to read than early reading experiences. In terms of thinking about on how to derive benefit from the assessment I would argue what is required is a much greater interrogation of data, and further decomposition of this information., And of course, beyond this sort of thing, much more sophisticated modeling is required. There are clear questions that arise. What policy (ies) could the government generate to address what might be perceived to be inequities which are attributable to the absence of pre-school experiences? So a challenge for all the countries, and Ill finish here, is to
42
think about how do we use this information? If all that we do is to produce a report and participate, we are wasting our time. In order to maximize the impact, we really have to understand what it is that we (IEA) are trying to do. The detail of these assessments is important. There is much more than those international rankings, and it drives us (IEA) to distraction to think that most of the attention we get is about who came first and who didnt. This rather than talking about what are the things that make a difference in terms of understanding learning outcomes in our countries, I think it is also important to think globally. Its important to think about what is it that makes it possible for countries like Singapore, Korea, Taiwan, Japan to perform at the levels they do, given that they are operating in the same period of schooling? It may be that some of the things that they do are not possible within Portugal or New Zealand or Germany or elsewhere. They may not even be desirable. But these are important questions to ask, and its important to take the question of difference to the next step. Differences that we are talking about arent explanations; these are the things that have to be explained. And this requires the integration of the information that we bring through participation in the assessments. Think of international large-scale assessment as process and product. Its an opportunity for local capacity development. Its an opportunity for training and for the development of a culture of assessment and analysis. I may be talking to the converted here, that this is already built into your national systems. You have sophisticated people who work with us, universities are committed, as I understand to working with some of this data, but thats not true for many countries. Many countries think this as an activity, and they dont, in my view, derive the full benefit, what is possible. We need to think as this as a strategic investment. Its about having a vision for education, not about participating once and thinking now we solved this problem, we know whats happening. Things change, and whats really apparent in the last 30 or 40 years is not just these educational systems that change our demands also change, and
43
SEMINRIO
context changes. And there are some rapid changes in context. And Ill give you a couple of examples. When the European Union was created I remember reading an article in The Economist that talked about the estimated net migration gain in the United Kingdom, when the boarders were opened. They thought of getting 60.000 people, in the first year they got 600.000 people. These are all second language learners, many of them, and I would say most of them at that time were not from families with professional backgrounds. These are people who are looking for a second chance, better lives. While they are motivated, they were not endowed in terms of their educational background. In Morocco between 1999 and 2003, under Education for All, they put 30% more children in school. Its a huge mass of children coming in, and if you believe that the kids who are already at school are more likely to be advantaged, whats coming in are children who are also less advantaged and with that come some of the challenges that those students bring. In Moroccos case, I would have expected average scores to probably decline, in reality. If they had achieved stability, it would have been a good outcome. So how do we think about performance, equality and success? It has to be tempered knowledge of a rapidly changing broader context I mean, even the current economic crisis has seen changes in migration patterns from Britain back to Poland, and Im sure this is happening here, in many directions. Again, this has an impact on schooling and learning outcomes, and the challenges that schools and teachers face. And I think the last thing Id probably want to say is what we do represents an opportunity. We provide a template which we require everybody to follow, but beyond that, this can all be augmented, both in terms of time, and it can be augmented in terms of additional target investigations., For example looking at increasing the sample size, because you want to pursue differences between certain populations, whether there are differences between private and public schools, differences among language minorities or ethnic minorities.
44
There are opportunities to, depending on the resources within the country to add an additional assessment using some national component which focuses more clearly on national issues. Questionnaires can also be modified to include variables that we dont collect internationally but might be of local interest. Again, this is part of the strategic investment that countries need to make. They need to think about this not as a routine data gathering exercise, but as something that can be directed nationally in a way that is likely to make the most difference in terms of understanding educational systems. If you want to learn more about what weve got, these are some brochures that explain the other assessments that youre not involved with. Theres a new one here on the right, this is a proposal, but there is a new brochure here that talks about early childhood which has just come out and they are all available from our website. So thank you very much.
DEBATE
Question
One of the things that strikes me was what you said about the relation between expectations and final results. In fact I was thinking, and I would like to have a comment from you, about the relation between overexpectations, possible over-expectations and the same possibilities. There should be equilibrium between things. And the idea I got from you was, well, if you have more expectations that surely will push up the results.
45
SEMINRIO
Hans Wagemaker
Its clear that you have to be realistic about some of these things. But I think its also equally clear that when you read a statement for one country, and Ill talk about Reading, when goes something like can read about 100 words with some degree of understanding, and our framework, our assessment of framework on Reading is demanding the ability of our students to integrate information and to understand authors intent and to extract information from the text, then, unless the system is at least beginning to teach children or bring them up to a point where they can begin to do some of these things, the chances of scoring well on that assessment after 4 years is going to be difficult. Now, how do they transition from the 100 words scenario to this (PIRLS assessment) point is a challenge that is faced by a number of countries. I can talk about South Africa and also of some of the countries in the Middle East. Incidentally I did look at Portugal in Reading and its statement isnt exactly expressed in the way that we express our learning outcomes in Reading, but its not so different. I think its reasonably demanding in terms of expectations of what kids should be doing. Also its clear youre right, if you raise expectations too high, and you dont have teachers who can deliver them, then its not going to work either. I think however that we underestimate what children can achieve.
Question
How consistent are the TIMSS and PISA standards?
Hans Wagemaker
In terms of performance rankings? I actually havent look at Portugals performance in PISA, but I wouldnt expect them to be automatically consistent for the very reason that there really are different assessment models. We have the curriculum-based model; we have grade 4 and grade 8. PISA assesses 15 year-olds end of the compulsory school learning process.
46
At least when they started, PISA talked about it being totally independent of curriculum. The challenge for me in PISA in interpreting this, is given that they arent linked to curriculum whos 15 year-olds drive the assessment? Is it the 15 year-olds of New Zealand or the 15 year olds from Finland? How do you design an assessment that targets learning outcomes for 15 year-olds when theres no backdrop. How do you come to that agreement? But I think it was originally conceived, and I know this, I was involved in the original development of PISA when I worked for the government. My concern was that when you abandon the curriculum you abandon an anchor which provides some sort of comparability. When you abandon the grade, youve raised that challenge of having to interpret the outcomes in terms of where most 15 year-olds are found. In some countries 15 year-olds are in 2 grades, in some they are in 4 grades, in some countries they are in grade 11, in some they are in 9.
Question
You also have data about the span of the grades youve studied?
Hans Wagemaker
Yes, and they are all, with one or two exceptions in grade 4 and grade 8. What we published at the beginning was country participation, their rank, the grade, the average age and also their ranking on the Human Development Index, so that countries can understand that youre comparing the very richest with some of the very poorest of countries. So its another context for interpreting that information.
Question
You have evidence about the factors that are behind the difference in results in the urban and rural children?
47
SEMINRIO
Hans Wagemaker
I dont have it here, and its probably different for different countries. It may as well be related to poverty, it may be related to particular communities. In some countries it will be language community differences. As I said, I took the relationship between two variables. But to understand that, I think its exactly the right question you have to dig deeper into the data. The differences are not an explanation, so you have to start interrogating that, and I dont know enough about Portugal to be able to do that.
Question
Coming back to the previous question, when you say that there is a difference between the rural and urban children, you mean a difference because they are in rural areas and in urban areas, taking aside all others you made a selection from and so on? Or are you just comparing rural and urban?
Hans Wagemaker
I had not taken any of that into account. There are students in rural communities and in urban communities and they perform differently. Within those communities boys and girls perform differently, have different profiles. But the question you then have to answer or ask is, the sort of things that you are alluding to, is it because there of differences in parental education? Is it differences that are related to language; is it differences that are related to both? In some countries they would be highly mobile communities, its unique to each country. And it may even be unique within countries, there may be different types of rural experiences that can help us understand those performance differences. That is to say that what we produce is a national report that doesnt even go to the rural/urban, because its not well defined internationally. Because of that we look at this in a national data base., Portugal happens to have this
48
information so I was able to get it, but its a construct that needs to be unpacked as well. What does it mean to be in a rural community, a rural community in New Zealand, or in the United States or whatever? How big are these communities? That is not a constant either, so I think theres systematic differences that needs to be understood, and thats the point.
Question
Do you have any key points that may explain why we have improved our results in TIMSS and PIRLS? Because as you say, its complex, the analysis is complex, but if you have some ideas about what might have happened for the increasing results?
Hans Wagemaker
Only from what Ive learned talking to a few people here. But I understand that Portugal, Ive been told very recently invested 6% of GDP, which is probably above average for the OECD in terms of education. There has been an investment and a focus on learning outcomes in the last, lets say, 20 years. It may be that it reflects the political changes. What might have been measured was a legacy of the past, of the previous political government here, the dictatorship. Who knows? It may be under the new more democratic form of organization in Portugal, that there are improved systems, better management, all of these things, better teacher preparation? I dont know, I was hoping that you could tell me.
Question
I would like to ask you how should Portugal take care if future results go down?
49
SEMINRIO
Hans Wagemaker
Well, I think that depends on how much they go down, hopefully they wont, but I think the same questions need to be asked. What is different about 2015 and 2016 in the students who now represent a different cohort of experience? What is different, what has changed in that period? What broader societal changes have occurred? We work with the data that we get at the end of this period. We insure that all the countries carry out these studies to the same standard. We monitor the sampling; we monitor the translations and the quality in the translations. We have some quality procedures during and after that we ensure that, for example, when we find countries that manipulate data, that we dont publish it. When we find examples where countries suddenly remember that they have parts of the population that they have forgotten about, you know, accidentally Weve had countries where we detected deliberate attempts to manipulate the data, and so we employ quality control monitors to go to sample schools to make sure. So what we can say at the end of this is that on the basis of the information that we have with us now, were confident that the study was carried out in a manner that would give us reassurance that it actually reflects the performance in a country at that time. But things do change and the financial crisis may well have an impact. I understand that here youve got increased class sizes. In some countries there are school closures that are having that exact same effect. The removal of support services, all these things are changing some very fundamental conditions for learning. On the other hand, maybe what the counselor said, maybe well learn to do more with less.
Question
With your long experience in this kind of studies are there, in your opinion any aspects, particular aspects that you would like to do it, in TIMSS and PIRLS, to change and you dont because of any reasons? Are there any changes you would like to introduce in TIMSS and PIRLS or not, and why?
50
Hans Wagemaker
We are making several changes. One of the challenges we face almost immediately is the technological transition, to capture all this information technologically and delivering assessments that arent simply a replication of the paper and pencil on the computer. But it allows us to do different types of assessment, to work in different ways. I mean, an ideal model might be what is called adaptive testing where students are exposed to successively more difficult questions depending on the previous success. That demands huge resources in terms of not only in terms of getting the technology, the electronic technology, but also in terms of the development of resources. For PIRLS, the next cycle, we are planning to have what we call Internet based Reading. We talked about originally a sort of a digital literacy but there is a question of as to whether or not the experience of reading in the internet and that internet environment represents a different reading challenge, and so thats something that we definitely investigating, and well run that in the next cycle. The technology opens up whole new possibilities. One of the disappointments I think of technology in schools is that it has been adapted largely for administrative purposes. There are instructional programs more so now than there were 30 years ago, but nevertheless, I still think that the opportunities, if you think about Physics or Chemistry or Mathematics where the opportunities for, for example, rotating molecules or manipulating molecules in a virtual environment as a teaching tool, and possibly as an assessment tool, all this sort of things are theoretically possible. We are limited in two ways, one by resources, its expensive to do this and we are probably at the limit of what we can charge countries to do this. And secondly we work with countries that range from Singapore, Taiwan, Korea, Portugal, Norway, the developed economies of the world, but also with Yemen and Syria and Lebanon and South Africa, and Botswana and Ghana. And the reality of delivering some of this in a technology rich environment is probably not there yet.
51
SEMINRIO
52
Os resultados dos alunos portugueses no TIMMS, em Matemtica e Cincias, e as suas implicaes para o ensino, para a formao de professores e para o sistema educativo Presidente da Mesa Maria Calado Gomes - CNE
53
SEMINRIO
54
Joo Pedro da Ponte
Nesta interveno passo em revista os resultados dos alunos portugueses do 4. ano de escolaridade em Matemtica no TIMSS, divulgados em dezembro de 2012, dando igualmente conta de alguns resultados de contexto que me parecem particularmente interessantes, procurando interpret-los luz das realidades portuguesas. Considero que, no seu conjunto, estes resultados so francamente notveis e merecedores de uma reflexo aprofundada por todos aqueles que se interessam seriamente pelo ensino desta disciplina escolar. Portugal (com 532 pontos) surge pela primeira vez muito bem colocado no ranking da disciplina de Matemtica 15. lugar mundial e 8. europeu, s atrs de Singapura (606 pontos), Coreia (605), Hong Kong (602), Taiwan (591) e Japo (585), pases asiticos com sociedades e sistemas educativos muito diferentes do nosso, e Irlanda do Norte (562), Blgica (parte flamenga) (549), Finlndia (545), Inglaterra (542), Rssia (542), Estados Unidos (541), Holanda (540), Dinamarca (537) e Litunia (534). Resultados inferiores aos portugueses tiveram, por exemplo, pases como a Alemanha (528), Irlanda (527), Srvia (526), Austrlia (516), Hungria (515), Eslovnia (513), Repblica Checa (511), ustria (508), Itlia (508), Eslovquia (507) e Sucia (504). Abaixo da mdia internacional de 500 pontos, ficaram ainda Malta (496), Noruega (495), Nova Zelndia (486), Espanha (482), Romnia (482), Polnia (481), Turquia (469) e vrios outros pases. Os resultados dos alunos portugueses traduzem uma subida de 442 para 532 pontos, ou seja, uma subida de 90 pontos em relao avaliao anterior realizada em 1995, o que no tem paralelo a nvel mundial o segundo pas com maior subida (58 pontos) a Inglaterra, que passou de 484 para 542 pontos. Alguns pases tiveram mesmo descidas, como a Repblica Checa (30 pontos, de 541 para 511), ustria (-23 pontos, de 531 para 508), Holanda (-9 pontos, de 549 para 540), Hungria (-6 pontos, de 521 para 515 pontos). de registar que esta subida dos alunos portugueses, ao contrrio do que se
1
Instituto de Educao da Universidade de Lisboa
55
SEMINRIO
poderia esperar, no se deveu melhoria dos resultados dos melhores alunos, mas sim a uma melhoria a todos os nveis, com uma reduo da disperso dos resultados (passou-se de um desvio padro de 3,9 para 3,4 pontos). Por temas matemticos, o desempenho dos alunos portugueses especialmente forte nos temas Formas geomtricas e medida (548 pontos) e Representao de dados (idem) e inferior, mas ainda assim bastante positivo, no tema Nmeros (522 pontos). No que respeita aos nveis cognitivos matemticos considerados na elaborao da prova, no se registam diferenas significativas nos resultados dos alunos portugueses, que obtiveram no Conhecimento (o nvel mais simples) 531 pontos, na Aplicao (nvel que j traduz alguma complexidade) 534 pontos, e no Raciocnio (o nvel mais exigente) 531 pontos. Nos itens cujos resultados so divulgados, os alunos portugueses tm, de um modo geral, excelentes desempenhos. Assim, no tema Nmeros, num problema verbal envolvendo a adio de dois nmeros naturais de trs dgitos (questo de aplicao, dificuldade baixa), Portugal surge em 5. lugar (89% correto). Noutro problema verbal envolvendo a adio de numerais decimais (com uma casa decimal) (questo de aplicao, dificuldade intermdia), Portugal surge em 7. lugar (84% correto). Num problema verbal envolvendo adio de medidas de tempo e converso entre horas e minutos (questo de aplicao, dificuldade elevada), registou-se o pior resultado, surgindo Portugal em 31. lugar (47% correto). Em contrapartida, num problema numrico de raciocnio com vrios passos (questo de raciocnio, dificuldade elevada), Portugal surge em 11. (40% correto). No tema Formas geomtricas e medidas, num problema para determinar o nmero de cubos numa pilha com alguns cubos escondidos (questo de aplicao, dificuldade intermdia), Portugal surge em 7. lugar (84% correto). Noutro problema para completar uma figura de tal modo que exista uma reta de simetria e um certo nmero de lados (questo de aplicao, dificuldade elevada), Portugal surge em 10. lugar (53% correto). Num problema em que eram dadas as figuras de dois slidos comuns e se pedia para classificar quatro afirmaes como verdadeiras ou falsas (questo de
56
conhecimento, dificuldade elevada), Portugal surge em 1. lugar (70% correto). No tema Representao de dados, num problema em que era necessrio completar um grfico de barras usando dados numa tabela (questo de aplicao, dificuldade baixa), Portugal surge em 15. lugar (84% correto). Num problema em que se pedia para identificar o grfico de barras que corresponde informao mostrada num grfico de setores (questo de raciocnio, dificuldade intermdia), Portugal est em 10. lugar (82% correto). Finalmente, num problema de vrios passos em que era necessrio usar dados de um grfico de barras (questo de raciocnio, dificuldade elevada), Portugal ficou em 7. lugar (70% correto). Deste modo, na grande maioria dos itens divulgados, Portugal surge acima do 15. lugar que obteve na mdia geral, sendo que em diversos itens ultrapassou mesmo os pases asiticos que melhores resultados globais obtiveram no teste. tambm interessante analisar os resultados obtidos em algumas variveis relacionadas com o desempenho. Por exemplo, no que se refere aos alunos, os professores reportam que estes se envolvem na aprendizagem (Portugal 8. em 50 pases) e que os alunos gostam de aprender Matemtica (12.). Em contrapartida, os prprios alunos revelam muita confiana nas suas capacidades na disciplina de Matemtica (41.). No que se refere aos prprios professores (recorde-se que estamos a falar de professores do 4. ano de escolaridade), estes consideram que promovem um ensino para envolver os alunos na aprendizagem (Portugal 4. em 50 pases), mostram confiana no uso de estratgias de ensino (5.) e consideram importante a colaborao para melhorar o ensino (14.). Em contrapartida, na perspetiva dos professores, as atividades com computador no tm uma expresso muito forte na aula de Matemtica (22.) e no vm como muito favorveis as condies de trabalho, dados os problemas criados pelos alunos (41.), nem mostram satisfao com a carreira (44.). Deste modo, os professores evidenciam muita confiana nas suas capacidades profissionais, ao mesmo tempo que mostram grande descontentamento relativamente a questes de carreira e de condies de trabalho.
57
SEMINRIO
No que respeita ao sistema educativo, Portugal o pas onde mais horas semanais so estabelecidas para o ensino da Matemtica (1. em 50 pases), mas no so muitos os alunos que trabalham com nmeros antes de entrar no 1. ciclo (18. em 32 pases). No que se refere famlia, registam-se expetativas elevadas na realizao de um curso de ps-graduao para os seus educandos (7. em 32 pases), o que evidencia vontade de investir em qualificaes acadmicas, e registam-se recursos favorveis em casa para a aprendizagem (15. em 32 pases). Para estes resultados contriburam, no meu entender, diversos fatores de poltica educativa nacional, com destaque para o programa de formao contnua para professores do 1. ciclo, da iniciativa do Ministrio da Educao, que teve a coordenao de Lurdes Serrazina, da Escola Superior de Educao de Lisboa, e que decorreu de 2005 a 2011. Este programa envolveu cerca de 15 000 professores (mais de 50% do total em exerccio), num trabalho consistente realizado ao longo de todo o ano letivo (em alguns casos durante um ano, noutros casos durante dois), com trabalho de aprofundamento matemtico e didtico e superviso por parte de um formador na sala de aula. Tero igualmente contribudo, embora de forma menos direta, o programa de Matemtica do ensino bsico homologado em 2007, pelos materiais de apoio e pela formao produzidos no seu mbito e que abrangeram muitos professores em exerccio, nomeadamente atravs do programa de formao contnua referido. Alguns alunos que fizeram a prova do TIMSS seguiram j o novo programa, nas mais de 400 escolas e agrupamentos que o comearam a usar por iniciativa prpria a partir de setembro de 2009. Para estes resultados ter ainda contribudo o Plano de Ao da Matemtica (em vigor a partir de 2006), proporcionando apoio continuado ao longo do tempo s escolas e agrupamentos, procurando corresponder s necessidades sentidas pelos professores. Destes resultados decorrem diversas implicaes. Assim, de sublinhar, antes de mais, que vale a pena valorizar, de modo positivo, a Matemtica no currculo escolar, como foi feito no perodo 2006-2011, com polticas especficas nesse sentido. Em segundo lugar, necessrio valorizar o programa de 2007, principal referncia que permitiu este sucesso, com as orientaes curriculares que lhe esto subjacentes, nomeadamente:
58
Valorizao do sentido de nmero, visualizao espacial, pensamento algbrico e literacia estatstica, nfase nas capacidades transversais de resoluo de problemas, raciocnio matemtico e comunicao matemtica, Ensino baseado numa abordagem exploratria, proporcionando uma formalizao progressiva dos conceitos matemticos, Aprendizagem dos procedimentos matemticos com compreenso. Finalmente, os resultados do TIMSS 2012 sugerem a necessidade de apoiar iniciativas de formao contnua com objetivos e natureza idnticos ao programa de 2006-11, de promover a formao inicial articulada com a formao contnua e com as boas prticas existentes no terreno e de apoiar as escolas e os agrupamentos, valorizando as suas iniciativas e correspondendo s suas necessidades. Trata-se de aspetos que convm no perder de vista nas polticas educativas futuras.
59
SEMINRIO
60
Pedro Reis
Para mim particularmente grato estar nesta sesso pelo facto de ter integrado a equipa nacional do projeto TIMSS de 1995, altura em que os resultados negativos de Portugal foram amplamente divulgados. Lamento que o mesmo no esteja a acontecer agora com os bons resultados alcanados por Portugal na edio do TIMSS de 2011.
Comparao dos desempenhos nacionais de 1995 e 2011
Irei centrar a minha anlise em vrios aspetos, mostrando os desenvolvimentos que ocorreram de 1995 a 2011 e tentando discutir convosco algumas das possveis razes para a melhoria de desempenho do nosso pas. Portugal faz parte do grupo de pases que teve o maior incremento de desempenho entre 1995 e 2011. Alis, o segundo pas em termos de melhoria: melhorou 70 pontos. Contudo, para alm do desempenho bastante positivo de Portugal, os resultados divulgados tambm revelam reas a melhorar e sugerem o reforo e a realizao de intervenes especficas em determinados aspetos. Constata-se que de 1995 para 2011 os alunos portugueses evoluem consideravelmente em todos os nveis de referncia internacionais: a) 7% dos participantes atingem o nvel avanado (quando em 1995 apenas 2% o conseguiam fazer), sendo capazes de aplicar o conhecimento e a compreenso das relaes e dos processos cientficos e evidenciando algum conhecimento do processo de investigao cientfica (scientific inquiry); b) o nvel elevado alcanado por 35% dos alunos (apenas 13% o tinham feito em 1995) que conseguem aplicar o seu conhecimentos e compreenso das cincias para explicar fenmenos em contextos do quotidiano e abstratos;
Instituto de Educao da Universidade de Lisboa
61
SEMINRIO
c) o nvel intermdio atingido por 75% dos participantes (apenas 43% o tinham alcanado em 1995) que apresentam nveis bsicos de conhecimento e compreenso de situaes prticas de cincias; d) o nvel baixo ultrapassado por 95% dos alunos portugueses (em comparao com 73% em 1995) que evidenciam alguns conhecimentos elementares de cincias da vida, fsicas e da terra. Na edio de 2011 do TIMSS, os alunos portugueses obtm desempenhos superiores mdia internacional nas diferentes reas de contedo e competncias avaliadas. No entanto, os nveis de desempenho so maiores a Cincias da Terra e a Cincias da Vida do que a Cincias Fsicas. Por outro lado, os alunos portugueses evidenciam melhores desempenhos ao nvel do Conhecimento e do Raciocnio do que ao nvel da Aplicao. O desempenho por gnero tambm particularmente interessante. Verificase que a situao que existia em 1995 se mantm, ou seja, no h uma diferena significativa entre rapazes e raparigas ao nvel das Cincias. No entanto, se analisarmos especificamente por nveis cognitivos existe uma diferena que estatisticamente significativa ao nvel da aplicao, precisamente a competncia sobre a qual tambm teremos de refletir melhor, em que os rapazes apresentam um nvel significativamente superior. A nossa reflexo dever centrar-se no s nestes resultados mas tambm no que so os resultados de rapazes e raparigas nos exames finais do secundrio, em que parece haver uma inverso de desempenhos: as raparigas acabam por atingir resultados mdios mais elevados, apesar dos rapazes atingirem desempenhos superiores, mas em menor quantidade. As questes de gnero so uma rea em que h muito pouca investigao em Portugal, nomeadamente no ensino das Cincias, mas que importa realmente estudar. Torna-se necessrio compreender as causas destas diferenas de desempenho entre gneros. Se analisarmos os sete exemplos de itens includos no relatrio do TIMSS 2011, constata-se que as maiores evolues ao nvel de desempenho se verificam em tpicos curriculares que foram trabalhados no Programa de Formao Contnua de Professores do 1. Ciclo em Ensino Experimental das Cincias. O facto deste programa de formao ter implicado os professores
62
participantes no planeamento e na realizao de diversas atividades experimentais com os seus alunos no seu prprio contexto de trabalho ter assegurado um impacto positivo (visvel atravs dos resultados do TIMSS 2011) nos conhecimentos e competncias destes mesmos alunos. Os melhores nveis de desempenho dos alunos portugueses verificam-se em tpicos curriculares que integram o currculo do 1. Ciclo do Ensino Bsico. A rea menos representada no currculo as Cincias Fsicas aquela em que o desempenho dos alunos inferior. A anlise pormenorizada dos resultados obtidos pelos alunos portugueses no TIMSS 2011 uma tarefa decisiva para Portugal: atravs desta anlise de pormenor que conseguimos detetar lacunas ao nvel da educao em cincias. A anlise do tipo de respostas dos alunos perante determinados tipos de itens permitir detetar as suas dificuldades e os aspetos que devero ser melhorados ao nvel da aprendizagem de conhecimentos e do desenvolvimento de competncias.
A importncia do contexto
Existem alguns dados de contexto que podero ter contribudo para o bom desempenho dos alunos portugueses. o caso da formao acadmica dos pais e do nmero de alunos que frequentaram o pr-escolar (que aumentaram consideravelmente de 1995 para 2011). Apesar de no se tratar de uma relao de causa-efeito, observa-se uma relao positiva entre a frequncia do pr-escolar e o nvel de desempenho obtido no TIMSS 2011. Verifica-se que os melhores nveis de desempenho ocorrem em escolas em que a dimenso da biblioteca de 500 ou menos livros ou em que no h biblioteca. Isto significa que os grandes centros escolares, melhor apetrechados (nomeadamente, com bibliotecas com mais de 500 livros), no so sinnimo de bom desempenho no TIMSS 2011. Assim, a varivel professor parece emergir como a mais importante para o bom desempenho dos alunos. Tambm se verifica que a existncia de laboratrios de Cincias no se revela particularmente significativa para o bom desempenho dos alunos
63
SEMINRIO
portugueses. Esta situao poder estar relacionada com o Programa de Formao de Professores do 1. Ciclo em Ensino Experimental das Cincias que, ao longo da sua existncia, insistiu muito no desenvolvimento de competncias cientficas atravs da utilizao de materiais simples, ou seja, na promoo de competncias de nvel cognitivo elevado atravs do recurso a materiais simples em salas de aula normais (sem necessidade de laboratrio).
Os professores
Relativamente aos professores dos alunos que participaram no TIMSS 2011, verifica-se que 31% frequentaram aes de formao sobre ensino da cincia nos ltimos dois anos e que a maioria (76%) se sente muito bem preparada para ensinar todos os tpicos de cincias do programa. Contudo, apenas 64% dos professores se sentem muito bem preparados para ensinar os tpicos de Cincias Fsicas. Logo, existe um dfice de formao dos professores ao nvel das Cincias Fsicas que necessrio ultrapassar, principalmente porque essa a rea de contedo na qual os alunos obtm um desempenho inferior. Os professores de 71% dos alunos apresentam um nvel de confiana bastante elevado nas suas capacidades gerais de ensino das cincias. Contudo, manifestam falta de confiana (1) na explicao de conceitos ou princpios atravs de experincias cientficas, (2) na proposta de atividades que sejam desafiantes para os alunos com melhor nvel de desempenho e (3) na resposta s perguntas dos alunos sobre Cincia. Trata-se de capacidades de ensino das cincias s quais as instituies de formao inicial de professores e o Ministrio da Educao (atravs da realizao de programas de formao contnua) devero prestar particular ateno. No que se refere ao tempo que os professores consideram dedicar ao ensino das cincias, os professores portugueses ocupam o primeiro lugar a nvel internacional. Contudo, para alm do que poder ser o carcter irrealista desta avaliao, importa refletir sobre a qualidade do trabalho que realizado em sala de aula. Os resultados obtidos pelos alunos portugueses (por exemplo, o desempenho inferir ao nvel da Aplicao de
64
Conhecimentos) sugerem a necessidade de melhorias em termos de prticas de sala de aula, nomeadamente no respeita realizao de atividades mais centradas nos alunos que reforcem a sua autonomia, as suas competncias intelectuais e o seu conhecimento cientfico. Segundo os professores, a percentagem de alunos a quem foram ensinados os tpicos TIMSS das diferentes reas de conhecimento varia entre os 96% para as Cincias da Vida, os 75% para as Cincias Fsicas e os 88% para as Cincias da Terra. Curiosamente, verificamos que na Coreia e no Japo (pases com timos nveis de desempenho) os tpicos TIMSS apenas foram abordados, segundo os professores, por 50% e por 38% dos alunos, respetivamente. Isto significa que nestes pases, os alunos conseguem obter bons nveis de desempenho apesar dos seus professores no terem abordado vrios tpicos TIMSS, o que poder indiciar um ensino mais centrado no desenvolvimento de competncias e no tanto em contedos especficos. Outro aspeto extremamente interessante a relao entre a experincia dos professores e o nvel de desempenho atingido pelos seus alunos. Constata-se uma relao positiva entre a experincia dos professores portugueses e o nvel de desenvolvimento dos seus alunos. Contudo, o maior nvel de desempenho obtido por alunos de professores com menos 5 anos de experincia. Claro que, nos ltimos anos, so as instituies de ensino particular (muitas vezes frequentadas por alunos de estratos socioculturais privilegiados) que contratam professores recm-licenciados. Contudo, esta situao mostra, pelo menos, que nos ltimos anos se tem realizado um bom trabalho ao nvel da formao inicial de professores de 1. ciclo do Ensino Bsico.
Implicaes e recomendaes ao nvel do ensino
A leitura e a anlise dos resultados obtidos pelos alunos portugueses no TIMSS 2011 sugerem diversas implicaes e recomendaes para o Sistema Educativo: A necessidade de recurso a atividades e metodologias capazes de reforar o gosto pela aprendizagem das Cincias, especialmente das raparigas. O
65
SEMINRIO
aumento da perceo da relevncia da educao em Cincias algo que tambm temos de trabalhar bastante, atravs do estabelecimento de ligaes com situaes do dia-a-dia, contextualizando o currculo. A necessidade de melhorar a qualidade do tempo dedicado ao ensino das Cincias: extremamente importante ter um ensino mais desafiante para os alunos de todos os nveis de desempenho tanto para aqueles que tm um fraco desempenho, como para aqueles que tm um desempenho muito bom. A necessidade de se implementar uma maior diferenciao pedaggica e de se realizar um ensino mais contextualizado, mais centrado no aluno e menos no professor, mais promotor do raciocnio e da aplicao de conhecimentos, mais investigativo e menos prescritivo, mais centrado nos processos da Cincia. Uma maior e melhor explorao de tpicos de Cincias Fsicas. A necessidade de se continuar o trabalho de desenvolvimento pessoal e profissional dos professores do 1. ciclo do Ensino Bsico, iniciado com o Programa de Formao de Professores em Ensino Experimental das Cincias. Analisando o desempenho dos alunos portugueses nos diferentes itens do TIMSS 2011 detetam-se evidncias de um impacto positivo deste programa na qualidade do ensino das cincias. preciso, tambm, que os documentos de orientao curricular no se restrinjam a listagens de contedos e que procurem estimular um trabalho de qualidade no que respeita ao desenvolvimento de competncias, nomeadamente, ao nvel da aplicao de conhecimentos. A importncia de um trabalho precoce com os alunos com maiores necessidades educativas (mal se detetem determinadas dificuldades). Pases como a Finlndia conseguem obter bons nveis de desempenho global graas ao trabalho feito com os alunos mais fracos. de assinalar o efeito extremamente contraproducente que os exames no final do 1. ciclo do Ensino Bsico centrados na Matemtica e na Lngua Portuguesa j esto a ter no ensino das Cincias. Com a realizao destes exames, a mensagem que se passa para os professores e os familiares a de que as reas da Matemtica e da Lngua Portuguesa so as mais importantes.
66
Logo, cada vez mais tempo e recursos so deslocados para estas reas em detrimento das outras reas, nomeadamente a de Estudo do Meio. Os professores sentem que no tm tempo para a realizao de atividades de tipo investigativo, centradas nos alunos, acabando por favorecer o ensino factual e expositivo das cincias (pouco promotor de competncias cognitivas mais elevadas). Constata-se que o trabalho de investigao realizado na rea da Educao em Cincias teve repercusses diretas (efeitos bastante positivos) ao nvel da formao contnua de professores. Logo, os resultados alcanados no TIMSS 2011 devem ser estudados de forma aprofundada por esta comunidade de Educao em Cincias com o objetivo de se corrigir o que seja necessrio e de se manter as estratgias que se tenham revelado positivas. Acrescentaria, tambm, algo que considero decisivo para ns como pas: a necessidade de se divulgar o bom desempenho dos alunos portugueses no TIMSS 2011, para reforar o autoconceito dos professores, dos alunos e das famlias. necessrio mostrar que as escolas portuguesas tm realizado um trabalho bastante interessante, ao qual necessrio dar continuidade.
67
SEMINRIO
68
Os resultados dos alunos portugueses no PIRLS, em Leitura, e as suas implicaes para o ensino, para a formao de professores e para o sistema educativo Presidente da Mesa - Jos Augusto Bernardes - CNE
69
SEMINRIO
70
Ins Sim-Sim
Gostaria de comear por agradecer ao Conselho Nacional de Educao o convite para vos apresentar a minha anlise sobre os dados do PIRLS e, concomitantemente, partilhar a reflexo sobre um tema que me muito caro: a leitura, os leitores e o ensino desta competncia fulcral no desenvolvimento do indivduo e da sociedade. De uma forma geral, a participao em avaliaes internacionais, porque envolve muito trabalho, dispndio de energias e de recursos nacionais, inclusivamente financeiros, deve, em minha opinio, reverter em lucros substanciais para o pas participante. Da que tivesse escolhido como eixo central da minha comunicao o que podemos aprender com os resultados do PIRLS. Concebi a estrutura da comunicao em trs partes e, revisitando os idos de 1974, escolhi trs D, para designar cada uma dessas partes: Dados, Dvidas e Dividendos. Na primeira parte os Dados abordarei alguns resultados do PIRLS relativos a Portugal, centrando-me na questo, como leem as nossas crianas? Procurarei comparar os dados atuais com os de pases que integram o mesmo espao geogrfico e econmico e, num olhar retrospetivo de 20 anos atrs, com os resultados do Reading Literacy (1991), promovido pelo IEA, e que est na base do PIRLS. Em seguida levantarei algumas Dvidas que me ocorreram na leitura dos mesmos. Na seco final remeterei para o que considero os Dividendos nacionais na participao do estudo em anlise. Como ponto de partida, considero que a anlise dos resultados deste tipo de estudos deve ter como bssola a avaliao da qualidade das aprendizagens do pas, tendo como referncia outros pases, e no a viso de competies tipo olimpadas. O fulcro principal so as aprendizagens escolares, tentando compreender como que as aprendizagens se materializam no que pode ser objeto de comparao entre sistemas educativos. E devo referir, partida,
1
Escola Superior de Educao de Lisboa
71
SEMINRIO
que quando se trata de um estudo com caractersticas lingusticas, como o caso, h que tomar em linha de conta limitaes muito fortes que as diferenas lingusticas comportam. Na potencializao dos ganhos de participao gostaria de salientar a necessidade de interpretar os dados luz de variveis especficas do sistema educativo e da populao nacional. Os dados so tratados em termos internacionais, mas h informao de pormenor que de importncia capital e que no pode ser ignorada ou menosprezada; a se incluem variveis da populao, espelhadas ou no nas caractersticas da amostra desenhada e usada que inclui quer alunos, quer professores, e que se repercute nas especificidades da organizao pedaggica. Tal significa que o aprofundamento dos dados deste tipo de estudos requer o cotejo com outros dados de todo o pas, tais como as exprovas de aferio ou os atuais exames nacionais. Um ganho adicional da participao em estudos internacionais tem que ver com desejveis melhorias no processo e no sistema de avaliao e, consequentemente, no sistema de ensino. No que se refere especificamente ao processo de melhorias na avaliao da compreenso de leitura, quero salientar especificamente o GAVE, com todas as suas provas de aferio, que beneficiou das participaes nacionais quer no Reading Literacy, quer no PISA. Julgo, portanto, que tendo em vista o sistema de avaliao, e consequentemente a formao de professores, ser da mxima convenincia olhar microscopicamente para os dados obtidos nos estudos internacionais. Finalmente, porque de pesquisa se trata, os resultados e a experincia de participao nestes estudos podem fornecer ncoras para posteriores investigaes. Todos estes aspetos so dividendos no desprezveis se quisermos recapitalizar a energia e recursos investidos em participaes internacionais. Partindo da minha declarao de interesses, que a posio que assumo perante os estudos internacionais, analisemos os dados. Trata-se aqui do PIRLS, Progress in International Reading Literacy Study, no qual participaram alunos do 4. ano de escolaridade de 45 pases. A escolha do 4 ano no mero acaso, nem sequer por ser fim de ciclo, o que no acontece na maioria dos sistemas educativos. A razo tem que ver com a etapa de escolaridade em que todos os mecanismos bsicos de aprendizagem da
Os Dados
72
leitura devem estar consolidados. Os alunos participantes tinham no momento da recolha de dados 9/10 anos; na medida em que os dados foram recolhidos em Portugal no 1. trimestre de 2010, os alunos portugueses tinham uma mdia de idades de exatamente de 10 anos. A amostra portuguesa contempla 148 escolas e inclui 4085 alunos. Trata-se de um teste de compreenso de leitura, i.e., o estudo avalia exatamente a capacidade para compreender material escrito. A prova integrava diversos tipos de textos e, atravs das questes formuladas, procurava avaliar nveis de compreenso, tendo como parmetros os objetivos/propsitos de leitura e as diversas categorias de processos envolvidos na compreenso. Foram tambm passados questionrios de contexto aos alunos, aos pais e escola. As coordenaes nacionais contriburam com informao para uma designada Enciclopdia sobre polticas educativas e organizao do currculo para a leitura em cada pas participante. Os dados aqui mencionados foram obtidos no relatrio internacional, tendo sido selecionados os que considerei mais pertinentes para a situao em vista. Para nos situarmos comparativamente, escolhi os resultados globais dos pases que, como Portugal, integram a zona euro. De salientar que, imagem do que sucede neste tipo de estudos internacionais, estamos a trabalhar numa escala de 0-1000, com valores tpicos que caem na faixa 300-700 e com um ponto central de referncia de 500.
73
SEMINRIO
Quadro 1- Situao em relao a pases da zona Euro
Numa comparao relativa com pases que partilham a mesma moeda, verifica-se que Portugal, com uma pontuao de 541, claramente acima do valor de referncia (500), ocupa um lugar central na zona Euro, ex aequo com a Itlia e com a Alemanha. Com valores inferiores surgem Malta, a Blgica francfona, a Espanha, a Frana e a ustria. Pontuando acima de ns a Finlndia, a Irlanda e a Holanda. Neste olhar comparativo, vale a pena equacionar os dados de 1991 em que tambm participmos. Era outro estudo, era uma outra prova. De qualquer maneira, foi esse estudo Reading Literacy que esteve na origem do PIRLS. O que pretendo mostrar aqui o que se passou com pases participantes nos dois estudos; quais os pases que melhoraram, os que pioraram ou os que se mantiveram, 20 anos depois desse primeiro estudo. De salientar que so estudos diferentes, embora com objetivos idnticos, mas em que possvel identificar diferenas e tendncias no posicionamento relativo.
74
Quadro 2- Comparao de desempenhos 1991/2001 em pases da UE
Como se constata, h pases que ficaram praticamente na mesma, o caso da Finlndia, da Sucia ou da Blgica, e h alguns pases que melhoraram, designadamente a Holanda, a Dinamarca, a Alemanha e Portugal. Embora, como j referi, no se trate do mesmo teste e no se possa dizer que estes valores representam exatamente o mesmo, em termos de competncia de leitura, os alunos portugueses parecem ter melhorado, pelo menos na sua posio relativa em relao a outros pases da Unio Europeia. Uma anlise mais fina na comparao interna dos desempenhos nacionais no PIRLS e no Reading Literacy (1991) pode ser feita numa partio em quartis. Reafirmo que estamos nos dois casos a lidar com valores mdios obtidos por procedimentos estatsticos em que o valor de referncia 500 em qualquer dos estudos. No que respeita ao PIRLS, uma mdia de 625 considerada excelente, enquanto a de 550 superior, a de 475 intermdia e a de 400 baixa.
75
SEMINRIO
Atravs do quadro 3, podemos verificar que, considerando sempre o valor central de 500, em 1991 s no 3 quartil esse valor atingido, enquanto no PIRLS 2011 a mdia do 1 quartil (25% das crianas) cai nos 499 e o valor mdio de desempenho das crianas no 3 quartil no PIRLS (586) no atingido nem sequer no 4 quartil no Reading Literacy de 1991. Em 1991 50% dos alunos tiveram uma mdia entre 360 e 450. No PIRLS, 50% tiveram uma mdia entre 499 e 546. Finalmente, no grupo dos 25% de desempenhos superiores, obtiveram o valor de 575, em 1991, e de 642, em 2011.
Quadro 3- Comparao de distribuies por quartis (1991/2001 __ RL, 1991_ PIRLS, 2011)
Em sntese, mesmo esquecendo a comparao com os outros pases e debruando-nos na comparao interna de desempenhos, verificamos que no PIRLS o valor central de referncia (500) atingido nos 25% de desempenhos inferiores (1 quartil). No sentido de comparar o desempenho por quartis e deixar claro o que significam, em termos de compreenso de leitura na escala internacional, os valores atrs mencionados (excelncia, nvel superior, nvel intermdio e nvel inferior), importante deixar-vos aqui com o significado de cada uma destas categorias. O nvel de compreenso de leitura excelente (pontuaes de 625 ou acima) significa que o leitor integra ideias e informao ao longo
76
dos diversos textos, identificando razes e explicaes subjacentes. No nvel superior (550), compreende inferncias e interpreta com base em suportes textuais. No nvel intermdio (475) extrai inferncias diretas. E num nvel inferior (400) o leitor identifica, localiza e obtm informao de diferentes partes do texto, portanto aspetos muito bsicos de compreenso. interessante associar os contedos de cada nvel percentagem nacional dos que o atingem. A figura 4 permite-nos essa interpretao.
Quadro 4- Partio em percentis no PIRLS Percentil: 5-425; 10-454; 25-499;50-546;75-586;90-623;95-642
Como se verifica, s 5% dos alunos portugueses pontuam num valor mdio de 425 (400 indicativo de nvel inferior de leitura). No percentil 10, a mdia 454. No percentil 25, a mdia de 499, acima do nvel intermdio de leitura (475). No percentil 75 o valor mdio de 586, acima do valor superior de leitura (550); no percentil 90 o valor mdio 623 significa que 10% dos alunos portugueses quase atingem o nvel de excelncia de leitura (625), com 5%, percentil 95, claramente excelentes leitores, com desempenho mdio de 642 pontos.
77
SEMINRIO
Se abordarmos os resultados do PIRLS em termos de padres internacionais (benchmarks), verificamos que 9% dos alunos portugueses participantes no PIRLS resolveram itens de dificuldade muito elevada, compreendendo de forma excelente o que leram. Por sua vez, 47% atingiram um nvel superior de compreenso, 84% resolveram itens de dificuldade intermdia e 98% resolveram itens de baixa dificuldade. Numa perspetiva comparativa dentro da zona euro, aos 61% de respostas corretas dos alunos portugueses correspondem 68% dos finlandeses e 46% de alunos de Malta. Salientamos um outro dado que vale a pena olhar comparativamente a percentagem de alunos com desempenho total demasiado baixo, com pontuaes obtidas nas questes de escolha mltipla e devidas ao acerto por mero acaso. Em Portugal foram identificados 1% de participantes nestas circunstncias, enquanto em Malta se identificaram 6% dos alunos com desempenhos demasiado baixos e na Finlndia no h nenhum aluno nesta situao. Tal facto pode ajudar a explicar a constncia dos bons desempenhos da Finlndia. Uma outra perspetiva de anlise so os resultados obtidos, tendo por base os propsitos de leitura, ou seja, ler para recriao, o que eu chamei fico narrativa, porque so sempre histrias, ou ler para obter informao, textos informativos ou com instrues. Os valores nacionais globais em termos de fico narrativa apontam para um desempenho de 538 versus 544 para textos informativos e com instrues (cf. Quadro 5).
Mdia Global 541 Processos de c ompreenso
Compreender inf. explcita inferncias diretas (539) Interpretar, integrar, avaliar (542)
Propsitos de leitura
Fico narrativa (538)
Textos informativos/ Instrucionais (544)
547 549 548 raparigas 532 535 528 rapazes Quadro 5- Resultados por categorias de textos e processos e sexo
549 539
Numa primeira leitura, pareceria que, ao contrrio de 1991, os alunos portugueses liam melhor narrativas do que textos informativos. Quando,
78
porm, se faz uma partio por sexo, rapazes e raparigas, o que se verifica que para as raparigas no h diferenas entre ler fico narrativa ou ler textos informativos. Elas leem to bem uns quanto os outros. Por sua vez, os rapazes leem muito melhor textos informativos do que fico narrativa, ainda que sempre com desempenhos inferiores s raparigas. A diferena global , portanto, justificada pelo grande desequilbrio na compreenso de textos narrativos por parte dos rapazes. Em sntese, regista-se consistentemente uma diferena positiva estatisticamente significativa no desempenho feminino. Uma outra forma de anlise dos resultados do PIRLS diz respeito aos processos envolvidos na compreenso de leitura. Quando se aborda um texto, os processos envolvidos na sua compreenso so gradativamente diferentes, podendo exigir apenas um nvel bsico ou requerer a mobilizao de processos de nvel superior. Nesta anlise foram contemplados de forma ascendente de dificuldade os seguintes processos: (i) localizar e retirar informao explcita no texto; (ii) compreender inferncias diretas; (iii) interpretar e integrar ideias e informao; (iv) analisar e avaliar contedos, linguagem e elementos textuais. O quadro 5 espelha os resultados atingidos por processos, tendo sido anexados dois a dois por nveis de complexidade. A categoria compreender informao explcita e inferncias diretas engloba os dois nveis de processos bsicos, enquanto a categoria interpretar, integrar e avaliar contempla os dois nveis de processos superiores. Os resultados da populao portuguesa revelam-nos que a diferena de desempenhos por categorias de processos no estatisticamente significativa, quando cotejada com a mdia global obtida pelos mesmos alunos. Ou seja, quando analisamos o desempenho global este to bom em nveis bsicos de compreenso quanto nos nveis mais altos. Porm, numa anlise mais fina, e tomando em linha de conta uma partio por sexos, as diferenas tambm aqui surgem estatisticamente significativas. Os rapazes, com efeito, obtm resultados muito inferiores s raparigas, ressaltando como urgente a necessidade de um maior cuidado no ensino da compreenso de leitura aos rapazes portugueses nesta etapa da escolaridade, para no
79
SEMINRIO
corremos o srio risco de os perder para a leitura medida que a complexidade de textos aumentar. Em sntese, parece evidente que, no PIRLS de 2011, os dados da populao nacional do 4 ano de escolaridade, pelo menos na amostra testada, apontam para nveis de desempenhos de compreenso de leitura equiparveis, e por vezes superiores, aos nossos parceiros europeus e substancialmente em muito melhor posio do que em estudo idntico em 1991.
As Dvidas
- Ao mesmo tempo que julgo da mxima importncia realar as melhorias reveladas, gostaria tambm de partilhar convosco algumas dvidas que o estudo internacional no esclarece e que ser de toda a importncia clarificar numa anlise nacional dos dados. Todos os dados atrs discutidos so diretamente provenientes do relatrio internacional, sendo completamente lacunar a informao nacional, quer sobre a particularidade da definio da amostra, quer sobre os procedimentos de adaptao de materiais. E com base na falta de disponibilizao da informao nacional que equaciono as dvidas que gostaria de partilhar. Comecemos pelos materiais. Referi atrs que tratando-se de um teste que avalia competncias lingusticas, h que salvaguardar as especificidades e os controlos lingusticos. Quando traduzimos um texto destinado a avaliar capacidade de leitura, preciso ter em linha de conta o vocabulrio escolhido na traduo. Basta que o vocabulrio usado tenha sido mais simples do que na lngua original para que a condio de compreenso de leitura seja afetada. E mais importante do que o vocabulrio so as estruturas sintticas. Se na traduo do original, neste caso do Ingls para o Portugus, no tiver sido tomada em linha de conta a paridade na complexidade frsica nas duas lnguas, o texto traduzido pode reverter em maior ou menor facilidade de compreenso. Habitualmente para acautelar distores desta ordem usam-se procedimentos de controlo de traduo e de contra-traduo, sempre com suporte de especialistas na lngua. Se foram ou no acautelados estes procedimentos no possvel detetar nem atravs da descrio nacional do estudo, nem pelo cotejo de textos, na medida em que no so disponibilizados os mesmos. Seria da maior vantagem que nacionalmente fossem esclarecidos os procedimentos assumidos. A no existncia desta
80
informao disponvel, levanta-me, em termos cientficos, dvidas muito concretas. Um outro aspeto que interessante, e que limita o mbito da avaliao de compreenso de leitura, diz respeito ao tipo de textos. No se trata propriamente de dvida em termos de investigao, mas de uma limitao que importante revelar. Quando o material lingustico, e estamos em presena de vrias lnguas, necessrio encontrar uma franja ou uma margem em que todos os pases, cultural e linguisticamente diferentes se encontrem Neste estudo, por exemplo, foi assumido que poesia no constava da avaliao da compreenso, porque dadas as caractersticas da poesia, o seu aspeto metafrico e os jogos de sonoridade da lngua (rima, ritmo...) podem ficar muito enviesados quando se traduz. O controlo do possvel enviesamento tem um efeito na limitao da compreenso do desempenho dos alunos, na medida em que no se testa a compreenso de poesia. Seria da mxima importncia a realizao de estudos paralelos com populao nacional idntica, com metodologias similares ao PIRLS e com tipologias textuais particularizadas. Uma outra dvida que quero partilhar convosco tem que ver com a fiabilidade e o rigor metodolgico da amostra usada em Portugal. Dito de uma outra forma, a necessidade de alguns esclarecimentos sobre a representatividade da mesma, na medida em que s foi possvel aceder informao sobre a definio e construo da amostra pelo que o estudo internacional nos revela. Num primeiro olhar sobre os resultados dos alunos portugueses, um dos aspetos que me chamou a ateno foi a pouca disperso, medida pelo desvio padro dos valores globais na prova. Como se sabe, o desvio padro (DP) o indicador de variao que nos permite aferir a maior ou menor disperso em relao mdia de desempenho dos alunos. Pelo meu conhecimento da populao nacional, esperaria, de facto, uma disperso, leia-se um desvio padro, mais alto, dadas as grandes assimetrias do pas e com possveis reflexos na variabilidade dos desempenhos atingidos. Tomando de novo em linha de conta os pases da zona euro, o pas com menor disperso foi a Holanda, com um DP de 54 e o de maior disperso Malta com um DP de 97, o que revela uma variao significativa em termos dos desempenhos da populao testada. Quanto a Portugal, o DP
81
SEMINRIO
de 66, com uma disperso igual da Itlia e Alemanha e inferior da Irlanda, Espanha e Frana. Este facto motivou-me para procurar mais dados sobre a construo da amostra. O que nos diz o relatrio internacional, que na amostra portuguesa foram selecionadas 148 escolas, 132 escolas pblicas e 16 escolas privadas. tambm afirmado que foram excludas as escolas pequenas. Nada porm esclarecido sobre a dimenso, em nmero de alunos e, consequentemente, de docentes, no conceito de escolas pequenas. Sabendo ns que as escolas pequenas existem no nosso pas em zonas rurais, e que habitualmente os desempenhos afetados pela ruralidade tendem a corresponder a valores mais baixos de resultados escolares, em que o peso do fator social do meio de pertena no despiciendo, levanto a questo do efeito dessa excluso nos resultados nacionais dos alunos. Uma outra dvida que o relatrio internacional no esclarece diz respeito s variveis de estratificao da amostra. No referido relatrio so mencionadas 12 regies, no se percebendo, contudo, que tipo de regies e como que certas variveis geogrficas e sociais foram contempladas. Tambm no possvel discernir se a partio em regies, quaisquer que elas tenham sido, contemplaram tambm as escolas privadas ou se serviram apenas para a identificao das escolas pblicas. Com vista a um conhecimento mais focado, seria da mxima importncia que os dados nacionais contemplassem anlises mais finas e com base em variveis j muito experimentadas na populao portuguesa. Da a importncia de se saber quais as 12 regies contempladas. Uma outra questo relacionada com as regies e com particularidades da estratificao prende-se com o modo como foram selecionadas as escolas dentro de cada regio. Como sabemos, mesmo pertencendo mesma rea geogrfica as escolas apresentam diferenas significativas; na escolha das escolas, para garantias de representatividade da populao, seria importante conhecer os controlos de estratificao dentro das regies geogrficas. Ainda sobre a seleo da amostra, o relatrio internacional tambm no explica como foram escolhidas as turmas dentro de cada escola. So pormenores da maior importncia quando se pretende compreender e interpretar com transparncia o valor do desempenho dos alunos nacionais.
82
Na tentativa de um maior esclarecimento sobre a representatividade e fiabilidade da amostra, procurei informao suplementar sobre o contexto familiar dos alunos testados, obtida atravs do questionrio respondido pelos pais. No sentido de caracterizar a populao testada foram identificados os recursos disponveis no agregado familiar de cada aluno. De acordo com uma classificao prvia, foram estabelecidas trs nveis de recursos: (a) muitos recursos; (b) alguns recursos; (c) poucos recursos. Os recursos identificados referem-se ao nvel de diploma de um dos pais (universitrio; secundrio ou mdio; menos que secundrio), profisso dos mesmos, ao nmero de livros existentes em casa (infantis e no infantis) e existncia ou no de quarto prprio para a criana e disponibilidade de servios de internet. A sntese desses dados apresentada no quadro 6. A correlao com o desempenho no PIRLS a esperada; quanto mais recursos disponveis, melhores os desempenhos conseguidos. A distribuio global de recursos pela populao na amostra (16% com muitos recursos; 75% com alguns recursos e 9% com poucos recursos) requer uma anlise mais fina e algum cotejo com outros dados nacionais para confirmar a representatividade da amostra. O indicador mais fcil de obter comparaes prende-se com o nvel de escolarizao dos adultos. Nesta amostra, 25% das crianas apresentam um dos progenitores, segundo o pai respondente, com a titularidade de um diploma universitrio. Tentmos obter dados que nos confirmem se na populao nacional o grau de escolaridade corresponde a essa titularidade, tendo em comparao a populao da mesma faixa etria que os pais em questo, i.e., entre os 30 e os 44 anos. Nos dados da PORDATA de 2010, apenas 11,8% da populao portuguesa total titular de diploma acadmico de nvel superior; por sua vez, em 2008, os dado do Eurostat Labour Force Survey apontam para uma variao entre os 19,8%, da populao portuguesa entre os 30- 34 anos, 14,9% entre os 35-39 anos e 12,2% entre os 40-44 anos com diploma acadmico de nvel superior. Os dados mais prximos dos revelados no PIRLS (25%) parecem estar no CENSOS 2011, em que 24,63% da populao portuguesa entre os 25-44 anos surgem com a frequncia do ensino superior. Apenas uma nota, tendo ns uma faixa etria dos pais que certamente no desce abaixo dos 30 anos, e embora frequncia de ensino superior no signifique titularidade de diploma, provvel que os valores do CENSOS se aproximem dos 25% do
83
SEMINRIO
PIRLS, ao contrrio dos dados revelados por outras bases de dados. muito provvel que na amostra testada 25% os pais garantissem ser titulares de diploma de ensino superior, a questo permanece em aberto sobre a veracidade das respostas e sobre a generalizao populao.
Nvel de recursos Qualificao de recursos Pai/me diploma universitrio Pai/me profisso diferenciada + 100 livros em casa +25 livros infantis Quarto prprio e internet Pai/me diploma secundrio/mdio Pai/me pequeno negcio/terciria Entre 25-100 livros em casa Entre 10-25 livros infantis Quarto prprio ou internet Pai/me menos que secundrio/mdio Pai/me profisso indiferenciada Menos de 25 livros em casa 10 ou menos livros infantis Nem quarto prprio nem internet 25% 33% 21% 63% 63% PIRLS
Muitos recursos 16% alunos
578
Alguns recursos 75%
541
Poucos recursos 9%
508
Quadro 6- Recursos familiares e resultados no PIRLS
Procurar dividendos nos resultados do PIRLS significa aqui, por um lado, procurar fatores responsveis pelos resultados atuais e, por outro, identificar o que os atuais resultados nos podem ensinar para o futuro. Por outras palavras, o que contribuiu para chegarmos onde chegmos e que polticas, ou que particularidades das polticas educativas devem ser seguidas num futuro imediato ou prximo.
Os dividendos
Tentemos identificar fatores que podem ter afetado positivamente os resultados. Parece evidente, quer pelo senso comum, quer pelos dados que a investigao vai recolhendo, que os alunos aprendem porque os professores os ensinam, independentemente da maior ou menor disponibilidade de
84
recursos. A valorizao dos docentes uma forma eficaz de afetar as aprendizagens. Partindo dos dados disponibilizados pelo relatrio internacional, procuremos caracterizar os docentes das crianas participantes no estudo. Comecemos pela caracterizao da formao acadmica e profissional dos docentes, cotejando momentos diferentes da nossa histria recente. Voltemos comparao com 1991, aquando da realizao do j mencionado Reading Literacy. Nesse momento, 63% dos docentes possua at 11 anos de escolaridade, a escolaridade primria, secundria e mdia. Portanto quatro anos de primria, cinco de liceu e dois de Magistrio Primrio e apenas 37% dos docentes tinha frequentado a escola por mais de 11 anos (quatro de primria, sete de liceu e dois de Magistrio Primrio). O PIRLS 2011, revela-nos que 91% dos alunos tm professores com o nvel de licenciatura, 3% com o nvel de ps-graduao e 6% sem formao de nvel superior. Este ltimo valor parece muito estranho e poder referir-se ou a docentes de escolas privadas ou a antigos professores que no realizaram complementos de formao para equiparao a licenciatura. claramente evidente que o nvel de escolaridade dos atuais docentes superior ao do passado. Talvez que mais anos de escolaridade possam ter influenciado o nvel de docncia e qui as aprendizagens dos alunos, refletidas na diferena de desempenhos nos dois estudos (1991 e 2011). Foquemo-nos agora na formao profissional nos cursos de formao inicial de professores. Em 19941, ou seja, utilizando dados de 1991, decidi caracterizar os docentes cujos alunos tinham participado no Reading Literacy e que responderam a um questionrio de contexto e, em simultneo, na medida em que tinham passado a existir as Escolas Superiores de Educao que ministravam cursos de bacharelato para professores do ento ensino primrio, realizar junto de todas estas instituies um inqurito para caracterizar a formao oferecida para o ensino da lngua portuguesa, designadamente a formao especfica em didtica do Portugus. Responderam a esse inqurito 19 instituies de ensino superior, pblicas e privadas. Posteriormente, em 2000, todos os
1
Sim-Sim, I. (1994). Os professores que hoje temos e os professores que vamos ter amanh. In Inovao,vol.7, 2, 145-171.
85
SEMINRIO
cursos de formao inicial para professores do Ensino Bsico eram obrigatoriamente do nvel de licenciatura. Por sua vez, o novo regime de formao de professores exige atualmente a titularidade do grau de mestre para lecionar o 1 ciclo do Ensino Bsico. O quadro 7 mostra as horas de formao em 1994, em 2000 e em 2011 especificamente para o ensino do Portugus e da didtica da leitura. Os dados de 2000, j com a obrigatoriedade da licenciatura, no correspondem a nenhum inqurito realizado junto das instituies de ensino superior, mas espelham um exemplo recolhido da informao pedida ESE de Lisboa que traduziu os ECT em horas presenciais, quer na formao especfica em Portugus, quer em didtica do Portugus. O mesmo se passa com a informao de 2011.
1994 Bacharelato/Licenciatura para variante do 2 ciclo Inqurito a todas as escolas de formao R - 19) 2000 Licenciatura em 1 ciclo do Ensino Bsico (ESE LX) 2011 Licenciatura em Ensino Bsico+ mestrado em 1 ciclo EB (ESE LX) 260,5h
Formao especfica S/I 180h em Portugus* Formao especfica < 90h - 5 instituies 97,5h 135h em didtica do 91h-200h -11 instituies Portugus * Total de horas em Entre 90 e 200h 277,5h 395h Portugus e didtica do Portugus Quadro 7- Formao profissional inicial para o ensino do Portugus *S/I sem informao; **3 instituies no responderam a esta questo
Pelo que se constata, em 1994, cinco das instituies (ESE e Universidades) afirmaram ter no respetivo plano de estudos menos de 90 horas em formao didtica do Portugus, contra 91 a 200 horas de formao em 11 das referidas instituies. Por sua vez, em 2000, reporta-se o exemplo da ESE de Lisboa, com um total de 277,5h de ensino presencial em Portugus e na respetiva didtica. Embora nenhum aluno que realizou o PIRLS tenha beneficiado da formao mencionada em 2011, podemos exemplificar o que
86
passa numa ESE em que a carga presencial de formao especfica em Portugus e didtica do Portugus sobe para 395h. provvel que o aumento da formao inicial em lngua portuguesa e no seu ensino afetem o desempenho de leitura dos alunos. Discutir a formao profissional implica no nos quedarmos na formao inicial obtida. A formao em exerccio pode ter um efeito na melhoria das prticas de ensino. No que se refere aos efeitos das horas de formao contnua em ensino da leitura, tem sido consistentemente comprovado que menos de 16 de horas de formao no parece afetar a melhoria do ensino e, consequentemente, o desempenho dos alunos. Nos resultados do PIRLS, expostos no quadro 8, possvel verificar que, com efeito, os 45% dos alunos com melhores desempenhos (545) pertenciam a turmas em que os professores tinham usufrudo nos dois ltimos anos de 16 ou mais horas de formao contnua em ensino da leitura. Nas turmas em que os docentes no tiveram qualquer tempo de formao ou menos de 16 horas, os resultados so significativamente inferiores (537 e 536). O que podemos retirar destes dados que para que o desenvolvimento profissional seja afetado pela formao contnua, e que tenho efeito nas aprendizagens, requer mais do que aes espordicas e atomsticas, pelo menos no que aprendizagem da leitura diz respeito.
Horas de formao contnua em leitura Desempenho dos alunos no PIRLS 16 horas ou mais 545 45% alunos Algum tempo, mas menos de 6 horas 537 36% alunos Nenhum tempo de formao 536 19% alunos Quadro 8- Horas de formao contnua e resultados no PIRLS
Concomitantemente com a formao acadmica e profissional, o PIRLS tentou perceber at que ponto o grau de satisfao profissional dos docentes podia influenciar a aprendizagem dos alunos. As respostas obtidas no questionrio aos docentes revelaram que 36% dos alunos portugueses eram lecionados por professores satisfeitos com a sua profisso, 59% por
87
SEMINRIO
professores com alguma satisfao e apenas 5% das crianas tinham professores pouco ou nada satisfeitos. No quadro 9, verificamos que parece existir uma relao direta entre o grau de satisfao docente e os resultados dos desempenhos dos alunos.
Grau de satisfao dos docentes Desempenho dos alunos no PIRLS Satisfeito 36% dos alunos 547 Alguma satisfao 539 59% alunos Pouco ou nada satisfeito 527 5% alunos Quadro 9- Grau de satisfao dos docentes e resultados no PIRLS
Para alm da formao e satisfao docente, um outro fator que parece influenciar os desempenhos de aprendizagem est relacionado com a frequncia da Educao Pr-escolar. No sentido de obter uma maior fiabilidade nas respostas, foi perguntado aos pais de cada criana se a mesma tinha frequentado a Educao Pr-escolar e durante quanto tempo, antes da entrada no 1 ano de escolaridade. De salientar que a Educao Prescolar foi objeto de uma considervel expanso nos ltimos 20 anos, o que se reflete na frequncia de uma grande maioria das crianas participantes no PIRLS. A relao entre essa frequncia e os resultados do PIRLS est espelhada no quadro 10 e parece ser um fator poderoso no desempenho da leitura.
Frequncia de pr-escolar Desempenho dos alunos no PIRLS 3 ou + anos - 45% dos alunos 549 1-3 anos - 37% dos alunos 544 < 1 ano - 8% dos alunos 533 Nunca - 9% 522 Quadro 10- Frequncia da Educao Pr-escolar e resultados no PIRLS
Contudo, para que a frequncia do pr-escolar afete as posteriores aprendizagens de leitura necessrio mais do que a mera presena num jardim-de-infncia. Est sobejamente confirmado pela investigao que esse
88
efeito beneficia principalmente com atividades lingusticas direcionadas para a emergncia da leitura e da escrita. Nesse sentido foi perguntado tambm aos pais de cada a criana, se, quando o filho entrou no 1 ano de escolaridade, a criana realizava cinco determinadas tarefas que envolviam conhecimento precoce sobre leitura e escrita. Dos pais inquiridos, 12% revelaram que as crianas realizavam as cinco tarefas muito bem, 45% razoavelmente e 42% nada bem. A relao entre esses conhecimentos precoces e os desempenhos no PIRLS est patente no quadro 11.
Conhecimentos precoces sobre leitura e escrita Desempenho dos alunos no PIRLS Muito bons - 12% dos alunos 561 Razoveis - 45% dos alunos 549 Poucos - 42% dos alunos 532 Quadro 11- Conhecimentos de leitura e escrita antes do ensino formal e desempenho no PIRLS
Em sntese, para alm das caractersticas e do grau de satisfao profissional dos docentes evidente o efeito da frequncia do pr-escolar e da estimulao de conhecimentos precoces de leitura e escrita, antes do ensino formal da leitura, no desempenho dos alunos no PIRLS. O investimento, nos ltimos vinte anos, em polticas educativas de formao de professores e de expanso e melhoria da qualidade da Educao Pr-escolar mostram reverter em dividendos mensurveis nos resultados do PIRLS. Finalmente, dada a importncia revelada pela frequncia da Educao PrEscolar nos resultados do PIRLS, gostaria de corrigir um erro presente no relatrio internacional do PIRLS, provavelmente, por lapso da informao fornecida nacionalmente. Na sequncia da questo 6 do Questionrio sobre Currculo, omitida a existncia de orientaes curriculares na Educao pr-escolar para a estimulao de domnios /atividades lingusticas. No sentido de repor a veracidade da informao, recordo que nas Orientaes Curriculares para a Educao Pr-Escolar (1997) existe especificamente um Domnio da linguagem oral e abordagem escrita que espelham a importncia que poltica, pedaggica e investigativamente tem sido dada a estas reas nas ltimas dcadas. Certamente que as relaes evidenciadas
89
SEMINRIO
nos quadros 10 e 11 dos pargrafos anteriores no so alheias a estas opes na poltica curricular. Gostaria, para terminar, de um olhar futuro para o que o PIRLS nos pode ainda fornecer para um conhecimento mais aprofundado da nossa prpria realidade e das orientaes de poltica educativa que nos levem a consolidar e melhorar desempenhos escolares dos alunos no que respeita ao domnio da leitura. Como referi, toda a informao recolhida para esta comunicao proveniente do relatrio internacional. Da que tenham ficado por esclarecer muitos aspetos e algumas dvidas que s estudos nacionais podem dar resposta. Seria da mxima importncia a disponibilizao de todos os dados nacionais, da informao especfica da construo da amostra e dos processos usados na traduo/adaptao dos textos da prova. S essa divulgao permite potenciar todo o esforo humano e financeiro despendido na participao deste estudo internacional, atravs da promoo de estudos especficos que olhem para os dados nacionais, salientando as caractersticas da amostra, no que respeita, por exemplo, ao rural e urbano, dimenso das escolas, s caractersticas dos docentes, aos tipos de textos e questes. O que vos mostrei so dados globais, mas se queremos que esses resultados melhorem a formao dos docentes e, consequentemente as aprendizagens dos alunos, necessrio partir para uma pesquisa pormenorizada e ancorada na nossa realidade social e escolar. Num tempo em que se valorizam tanto as avaliaes e os exames, ser da mxima perspiccia aprender com o PIRLS sobre a construo de itens de avaliao de compreenso de leitura e deixar que essa aprendizagem contamine as avaliaes nacionais, de classe e de escola. Se os dados do PIRLS ficarem arrumados num qualquer repositrio, fsico ou virtual, sem que deles se potencializem todos os dividendos possveis, o pas perder no s a possibilidade de se conhecer, mas, principalmente, de melhorar.
90
Um outro olhar sobre o TIMMS 2011 Presidente da Mesa - Jorge Marques da Silva - CNE
91
SEMINRIO
92
Jorge Marques da Siva
Duas ideias principais presidiram incorporao desta sesso no programa: por um lado, avaliar o impacto que os resultados dos alunos portugueses tm no desenvolvimento do sistema cientfico portugus; por outro lado, discutir o papel que a comunidade cientfica nacional pode ter no progresso dos resultados dos alunos portugueses em cincia e em matemtica. Em particular, neste segundo aspeto, valer a pena discutirmos o papel que a cincia e os cientistas podem ter na formao de professores, sobretudo no ensino e formao ao longo da vida, bem como na elevao da cultura cientfica dos portugueses (e os dados do TIMMS assinalam claramente a correlao entre os resultados escolares dos alunos e o ambiente cientficocultural em que esto inseridos). O Conselho Nacional de Educao segue com ateno os programas de avaliao de processos e resultados em educao, muito em particular o programa nacional de Avaliao Externa das Escolas (AEE) em cuja avaliao tem, alis, responsabilidades legalmente consagradas. F-lo pela convico de que necessrio avaliar para conhecer e conhecer para intervir. Isto , a avaliao deve consagrar-se como um processo estruturante para o desenho e implementao de polticas. Para cumprir eficazmente esse papel, porm, os processos de avaliao em educao tm que reunir vrias condies. Desde logo, tm que ser competentes, tm que ter qualidade. Uma avaliao mal feita pode ter efeitos muito perniciosos. Na ausncia de avaliao, um decisor procede com cautela, age com a precauo que a incerteza impe. Na posse de resultados de uma avaliao errada, um decisor procede com convico, na direo errada. Em meu entender, portanto, prefervel no avaliar, a avaliar mal. Importa, portanto, avaliar com qualidade. Neste contexto, valer a pena analisar o TIMMS, para alm dos resultados, pelo processo em si. Outro aspeto relevante nos processos de avaliao em educao a sua continuidade temporal, a possibilidade de fornecer sries temporais consistentes. Uma anlise pontual dos sistemas, no sendo intil
1
93
SEMINRIO
proporciona uma radiografia com potencial diagnosticante no permite, contudo, avaliar as tendncias de evoluo, essenciais para as definies de polticas educativas. Esta necessidade de proporcionar leituras continuadas sem prejuzo da evoluo dos sistemas educativos, na permanente busca da mxima qualidade tem sido recorrentemente expressa pelo CNE, em particular nos pareceres que tem emitido sobre o programa de AEE. O TIMMS opera desde 1995, proporcionando aos pases que nele participaram regularmente um riqussimo manancial de informaes sobre os seus progressos ou recuos em matria de educao. Infelizmente, a participao de Portugal tem sido pontual e algo errtica. Participou no TIMMS matemtica em 1995, com alunos de 4 e 8 anos, e s voltou a participar em 2011, e apenas com alunos de 4 ano. Importa, parece-me, que Portugal selecione os programas de avaliao internacional em que quer participar e mantenha, a, presena regular. Os relatrios em discusso nesta sesso, o TIMMS Cincias e o TIMMS Matemtica 2011, esto repletos de informao muito relevante sobre a performance, absoluta e relativa, dos alunos portugueses de 4 ano. Mas sobre os seus contedos, no me vou pronunciar, deixo-o para os nossos convidados.
94
Filipe Oliveira
Comeo por agradecer ao CNE este gentil convite que me endereou. Espero poder v-lo como um reconhecimento - ou pelo menos como um sinal - de que este Conselho tambm considera importante ouvir os especialistas das disciplinas. Digo-o no sentido dos especialistas cientficos das disciplinas, porque h uma grande comunidade de matemticos, de fsicos, de bilogos e de outros cientistas que, no sendo especialistas das Cincias da Educao, tem, ao longo dos anos, manifestado um grande interesse por estes assuntos, cujo contributo certamente valioso para completar a discusso destas importantes problemticas. Confesso que no tinha tido ainda acesso ao texto do Prof. Jorge Marques da Silva, mas fico bastante satisfeito porque ele coincide em vrios pontos com o que eu gostaria de partilhar convosco. No resisto tentao, j que h poucas oportunidades para os cientistas se manifestarem neste tipo de frum, de trazer at vs alguns matemticos profissionais que tiveram um papel muito significativo na Educao, quer atravs de reformas que lideraram, quer atravs de outras iniciativas, como a formao de professores. O Professor Ron Aharoni um matemtico profissional que resolveu uma conjectura em Matemtica muito difcil, chamada conjectura de Ryser, um problema de combinatria que esteve em aberto durante muitos anos. Para alm deste currculo cientfico invejvel, o Professor Ron Aharoni simultaneamente considerado, a nvel mundial, um dos maiores especialistas do ensino da Matemtica no 1. ciclo. Alis, foi durante algum tempo professor do 1. ciclo. Escreveu o livro Aritmtica para Pais que um bestseller a nvel internacional e uma referncia para muitos professores e encarregados de educao. Foi traduzido para Portugus h pouco tempo, pela Sociedade Portuguesa de Matemtica.
Faculdade de Cincias e Tecnologia da Universidade Nova de Lisboa
95
SEMINRIO
Vou completar com outro matemtico muito importante, um matemtico portugus do sculo XX, tambm de renome internacional, o Professor Jos Sebastio e Silva. Desenvolveu uma teoria estruturante da Anlise Matemtica, a teoria das distribuies. Infelizmente, f-lo em simultneo com outro matemtico, o francs Laurent Schwartz, e foi a abordagem deste ltimo que acabou por vingar. No entanto, nos meios cultos, tido como um dos autores de uma das principais ferramentas de Anlise Matemtica dos sculos XX e XXI. Teve um papel muito importante no ensino secundrio no nosso pas, liderou uma reforma piloto que infelizmente nunca foi concluda, no seguimento do seu desaparecimento prematuro, em 1972. Deixou de certa maneira um processo inacabado, mas a verdade que teve e tem uma enorme influncia. Ainda hoje, muitas pessoas que frequentaram estas turmas-piloto, independentemente da sua atual profisso, referem a importncia dessa iniciativa. Um dia, se for convidado para falar especificamente dos matemticos na Educao, certamente que comearei pelo prprio Euclides, porque, de facto, e contrariamente aos meus colegas das Cincias mais experimentais, os matemticos so todos professores tambm. muito raro ns vermos um matemtico que apenas investigador. Todos ou quase todos os matemticos tm uma experincia letiva e, por essa razo, se vo interessando, em maior ou menor grau, por estes assuntos. Relativamente ao TIMSS, vejo que h, neste momento, um grande interesse por este tipo de estudo: estruturado, com medidas precisas e rigorosas. Durante muito tempo, estes estudos foram muito criticados e desvalorizados. Considero muito positiva esta clara mudana de opinio, materializada nas intervenes de alguns oradores desta manh. Desde o estudo de 1995, sempre que se trazia este assunto, as concluses que o TIMSS revelava eram imediatamente postas de lado, como se o estudo tivesse todos os vcios e mais alguns, como se no se pudessem medir as coisas nestes termos. Mas vejo que alguma opinio est a mudar e que, neste momento, os cientistas da educao olham com muita ateno para este tipo de resultados. importante porque, sendo a educao um sistema extremamente complexo, sem medidas rigorosas muito difcil
96
conseguirmos perceber o alcance das polticas educativas e qual a evoluo exata do sistema, no sentido de o tentar empurrar na boa direo. justamente esse o primeiro facto que tenho a lamentar. Para estudar sistemas complexos precisamos de sries temporais minimamente reguladas e, infelizmente, o que ns temos neste momento um ponto em 1995 e um outro ponto em 2011, 16 anos depois. Ora, se o PISA e o TIMSS se repetem com uma certa periodicidade, por uma razo muito especfica: s podemos ter uma ideia do que se est a passar no sistema se o acompanharmos ao longo do tempo. Com 16 anos de intervalo muito difcil mas tem este interesse da radiografia. D-nos, no fundo, um vislumbre da situao atual. Mas saber o que que levou a esta melhoria enorme entre 1995 e 2011 , francamente, mais difcil. Reparem que para estes sistemas temos dois tipos de problemas. Primeiro, temos de identificar variveis que estejam interligadas, que paream funcionar em harmonia. A isto chama-se correlao. Mas ainda h uma dificuldade suplementar. No porque vemos duas variveis que esto correlacionadas que obrigatoriamente uma a consequncia da outra. Alis, os estatsticos gostam muito de uma frase feita: em Estatstica, correlao no causalidade. Com apenas dois pontos, um em 1995 e outro em 2011, tudo isto extremamente complicado. No sei se algum na assistncia tem ideia de quantos ajustamentos de programas, de currculos e outras reformas existiram, em 16 anos. No sei se tm ideia de quantos responsveis polticos exerceram diretamente a sua ao no sistema educativo. At uma pergunta mais fcil: no sei se algum sabe quantos ministros da Educao existiram entre 1995 e 2011. Eu fiz o exerccio e posso-vos dizer que so muitos, foram nove. Assim, neste contexto, muito difcil sabermos exatamente o que foi positivo para o sistema, o que foi negativo, e em que altura. E muitas vezes camos no erro de considerar que foi apenas o passado muito recente que influenciou o sistema. H cerca de sete ou oito anos comeou a aparecer a moda de se pensar que uma medida de poltica educativa tinha uma ao imediata no sistema. Era frequente ouvir argumentos como: os resultados dos exames so estes
97
SEMINRIO
porque h seis meses fez-se isto ou aquilo, ou porque h um ano se implementou tal coisa, ou porque h um ms tal pessoa fez tal afirmao na televiso. Comemos com uma viso muito, muito restrita do que leva efetivamente os alunos a melhorar ou a piorar. Reparem que a interveno do Professor Pedro da Ponte ligou essencialmente esta melhoria registada no TIMSS a eventos que se passaram todos a partir de 2007/2008: referiu o Plano de Ao da Matemtica e referiu o Programa de que coordenador. Fui entretanto recolher alguns dados, porque fiquei um pouco espantado com este argumento do Novo Programa de Matemtica. Foi implementado em 2008/2009 em dez turmas-piloto. No pas inteiro, em dez turmas apenas. Em 2009/2010 ainda no era obrigatrio. Dos dados que consegui recolher, tenho a informao de que se candidataram sensivelmente um tero das escolas do pas. O Programa s se tornou obrigatrio em 2010/2011, e a sua implementao foi faseada a partir desta data. O TIMSS de 2011, portanto, na melhor das hipteses, os alunos que desde a primeira hora tiveram professores entusiasmados com o programa, no mximo tiveram dois ou trs trimestres de contacto com este novo currculo. Ser realmente razovel achar que houve um salto significativo ao nvel dos resultados do TIMSS por causa do novo Programa de Matemtica? a pergunta que eu vos deixo. Curiosamente, penso que foram os polticos, e no os acadmicos, que estrearam estas linhas de argumentao imediatistas. Como os ciclos polticos duram quatro ou cinco anos e os polticos gostam, naturalmente, de demonstrar que tomaram medidas acertadas, tentam, por vezes, tirar concluses de forma um pouco precipitada. por esta razo que muitos defendem que em Educao deve existir um pacto de regime. Um ciclo poltico no suficiente para se verem efetivamente resultados na educao. Em intervenes anteriores foram dadas algumas opinies que no foram mais do que isso sobre o porqu desta grande evoluo. Eu tambm tenho algumas suspeies. Devo dizer-vos que, para mim, o Professor David Justino uma referncia. Trouxe mais exigncia e veio contrariar uma certa tendncia que havia no
98
pas contra a avaliao, contra a mensurabilidade da escola, dos alunos, das performances. Em particular, introduziu os exames nacionais no Ensino Bsico, o que teve um efeito muito positivo. E todos estes eventos decorreram h cerca de dez anos. Outro fator que penso que tenha tido boa influncia foi aquilo a que chamo a perestroika do Gabinete de Avaliao Educacional (GAVE). Este organismo fornecia poucos dados de feedback aos professores. A partir de 2009, 2010 comearam a aparecer dados e penso que isso foi muito positivo, porque os sistemas melhoram quando os alunos e as escolas recebem indicaes sobre a performance dos seus alunos. Estamos agora a ver o que uma srie temporal mais completa relativa Rssia e Repblica da Coreia onde se percebe um bocadinho melhor a evoluo. Imaginem se nestes pases s tivessem os dados de 1995 e de 2011, certamente na Rssia ningum pensaria que tiveram ali uma quebra muito acentuada. A Coreia subiu e est a subir de maneira consistente ao longo dos anos, no um pulo. Alis, este outro aspeto que queria partilhar convosco. Estes sistemas no so sistema de pulo. No existem guinadas. Isso acontece quando h provas mal calibradas e quando os exames no so equivalentes entre duas aplicaes. Mas no em provas como as do PISA ou do TIMSS que so feitas com todo o cuidado, com itens bem estudados e calibrados. Estes perfis so aquilo que ns chamamos em Matemtica de baixas frequncias. So ondas que oscilam suavemente no tempo mas que no variam violentamente em curtos lapsos de tempo. Na evoluo da Rssia, temos separaes de dois pontos, depois 14 para baixo, 4 para cima, e finalmente 20 para cima. No h pulos de 80 ou 90 pontos separados por 4/8 anos. Eu garanto-vos que no foi de 2006 at agora - no pode ter sido - que isso sucedeu em Portugal. Gostaria agora de chamar a vossa ateno para um aspeto muito importante que se pode concluir destas aplicaes do TIMSS e que, infelizmente, no discutido, nem na imprensa nem neste tipo de fruns. Trata-se de uma situao que comea a preocupar muita gente na Europa. A este respeito, poderei falar um pouco mais tarde da experincia que tenho num grupo de
99
SEMINRIO
trabalho da Unio Europeia, de que fao parte e onde costumo discutir estes assuntos com colegas de outros pases europeus. Neste momento, temos os pases asiticos a afastar-se de forma consistente dos restantes pases ocidentais. Reparem que j no estamos com dois pontos separados por 16 anos. J temos aqui uma sequncia temporal mais completa. J se consegue discernir uma tendncia que, como expliquei, que no de guinada. algo de consistente, de suave no tempo. E o que ns vemos realmente esta ilha dos pases asiticos a fugir. Algum disse, noutra comunicao, que nem vale a pena falar dos pases asiticos porque so extraterrestres. Eu lamento informar que no so extraterrestres. Vivem no mesmo planeta que ns, competem pelos mesmos recursos, competem na mesma economia global e competem connosco em todos os ramos da atividade humana. Hoje, abrem-se os jornais e l-se por todo o lado a palavra competitividade. pena que na Educao se entreguem as armas logo de incio dizendo no faz mal, os pases asiticos so diferentes. verdade que so diferentes, mas as diferenas culturais no explicam que os dois blocos se comecem a separar tal como est a acontecer. Reparem que em 1995 asiticos j estavam realmente no topo, verdade, mas ainda havia aqui um contnuo quando comparados com os pases europeus: Hong Kong com 547, a Holanda e a Repblica Checa com 549 e 541 pontos, respetivamente. No se v aqui uma clara separao. Se observarmos, medida que o tempo passa, comeamos a assistir abertura de um fosso. Aqui j so 24 pontos de diferena entre Taip e a Holanda, ali so 19 e aqui j so 40 pontos. Portanto, est aqui a acontecer qualquer coisa. Notem que todos estes dados so muito macroscpicos, constituem o resultado final, mdio, dos diferentes pases. Se formos estudar os benchmarks que so, no fundo, permitam-me o abuso, nveis de desempenho , a situao ainda mais dramtica. Gosto do resumo que o Professor Pedro da Ponte hoje fez do segundo benchmark: neste nvel, os alunos resolvem apenas problemas de resposta imediata. Foi o que ele
100
escreveu. A descrio oficial um pouco mais completa, mas este pareceme ser um bom resumo. E o grave o seguinte: no h um nico pas ocidental que tenha menos de 50% dos alunos estagnados neste nvel de s responderem a perguntas imediatas. Eu posso mostrar aqui alguns dados muito interessantes: nos pases asiticos, praticamente 80% dos alunos conseguem ultrapassar este nvel. Ou seja, onde ns temos mais de metade dos alunos bloqueados (60% no caso de Portugal), os pases asiticos tm apenas 20%. Temos de ser realistas, 60% dos nossos alunos que terminam o 1. ciclo s conseguem responder a questes triviais. Isto no suficientemente dito e penso que tem de nos preocupar muito, independentemente dos grandes progressos que fazemos face aos nossos parceiros europeus e pura e simplesmente ignorando o resto do mundo. Temos que levar este problema muito a srio, enquanto pas e enquanto Unio Europeia. Os pases asiticos conseguem colocar cerca de 40% dos seus alunos no nvel 4, que o benchmark mais elevado. Mal passamos para a Europa este valor cai drasticamente. O pas que tem a melhor performance a Inglaterra com 18%. Em Portugal so 8%. Vi na comunicao social que 8% era excelente, porque em 1995 eram s 4% e portanto duplicmos. Penso que temos que ser um bocadinho mais srios do que isto: 8% no excelente, mesmo muito fraco, h muito trabalho para fazer. Alis, o prprio relatrio final do TIMSS chama a ateno para estes factos que aqui relato, o que curioso. Cada pargrafo do relatrio comea com um texto que no fundo resume o que mais importante em cada captulo. No captulo dos benchmarks podem ler que os cinco pases asiticos se distanciaram completamente dos seus parceiros. Esta realidade j se v no 4. ano, mas no 8. ano ela elevada para nveis insustentveis. No 8. ano, temos quase 50% dos alunos asiticos no nvel mais elevado. O que significa isto? Significa que o TIMSS j nem adequado para este alunos, tornou-se demasiado fcil. Portugal no participou, como foi dito, no estudo do 8. ano, mas podemos ver os resultados dos pases parecidos com o nosso, os pases europeus.
101
SEMINRIO
Reparem que temos uma progresso suave dos diferentes indicadores, como no me canso de referir. A percentagem de alunos no nvel mais avanado evoluiu, por exemplo na Ilha Formosa, da seguinte forma: 37%-38%,-45%49%. Em Singapura essa srie a seguinte: 40%-42%-44%-40%-48%. Neste momento, como se pode ver, praticamente 50% dos alunos asiticos esto naquele nvel. Mal se passa para o mundo ocidental, estes valores passam a ter apenas um dgito: 9%, 8%, 7%, 8%, 10%, 5%...etc. No tracei a linha porque considerei que nem era necessrio, ela demasiado evidente. No sei qual a razo exata deste fenmeno, mas posso falar-vos um bocadinho da minha experincia na Unio Europeia, onde comeam a aparecer vrias pessoas a questionar o modelo que temos e que continuamos a apregoar, muito baseado no ensino pela descoberta, na avaliao formativa, no ensino centrado no aluno, numa quantidade de ideias que tornam o ensino, e a respetiva avaliao, pouco rigoroso e demasiado permissivo. A palavra accountability comea a aparecer muito nestes crculos. Os alunos devem ser responsabilizados pela falta de estudo, devem ser responsabilizados pela falta de resultados, dentro, obviamente, da especificidade de cada um. Ainda h pouco tempo, em mais uma sesso de trabalho em que no fim do workshop as pessoas vieram com as mesmas concluses que tiram h mais de 20 ou de 30 anos, do professor no como um professor mas como um amigo ou um facilitador de aprendizagens e a aula como no sei o qu e j houve muitas vozes discordantes. No queria entrar nestas polmicas de metodologias de ensino, isso seria se calhar para um prximo encontro do CNE. Aquilo que eu quero dizer que apesar destas ideias serem certamente bem-intencionadas, estamos provavelmente, em termos do mundo ocidental, a exagerar um pouco na eficcia destas abordagens.
102
Pedro Fevereiro
Sou investigador no Instituto de Tecnologia Qumica e Biolgica da Universidade Nova de Lisboa e professor na Faculdade de Cincias da Universidade de Lisboa. Na realidade, de educao sei pouco. Evitarei, portanto, imiscuir-me num campo em que tenho pouco conhecimento. H vrios aspectos da anlise que foi feita pelos anteriores com os quais concordo. Evitarei tornar a esses aspetos, farei apontamentos, necessariamente pouco refletidos, dado o disponvel para uma anlise mais aprofundada, sobre o relativamente a este processo de avaliao. intervenientes apenas alguns pouco tempo que apreendi
Em primeiro lugar tentei perguntar-me que experincias pessoais poderia recrutar para tentar interpretar alguns dos dados apresentados. Aquilo que verifiquei foi que embora no trabalhe em Educao, poderia recorrer a dados empricos e pessoais sobre o sistema. Sou professor h 28 anos na Faculdade, tendo sido anteriormente professor do ensino bsico e secundrio; sou, h 4 anos, auditor das provas nacionais de Biologia e Geologia, sendo, como presidente de uma Associao de Pais, promotor das Atividades Extra Curriculares de trs escolas bsicas, Vejo como se produzem os manuais (a minha esposa coordenadora de livros escolares de cincias). Enfim, tudo isso junto acaba por me permitir pensar onde estou situado e como que este sistema afeta a minha vida pessoal como interveniente no sistema, mas tambm como que afeta a vida dos meus filhos, em particular a dos mais novos. Gostaria de vos dizer, antes de mais, que uma das questes aqui abordadas me deixou perplexo. Foi apresentada, uma distino entre a questo da formao na Lngua e a formao em Cincias. Devo dizer que me custa compreender esta dicotomia. Esta minha falta de compreenso tem tambm
1
Faculdade de Cincias da Universidade de Lisboa/Instituto de Tecnologia Qumica e Biolgica, Universidade Nova de Lisboa
103
SEMINRIO
como base o acompanhamento do meu filho que se encontra no 4ano do ensino bsico. Uma das dificuldades que ele tem em Matemtica, no a Matemtica, no o manuseamento dos nmeros, mas sim a compreenso dos enunciados. Ou seja, muitas vezes, o problema no a resoluo da questo cientfica que est a ser apresentada, mas sim a compreenso propriamente dita do texto que apresenta o problema. Depois, a mesma dificuldade aparece muitas vezes na explicao dos resultados e na comunicao desses mesmos resultados. Portanto, gostaria de deixar evidente a necessidade de, a determinada altura, articular os dois tipos de resultados e as duas formaes, para que, inclusive em termos de anlise, se perceba, por exemplo, se os alunos que tm melhor performance so aqueles que tanto compreendem a linguagem, como compreendem os conhecimentos cientficos. Porque, a meu ver, quer ao nvel da formao quer ao nvel da anlise dos resultados estes dois aspetos no podem ser observados em separado. Reitero aqui a importncia dada formao no 1. ciclo do Ensino Bsico. verdade que apenas abordamos aqui dados relativos a 2011 e ao 4. ano do ensino bsico, o final do 1. ciclo. Mas, na realidade, facilmente verificvel que uma boa formao base d uma capacidade aos alunos de progredirem mais facilmente em ciclos subsequentes. Se for verdade que em Portugal os resultados da formao esto a evoluir, ento isso vai permitir aos alunos obterem melhores resultados em ciclos posteriores e, eventualmente, uma maior facilidade e, no caso daqueles que quiserem prosseguir uma carreira como investigadores, conseguirem no s melhores resultados mas melhores performances cientficas tambm. Portanto, esta maior importncia dada formao no 1. ciclo parece-me de facto fundamental. A formao e desempenho dos professores parece-me um aspeto a ter em conta na melhoria dos resultados apresentados. Isto por um lado, pela verificao do esforo que tem vindo a ser feito ao longo dos anos, mas tambm pelo contacto direto que tenho com os professores.
104
verdade que a minha experincia direta ao nvel do 1. ciclo numa situao quase privilegiada. Vivo em Oeiras e contacto com uma escola pblica que do meu ponto de vista excelente. O contacto que tenho tido com os professores demonstra que eles so maioritariamente excelentes, muito competentes e muito empenhados na relao com os alunos e na formao dos seus alunos. , portanto, provvel que o empenho na qualidade da formao dos professores tenha tido um impacto na melhoria da qualidade dos resultados apresentados neste estudo. H dois outros aspetos que acho interessantes que so a maior interao da escola com as famlias e com a sociedade. Estes aspetos so relevantes para um maior enquadramento dos alunos e tambm para uma facilitao da formao dos mesmos. Outro aspeto que no sei qualificar como de positivo ou negativo o aumento das expectativas das famlias relativamente formao dos alunos a um nvel to baixo como o 4. ano do Ensino Bsico. Aumento este que, em alguns casos, induz uma maior tentativa de interveno direta no processo educativo. O que tenho verificado, e que no sei se tem um impacto positivo ou negativo no processo formativo, uma tenso muito grande em muitos pais, uma expectativa muito grande em relao s performances dos filhos desde os primeiros anos de formao. Pessoalmente, no considero esta disposio positiva. Acho que h pais que esperam demasiado das crianas numa fase muito precoce, mas no sei qual o impacto que esta disposio tem na performance final das crianas. Dois comentrios relativamente s relaes entre o conhecimento, o raciocnio e a aplicao dos conhecimentos. Com base naquilo que observo na receo dos alunos no 1. ano da Faculdade, a nvel de Cincias, penso que continua a dar-se um peso excessivo reteno estrita de conhecimento, ou seja, insistindo em que os alunos saibam coisas. O conhecimento est em constante e rpida evoluo. Eu vejo exigncias excessivas na memorizao de factos e dados. Talvez no a nvel do 1. ciclo, mas a nvel do 2 e 3 ciclos do ensino bsico e, sobretudo, do Ensino secundrio. Por exemplo, exige-se aos alunos que saibam o nome de cada uma das protenas que est envolvida num determinado complexo proteico,
105
SEMINRIO
quando esse nome passado trs semanas pode vir a ser mudado. Ou seja, so completamente irrelevantes os nomes que atribuem a essas protenas. Cheguei a experienciar o caricato de um professor do Ensino Secundrio me perguntar se eu sabia qual era o nome da protena eIF-4G que estava associada ao complexo proteico que medeia a ligao do RNA mensageiro ao ribossoma, de forma a dar-se incio sua traduo. Tal no tem qualquer significado, nem qualquer utilidade para a formao do aluno ao nvel do Ensino Secundrio. O segundo comentrio diz respeito questo levantada pelo Professor Pedro Reis quando comparou a perspetiva da formao na Finlndia, que tentar melhorar a performance dos alunos com menos sucesso versus uma perspetiva, que julgo existir no nosso pas, que fazer sobressair aqueles alunos que tm melhores resultados. Esta perspetiva ajusta-se, do meu ponto de vista, a uma tendncia elitizante que faz parte de algum discurso poltico que se ouve em vrios momentos, como, por exemplo, quando se afirma que so as elites que conseguem fazer evoluir os pases, que o nosso pas tem falta de elites, etc. Do meu ponto de vista, esta perspetiva elitizante no a mais adequada. Como comparar esta perspetiva com a da Finlndia, onde a nfase no tentar aumentar a performance daqueles que esto no primeiro quartil mas sim garantir que todos se enquadram nas perspetivas de uma formao integradora, o que parece garantir melhores resultados partida? Finalmente, qual o possvel impacto do processo formativo na qualidade da investigao? E aqui a pergunta que se pode fazer : o que um investigador ou o que que eu quero de um investigador? Um investigador tem que saber definir um modelo de estudo, tem que saber colocar hipteses, desenhar experimentao para falsificar as hipteses que coloca, organizar e interpretar os resultados, apresentar os resultados, questionar os resultados, os seus e os dos outros, redesenhar os seus modelos de estudo. Quando estou a trabalhar com investigadores quero que, pelo menos, saibam fazer isto. J no estou a falar de inventividade, de capacidade de reconstruir estratgias, de trazer novas aproximaes completamente dspares daquelas que esto a ser seguidas.
106
Como que se obtm este conjunto de competncias e saberes? Seguramente no ser privilegiando algum com conhecimentos enciclopdicos. At porque, continuo a dizer, o conhecimento est em rpida evoluo. As aplicaes esto em rapidssima evoluo. Assim, uma pessoa que se forma com base em conhecimentos enciclopdicos est partida condenada. A formao tem que ter outra perspetiva, a formao de um investigador tem que ter outra perspetiva. Neste contexto, convm levantar uma questo: existe alguma poltica de formao de investigadores ou existe alguma formao de investigadores? Penso que no. No existe nenhuma poltica estruturada para formar investigadores em Portugal. O que acontece em geral : uma pessoa comea a fazer investigao, porque encontra uma oportunidade para isso e vai-se tornando um investigador. Porque, academicamente, aquilo que oferecemos essencialmente uma formao mais tradicional, fundamental, com cada vez menos recursos e no para fazer investigao. Mesmo na formao superior, na rea das Cincias Exatas, no damos, regra geral, formao especfica para fazer investigao. Logo, estas questes, colocadas desta maneira, tm um reflexo naquilo que possvel esperar quando se pergunta: ento a evoluo detetada em Portugal na formao ao nvel do 1. ciclo ter impacto ou no depois na investigao que se faz em Portugal?. Foi antes de mim referido, e constatvel, que evolumos muito em termos da nossa qualidade em investigao ou, pelo menos, em resultados quantitativos evolumos muito. A questo, do meu ponto de vista, no se evolumos muito, mas se, comparativamente com os outros pases, essa evoluo concordante ou no. Confesso que, neste momento, tenho algumas dvidas que isso seja verdade. Termino desta maneira, dizendo-vos que na realidade no tenho muitas certezas. Que partida fico agradado com os resultados que nos foram apresentados, que do ponto de vista da observao da escola onde o meu filho se encontra parecem corresponder realidade. Resta saber se isso
107
SEMINRIO
generalizado e, como outros antes de mim referiram, se possvel manter esta tendncia. Muito obrigado por me ouvirem.
108
Os testes internacionais, o sistema de avaliao externa e a promoo das aprendizagens Presidente da Mesa Maria Emlia Brederode Santos - CNE
109
SEMINRIO
110
Helder Sousa
A abordagem do tema proposto foi conduzida tendo como fio condutor trs perspetivas, interligadas e complementares: a valia dos estudos internacionais enquanto fontes de informao para o conhecimento da qualidade da aprendizagem dos alunos em Portugal; a utilizao dos resultados dos estudos internacionais de avaliao de alunos, em articulao com os resultados da avaliao externa nacional, enquanto instrumento de avaliao e de regulao do sistema de ensino, adicionalmente como meio de validao, ainda que indireta, dos resultados gerados pelas avaliaes externas de alunos de mbito nacional; o futuro do sistema de ensino concebido a partir de evidncias, entre outras, que emergem de uma anlise integrada dos resultados dos estudos internacionais de avaliao de alunos e das provas de avaliao externa nacionais. Os estudos internacionais de avaliao de alunos apresentam, em comparao com as avaliaes nacionais, a particular vantagem de gerarem resultados alicerados em provas no pblicas, em que a estabilidade dos itens usados em estudos realizados em diferentes momentos retiram da anlise global de resultados uma varivel que, no caso das avaliaes nacionais, est sempre presente: a produo de provas pblicas, cujos itens se renovam a cada aplicao. Tambm o facto de se realizarem com uma periodicidade que oscila entre trs (PISA) e cinco anos (PIRLS) permite a obteno de informao espaada no tempo, mais coerente com o propsito de uma avaliao de mbito longitudinal de mdio/longo prazo. Os resultados gerados pelas avaliaes nacionais, com periodicidade anual, esto limitados, no que se refere informao que deles se pode extrair, pela natureza pblica das provas. A presso meditica e social para que desses resultados se faam inferncias em relao ao estado da educao, assentes numa comparao longitudinal de resultados, exerccio repetido de forma
1
Diretor do Gabinete de Avaliao Educacional
111
SEMINRIO
acrtica e pontualmente em cada final de ano escolar, ignora as limitaes e insuficincias atrs referidas. Salvaguardando e considerando as limitaes tcnicas que decorrem da natureza especfica das provas e do tratamento de resultados em contexto de estudos internacionais e de provas nacionais, ainda assim no deixa de ser possvel contar com os resultados dos estudos internacionais como indicadores, mesmo que indiretos, de validao dos resultados dos exames nacionais e das provas finais, realizadas todos os anos no nosso pas. Seno, vejamos. O desempenho dos alunos portugueses nos estudos internacionais cujos resultados permitem estabelecer comparaes longitudinais mostra progressos importantes, como se comprova nos casos do PISA 2009 e do TIMSS 2011. Contudo, como ponto prvio, preciso ter em ateno que as diferenas no objeto de avaliao que subjaz a cada um dos estudos, o diferente pblico-alvo (alunos com 15 anos e a frequentar 4. ano, respetivamente no caso do PISA e do TIMSS) e o diferente intervalo de tempo que serve de referncia para a comparao longitudinal (9 e 16 anos, respetivamente) so variveis indissociveis de uma anlise global que sustente inferncias fiveis e relevantes para o delinear de estratgias de melhoria da aprendizagem. Enquanto no estudo PISA 2009 Portugal se apresenta como um aluno com um desempenho no limite inferior do suficiente (21. posio entre 32 pases da OCDE) e com um score prximo do ponto mdio da distribuio (489 vs 500), no caso do TIMSS (Matemtica) regista-se, globalmente, uma prestao relativa bem mais positiva, com scores muito superiores ao valor mdio de referncia (532 vs 500 Matemtica; 522 vs 500 Cincias). Ainda com um score muito positivo temos os resultados do PIRLS 2011 (541 vs 500). Em sentido inverso, o First European Survey on Language Competence (adiante designado abreviadamente por Survey Lang), estudo promovido pela Comisso Europeia em que se avaliava o desempenho dos alunos nacionais no domnio das lnguas estrangeiras no final do 9. ano, mostranos um desempenho medocre e preocupante: no final do 9. ano, 69% dos alunos atinge um nvel inferior ao esperado (58% mdia do estudo) e 31%
112
atinge ou supera o nvel esperado (42% mdia do estudo), colocando o pas na 10. posio entre 13 pases em que o ingls a primeira lngua estrangeira de estudo. Podemos assim concluir que em termos longitudinais os estudos PISA e TIMSS mostram uma progresso positiva em matria de resultados, embora considerando intervalos temporais longos (especialmente no ltimo caso), mas que em termos sincrnicos colocam Portugal numa posio em torno do ponto mdio da escala de medida de cada um dos estudos. Em termos nacionais, tambm por fora das alteraes curriculares, a srie de resultados que podem ser considerados numa anlise cronolgica no cobrem perodos to longos, no indo alm de cinco a sete anos. Mas, recorrentemente, tm vindo a mostrar, em termos mdios e no essencial: por um lado, uma estabilidade de resultados ao longo do perodo considerado e, por outro lado, a ocorrncia de resultados mdios que se situam em torno do ponto mdio das escalas de medida utilizadas (0 a 20 valores ou 1 a 5); dificuldades de aprendizagem que se concretizam com maior acuidade ao nvel das chamadas high skills. Estas constataes so concordantes com as evidncias que os resultados dos estudos internacionais nos mostram: Portugal progrediu mas est ainda longe de alcanar scores que nos coloquem ao nvel de pases como a Finlndia (j para no falar de pases asiticos com resultados ainda superiores), o que tambm um direto resultado da baixa percentagem de alunos portugueses que resolve com sucesso os itens que mobilizam operaes mentais mais complexas, ou que exigem processos de resoluo mais elaborados. Os resultados dos estudos internacionais de avaliao de alunos, bem como a anlise dos resultados da avaliao externa nacional, constituem um manancial de informao que deve sustentar uma avaliao do efeito de medidas de poltica educativa, informar sobre a qualidade do trabalho desenvolvido por cada professor e por cada escola, ao nvel micro, e ajudar a delinear, se necessrio, a adoo de outras medidas ou formas de atuao mais eficientes no apoio melhoria da aprendizagem.
113
SEMINRIO
certo que presentemente as evidncias dos contactos com escolas, com diretores e professores no terreno, levam-nos a concluir que h uma insuficiente divulgao e sobretudo apropriao dos resultados e dos relatrios nacionais e internacionais por parte de muitos stakeholders, o que, de certo modo, no ajuda a uma reflexo e construo de estratgias de atuao desenhadas localmente, privilegiando processos mais ou menos autnomos de deciso, no sentido da superao das fragilidades e dificuldades de todos conhecidas. Ao nvel da informao gerada pela avaliao externa nacional, a poltica de produo de relatrios nacionais e de relatrios tcnicos, estes para uso exclusivo das escolas, iniciada h cerca de 4 a 5 anos, tem vindo a revelar-se muito promissora, com uma crescente difuso e utilizao nas escolas. J no que se refere aos relatrios produzidos por organismos internacionais, em concreto os relatrios PISA, Survey Lang e os mais recentes TIMSS e PIRLS, constituem ainda ferramentas cuja apropriao continua muito confinada ao mundo acadmico e da investigao. Por exemplo, enfatizar o papel de uma sistemtica produo de feedback aos alunos e s famlias, ou o trabalho colaborativo com as famlias, enquanto agentes centrais de uma possvel mudana de paradigma nos processos de aprendizagem, na metodologia de estudo, na valorizao da leitura, parecem longe de estar a funcionar. A ttulo de exemplo, se atendermos ao facto de que em Portugal os alunos em cujas famlias se promove o hbito de ler obtm no PIRLS um score 22 pontos acima da mdia nacional (563 pontos vs 541, valor prximo do alcanado pela Finlndia 568), se aceitarmos que a literacia de leitura constitui talvez a principal varivel-chave na promoo do sucesso educativo, que transversal a todas as reas disciplinares, que indispensvel a uma correta leitura dos enunciados escritos e que a sua melhoria generalizada teria resultados extremamente positivos em todas as avaliaes escritas que cada aluno realiza ao longo da vida, percebe-se o muito que h a fazer neste domnio. Um outro aspeto em que se torna evidente intervir o que se prende com a cultura de avaliao dominante, em que se privilegia o resultado pelo
114
resultado, descurando a riqueza informativa que o resultado de uma qualquer avaliao comporta. Com resultados nacionais desagregados por aluno e por item esto criadas as condies para identificar de forma fina o que falhou do lado da ao do professor, o que est por alcanar, por parte do aluno. E, a seguir, deveriam estar criadas as condies para que, de forma generalizada e sistemtica, houvesse uma contnua correo de processos, situao que implica um olhar sobre as funes formativas e reguladoras que esto longe de estar apropriadas pela maioria dos professores, no tanto por sua direta responsabilidade, mas sobretudo pelas lacunas que a formao inicial e contnua propiciam nesta matria especfica. Replicam-se, num processo de mimetismo geracional que no exclusivo nacional, processos de avaliao apreendidos pelas vivncias dos atuais professores enquanto alunos, o que tambm se aplica aos pais, cujo conhecimento que possuem sobre o que avaliar e para que serve avaliar em nada difere do obtido pelas suas experincias pessoais na qualidade de alunos. Nestas circunstncias, em termos gerais, parece evidente um fraco aproveitamento das potencialidades da articulao entre uma avaliao externa, rigorosa e exigente, e processos de avaliao baseados na sala de aula, capazes de gerar o retorno que constitua um forte incentivo superao do erro e consequente melhoria e elevao da qualidade da aprendizagem. Dito isto, reconhece-se ser essencial a melhoria e a diversificao dos processos de avaliao de sala de aula, sem nunca descurar a importncia de ter sempre presente uma ao reguladora que a avaliao externa, realizada ao nvel internacional ou nacional, deve desempenhar. Trs exemplos, a trs nveis de anlise territorial diferentes ilustram quo indispensvel a prtica regular de processos de avaliao externa. Ao nvel regional, os atuais resultados dos alunos da Regio Autnoma do Aores nas provas finais de ciclo do 6. e 9. anos de escolaridade, em Portugus e Matemtica (dados de 2012), ficam significativamente aqum dos resultados alcanados nas NUTS III do territrio continental com piores resultados e
115
SEMINRIO
ainda mais distantes do resultado mdio nacional: em Portugus as diferenas so da ordem dos 3,5% a 10%, respetivamente; em Matemtica as diferenas aumentam para valores da ordem dos 8,5% a 17%, respetivamente. Ao nvel nacional, talvez um dos exemplos mais elucidativos pode ser encontrado nos resultados de Portugal no estudo Survey Lang, atrs referido, numa disciplina nunca sujeita a qualquer regulao realizada atravs de provas de avaliao externa nacionais (com exceo dos testes intermdios aplicados em 2011, 2012 e 2013, mas sem qualquer impacto nos resultados do estudo). Em termos internacionais, pases como a Noruega, a Sucia e mesmo a Finlndia, considerados modelos de sucesso, com processos de avaliao de alunos muito focados na designada classroom-based assessment, tm vindo a adotar procedimentos de avaliao externa mais frequentes, em resposta a retrocessos observados nos seus resultados em estudos internacionais (por exemplo, a Finlndia passa de um score de 520 para 482 pontos no estudo TIMSS, 8. ano, entre 1999 e 2011). Em suma, o forte incentivo promoo da leitura e ao estudo da Matemtica e o impacto da avaliao externa no 1. ciclo do ensino bsico (provas de aferio e em 2013 provas finais) no ensino e na aprendizagem do Portugus e da Matemtica, ou a total ausncia de mecanismos de regulao externa, que no caso da disciplina de Ingls no permitem entrar na caixa fechada que a sala de aula, podem constituir tpicos de reflexo incontornveis no caminho para o diagnstico e desejvel superao das dificuldades de aprendizagem que alguns dos resultados da avaliao externa nacional tm evidenciado nos ltimos anos. Considera-se ainda que os bons resultados internacionais alcanados no final do 1. ciclo no devem mascarar ou iludir o facto de ao longo de vrios anos os resultados da avaliao externa nacional mostrarem fragilidades de aprendizagem que se mantm e, em regra, se ampliam, em anos escolares subsequentes. Ao nvel das capacidades cognitivas mais complexas, mas tambm ao nvel de algumas tarefas elementares, a anlise sistemtica de resultados da
116
avaliao externa altamente desagregados (por aluno e por item) tem vindo a demonstrar que h ainda um longo caminho a percorrer para alcanar, de forma generalizada, nveis de sucesso acadmico em que a simples obteno de um resultado coincidente ou pouco superior ao definido como linha de corte seja motivo de plena satisfao para pais, alunos e professores.
117
SEMINRIO
118
Estudos internacionais: desempenhos contextualizados
Ana Sousa Ferreira
Introduo
A OCDE (Organisation for Economic Co-operation Development), a IEA (International Association for the Evaluation of Educational Achievement) e a Comisso Europeia promovem programas internacionais de avaliao do desempenho de crianas e jovens do mundo inteiro em matemtica, cincias, leitura e lnguas estrangeiras. Portugal tem vindo a participar em diversos estudos internacionais: PISA Programme for International Students Assessment; TIMSS - Trends in International Mathematics and Science Study; PIRLS - Progress in International Reading Literacy Study, ESLC - European Survey on Language Competences. Todos estes projetos avaliam a proficincia de alunos de vrios pases em diversos domnios. Nestes estudos, os itens no so pblicos, possibilitando-se deste modo a comparao de resultados ao longo das vrias edies da prova e a identificao de tendncias. A OCDE, a IEA e a Comisso Europeia disponibilizam, em cada ciclo de cada um destes estudos, alguns itens que deixam de fazer parte das provas e que ilustram o tipo de situaes apresentadas aos alunos. O PISA, desenvolvido pela OCDE2, visa avaliar se os alunos de 15 anos, aqueles que na maior parte dos pases participantes se aproximam do final da escolaridade obrigatria, esto bem preparados para enfrentarem os desafios da vida quotidiana. A prova do PISA constituda por vrios cadernos de teste que combinam itens dos diferentes domnios avaliados. Cada aluno responde, apenas, a um caderno de teste.
1 2
ProJAVI Para mais informaes consultar http://www.projavi.mec.pt/ ou http://www.oecd.org/pisa/
119
SEMINRIO
Os testes PISA foram concebidos para avaliar as competncias de leitura, matemtica e cincias dos alunos de 15 anos, na resoluo de situaes relacionadas com a realidade, e ocorrem em ciclos de trs anos. Em cada ciclo PISA, selecionada, como domnio principal, uma das trs reas avaliadas (leitura, matemtica, cincias). Em 2000, o domnio principal foi a leitura, domnio novamente avaliado em 2009. Em 2003 e em 2012 selecionou-se a matemtica e, em 2006, as cincias. Em 2015, seguindo a rotatividade, o domnio principal ser cincias. Neste projeto, so tambm recolhidas informaes que permitem contextualizar os resultados, atravs da aplicao de questionrios aos alunos, aos pais e s escolas. O PISA permite, pois, identificar os fatores que influenciam os nveis de desempenho nos vrios domnios de literacia, nomeadamente, elementos sociodemogrficos dos alunos e da sua relao com a aprendizagem e, ainda, diversas caractersticas das escolas participantes, como a sua organizao e recursos. Portugal tem vindo a participar no projeto PISA desde o primeiro ciclo, em 2000, at ao ltimo ciclo aplicado, em 2012. O TIMSS uma avaliao internacional do desempenho dos alunos dos 4. e 8. anos de escolaridade em matemtica e cincias, desenvolvida pela IEA1. O TIMSS advanced uma verso do estudo que tem o objetivo de avaliar as tendncias do desempenho dos alunos no final do ensino secundrio em matemtica e fsica. A avaliao em matemtica considera duas dimenses: uma relativa ao contedo Nmeros, Formas Geomtricas e Medida, Apresentao de Dados e a outra ao domnio cognitivo Aplicar, Conhecer e Raciocinar. A avaliao em cincias segue o mesmo desenho, sendo contempladas as seguintes reas: Cincias da Vida, Cincias Fsicas e Cincias da Terra. Tanto para matemtica como para cincias, o TIMSS tem, igualmente, em conta a abordagem de cada rea especfica e o domnio cognitivo nos currculos nacionais.
Para mais informaes consultar http://www.projavi.mec.pt/ ou http://timssandpirls.bc.edu/
120
A prova constituda por um conjunto de cadernos, numa composio de itens de matemtica e cincias que abrangem os trs processos cognitivos (aplicar, conhecer e raciocinar). Cada aluno responde a um nico caderno de prova. Neste estudo, a par dos testes, so tambm aplicados questionrios visando recolher informao de contexto que permite descrever as situaes e os fatores que influenciam a aprendizagem da matemtica e das cincias. Desde 1995, os testes TIMSS so aplicados de quatro em quatro anos com a finalidade de gerar informao de qualidade sobre os resultados do desempenho dos alunos e sobre os contextos em que estes aprendem. Em 2011, a aplicao dos dois estudos da IEA, o TIMSS e o PIRLS, coincidiu, o que ir permitir relacionar a literacia de leitura dos alunos do 4. ano de escolaridade com o seu desempenho em matemtica e cincias. Portugal participou no primeiro ciclo do TIMSS em 1995 e voltou a participar na prova do 4 ano em 2011. O PIRLS uma avaliao internacional sobre a compreenso da leitura dos alunos do 4. ano de escolaridade, desenvolvida pela IEA1. Esta prova foi desenhada de modo a contemplar duas finalidades de leitura, a literria - ler como experincia literria - e a informativa - ler para adquirir e utilizar informao -, assim como os processos de compreenso da leitura - Reter, Fazer inferncias diretas, Interpretar e integrar e Avaliar -. A prova constituda por um conjunto de cadernos, numa composio de itens que envolvem as diferentes finalidades e processos de compreenso da leitura. Cada aluno responde apenas a um caderno de prova. Neste estudo, a par dos testes, so aplicados questionrios visando recolher informao de contexto que permite descrever as situaes e os fatores que afetam a literacia de leitura. Desde 2001, os testes PIRLS so aplicados de cinco em cinco anos com a finalidade de gerar informao de qualidade sobre os resultados do desempenho dos alunos em leitura e sobre os contextos em que estes aprendem. Em 2011, foi criada uma verso para aplicar em pases cujos alunos esto aqum dos nveis de leitura estabelecidos para o PIRLS (prePIRLS).
Para mais informaes consultar http://www.projavi.mec.pt/ ou http://timssandpirls.bc.edu/
121
SEMINRIO
Portugal participou pela primeira vez no PIRLS em 2011. O ESLC uma avaliao das competncias dos alunos europeus em lnguas estrangeiras, que permite disponibilizar informao comparvel sobre a proficincia em lnguas e sobre boas prticas no ensino de lnguas estrangeiras na Europa. Com este estudo pretende-se tambm construir um indicador europeu para a monitorizao dos progressos alcanados na aprendizagem das lnguas estrangeiras nos Estados-membros. Este estudo foi promovido pela Comisso Europeia1 e foi desenvolvido pelo SurveyLang, um consrcio internacional constitudo por vrias organizaes. A prova foi definida para avaliar a proficincia dos alunos em ouvir, ler e escrever numa lngua estrangeira. Estes alunos tm, pelo menos, um ano de aprendizagem da lngua estrangeira e frequentam, preferencialmente, o 9. ano de escolaridade. A avaliao abrange as duas lnguas estrangeiras mais ensinadas em cada pas, de entre o ingls, o francs, o alemo, o italiano e o espanhol. Os resultados foram analisados de acordo com o Quadro Europeu Comum de Referncia para as Lnguas (QECR). Cada aluno responde a uma prova adaptada a um nvel de proficincia estabelecido a priori pelo seu resultado num routing test. A par dos testes, so aplicados questionrios s escolas e aos professores de lnguas estrangeiras. Esta informao de contexto permite descrever as situaes e os fatores que influenciam o ensino e a aprendizagem das lnguas estrangeiras em cada pas participante. Portugal participou no primeiro ciclo do ESLC em 2011. A informao gerada por estes estudos permite identificar tendncias de resultados, referenciados a padres internacionais, em vrios sistemas educativos, o que os potencia como instrumentos relevantes para a anlise e para a definio de polticas educativas.
Para mais informaes consultar http://www.projavi.mec.pt/ ou http://www.surveylang.org/
122
Desempenhos contextualizados
Que tipos de informao nos fornecem os estudos internacionais?
Os diversos estudos internacionais j referidos representam uma fonte de informao sobre sistemas educativos de inegvel qualidade, quer ao nvel da construo dos itens de avaliao, quer ao nvel do desenho do plano de amostragem, possibilitando a avaliao das polticas educativas dos vrios pases participantes. A OCDE, a IEA e a Comisso Europeia planeiam e documentam cuidadosamente todo o processo de desenvolvimento das provas internacionais, de forma a garantir a comparabilidade dos dados, definindo procedimentos padronizados e implementando um exigente controlo de qualidade. Por exemplo, realizada uma extensa srie de verificaes para garantir a comparabilidade das tradues dos itens de avaliao e dos questionrios, fornecida documentao detalhada sobre os padres de amostragem, so minuciosamente verificadas as taxas de participao das escolas e dos alunos e foi desenvolvido um ambicioso programa de garantia da qualidade para monitorizar a recolha dos dados. O plano de amostragem considerado nos vrios projetos internacionais de avaliao do desempenho dos alunos em que Portugal participa considera uma amostragem estratificada, em duas etapas. Na primeira etapa, selecionada aleatoriamente uma amostra de escolas; na segunda, recolhe-se uma amostra aleatria de alunos das escolas previamente selecionadas. Todos os processos de amostragem so monitorizados pelas instncias internacionais responsveis pelos estudos, garantindo-se que todos os pases participantes cumprem os requisitos estabelecidos. Genericamente, nos vrios estudos, tm sido usadas como variveis definidoras dos estratos a regio (por exemplo, NUTS II ou NUTS III), a natureza institucional da escola (pblica versus privada) ou a tipologia das reas urbanas (rea predominantemente urbana, rea medianamente urbana e rea predominantemente rural). Estes projetos podem, pois, contribuir para o desenvolvimento da investigao cientfica na rea da educao, proporcionando aos investigadores o acesso a um amplo conjunto de dados, comparveis entre pases e abrangendo um alargado leque de informao.
123
SEMINRIO
A anlise dos resultados dos estudos internacionais permite comparar o desempenho entre pases, ou, num mesmo pas, entre regies (por exemplo, NUTS II ou NUTS III), por sexo, segundo a origem imigrante ou de acordo com o estatuto socioeconmico e/ou cultural dos pais. Por outro lado, o desempenho dos alunos pode ser analisado por valores de referncia internacionais (benchmarks), ou por contedos e domnios cognitivos, podendo, assim, conduzir reflexo sobre como melhorar as prticas em sala de aula, a aprendizagem ou a formao de professores. Por exemplo, podemos realizar uma comparao entre os resultados obtidos pelos vrios pases participantes no TIMSS & PIRLS 2011, analisando a Figura 1:
Figura 1. Desempenho dos vrios pases participantes no TIMSS & PIRLS 2011
124
O desempenho dos alunos portugueses do 4. ano no TIMSS & PIRLS 2011 situa-se entre os 15 melhores pases participantes em matemtica e entre os 19 melhores pases participantes em cincias e leitura.
Que contributo estes estudos internacionais podem dar ao nosso sistema educativo?
A anlise sobre os pases com melhor desempenho nos estudos TIMSS & PIRLS 2011 e as caractersticas dos seus sistemas educativos pode conduzir a pistas importantes para os decisores polticos e outros intervenientes no sistema educativo aperfeioarem a qualidade do nosso sistema de ensinoaprendizagem. Ou, por exemplo, podemos realizar uma comparao entre os resultados obtidos pelos vrios pases participantes no ESLC 2011, analisando a Figura 2:
Nota: A indicao dada frente do nome de cada pas (ing) ou (fr) significa, respetivamente, ingls ou francs, e refere-se lngua avaliada nesse pas como Primeira Lngua. Figura 2. Desempenho dos vrios pases participantes no ESLC 2011 relativamente primeira lngua avaliada.
125
SEMINRIO
O desempenho dos alunos portugueses do 9. ano de escolaridade no ESLC 2011 situa-se na 11 posio (em 16 participantes) em ingls (primeira lngua).
Que contributo este estudo internacional pode dar ao nosso sistema educativo?
Se analisarmos quais os pases com melhor desempenho no ESLC 2011, poderemos analisar as caractersticas dos seus sistemas educativos bem como as suas prticas de ensino e de aprendizagem das lnguas estrangeiras e, desta forma, contribuir para a tomada de medidas eficazes na melhoria do desempenho dos nossos alunos em lnguas estrangeiras. Como j referimos, o desempenho dos alunos nos vrios estudos internacionais pode ser analisado por valores de referncia internacionais (benchmarks), ou por contedos e domnios cognitivos, podendo, assim, conduzir reflexo sobre como melhorar as prticas em sala de aula, a aprendizagem ou a formao de professores. Apresentamos, neste trabalho, apenas alguns exemplos desse olhar que pode ser aplicado aos resultados destes estudos. No TIMSS 2011, o desempenho mdio dos alunos portugueses do 4. ano em matemtica de 532 pontos, numa escala de 0-1000, com um ponto mdio de referncia de 500 e um desvio padro de 100. Este estudo estabeleceu 4 nveis de desempenho para a matemtica, a partir de 4 valores de referncia (benchmarks): Avanado1 (scores globais no inferiores a 625), Elevado2 (scores globais com valores no intervalo [550, 625[), Intermdio3 (scores globais com valores no intervalo [475, 550[) e Baixo 4(scores globais no inferiores a 400). Estes quatro pontos na escala internacional originaram uma descrio de quatro nveis de desempenho em matemtica, permitindo comparar o desempenho dos alunos portugueses com os alunos de Singapura, como pode ver-se no Quadro 1.
1 2
Advanced international benchmark High international benchmark 33 Intermediate international benchmark 4 Low international benchmark
126
Quadro 1. Comparao entre os resultados no TIMSS 2011 Matemtica dos alunos portugueses e dos alunos de Singapura por valores de referncia (benchmarks).
Isto , quase todos os alunos portugueses do 4. ano (97%) atingiram o nvel mais baixo de benchmark, 80% alcanaram o nvel Intermdio, o que significa que 4/5 dos alunos portugueses so capazes de aplicar conhecimentos bsicos em situaes diretas, e 40% atingiram o nvel Elevado, pelo menos 550 pontos (valor superior mdia nacional de valor 532) o que corresponde a serem capazes de aplicar conhecimento e compreenso para resolverem problemas; apenas 8% dos alunos atingiram o nvel Avanado, o nvel de maior complexidade da escala, que envolve compreenso e explicao do raciocnio. Note-se que, apesar de os resultados dos alunos portugueses terem melhorado claramente quando comparados com os resultados obtidos em 1995, existe ainda uma diferena evidente relativamente aos resultados dos alunos de Singapura nos nveis Intermdio, Elevado e Avanado. No devemos, pois, esquecer que a avaliao do desempenho uma componente indispensvel do sistema de ensino-aprendizagem e os resultados destes estudos, referenciados a padres internacionais, devem conduzir a uma reflexo que contribua para ajudar os professores a ensinarem melhor e os alunos a aprenderem melhor.
127
SEMINRIO
Exemplifiquemos, ento, a anlise do desempenho dos alunos portugueses por contedos e domnios cognitivos, visando, assim, melhorar as prticas em sala de aula, a aprendizagem e a formao de professores. Consideremos os resultados do estudo TIMSS 2011 Cincias, por contedos e domnios cognitivos, apresentados seguidamente, nos Quadros 2 e 3.
Quadro 2. Resultados no TIMSS 2011 Cincias dos alunos portugueses, por contedos.
* As diferenas entre o desempenho mdio global em cincias e na rea especfica de contedo so significativas (p<0.05).
As reas especficas de contedo de cincias avaliadas para o 4. ano no TIMSS 2011 so Cincias da Vida, Cincias Fsicas e Cincias da Terra. Os alunos portugueses do 4. ano mostraram um desempenho mdio significativamente superior mdia global nacional (522 pontos) em Cincias da Terra (531). No que concerne s Cincias da Vida (520), os alunos portugueses tiveram um desempenho mdio abaixo da mdia global nacional e, nas Cincias Fsicas (517), os alunos portugueses tiveram um desempenho mdio significativamente inferior mdia global nacional (522 pontos).
128
Quadro 3. Resultados no TIMSS 2011 Cincias dos alunos portugueses, por domnios cognitivos.
* As diferenas entre o desempenho mdio global em cincias e no domnio cognitivo especfico so significativas (p<0.05).
Uma anlise do desempenho de acordo com os domnios cognitivos que especificam os processos mentais mobilizados pelos alunos Conhecer, Aplicar e Raciocinar mostra que, em Portugal, a diferena do desempenho mdio por domnio cognitivo relativamente mdia global nacional significativamente superior para o domnio do Conhecimento. Tambm no domnio do Raciocnio, os alunos portugueses do 4. ano apresentam desempenhos mdios acima da mdia global nacional. J no que toca ao domnio da Aplicao, os desempenhos mdios dos alunos portugueses encontram-se significativamente abaixo da mdia global nacional.
Figura 3. Desempenhos contextualizados nos vrios projetos internacionais 129
SEMINRIO
Os questionrios de contexto aplicados nestes estudos permitem aliar informao sobre o ensino e a formao de professores a informao sobre o contexto da escola (recursos/professores) e das famlias e alunos, recolhendo dados sobre o status socioeconmico das famlias (formao e profisso dos pais, nmero de livros em casa, recursos educativos disponveis), as caractersticas das escolas (recursos materiais, projeto educativo), a atitude dos alunos e o tempo de aprendizagem (conforme Figura 3). No estudo PIRLS 2011, analisou-se o desempenho dos alunos por sexo e observou-se que o desempenho mdio das raparigas em leitura superior ao desempenho mdio dos rapazes em quase todos os pases (regies) participantes. A mdia internacional superior em 16 pontos para as raparigas (520 relativamente a 504 de mdia dos rapazes). Em Portugal, as raparigas tiveram uma pontuao mdia significativamente mais elevada (548) do que os rapazes (534) (p<0.05). A anlise do desempenho dos alunos portugueses pode ser efetuada segundo muitos outros olhares, usando a informao de contexto recolhida por qualquer dos estudos internacionais em que Portugal participa. Os dados recolhidos e os resultados obtidos por estes estudos so tornados pblicos pelos consrcios internacionais aps a divulgao do relatrio internacional e, como j foi referido, permitem aos investigadores da rea da educao o acesso a um alargado leque de informao, contribuindo para que estes instrumentos de avaliao internacional possam ser reguladores do sistema de ensino-aprendizagem.
Relao com o currculo
Os estudos ESLC, TIMSS e PIRLS so avaliaes que tm como referente os currculos dos pases participantes, enquanto o projeto PISA uma avaliao que no assenta nos currculos dos pases participantes, mas sim nas competncias que um aluno de 15 anos deve ter quando se prepara, na maioria dos pases, para entrar no mundo do trabalho.
130
Figura 4. Projetos internacionais referentes ao currculo dos pases participantes
Portugal, ao participar nestes estudos internacionais, acrescenta um procedimento de avaliao externa ao sistema educativo. Para algumas reas disciplinares e para alguns anos de escolaridade existem pontos de encontro entre as provas nacionais e internacionais que podem ser explorados, como podemos observar na Figura 5.
Internacional Currculo/Perfil Padres internacionais Nacional Currculo Padres nacionais
Figura 5. Provas nacionais e internacionais relacionadas com o currculo nacional
131
SEMINRIO
O facto de as provas de aferio de matemtica serem constitudas por itens cuja tipologia se assemelha dos itens TIMSS e que abordam contedos que se cruzam com os do TIMSS outro fator que apoia uma comparao de resultados. As provas de aferio so classificadas segundo 5 nveis de desempenho em matemtica - A, B, C, D e E -, correspondendo os trs primeiros a um desempenho positivo. Em 2011, 79,5% dos alunos do 4. ano de escolaridade obtiveram um dos nveis A, B ou C (GAVE, Relatrio de Provas de Aferio Matemtica 1. ciclo 2010/2011), sendo a distribuio global por nveis a que se apresenta na Figura 6. A mdia nacional foi de 68%, com um desvio padro de 21%.
,0
Figura 6. Nveis de desempenho em matemtica no 4. ano (Provas de aferio 2011).
132
Concluso
Os estudos internacionais em que Portugal participa fornecem informao fivel e contextualizada sobre o desempenho dos nossos alunos. Estes resultados podem, pois, contribuir no s para a regulao do sistema educativo, mas tambm para a melhoria das prticas em sala de aula e da aprendizagem, promovendo a avaliao formativa e o aprofundamento das temticas da avaliao (itens libertos). O ProjAVI, pretendendo promover a divulgao destes projetos internacionais, disponibiliza informao sobre estes estudos e os resultados no seu stio, com o endereo http://www.projavi.mec.pt.
Referncias bibliogrficas
FIRST EUROPEAN SURVEY ON LANGUAGE COMPETENCES: FINAL REPORT. (SurveyLang & Comisso Europeia, 2012). MULLIS, I. et al. (2012). PIRLS 2011 International Results in Reading. (IEA, International Report). MULLIS, I. et al. (2012). TIMSS 2011 International Results in Mathematics. (IEA, International Report). MULLIS, I. et al. (2012). TIMSS 2011 International Results in Science. (IEA, International Report). ProjAVI, PIRLS 2011 - Principais resultados em Leitura. (Nota de Leitura, acedido em 22 de abril de 2013, em: http://www.projavi.mec.pt/np4/179/). GAVE, Relatrio de Provas de Aferio Matemtica 1. ciclo 2010/2011 (acedido em 23 de abril de 2013, em: http://www.gave.minedu.pt/np3/24.html). ProjAVI, TIMSS 2011 Principais resultados em Cincias. (Nota de Leitura, acedido em 22 de abril de 2013, em: http://www.projavi.mec.pt/np4/179/). ProjAVI, TIMSS 2011 Principais resultados em Matemtica. (Nota de Leitura, acedido em 22 de abril de 2013, em: http://www.projavi.mec.pt/np4/179/).
133
SEMINRIO
Pginas da Internet com informao relevante
http://www.projavi.mec.pt/ http://www.oecd.org/pisa/ http://timssandpirls.bc.edu/ http://www.surveylang.org/
134
Jos Augusto Pacheco
Introduo2
No quadro de polticas de partilha de conhecimento e de reformas viajantes (Steiner-Khamsi, 2012), que fazem da globalizao uma nova forma de governamentalidade educacional (Azevedo, 2007; Rizvi & Lingard, 2010), analiso a promoo das aprendizagens no sistema educativo portugus em funo de razes externas, sobretudo dos testes larga escala (Pereyra, Kotthoff & Cowen, 2011), e de razes internas, que se prendem com a anlise dos efeitos da avaliao externa de escolas (Pacheco, Seabra, Morgado & Hattum-Janssen, 2013). Alm disso, argumento que a avaliao das aprendizagens confronta-se com uma situao dilemtica, entre o formativo e o sumativo (Pacheco, 2012), tornando-se necessrio explicitar de que modo o currculo nacional/supranacional/transnacional se conjuga em planos, programas e metas, por um lado, e em que sentido as polticas de accountability (Afonso, 2012) se tornam em mecanismos de regulao psburocrtica, por outro, com incidncia na estandardizao de resultados.
1. Da governamentalidade educacional
Na sntese terica que faz dos sistemas de governao, Azevedo (2007, p. 106) escreve sobre a regulao transnacional da educao, afirmando que o rendilhado do sistema educativo mundial, tal como uma teia de aranha, uma construo imparvel, conflituosa, contnua, silenciosa e, paradoxalmente, quase impercetvel para os cidados, mas assente em padres de institucionalizao e em ideologias dominantes que estabelecem formas de governao atravs da mudana conceitual (Pacheco, 2011). Institui-se, assim, uma legitimidade discursiva que se torna realidade atravs de uma governao regulada por organismos transnacionais, verdadeiros beros de polticas globais, baseada na abordagem do conhecimento
1 2
Instituto de Educao da Universidade do Minho. jpacheco@ie.uminho.pt Este trabalho financiado por Fundos FEDER atravs do Programa Operacional Fatores de Competitividade COMPETE e por Fundos Nacionais atravs da FCT Fundao para a Cincia e a Tecnologia no mbito do projeto PTDC/CPE-CED/116674/2010.
135
SEMINRIO
(Afonso & Costa, 2011), ou nas polticas de partilha de conhecimento (Steiner-Khamsi, 2012), e nas polticas de accountabilitty (Afonso, 2012). Alguns desses conceitos so, por exemplo, qualidade, eficcia, eficincia, performance, competncia, boas prticas, testes e resultados da aprendizagem (Taubman, 2009; Rizvi & Lingard, 2010). Neste sentido, Maroy (2012, p. 91) fala da accountabilitty educacional como uma governamentalidade global, cuja frmula instrumental se processa pela implementao de uma cultura de avaliao, ancorada em sistemas padronizados de garantia da qualidade, em comparaes nacionais, em modelos das boas prticas, em standards e na relao causal input-output. Neste processo global de governao, as polticas de transferncia em torno do conhecimento instituem-se como um referencial coercivo em que as reformas so implementadas mediante travelling policies - one does not know where they come from, or go to; they are at the same time nobodoys and everybodys reform (Steiner-Khamsi, 2012, p. 11) e na base de uma linguagem tcnica que privilegia critrios de convergncia. Da que as reformas educativas se convertam em reformas viajantes, sendo mais caracterizadas pelos aspetos que as unificam e tornam semelhantes do que pelos aspetos que as diferenciam. Alis, esta tendncia explicada por Waldow (2012) como sendo um processo de globalizao que caminha em direo homogeneizao e similaridade, partilha de standards e inteno de criar um certo grau de uniformidade. Porm, e como vivemos em tempos de uma governao ps-burocrtica, a estandardizao de processos substituda pela estandardizao de resultados (Maroy, 2012) e a regulao normativa, na procura de uma conformidade de regras, suplantada pela imposio cognitiva (Correia, Pereira & Vaz), de que os testes larga escala so um exemplo no domnio do controlo das aprendizagens. The Programme for International Student Assessment (PISA1), da OCDE (Organizao para a Cooperao e Desenvolvimento Econmico), e de
1
Cf. http://www.oecd.org/pisa/ Trata-se de um programa orientado para a avaliao de competncias bsicas dos alunos iniciado em 2000, com a periodicidade de trs em trs anos, abrangendo cada vez um maior nmero de pases. Sobre dados dos relatrios, Cf. Gabinete de Avaliao Educacional, do Ministrio da Educao e Cincia.
136
acordo com as ideias expressas por vrios especialistas (Pereyra, Kotthoff & Cowen, 2011), um evento global, para alm de um circo meditico, que estabelece no s uma governao por comparao de resultados, mas tambm uma competio baseada em rankings de pases, no estando ligado ao que os alunos aprendem, a partir de currculo nacional, nem to pouco aos mtodos de ensino/aprendizagem utilizados nas salas de aula, alis, ao contrrio do TIMSS, PIRLS e (EICL)1. Tendo-se tornado num modelo de governao global, o PISA um instrumento poltico (Popkewitz, 2011) que pretende tornar-se num instrumento de melhoria das escolas (Lundgren, 2011), mediante testes e questionrios, com primazia para a avaliao de competncias em funo da preparao dos jovens para o mercado do trabalho e para a cidadania produtiva, procurando respostas para estas questes: Are students well prepared to meet the challenges of the future? Can they analyse, reason and communicate their ideas effectively? Have they found the kinds of interests they can pursue throughout their lives as productive members of the economy and society? (OECD, 2012). Neste caso, o PISA avalia a competncia de jovens de 15 anos em termos de uso de conhecimentos ligados ao quotidiano, isto , um instrumento de mensurao da literacia which refers to the capacity of students to apply knowledge and skills in key subject areas and to analyse, reason and communicate effectively as they pose, interpret and solve problems in a variety of situations (OECD, 2009a), convertendo-se num poderoso instrumento poltico de monitorizao curricular em torno de trs questes essenciais: i) identificao de disciplinas nucleares (lngua materna, matemtica e cincias) e de temas abrangentes, caso da cidadania e literacia financeira; ii) contributo para a melhoria organizacional das escolas; iii) incentivo para a valorizao da aprendizagem ao longo da vida. O impacto do PISA verifica-se mais a nvel macro e meso do que a nvel micro, sendo um instrumento de monitorizao que proporciona informao para a tomada de deciso poltica a nvel nacional e contendo anlises que incidem sobre os fatores de aprendizagem, ainda que os resultados no
1
Programme for International Student Assessment Progress in International Reading Literacy Study (PIRLS); Trends in International Mathematics and Science Study (TIMSS); European Indicator of Language Competence (EICL). Cf. http://www.projavi.mec.pt/np4/projavi
137
SEMINRIO
possam ser inferidos para qualidade do ensino e para o progresso dos alunos e das escolas. Ao no incidir nos contedos lecionados1, o PISA torna-se num instrumento de avaliao normativa, em que o contedo da avaliao se organiza em standards, e onde a escola isolada do contexto, como se os fatores de aprendizagem fossem intrnsecos aos alunos e aos seus pases de origem. Tendo escassa utilidade para avaliar a eficcia do sistema educativo, o PISA apresenta os resultados dos alunos numa relao direta entre escola e aprendizagem (what happens in school has a direct impact on learning (OCDE, 2009b) e numa relao indireta entre aprendizagem e contexto (socio-economic background has only a moderate impact on performance (ibid.2), pelo que, nas palavras de Lundgren (2011, p. 28), PISA is maybe no longer a comparative projet. It is a model for the governing of national school development in a global word. E esta governao est relacionada com a estandardizao curricular, servindo os resultados dos alunos como referencial de avaliao da prpria escola quer ao nvel do currculo e das formas de diversificao da oferta e da diferenciao pedaggica, quer ao nvel das dinmicas de gesto e liderana,
Cf. OCDE (2009a): Rather than examine mastery of specific school curricula, PISA looks at students ability to apply knowledge and skills in key subject areas and to analyse, reason and communicate effectively as they examine, interpret and solve problems. Every PISA survey tests reading, mathematical and scientific literacy in terms of general competencies, that is, how well students can apply the knowledge and skills they have learned at school to real-life challenges. PISA does not test how well a student has mastered a schools specific curriculum. 2 Para alm dos dois relatrios citados, o ciclo de avaliao de 2009 contm mais dois relatrios: PISA 2009 Results: Learning to learn. Student Engagement, Strategies and Practices (Volume III) ; PISA 2009 Results: Overcoming social background equity in learning opportunities and outcomes (Volume II). Relativamente a Portugal, e considerando o documento OECD Reviews of Evaluation and Assessment in Education PORTUGAL (Santiago,Donaldson, Looney & Nusche, 2012), verificase o seguinte: Regarding the PISA relationship between socio-economic background and performance (i.e. between the PISA index of economic, social and cultural status and the performance of 15-year-olds), the following indications emerge: (i) Portugal is not statistically different from the OECD average in terms of the percentage of variance in student performance explained by student socio-economic background (strength of the socio-economic gradient), but the impact of socioeconomic background on learning outcomes tends to be larger than in most OECD countries; and (ii) Portugal is significantly below the OECD average in terms of the score point difference associated with one unit increase in the PISA index of economic, social and cultural status (slope of the socioeconomic gradient) (OECD, 2010d) and there was no significant change between 2000 and 2009 in this indicator.
138
permitindo, alis, uma leitura investimento/produtividade1.

2. Standards curriculares
econmica
atravs
da
relao
Como constata Teodoro (2010, p. 58), a OCDE tem uma agenda global baseada na comparao e, sobretudo, na competio de performances dos sistemas educativos, em que os inquritos internacionais, caso do PISA, pouco (ou nada) preocupados com os contextos socio-histricos geradores desses resultados tornaram-se uma das principais tecnologias de governao. Mesmo remetendo para plano secundrio a contextualizao dos processos de aprendizagem, h, porm, um efeito procedimental no que diz respeito organizao curricular e que se prende com os standards de avaliao e com o peso dos testes na aprendizagem. Em termos curriculares, o PISA um eficaz instrumento de regulao da aprendizagem centrada nas abordagens test-driven curriculum2, competency-based curriculum3, goals-based curriculum e learning outcomes-based curriculum (entendidas no prolongamento da abordagem behavioral performance-based objectives4), contribuindo, tambm, para uma regulao poltica baseada na competitividade e mercadorizao, como
1
A este respeito, leiam-se os seguintes artigos publicados no Boletim Econmico do Banco de Portugal: Manuel Coutinho Pereira, Uma anlise da evoluo do desempenho dos estudantes portugueses no Programme for International Student Assessment (PISA), 2011; Manuel Coutinho Pereira e Hugo Reis, Diferenas regionais no desempenho dos alunos portugueses: evidncia do programa PISA da OCDE, 2012. 2 Cf. Janet Penner-Williams, Tested curriculum, In Craig Kridel, Encyclopedia of curriculum studies, 2010, vol. 2, pp. 878-879: The tested curriculum consists of that portion of the curriculum over which a student is tested via national norm-referenced achievement tests, state criteria-referenced tests, and teacher-made tests () The tested curriculum then becomes the measure of the schools success () If the tested curriculum comprises curriculum based on high standards, it should result in schools with high student achievement 3 In a competency-based curriculum, emphasis is not placed upon the learners accumulation of memorized knowledge or behavior, but instead on their proficiency in a particular realm. Cf. Laurel K. Cheavly, Competency-based curriculum, In Craig Kridel, Encyclopedia of curriculum studies, 2010, vol. 1, p. 131. 4 Behavioral performance-based objectives in curriculum refer to lesson objectives for students set by the teacher that are precise and observable () Learning objectives are normally set for each lesson by the teacher and they should drive the instruction and the assessment of student learning. Cf. Janet Penner-Williams, Behavioral performance-based, In Craig Kridel, Encyclopedia of curriculum studies, 2010, vol. 1, pp. 131-132.
139
SEMINRIO
se a racionalidade escolar fosse determinada pela racionalidade econmica. Os testes so o ponto essencial destas abordagens, tornando-se marcadores do processo de desenvolvimento do currculo, em geral, e da aprendizagem, em particular. Por isso, os resultados dos testes tendem a definir a realidade educacional (Taubman, 2009), em que o valor dos nmeros, e da sua comparabilidade a nvel nacional e internacional, substituem os alunos, conferindo ao mesmo tempo mais visibilidade aos resultados do que aos processos de aprendizagem. Agindo a partir de uma avaliao que determina o currculo, os professors are increasingly under pressure to shift the balance from the feedback role of assessment towards its accountability role as policy or curriculum driver (Young, 2013, p. 113)1. A linguagem dos testes, ou da proficincia e da performatividade da aprendizagem, processa-se na base de standards, que podem ser utlizados de diferentes modos na organizao curricular, por exemplo, providenciando informao sobre o desempenho dos alunos, clarificando posies em tabelas comparativas de grupos, escolas e pases e permitindo leituras sumativas e/ou formativas sobre as aprendizagens alcanadas pelos alunos. Com efeito, o standard pode estar relacionado quer com objetivos comportamentais, metas curriculares e resultados de aprendizagem, quer com competncias, sobretudo se estas disserem respeito a capacidades de utilizao do conhecimento em contextos de ao. Em linguagem avaliativa, e segundo Stake (2006), o standard a quantidade do atributo necessrio para a descrio de um critrio, fixando o nvel de realizao do critrio e estabelecendo padres de mensurabilidade mediante indicadores, que funcionam como referncias do que observvel. A noo de standard aplica-se ao objetivo, meta e competncia, sendo sempre um processo de referencializar aspetos que contribuem para a mensurao do conhecimento. No que respeita organizao curricular ao nvel do currculo nacional e dos planos que o materializam, o standard uma lgica que serve de referncia para o estabelecimento de resultados esperados, isto , de
1
O autor faz a distino entre assessment as feedback on pupil progress e assessment as a driver for the curriculum and pedagogy.
140
horizontes de aprendizagem de base que podem ser expressos em objetivos mnimos (em Portugal, com a designao de objetivos curriculares, na dcada de 1980), ou em competncias transversais (na dcada de 2000), ou em metas curriculares (na dcada de 2010). Os standards curriculares so um fator de homogeneizao de programas e prticas de avaliao (Maradan, 2008), no quadro de polticas educativas centradas nos resultados. Esta cultura de prestao de contas das escolas torna-se mais visvel quanto mais for implementada uma prtica de formulao e avaliao de indicadores de desempenho. Neste sentido, o currculo corresponde, cada vez mais, ao estabelecimento de resultados esperados, listagem do que esperado, identificao de procedimentos pretendidos, listagem daquilo que o aluno deve saber e fazer, mensurabilidade do que deve saber, identificao do que fundamental saber e demonstrabilidade do que realmente sabe. O denominador comum a esta organizao curricular diz respeito ao carter finalizante do resultado de aprendizagem, o que faz com que a sua formulao corresponda a enunciados gerais e sintticos sobre o que esperado que o aluno venha a saber e fazer no final de um processo. Se no ensino superior, com o Processo de Bolonha, se utilizam resultados da aprendizagem, nos ensinos bsico e secundrio faz-se uso, atualmente, das metas curriculares, entendidas como standards de contedos (Scallon, 2009) e como objetivos terminais (Pacheco, 2011). Assim definidos, os standards estabelecem, por um lado, o que se ensina e o que se aprende em contexto escolar e, por outro, os degraus desejveis de proficincia. Alm disso, standards serve to standardize work, making it commensurable, erasing differences among individuals, populations, histories, locations (Taubman, 2009, p. 117). O estabelecimento de metas de aprendizagem (mensurveis por nveis, ciclos e anos), o que est em sintonia com as polticas de educao que tm vindo a ser implementadas, servir de referencial para a validao de modalidades de avaliao ligadas s classificaes (avaliao sumativa), aos critrios (avaliao aferida) e comparabilidade nacional e internacional (avaliao normativa). Na justificao do projeto das metas de aprendizagem, os seus autores, citados no Parecer do Conselho Nacional de Educao (2010, p. 7) afirmam
141
SEMINRIO
que as metas de aprendizagem so entendidas como evidncias de desempenho das competncias que devero ser manifestadas pelos alunos, sustentadas na aquisio dos conhecimentos e capacidades inscritos no currculo formal, constituindo por isso resultados de aprendizagem esperados e sero sempre expressas em termos do desempenho esperado por parte do aluno. Equivalendo a resultados esperados da aprendizagem, as metas de aprendizagem aproximam-se mais dos objetivos que das competncias, pois, o que a escola confere aos alunos a aquisio, desenvolvimento e domnio de habilidades e capacidades, nem sempre suscetveis de serem avaliadas em contextos de ao escolar. Por isso, poder-se- dizer que as metas representam a reintroduo dos objetivos, como afirma Scallon (2009, p. 126): luz de muitos exemplos dados pelos autores, os standards de contedos assemelham-se aos objetivos de aprendizagem que se nos tornaram familiares, podendo funcionar, de igual modo, como standards de performance (por vezes, denominados descritores). Se forem considerados objetivos finais e intermdios, as metas de aprendizagem to-s equivalem a um documento estratgico de regulao do currculo nacional, sendo uma um das mais fortes componentes do currculo nacional, pois os planos curriculares so de natureza normativa e os programas tendem para uma manifesta desvalorizao.
3. Entre o sumativo e formativo
A linguagem da eficincia curricular, visando a performance dos resultados, tem razes nas dcadas de 1960 e 1970, com a valorizao da abordagem competency-based curriculum, associada tambm pedagogia por objetivos, cuja legitimao no dizer de Taubman (2009), se constri em funo de objetivos militares. Por conseguinte, competncias, objetivos e metas so facetas de uma estandardizao curricular, diferenciando-se, essencialmente, pelo domnio da aplicabilidade (competncia), da orientao pedaggica (objetivo) e da terminalidade (meta). Apesar de distintos, mas tambm com muitos aspetos em comum, objetivo, competncia e meta tm contribudo para a valorizao dos testes, para a avaliao das escolas pelos resultados, mesmo que seja tido em conta o valor acrescentado da escola, e para a
142
sumativizao das aprendizagens. sintomtico que, no Relatrio da OCDE, Reviews of Evaluation and Assessment in Education PORTUGAL (Santigao, Donaldson & Nusche, 2012), seja referido que os alunos tm escassa participao na avaliao das aprendizagens e que a avaliao formativa foi substituda pela avaliao sumativa. Esta obsesso pelos resultados, ainda segundo o referido relatrio, faz com que os indicadores da qualidade do sistema educativo fiquem quase exclusivamente no s na avaliao externa e no ranking de escolas, que pode ser elaborado a partir dos seus resultados, como tambm no peso excessivo da avaliao sumativa, j que a prtica da sala de aula dominada pelo teste (incluindo os tempos da preparao, realizao e correo) e a qualidade do ensino/aprendizagem corresponde qualidade dos resultados. Advogam, ainda, os autores do referido Relatrio, que preciso colocar os alunos no centro da aprendizagem, tornando exequvel a diferenciao dos percursos de formao e garantindo os apoios educativos como forma de melhoria das aprendizagens. Como refere Looney (2011), a integrao das avaliaes sumativa e formativa tem sido uma ambio adiada devido aos obstculos tcnicos existentes. Um primeiro obstculo diz respeito forma como so implementadas. Enquanto a avaliao sumativa surge na parte final de um processo de ensino/aprendizagem, a avaliao formativa ocorre ao longo desse processo, no sendo possvel dissoci-las se se pretende melhorar a qualidade das aprendizagens. Deste modo, a efetividade da avaliao formativa (ibid, pp. 8-9) depende das culturas das salas de aula, do feedback, do questionamento e da autoavaliao e avaliao por pares, reconhecendo-se que nem, sempre se torna fcil a sua implementao, sendo caracterizada mais pela exceo que pela regra, sobretudo em sistemas onde os professores so encorajados a ensinar para os testes (ibid, p. 10). Um outro obstculo depende do modo como a escola est organizada curricularmente ao nvel do tempo do trabalho docente, com tendncia para a fragmentao da aprendizagem em disciplinas, e do trabalho discente, com a exigncia da certificao como forma de progresso. Por fim, e no menos importante, o problema dos rcios professor/turma e professor/aluno e do
143
SEMINRIO
aumento crescente do nmero de alunos por turma. Relendo-se os normativos, seria desejvel que a funo formativa fosse, de facto, implementada em contexto escolar, e que a reteno fosse apenas uma medida pedaggica de ltima instncia, pois a sumativizao da avaliao, bem como a correspondente poltica de accountabilitty, destroys not only the joy of learning, but learning itself (Ravitch, 2007, citada por Taubman, 2009, p. 127). Os efeitos dos estudos internacionais, caso do PISA, tal como foi referido no ponto um deste texto, so de natureza procedimental, j que introduzem sistemas de monitorizao a nvel macro, de que a avaliao externa de escolas uma evidncia, observando-se que poucos ou reduzidos so os efeitos na avaliao das aprendizagens, a no ser que se considere que reforam a avaliao sumativa em detrimento da avaliao formativa. No entanto, no se trata de uma concluso que possa ser generalizada, como o confirmam os resultados da Finlndia. Sendo um dos pases com melhores resultados nos vrios estudos internacionais PISA, os resultados so atribudos i) elevada crena na escolarizao, ou seja, the expansion of schooling, the modernisation of the occupational srtucture and the construction of the welfare state (Simola & Rinne, 2011, p. 231); ii) ao elavado status social dos professores nas escolas compreensivas teaching is clearly the number-one carreer choice and overtakes traditionally favourite professions sucha as medicine, law, psychology, engineering and journalism (ibid., p. 235); iii) descentralizao e autonomia das escolas; iv) efetividade dos apoios pedaggicos e consequente valorizao da avaliao formativa.
Ideias para terminar
Mais do que uma concluso, pois este texto surge na sequncia de outros textos que tenho escrito sobre organizao curricular e avaliao, pretendo sublinhar ideias que podem servir para uma discusso em torno das aprendizagens. Reconhecendo-se a necessidade de os alunos terem sucesso escolar, mesmo que esteja em causa a sua comparabilidade a nvel internacional, pois os educratas tendem a correlacionar resultados/recursos e
144
ensino pblico/privado, para defenderem o desinvestimento na educao e a sua mercadorizao, de reconhecer que a sofisticao tcnica dos estudos internacionais tem um impacto significativo nos sistemas nacionais de educao, reforando a abordagem test-driven curriculum e fazendo com que os standards de avaliao sejam equivalentes aos standards curriculares. Ainda que tais resultados estejam ligados tarefa explcita de restabelecer o orgulho nacional (Hargreaves, 2004, p. 29), os seus efeitos observam-se no reforo do controlo curricular, em que o currculo nacional se conjuga, acima de tudo, em planos e metas curriculares, e na valorizao dos testes, com tendncia para que os resultados, e no os alunos, sejam colocados no centro da aprendizagem. Independentemente dos resultados e dos seus valores estatsticos, de mensurao da meritocracia, a linguagem dos standards e do accountability faz com que many schools have shifeted the general nature of classroom experience from activem relevant, and creative curriculum to drilling specific skills in the critical reas (Breault1, 2010, p. 5). Esta tendncia origina quer uma aprendizagem apressada, em detrimento de uma aprendizagem ampla e profunda (Hargreaves & Fink, 2007)2, quer a adoo de lgicas produtivistas nas escolas, em que o desempenho escolar obtido na avaliao se sobrepe ao processo de aprendizagem, e onde a avaliao sumativa enfraquece a avaliao formativa, quer ainda a reduo do tempo de aprendizagem: The time of learning is the time of providing the right answer. It is the time of stimulus and response. The time of learning is terminable. The time of learning is the time of short-term memory (Taubman, 2009, p. 184).
Cf. Donna Adair Breault, Accountability, In Craig Kridel, Encyclopedia of curriculum studies, 2010, vol. 1. 2 Ainda neste mar de obsesso pelos resultados, o que interessa so os resultados e no os processos de aprendizagem, como se fosse possvel continuar a alimentar os alunos fora e depois esperar obter foie-gras. Face aprendizagem apressada, mais guiada por um tipo de currculo Karaoke acelerado, ou seja, de seguimento de guies concebidos por outros, Hargreves e Fink contrapem a noo de aprendizagem ampla e profunda atravs do conhecer lento, onde as guas profundas so mais calmas (Ibid., p. 63), o que leva a uma luta contra as obsesses polticas e burocrticas que privilegiam a prescrio de competncias bsicas, os nveis de sucesso orientados para as metas prdefinidas e os rankings de escolas (Ibid., p. 60).
145
SEMINRIO
Por outro lado, as escolas so confrontadas com fatores de segregao social, manifestando os professores a tendncia para perfilharem discursos de desculpabilizao socioeconmica perante os resultados dos alunos. Como se observa pelo caso da Finlndia, a qualidade dos resultados no depende somente do peso dos testes sumativos, estando relacionados, de igual modo, com a valorizao social da escola.
AFONSO, Almerindo (2012). Para uma concetualizao alternativa de accountabilitty em educao. Educao & Sociedade, 33, 119, 471-484. AZEVEDO, Joaquim (2007). Sistema educativo mundial. Ensaio sobre a regulao transnacional da educao. Vila Nova de Gaia: Fundao Manuel Leo. KRIDEL, Craig (Ed.). (2010). Encyclopedia of curriculum studies. London: Sage, Vol. 1-2. CONSELHO NACIONAL DE EDUCAO (2010). Parecer sobre metas de Aprendizagem. Lisboa: CNE. CORREIA, Jos Alberto, Pereira, Lusa lvares, & Vaz, Henrique (2012). Polticas educativas e modos de subjetivao da profisso docente. Cadernos de Pesquisa, 42, 146, 368-387. HARGREAVES, Andy & Fink, Dean (2007). Liderana sustentvel. Porto: Porto Editora. HARGREAVES, Andy (2004). O ensino na sociedade do conhecimento. Porto: Porto Editora. LOONEY, Janet W. (2011). Integrating formative and summative assessment: progress toward a seamless system? OECD Eduaction Working Paper, n. 58. Paris: OECD. LUNDGREN, Ulf. P. (2011). PISA as political instrument: one history behind the formulating of the PISA programme. In M. A. Pereyra, H. Kotthoff & R. Cowen (Eds.), PISA under examination. Changing
146
knowledge, changing tests, and changing schools (pp. 17-30). Rotterdam: Sense Publishers. MARADAN, Olivier (2007). Lespace curriculaire entre horizon et placher. In F. Audigier, & F. Tutiaux-Guillon (Dir.), Comptences et contenus. Les curriculums en questions (pp. 65-84). Bruxelles: De Boeck. OECD (2009a). PISA 2009 Results: What Students Know and Can Do. Student performance in reading, mathematics and science (volume I). Disponvel em http://www.oecd.org/pisa/pisaproducts/48852548.pdf, acesso a 19 de maro de 2013. OECD (2009b). PISA 2009 results: What males a school successful? Ressources, policies and practices (Volume IV). Disponvel em http://www.oecd-ilibrary.org/education/pisa-2009-results-what-makes-aschool-successful_9789264091559-en, acesso a 19 de maro de 2013. OECD (2012). PISA 2012 Assessment and Analytical FrameworkMathematics, Reading, Science, Problem Solving and Financial Literacy. Disponvel em http://www.oecd-ilibrary.org/education/pisa-2012assessment-and-analytical-framework_9789264190511-en, acesso a 19 de maro de 2013. PACHECO, Jos Augusto (2011). Discursos e lugares das competncias em contextos de educao e formao. Porto: Porto Editora. PACHECO, Jos Augusto (2012). Avaliao das aprendizagens. Polticas formativas e prticas sumativas. Disponvel em: http://hdl.handle.net/1822/21170. PACHECO, Jos Augusto, Seabra, Filipa, Morgado, Jos Carlos, & HattumJanssen, Natascha (2014). Avaliao Externa. Para a referencializao de um quadro terico sobre o impacto e efeitos nas escolas do ensino no superior (em publicao). PEREIRA, Manuel Coutinho (2011). Uma anlise da evoluo do desempenho dos estudantes portugueses no Programme for International Student Assessment (PISA). Boletim Econmico do Banco de PortugalInverno, 131-146.
147
SEMINRIO
PEREIRA, Manuel Coutinho, & Pires, Hugo (2012). Diferenas regionais no desempenho dos alunos portugueses: evidncia do programa PISA da OCDE. Boletim Econmico do Banco de Portugal-Inverno, 59-83. PEREYRA, Miguel A., Kotthoff, Hans-Georg, & Cowen, Robert (Eds.).(2011). PISA under examination. Changing knowledge, changing tests, and changing schools. Rotterdam: Sense Publishers. POPKEWITZ, Thomas (2011). PISA: Numbers, standardizing conduct, and the alchemy of Scholl subjects. In M. A. Pereyra, H. Kotthoff & R. Cowen (Eds.), PISA under examination. Changing knowledge, changing tests, and changing schools (pp. 31-46). Rotterdam: Sense Publishers. RIZVI, Fazal, & Lingard, Bob (2010). Globalizing education policy. London: Routledge. SANTIAGO, Paulo, Donaldson, Graham, Looney, Anne, & Nusche, Deborah (2012). OECD Reviews of Evaluation and Assessment in Education PORTUGAL: Paris: OECD. SCALLON, Grard (2009). Lvaluation des apprentissages dans une approche par comptences. Bruxlles: De Boeck. SIMOLA, Hannu, & Rinne, Risto (2011). Education politics and contingency: belief, status and trust behind the Finnish PISA miracle. In M. A. Pereyra, H. Kotthoff & R. Cowen (Eds.), PISA under examination. Changing knowledge, changing tests, and changing schools (225-244). Rotterdam: Sense Publishers. STAKE, Robert E. (2006). Evaluacin compreensiva y evaluacin basada em estndardes. Barcelona: Editora Gra. STEINER-KHAMSI, Gita (2012). Understanding policy borrowing and lending. Building comparative policy studies. In G. Steiner-Khamsi & F. Waldow (Eds.), World yearbook of education 2012. Policy borrowing and lending in education (pp. 5-17). London: Routledge. TAUBMAN, Peter M. (2009). Teaching by numbers. Deconstructing the discourse of standards and accountability in education. London: Rourtledge.
148
TEODORO, Antnio (2010). Educao, globalizao e neoliberalismo. Os novos modos de regulao transnacional das polticas de educao. Lisboa: Edies Universitrias Lusfonas. WALDOW, Florian (2012). Standardisation and legitimacy. Two central concepts in research on educational borrowing and lending. In G. SteinerKhamsi & F. Waldow (Eds.), World yearbook of education 2012. Policy borrowing and lending in education (pp. 413-427). London: Routledge. YOUNG, Michael (2011). Overcoming the crisis in curriculum theory: a knowledge-based approach. Journal of Curriculum Studies, 45, 2, 101-118.
149
SEMINRIO
150
Leonor Santos
Estudos internacionais: o caminho percorrido
Num olhar retrospetivo cobrindo o incio dos anos 90 do sc. XX at atualidade podemos afirmar que sempre que saem os resultados de estudos internacionais, seja o TIMSS (iniciado em 1995 e com uma periodicidade de quatro em quatro anos), seja o PISA (iniciado em 2000, com uma periodicidade de trs em trs anos) existe sempre polmica, assente em pontos de vistas ideolgicos sobre a avaliao, muitas vezes contraditrios. Em particular, a comunicao social atribui uma elevada importncia a estes resultados, embora de curta durao, ocupando artigos de opinio, com ttulos sonantes. Sendo um fenmeno internacional, argumentos so ento esgrimidos. A favor deste tipo de estudos so apontados atributos qualitativos tais como, rigor, equidade, credibilidade, comparabilidade. Baseiam-se em valores numricos, objetivos e rigorosos. Colocam os alunos em igualdade de situao. So aplicadas tcnicas rigorosas e adequadas aos valores de que se dispem. Colocam-se disposio no s anlises estatsticas globais, mas tambm outras, procurando estudar a existncia ou no de correlaes, que podero ser mais informativas para um uso eficaz da informao. So dadas a conhecer as situaes de diversos pases, as suas dificuldades, permitindo compreender a complexidade dos problemas. Em contraponto, questiona-se o significado atribudo aos valores obtidos atravs de tratamentos estatsticos mais ou menos elaborados e a sua utilidade pedaggica. O que nos dizem sobre a aprendizagem e os seus processos? Assume-se ou -se convidado a assumir, que possvel medir os desempenhos dos alunos e que estas medidas tm um valor em si prprias e independente do contexto onde se produz. Mais, para que esta medida seja rigorosa atribui-se a responsabilidade de a determinar a tcnicos, a especialistas.
Instituto de Educao da Universidade do Minho (mlsantos@ie.ul.pt)
151
SEMINRIO
A comparabilidade , igualmente, questionada. Crticas vo no sentido de questionar at que ponto no se est a usar como referncia um currculo idealizado, mais do que recolher informao sobre se os alunos de um dado sistema educativo esto ou no a aprender o currculo que o seu sistema lhes oferece: Quando damos a todos, num grupo de alunos oriundos de vrios sistemas, um conjunto comum de itens de desempenho, fica assim definido um currculo idealizado que serve de modelo, em contraponto com o desempenho que os alunos tm dentro de cada sistema. (Keitel & Kilpatrick, 1999, p. 72). Ora, ainda segundo estes mesmos autores, ao no se considerar que os currculos dos vrios pases diferem entre si, os estudos internacionais continuam a comparar "mas com laranjas" (Keitel & Kilpatrick, 1999, p. 72)! A rentabilizao dos custos decorrentes da participao nestes estudos nem sempre convincente. Por exemplo, no que respeita a Portugal, surge de forma inequvoca a ineficcia pedaggica do sistema de retenes (evidenciada alis anteriormente), mas sobre a qual nada se procura alterar. Em sntese, a comunicao social, elabora grandes machetes, incentiva discusses acesas e superficiais, que mais se traduzem em desinformao da sociedade em geral, e que rapidamente desaparecem (a comunicao social amplia esta viso tecnocrata da avaliao enquanto medida, aceitando o valor como verdade absoluta ignorando o contexto onde foi produzido). Contudo, tambm possvel afirmar que, ao longo destes ltimos 20 anos, esta polmica parece ter vindo a diminuir de intensidade. Diversas razes podero estar na base desta reduo. Talvez por se verificar um fenmeno de habituao, talvez por habitualmente no existirem diferenas muito marcantes nos resultados (verificam-se sobretudo pequenas oscilaes) e/ou talvez por "o esforo da melhoria que decorre dos resultados das avaliaes poder ter contribudo para questionar cada vez menos o valor e a pertinncia das comparaes internacionais (Bettencourt: 2010, p. 10).
152
Os resultados dos estudos internacionais e os seus impactos
No sendo o nico fator, podemos afirmar, sem correr muitos riscos de errar, que os resultados dos estudos internacionais influenciam as polticas educativas, fazendo surgir a necessidade e/ou legitimando mudanas nessas mesmas polticas. Vejamos o que aconteceu em Portugal mais recentemente, a partir do incio do sc. XXI, sintetizado na figura 1.
Legitima Pressiona
Polticas educativas
Responsabiliza
Renovao curricular Medidas para o DPP
Escolas
Promove
Medidas para a garantia de equidade e apoio

Resultados de estudos internacionais e nacionais
Aprendizagens dos alunos
I n v e s t i g a o
Fig. 1 Nveis de interveno da poltica educativa
A existncia de estudos internacionais torna claro o que so as tendncias curriculares em cada poca. O que mais relevante na aprendizagem dos alunos em cada rea curricular. Onde se encontra o enfoque dessa aprendizagem. Note-se que, muitas vezes, quem elabora os itens considerados nos estudos internacionais, propostos aos alunos, so educadores de renome internacional em cada rea, como , por exemplo, o caso da Matemtica. Estas tendncias curriculares so naturalmente moldadas pelo conhecimento que se vai construindo atravs da investigao na rea. Assistimos, assim, a processos de renovao curricular, que no acontecem apenas em Portugal, mas tambm na grande maioria dos pases da Europa, para apenas dar um exemplo.
153
SEMINRIO
A acompanhar estes processos de renovao curricular, no que a Portugal diz respeito, pde assistir-se a um conjunto de medidas de apoio ao desenvolvimento profissional dos professores - conhecidas atravs de programas de formao contnua (em Matemtica, Lngua Portuguesa, Ensino Experimental das Cincias), outros como o Plano de Leitura, o Plano da Matemtica, a elaborao de materiais de apoio aos professores, nomeadamente tarefas de aprendizagem para os alunos. Ao nvel mdio, houve uma ateno especial s condies de trabalho e responsabilidade da escola na aprendizagem dos alunos. So exemplo disso, a sensibilizao para formas mais promissoras de responder s dificuldades dos alunos (avaliao formativa no quotidiano da sala de aula); o apoio a projetos de escola para responder a situaes particulares (como o caso do Plano da Matemtica I e II); e a criao de condies favorveis ao trabalho colaborativo entre os professores e co docncia (oferecendo condies materiais para a sua concretizao). Embora em educao no se possam, nem se devam, estabelecer relaes lineares de causa e efeito, os ltimos resultados dos estudos internacionais apontam que estamos no caminho certo. Por exemplo, se recorrermos aos resultados do PISA 2009 (OECD, 2010), no que respeita Matemtica, Portugal o 4. pas que mais progrediu em literacia matemtica, verificando-se uma melhoria significativa (um aumento de 21 pontos, quando comparados com os resultados obtidos em 2003 e 2006 de 466 para 487). Tal facto leva a uma aproximao mdia da OCDE (496, que embora menor do que a de 2003 - 500 - no apresenta uma diferena estatisticamente significativa). Outros dados relevantes dizem respeito reduo da percentagem de resultados de nvel 1 ou abaixo de 1 e ao aumento de nveis mais elevados, surgindo pela primeira vez alunos com resultados no nvel 6. A melhoria dos resultados obtidos pelos alunos portugueses acontece igualmente na leitura (aumento de 17 pontos) e em Cincias (aumento de 19 pontos). No TIMSS 2011, os resultados em Matemtica dos alunos do 4 ano posicionam Portugal no 15 lugar (Mullis, Martin, Foy, & Arora, 2012). Se atendermos aos resultados mdios destes alunos, pelo nvel das questes a
154
que responderam, podemos observar que Portugal apresenta em qualquer um dos quatro nveis um valor mdio sempre superior mdia (Quadro 1).
Quadro 1. Percentagem de alunos por nvel de complexidade dos itens Mdia de todos os pases participantes 4% 28% 69% 90%
Nvel1 Avanado Elevado Intermdio Baixo
Portugal 8% 40% 80% 97%
Ainda do relatrio do TIMSS 2011 pode ler-se sobre a formao frequentada pelos professores em Portugal e a mdia dos pases que participaram neste estudo (Quadro 2). Da leitura deste quadro pode afirmarse que, exceo da rea da avaliao, em todos os outros temas considerados a percentagem dos professores que afirmaram ter estado envolvidos , em mdia, superior mdia do total dos pases intervenientes neste estudo.
Quadro 2. Percentagem de professores que afirmaram ter tido formao, em 2009 e 2010, por domnio de formao Didticas e pedagogia Mdia Portugal 46% 54% Matemtica 44% 58% Currculo 41% 61% Avaliao 37% 25% Tecnologia 33% 36%
Nvel avanado - aplica compreenso em situaes relativamente complexas e explica raciocnios Nvel elevado - aplica conhecimentos compreenso na resoluo de problemas Nvel intermdio - aplica conhecimentos bsicos em situaes diretas Nvel baixo - Tem alguns conhecimentos bsicos de matemtica
155
SEMINRIO
Em termos de resultados nacionais, no nos possvel comparar os resultados obtidos pelos alunos em provas a nvel nacional, quer nos exames, quer nas provas de aferio, dado estes testes no terem sido construdos de forma a serem comparveis. Assim, apresentamos, a ttulo de exemplo, alguns elementos de uma escola da regio de Lisboa, no que respeita evoluo das suas classificaes finais ao longo do 3. ciclo de escolaridade (Viana, 2013).
Quadro 3. Comparao dos resultados obtidos no 7 e, dois anos depois, no 9 ano
Ciclo sem PM Nvel 2003/04 7ano 1 ou 2 3 4 ou 5 38 % 50 % 12 % 2005/06 9ano 53 % 31 % 16 %
Ciclo com PM 2006/07 7ano 23 % 31 % 46 % 2008/09 9ano 23 % 41 % 36 %
Ciclo com PM 2007/08 7ano 25 % 50 % 25 % 2009/10 9ano 22 % 49 % 29 %
Ciclo com PM(*) 2008/09 7ano 21% 46% 33% 2010/11 9ano 22 % 42 % 36 %
(*) Neste ciclo, devido s restries impostas pelo Ministrio, apenas duas turmas com mais dificuldades tiveram PM no 8 ano.
Da leitura do Quadro 3 (Viana, 2013, p. 10), possvel afirmar-se que a tendncia de aumento de classificaes inferiores ao longo do ciclo, que se verifica no grupo de alunos no abrangidos pelo Plano da Matemtica (PM), no acontece nos grupos de alunos abrangidos pelo PM. , ainda, de assinalar que ao longo de todo o ciclo, a percentagem de alunos com nvel inferior a 3 claramente menor, quando comparada com o outro grupo. do conhecimento geral que as mudanas educativas no produzem efeitos imediatos. Assim, e dado o Plano da Matemtica ter sido uma medida que existiu ao longo de seis anos, igualmente interessante verificar os seus
156
efeitos pelo nmero de anos a que os alunos nela estiveram envolvidos (Quadro 4).
Quadro 4. Anlise comparativa da avaliao interna no 9 ano
Ano letivo Sem PM 1 ano do PM 2 anos do PM 3 anos do PM 3 ou 4 anos do PM 2 ou 3 anos de PM 2005/06 (*) 2006/07 2007/08 2008/09 2009/2010 2010/2011
Nvel 1 ou 2 53 % 50 % 34 % 23 % 22% 22%
Nvel 3
Nvel 4 ou 5 47 % (**)
26 % 48 % 41 % 49% 42%
25 % 18 % 36 % 29% 36%
Da leitura do Quadro 4 (Viana, 2013, p. 10), emerge de forma inequvoca, que a permanncia de uma medida prolongada no tempo traz efeitos positivos na aprendizagem dos alunos a Matemtica (50% obtm nvel 1 ou 2 com apenas um ano no PM, passando este valor para 22% ou 23%, quando o perodo de tempo de trs ou quatro anos). Verifica-se, igualmente, uma tendncia para que o aumento de anos com PM seja acompanhado de um aumento na percentagem de alunos com nvel 4 ou 5. Assim, embora estes dados se refiram apenas a uma escola do pas, podemos afirmar que a tendncia para a melhoria dos resultados dos alunos a Matemtica acompanha a tendncia igualmente verificada nos estudos internacionais.
157
SEMINRIO
A perplexidade do presente
Tendo em conta o que acabei de descrever, difcil de entender o que est a acontecer em Portugal na atualidade. Seno vejamos:
Valorizao dos resultados dos estudos internacionais
Ao contrrio do que atrs afirmei, os ltimos resultados obtidos pelos alunos portugueses no PISA praticamente no foram noticiados. Se algum comentrio houve por parte do Ministrio da Educao e Cincia (MEC), este passou despercebido. Mais recentemente, os resultados positivos dos alunos portugueses no TIMSS mereceram uma nota justificativa no site do MEC onde constava, entre os trs argumentos avanados, a referncia avaliao de Manuais Escolares. Mas acontece que esta medida no abrangeu um s aluno participante neste estudo (alunos a frequentar o 4 em 2010). Ora, a primeira vez que os alunos portugueses foram abrangidos pelos Manuais Escolares avaliados foi em 2010/2011, alunos a frequentar os 1, 3, 5 e 7 anos de escolaridade, altura em que se deu a generalizao do Programa de Matemtica para o Ensino Bsico (DGIDC, 2007). Note-se que os alunos que participaram no TIMSS 2011 podiam j estar a trabalhar com este programa, quer por terem professores que estiveram envolvidos no Programa de Formao Contnua para Professores de Matemtica, quer atravs do Plano de Matemtica II e apoio antecipao da concretizao deste programa de Matemtica. Contudo, estas medidas no foram referidas pelo MEC.
Novas mudanas curriculares
Surgem Metas Curriculares para a Matemtica e para a Lngua Portuguesa, em 2012, embora as metas de aprendizagem nestas disciplinas estivessem ainda no seu primeiro ano de aplicao. Na sua sequncia, um ano mais tarde, um novo programa de Matemtica para o ensino bsico homologado, apesar do anterior no ter sido avaliado, nem sequer completado o seu primeiro ciclo para o 3 ciclo de escolaridade.
158
Novas condies de trabalho nas escolas
Ao nvel das escolas, muitas so as alteraes que se vo introduzindo, para as quais difcil apontar razes que no de natureza economicista. , por exemplo, o caso da reduo do nmero de professores; do aumento do nmero de alunos por turma; da eliminao de condies favorveis ao trabalho colaborativo entre professores; da criao de srias perturbaes no funcionamento de escolas onde existem projetos especficos (TEIP), atravs da alterao das condies de contratao de professores.
Avaliao das aprendizagens
A nova legislao para a avaliao dos alunos introduz mudanas tambm elas preocupantes. O Despacho normativo n. 24-A/2012, de 6 de dezembro, regulamenta a avaliao de desempenho dos alunos do ensino bsico, surgindo na sequncia do Decreto-Lei 139-2012, de 5 julho, que estabelece os princpios orientadores da organizao, gesto e do desenvolvimento dos ensinos bsico e secundrio e a avaliao e certificao dos alunos. Estas novas diretrizes merecem um espao prprio de anlise que no procurarei aqui desenvolver. No entanto, ficam algumas notas de preocupao, emergentes da leitura do Despacho normativo n. 24-A/2012: - A importncia anteriormente atribuda avaliao formativa desaparece. Este termo no possvel ser encontrado. Ora a investigao diz-nos quo importante esta modalidade de avaliao para a aprendizagem dos alunos e mesmo para os resultados em provas de avaliao externa. De uma metaanlise realizada a partir de um nmero bastante significativo de investigaes, cujo objeto de estudo era a prtica de avaliao formativa, Black e Wiliam (1998) afirmam que os alunos que frequentam aulas em que a avaliao formativa no s aprendem mais, como obtm melhores resultados em avaliaes externas, exames, do que aqueles que frequentam aulas em que apenas existe avaliao sumativa. - Algumas das medidas de promoo do sucesso escolar enunciadas neste despacho normativo traduzem uma viso muito problemtica do apoio s aprendizagens. , por exemplo, o caso da "constituio temporria de
159
SEMINRIO
grupos de homogeneidade relativa em termos de desempenho escolar, em disciplinas estruturantes" (Artigo 20., c), assente na ideia de que a formao de grupos homogneos de alunos tem efeitos na aprendizagem. Tal pressuposto no , contudo, confirmado pela investigao. Se certo que os melhores alunos progridem mais depressa, tal no acontece com aqueles que apresentam maiores dificuldades de aprendizagem. A resposta encontrada para os alunos com retenes igualmente muito questionvel: "Sempre que se verifiquem retenes, devero os alunos ser acompanhados pelo servio de orientao escolar, de modo que possam ser propostas as medidas mais adequadas ao seu percurso escolar, nomeadamente percursos curriculares alternativos, programas integrados de educao e formao, cursos de educao e formao ou cursos vocacionais" (Artigo 24.). Ser que o pressuposto que est na base desta medida assenta na ideia preconizada nos finais do sc. XVIII, em 1799, num discurso proferido por Antoine Tracy, membro do conselho do ensino pblico francs (in Kahn, 2010, p. 39): Em toda a sociedade civilizada, h necessariamente duas classes de homens, uns que tiram a sua subsistncia no trabalho fsico, outros do produto de certas funes, nas quais o trabalho da mente mais significativo do que a do corpo. A primeira, a classe dos trabalhadores, a segunda a classe dos intelectuais. Por ltimo, a ideia de reduzir o tempo escolar para o ensino e a aprendizagem, de forma a se poder introduzir as provas de equivalncia frequncia, parece corresponder a uma viragem do entendimento da essncia da escola. A principal funo da escola no a educao, mas sim a preparao para o exame! Em sntese, ser que olhando para a situao atual de Portugal no somos levados a repensar a relao existente entre os elementos constitutivos do tema desta mesa redonda: os testes internacionais, o sistema de avaliao externa e a promoo das aprendizagens?
160
BETTENCOURT, A. M. (2010). Prefcio. In Conselho Nacional de Educao (Ed.), Impacto das avaliaes internacionais nos sistemas educativos (pp. 9-13). Lisboa: ME. BLACK, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education, 5(1), 7-74. DIGDC (2007). Programa de Matemtica do Ensino Bsico. Lisboa: DGIDC/ME. KAHN, S. (2010). Pdagogie diffrencie. Bruxelles: de boeck. KEITEL, C. & Kilpatrick, J. (1999). Racionalidade e irracionalidade dos estudos comparativos internacionais. Educao e Matemtica, 55, 71-80. MULLIS, I.V.S., Martin, M.O., Foy, P., & Arora, A. (2012). TIMSS 2011 International results in mathematics. Boston: International Study Center, Boston College. (disponvel em http://timssandpirls.bc.edu/timss2011/international-resultsmathematics.html) OECD (2010). PISA 2009 Results: What students know and can do. Students performance in reading mathematics and science (Vol. I). (disponvel em http://www.oecd.org/pisa/pisaproducts/pisa2009/pisa2009keyfindings.htm) VIANA, J. P. (2013). Os efeitos do Plano da Matemtica. Educao e Matemtica, 121, 10-11.
161
SEMINRIO
162
Avaliaes internacionais e legitimao social do sistema educativo
Rui Santos
sempre um prazer colaborar com este Conselho, de que fui membro durante alguns anos e onde me envolvi em algumas discusses que, sem entrar em pormenores, j aqui foram referidas e que so transversais a estes assuntos. Mas hoje estou aqui como professor universitrio, com um interesse de cidado e com participao em alguns projetos de investigao sobre questes educativas e escolares no sendo no entanto essa a minha rea de estudo prioritria. Devo desde j esclarecer a condio de relativa menoridade da minha posio relativamente a tudo que me antecedeu. Tendo aceitado o convite, pensei: com o que que eu posso contribuir? estando longe, data, de saber que seria o ltimo interveniente neste painel, o que ainda por cima me acresce a responsabilidade. O que me ocorreu como ideia diretriz, que alis toda esta jornada confirmou, que o efeito mais importante destas avaliaes de larga escala internacional e comparativa, que esteve presente, mais ou menos conscientemente em ato da primeira ltima comunicao, talvez o seu efeito de legitimao. Permitam-me que recue um pouco e vos explicite o meu olhar, como socilogo que sou: as organizaes que existem na sociedade, e particularmente as que dependem da dotao de recursos por parte dessa sociedade, necessitam de se legitimar. As empresas que funcionam num ambiente de mercado de alguma maneira legitimam-se pelas quotas de mercado que detm, pelos lucros que auferem, pelos dividendos que distribuem aos acionistas (embora mesmo aqui nem
1
Departamento de Sociologia / CESNOVA. Faculdade de Cincias Sociais e Humanas da Universidade Nova de Lisboa
163
SEMINRIO
tudo, de longe, se resuma a isso). H neste caso algumas formas muito tangveis de mensurao do sucesso ou do fracasso dessas formas organizacionais. Mas h na sociedade uma vasta gama, no menos importante, de organizaes que dependem fortemente de uma legitimidade institucional para a sua dotao de recursos, mormente tratando-se de recursos pblicos. Em ambientes de grande incerteza e complexidade, como j aqui foi referido, com resultados de mensurabilidade difcil e frequentemente questionvel, e em que as relaes de causalidade das formas e os procedimentos organizacionais como os resultados, como quer que sejam medidos, com so elas prprias complexas e difceis de determinar, a maneira de essas organizaes se legitimarem tende a ser a conformidade normativa. Por outras palavras, a aproximao, patenteada pelos seus discursos e pelas suas prticas, a normas consideradas socialmente legtimas; tais organizaes tendem a adotar e a encenar formas de racionalidade que sejam socialmente percebidas como corretas, a desenvolver rituais de procedimentos e formas discursivas conformes a essas normas, em detrimento da difcil avaliao dos resultados. Regressando ao nosso tema de hoje, no foi por acaso que a linha de investigao sociolgica que teorizou e se vem dedicando a estudar estes processos, o chamado novo institucionalismo organizacional, foi lanado por uma investigao sobre escolas pblicas norte-americanas nos anos 70 do sculo passado. Este tipo de questionamento parece-me especialmente relevante para o nosso caso nacional porque, devido histria recente, o nosso sistema educativo passou, como sabido, por uma expanso enorme num perodo relativamente curto: simultaneamente de capacidade, de volume e diversidade de recrutamento, bem como de recursos afetados pela sociedade ao sistema. Isso criou uma srie de tenses, s quais a sociedade foi solicitando respostas e que fossem criadas maneiras de aumentar a eficincia do sistema de ensino. Mas para se medir a eficincia, preciso primeiro medir a eficcia, ou seja, conseguir uma mensurao de resultados obtidos relativamente aos
164
desejados, para depois se ver a relao entre os recursos fornecidos e os resultados apresentados pelo sistema educativo e por cada uma das organizaes que o integram. Isso foi muito difcil e continua a ser muito difcil. Por outro lado, o sistema educativo tambm sofre, desde h muitos anos, de um dfice ou de uma crise, se assim o quiserem chamar de legitimidade. Em parte, isso deve-se a dificuldades internas devidas sua prpria expanso, sua prpria gesto da diversidade e dos meios para lhe fazer face. Em parte tambm, compreende-se, creio, por frustrao de expectativas. Quando nos anos 70 havia poucas pessoas com ensino secundrio ou superior na populao portuguesa, a correspondncia entre a obteno de um diploma e a obteno de uma determinada recompensa no mercado de trabalho era linear, com uma distncia relativamente curta. A expectativa de que, por isso, o aumento dos nveis educacionais iria melhorar e harmonizar as oportunidades de vida para os cidados era, por isso, muito fortemente fundamentada numa experincia anterior. Acontece que, medida que a populao se escolariza e que os diplomas se vo tornando menos raros, as recompensas obtidas por esses mesmos diplomas, traduz-se na desvalorizao das oportunidades provveis de cada diplomado de um determinado nvel, salvo evoluo igualmente forte da procura e da capacidade de incorporao de conhecimento pelas sociedades e pelas economias que, no nosso caso, foi relativamente lenta, embora importante, e muito liderada pela administrao e pelos servios pblicos, sistema de ensino includo. Isto gerou frustraes que o senso comum, combinado com a evidncia de alguns desajustamentos e dificuldades do sistema, muito facilmente transformou num discurso de agora no se aprende nada (j toda a gente ouviu este discurso nos autocarros, para no dizer mesa l de casa). Isto, no essencial, identifica um enorme problema de legitimidade. O sistema educativo como instituio, as organizaes que corporizam essa instituio, desde o topo das organizaes estatais responsveis pelas polticas educativas at base das escolas e dos grupos profissionais organizados que desempenham essas polticas, tm vindo crescentemente a
165
SEMINRIO
sentir a necessidade de se (re)legitimarem, de lutar contra esse dfice de legitimidade. Foram feitos progressos significativos nas prticas de avaliao do nosso sistema educativo e na incorporao dos resultados escolares nessa avaliao, como j aqui foi referido. Eu lembro-me de, nesta mesma sala, ter assistido no h muitos anos a uma exposio de resultados de uma avaliao externa de escolas em que havia um sentimento de grande otimismo, e de ter cometido a grande inconvenincia de perguntar: ento e os resultados?. Porque grande parte dos parmetros avaliados, o gra nde peso da avaliao, incidia, como eu dizia antes, na conformidade a normas procedimentais: tinha isto, tinha aquilo, o corpo docente era qualificado, fazia isto, fazia aquilo... mas os resultados no estavam l. No estavam l tambm porque no havia infraestrutura de disponibilizao e de anlise comparvel desses resultados. Quando hoje, como h pouco foi dito, j temos modelos de avaliao externa que incluem uma ponderao dos resultados, tendo em conta a composio socioeconmica e cultural do contexto das escolas, demos j um passo enorme no caminho de organizaes que se legitimam fundamentalmente por rituais de conformidade, a organizaes que comeam a ser obrigadas a questionar os seus prprios resultados. Mas isso internamente continua a ser complicado. No preciso de lembrar a ningum as controvrsias, que aqui foram sendo recordadas pontualmente ao longo da jornada, em torno da fiabilidade da avaliao das aprendizagens, da validade ou mesmo da seriedade dos exames. Os resultados pioram? dfice das aprendizagens ou exigncia desadequada. Os resultados melhoram? resultado de boas polticas educativas ou facilitismo. Enfim, estas flutuaes em termos de discursos pblicos e de opinio pblica s so, de alguma maneira, colmatadas se tivermos elementos externos que permitam uma aferio comparativa das aprendizagens, que seja independente de ns prprios. Chegados aqui, podemos dizer que os resultados que foram hoje apresentados e amplamente comentados tm um importante efeito legitimador. No tanto pelo seu valor absoluto ou pela sua
166
posio num escalonamento momentneo, mas pelo que representem de progresso. No a mesma coisa dizer estamos muito abaixo do que gostaramos e no progredimos nada, ou estamos ainda muito abaixo do que gostaramos como foi dito , mas progredimos X, comparativamente com os outros pases. Este por si s um efeito bastante benfico e positivo. Passando, muito rapidamente, a questes mais crticas: este tipo de formas de avaliao internacional tende (passo o palavro!) ao isomorfismo, ou seja, leva as organizaes a procurarem encontrar pontos de referncia um dos princpios da ideia de benchmarking e a adequar-se formas organizacionais, procedimentais e inclusive discursivas mais legtimas, porque conotadas com maior eficincia em termos de resultados. E aqui que se enquadram alguns elementos de crtica que j foram hoje aqui formulados. Com efeito, ouvimos hoje apelos e no estando aqui para ajuizar se com ou sem razo, partida inclinar-me-ia a dizer que com razo para que elementos das formas de evidenciar e mensurar aprendizagens que esto includos nestes instrumentos internacionais sejam, como de facto tm vindo a ser, incorporados nos objetivos de aprendizagem, nas prticas pedaggicas, e nas prticas de avaliao. Deste modo, tende-se a padronizar as nossas metas de aprendizagem, prticas de ensino e de avaliao pelos pressupostos subjacentes aos estudos internacionais, estabelecendo quais devem ser as aprendizagens e como devem ser mensuradas. Com efeitos, imaginemos, possivelmente positivos e que permitiro explicar alguma da evoluo registada. Mas agora a questo em que medida essa padronizao ela prpria positiva. Temos tido suficiente reflexo crtica sobre os pressupostos dos indicadores de aprendizagem que estes estudos revelam, a sua adequao aos propsitos do nosso sistema educativo? Pessoalmente, desconheo. Em termos de representao internacional, est aqui quem certamente saber responder melhor do que eu, e estou certo de que os nossos representantes nas organizaes que conduzem estes estudos tm feito o melhor esforo nesse sentido. Mas a incorporao desses pressupostos nas prticas
167
SEMINRIO
escolares e nas aprendizagens, tem vindo a ser feita respeitando os requisitos dessas mesmas aprendizagens e a sua relao com outras aprendizagens que a escola tambm est obrigada a facultar? Em suma, se no sei adiantar respostas, h pelo menos questionamentos a colocar. Queria acabar, porque tambm j esgotei o meu tempo, com a ideia de que eu acho que estes resultados so globalmente muito positivos se a progresso for sustentada, precisamente porque essa progresso nos dota de meios de legitimao de um sistema educativo (e preferiria falar de um sistema educativo do que de polticas educativas especficas, cuja rotatividade corre o risco de retirar coerncia ao prprio sistema) que carece muito de legitimidade social e que quero crer que assim a ir ganhando.
168
Sntese e concluses
169
SEMINRIO
170
Brtolo Paiva Campos
Nesta discusso toda a preocupao em atribuir eventuais resultados positivos a este ou quele governo, a este ou quele partido, ou em excluir resultados positivos, por causa deste ou daquele partido, no permite serenidade nenhuma nem til, mesmo uma perda de tempo, com o perigo de se cair no ridculo, o que ainda pior. A primeira questo em debate era a de saber se houve progresso. A maioria dos intervenientes considerou que houve progressos. Julgo que s houve uma voz que tentou dizer que est tudo quase na mesma, e que no h nada a celebrar. E pode ser que tenha razo. Costumo dizer que a identificao das verdadeiras razes no resulta de um voto democrtico. O progresso verifica-se s na amostra ou tambm na populao? Esta outra questo tambm interessante. Foram emitidas algumas dvidas sobre a qualidade da amostra, mas no me parece que tenham sido invocados argumentos suficientes para questionar a sua representatividade. Pode, no entanto, levantar-se uma questo que no surgiu no debate: a que se deve o facto de serem muito diferentes destes os resultados nas provas nacionais, em que participam todos alunos? A este propsito, h uma dvida que tem surgido na praa pblica, que a de saber se o que foi avaliado nas provas internacionais corresponde ao que relevante saber. O que est implcito que para haver progresso basta elaborar um teste fcil e no em funo daquilo que relevante saber. Isto , as provas nacionais mediriam o que relevante saber, nesta idade, o que os testes internacionais no fazem. Se houve progresso, a outra questo a de saber se o progresso consolidado. Julgo que aqui que est a maior dvida. Temos de esperar, temos de ver as prximas provas. A este propsito, s uma pequena nota. Houve uma referncia aos resultados do PISA, em que se registou um pequeno avano, e aos destes estudos, em que o progresso foi maior. Convm ter presente que no PISA so avaliados os alunos de uma determinada idade, 15 anos, mesmo que estejam no 7. ano de escolaridade,
1
171
SEMINRIO
em que ainda no aprenderam o que vai ser ensinado no 8. e no 9., o que pode justificar menor progresso. Porque, quando se analisam os resultados dos alunos que tm 15 anos e esto no 9. ano, os resultados j so muito melhores. Estes estudos que aqui nos renem abrangem, se no erro, todos os que esto no 4. ano, mesmo que tenham uma idade superior normal para isso. Passemos ao segundo grupo de questes, o dos fatores de progresso. Obviamente que no podemos, com os dados e os estudos que existem, indicar causas. A maioria, se no a totalidade, dos que esto aqui presentes sabe que uma correlao no uma causa, mesmo que no sejamos cientistas. Os fatores de progresso referidos constituem, de facto, hipteses, mais ou menos fecundas, que podem originar estudos mais aprofundados. No saber quais so as causas no significa que no as haja. Mas no tem sentido afirmar que os fatores apresentados pelos outros no so causas e fazer crer que aqueles que ns apresentamos o so. Tambm so meras hipteses. Por exemplo, o impacto positivo neste progresso da generalizao das provas nacionais efetuada por um ministro, tambm apenas uma hiptese, e no uma causa. Ao longo do dia foram enunciadas muitas hipteses de causas possveis. Na maioria dos casos, foram indicadas diferenas em alguns fatores entre os anos noventa e a atualidade e no apenas a partir de 2006. Obviamente que h uma grande diferena entre os anos noventa e o tempo presente nas condies socioeconmicas da maioria da populao. Normalmente estas condies so consideradas um fator importante nos resultados escolares conseguidos. O desenvolvimento socioeconmico est relacionado com os recursos existentes nas famlias e com o nvel de escolaridade dos pais, aspetos normalmente considerados como suscetveis de criar um ambiente mais favorvel aprendizagem. Verifica-se tambm uma diferena no nvel de qualificao ou no grau acadmico dos professores, que poder, ou no, ter influncia no seu desempenho. Parece igualmente haver uma diferena na sua preparao em didticas especficas de cada disciplina, cuja importncia tem vindo a ser
172
valorizada, no bastando uma didtica geral comum a todas as disciplinas e a todas as idades. H diferena, ter havido influncia? Houve um maior investimento a partir dos anos noventa na formao contnua dos professores, pode no ter tido impacto nenhum, mas h uma diferena entre o princpio dos anos noventa e agora. A partir de um certo momento, a formao contnua investiu cada vez mais na mudana das prticas na sala de aula e na sua articulao com os programas. Ter tido influncia? Foi, tambm, a partir de meados dos anos noventa que foi aumentando progressivamente a frequncia da educao pr-escolar. Entre as crianas que agora estavam no 4. ano, h mais com frequncia de maior nmero de anos desta educao do que no incio dos anos noventa. No teve efeito nenhum? possvel, mas tambm possvel que tenha tido. uma questo de fazer os estudos necessrios. Tambm foi referida a progressiva emergncia de uma cultura de avaliao, com os seus aspetos negativos, que so evidenciados, mas tambm com os seus aspetos positivos, devido sobretudo ao acento colocado na centralidade dos resultados. Lembro-me que, 20 anos atrs, a maior parte das escolas nem sabia quantos alunos reprovavam, quantos que eram repetentes, quais os resultados. Foi graas s diferentes metodologias de avaliao das escolas e divulgao dos resultados de provas nacionais que tal comeou a constituir uma preocupao e progressivamente promoveu uma focalizao nos resultados e, portanto, na aprendizagem. Isto , como dizia esta manh, at um dado momento falava-se mais da educao para todos. Hoje, at o Banco Mundial, na sua estratgia de 2010-2020, j no fala em educao para todos, fala em aprendizagem para todos. Tambm esta ideia foi entrando e talvez possa ter tido influncia. Claro que h a ausncia de resultados nos nveis mais elevados. J no plano europeu, quando nos comparamos com as metas colocadas, dizemos muitas vezes: ainda estamos distantes daquelas metas, ao contrrio do que acontece com outros pases... . Neste caso a comparao feita com pases que tm pontos de partida diferentes. Mas h outra perspetiva possvel, que
173
SEMINRIO
a de considerar o progresso em funo do nvel de partida. Julgo que razovel ter isso em conta. Neste seminrio, quando se tratou de explicar a ausncia de nveis mais elevados, houve quem admitisse que isso acontecia porque no se responsabilizavam os alunos. Penso que sim, que a aprendizagem depende muito do desempenho dos alunos. Mas eu julgo ter percebido naquele no se responsabilizam os alunos que devem desresponsabilizar-se os professores. Desde que os professores sejam muito sbios e digam aquilo que sabem, cumprem o seu papel. Transmitiu o que sabia. Se o aluno no aprendeu, no cumpriu o papel dele. um pouco simplista. A terceira questo que na abertura propus para reflexo foi a da sustentabilidade destes resultados. Saber se estes resultados so sustentveis ainda mais difcil do que identificar as causas do progresso registado. Houve quem dissesse que no vo ser, porque as polticas e os fatores a que so devidos esto a desaparecer. Isso uma hiptese. Obviamente que os resultados dos prximos exames nacionais do 4. ano vo ser objeto de comparao e, nessa altura, o que ser preciso comparar ser o tipo de provas. E se so muito diferentes, porque que so diferentes ? Julgo que ser uma questo interessante. Finalmente, uma concluso a que muitos chegaram e para que muitos foram apontando, a de que so necessrios estudos mais especficos a partir dos dados que existem. No bastar ao ministrio disponibilizar os dados, necessrio ainda fomentar os estudos e, eventualmente, constituir uma agenda da investigao. Ser importante dizer: queremos que se estude esta questo e financiamos. A fixao de uma agenda de investigao importante. De qualquer modo, embora a investigao seja importante, para agir no se pode estar espera dos seus resultados. preciso correr sempre o risco de utilizar boas hipteses, atribuindo os resultados a este ou quele fator, e investir nas polticas que colocam esses fatores em ao. Para terminar, gostaria de assinalar que no se falou muito, durante o dia, sobre a utilizao dos resultados destas provas para melhorar, para conseguir melhores resultados ainda. Referiu-se, verdade, que era preciso
174
insistir mais na Matemtica, ou na aplicao das Cincias, e que havia resultados menos bons a que era necessrio dar ateno. Mas a preocupao com a melhoria talvez no tenha sido o objetivo das intervenes. Claro que estava implcita quando foi feito o enunciado dos fatores que eram bons para o progresso, que seriam bons para no recuar e, eventualmente, para melhorar. Resta-me em nome da Comisso que coordeno e em nome do Conselho, se a Senhora Presidente me permite, agradecer aos intervenientes pela riqueza das intervenes que fizeram e pelos debates que as mesmas animaram e valorizaram. Julgo que cada um leva a sua sntese sobre o que poder contribuir para que mais alunos em Portugal aprendam mais.
175

Avaliações Internacionais e Desempenho Dos Alunos Portugueses

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Avaliações Internacionais e Desempenho Dos Alunos Portugueses

Uploaded by

Copyright:

Available Formats

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e a melhoria da qualidade e da equidade dos sistemas educativos

Um outro olhar sobre o TIMMS 2011

Os testes internacionais, o sistema de avaliao externa e a promoo das aprendizagens

111 119 135 151 163

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Ana Maria Bettencourt

Presidente do Conselho Nacional de Educao

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

A todos agradeo a disponibilidade e o contributo.

Avaliaes internacionais e desempenho dos alunos portugueses

Brtolo Paiva Campos

Conselho Nacional de Educao

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

TIMSS 2011 Science 19th

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

TIMSS 2011 Grade 4

Avaliaes internacionais e desempenho dos alunos portugueses

Percentage of G4 mathematics population reaching international benchmarks TIMSS 2011

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

How consistent are the TIMSS and PISA standards?

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Joo Pedro da Ponte

Instituto de Educao da Universidade de Lisboa

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Instituto de Educao da Universidade de Lisboa

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Avaliaes internacionais e desempenho dos alunos portugueses

Escola Superior de Educao de Lisboa

Avaliaes internacionais e desempenho dos alunos portugueses

Quadro 1- Situao em relao a pases da zona Euro

Avaliaes internacionais e desempenho dos alunos portugueses

Quadro 2- Comparao de desempenhos 1991/2001 em pases da UE

Avaliaes internacionais e desempenho dos alunos portugueses

Quadro 4- Partio em percentis no PIRLS Percentil: 5-425; 10-454; 25-499;50-546;75-586;90-623;95-642

Fico narrativa (538)

Textos informativos/ Instrucionais (544)