O que é o PISA?
O PISA (Programa Internacional de Avaliação de Alunos) é um teste, realizado por cerca de 690 mil alunos em 2022, que representa assim cerca de 29 milhões de jovens de 15 anos nas escolas dos 82 países/economias participantes. O PISA avalia em que medida os alunos de 15 anos, perto do final da escolaridade obrigatória, adquiriram os conhecimentos e capacidades essenciais para a plena participação nas sociedades modernas.
O teste PISA concentra-se nos domínios nucleares de Leitura, Matemática e Ciências presentes em todos os sistemas de ensino modernos. Contudo, não verifica apenas se os alunos conseguem reproduzir conhecimentos: também examina até que ponto conseguem extrapolar o que aprenderam e aplicar esse conhecimento em cenários desconhecidos, dentro e fora da escola. Segundo a Organização para a Cooperação e Desenvolvimento Económico (OCDE), esta abordagem avaliativa reflete o facto de as economias modernas recompensarem os indivíduos não pelo que sabem, mas pelo que podem fazer com o que aprenderam.
O PISA recruta os alunos de forma aleatória em várias etapas, assegurando a representação válida e fidedigna da população-alvo (alunos de 15 anos a frequentar qualquer modalidade de ensino e formação em qualquer subsistema de ensino, público ou privado). O teste computorizado (em 2022, apenas 4 países o fizeram em papel) recorre a uma composição complexa de itens dos diferentes domínios e em diferentes proporções.ISA avalia em que medida os alunos de 15 anos, perto do final da escolaridade obrigatória, adquiriram os conhecimentos e capacidades essenciais para a plena participação nas sociedades modernas.
Em cada edição há um domínio principal, que ocupa cerca de metade do teste; os domínios secundários ocupam os restantes 50%. Os países podem ainda optar por um quarto domínio inovador e pela literacia financeira, que repartem com os domínios secundários a metade disponível do teste.
Assim, o PISA apresenta maior fiabilidade dos resultados do domínio principal, que alterna em cada edição, e informação menos fiável nos domínios secundários. Em 2022 (como já tinha sido em 2012 e 2003), o domínio principal foi a Matemática; em 2018 (bem como em 2009 e 2000), a literacia de Leitura; e em 2015 (e 2006), a literacia de Ciências. O domínio inovador de 2022 é o Pensamento Criativo. Em todas as edições do teste, realizadas de três em três anos (excetua-se 2022, devido ao encerramento global das escolas), mantém-se inalterado um conjunto de questões — itens-âncora — de forma a estabelecer tendências, permitindo comparações válidas sobre a evolução do desempenho dos alunos ao longo do tempo.
Em 2022, como se referiu, o domínio principal do PISA foi a literacia matemática: em suma, a capacidade de raciocinar matematicamente e de formular, empregar e interpretar a matemática para resolver problemas num leque de cenários reais, ajudando os indivíduos a tomar decisões e fazer julgamentos fundamentados necessários aos cidadãos empenhados e reflexivos do século XXI. A Figura 1 ilustra os resultados mundiais do PISA a Matemática.
Figura 1: Pontuação a Matemática
Como tem evoluído Portugal no PISA?
Em Portugal, uma amostra de 6793 alunos — selecionados aleatoriamente em 224 escolas, por sua vez selecionadas aleatoriamente de todas as regiões administrativas de Portugal continental e regiões autónomas — realizaram a avaliação em Matemática, Leitura e/ou Ciências. Esta amostra representa cerca de 96 600 alunos de 15 anos (estimando-se que corresponda a 93% da população total de alunos desta idade).
Até 2018 inclusive, Portugal foi o único país da OCDE a demonstrar uma evolução positiva na literacia matemática. Partindo da antepenúltima posição na primeira edição do PISA, Portugal superou em 2015 a média dos seus congéneres da OCDE, mantendo esta superioridade em 2018, com 492 pontos a Matemática, mas com já declínios de 9 e 6 pontos a Ciências e Leitura, respetivamente.
Porém, a evolução positiva registada até 2015 também nas literacias de Leitura e Ciências inverteu-se nestas duas áreas, sofrendo quebras relevantes em 2018, agora confirmadas em 2022: menos 20 pontos na literacia de Matemática, menos 15 na de Leitura e menos 8 na de Ciências. Isto é relevante se consideramos que, em 2018, contrariamente a todas as edições anteriores, Portugal não alcançou o mínimo de amostragem, facto que — como anotado no relatório oficial da OCDE —inflacionou os resultados de 2018 (os alunos de baixos desempenhos foram os que faltaram mais ao teste de 2018).
Como ilustra a Figura 2, é preciso recuar cerca de 15 anos para observar desempenhos semelhantes dos alunos portugueses na história do PISA.
Figura 2: Evolução das Pontuações Médias
Em simultâneo, e em média, o PISA 2022 registou uma queda inédita no desempenho em toda a OCDE: comparativamente a 2018, quase 15 pontos na Matemática, o que equivale a cerca de três quartos de um ano de aprendizagem. Em Portugal, o desempenho médio a Matemática piorou 20 pontos, equivalente a um ano inteiro de escolaridade. Isso quer dizer que, por comparação com os colegas de 2018, os alunos de 2022 perderam conhecimentos e competências correspondentes a um ano de escolaridade. A diminuição no desempenho em Matemática é, na OCDE, três vezes maior do que qualquer mudança consecutiva anterior.
Em Portugal, registou-se, pela primeira vez na história do PISA, um retrocesso altamente significativo dos conhecimentos dos alunos portugueses nesta literacia.
É preciso recuar cerca de 15 anos para observar desempenhos semelhantes dos alunos portugueses na história do PISA.
Também em Portugal, 1 em cada 3 alunos tem dificuldades em realizar tarefas como usar algoritmos matemáticos básicos. A distância entre os melhores alunos (acima do percentil 90 nos resultados de Matemática) e os alunos mais fracos (abaixo do percentil 10) baixou significativamente, o que se explica pela redução não do número de alunos mais fracos, mas de melhores alunos: em Leitura e Ciências, a variação entre os dois tipos de alunos não foi significativa no mesmo período.
Como ilustra a Figura 3, o panorama médio da OCDE é ainda menos animador: 1 em cada 4 jovens de 15 anos é agora considerado aluno de baixo desempenho em Matemática, Leitura e Ciências. Isso significa que podem ter dificuldades em tarefas como usar algoritmos básicos ou interpretar textos simples. Em Matemática, Portugal está igual à OCDE: 1 em cada 3 alunos não atinge o nível de competências mínimas para o exercício da cidadania plena.
Figura 3: % de Alunos em cada Nível de Desempenho a Matemática
O encerramento das escolas explica a quebra de desempenho dos alunos?
O efeito do encerramento das escolas nos conhecimentos e competências dos alunos era esperado. Tem sido assim em todo o mundo, apesar de, em Portugal, oficialmente, ainda se ter tentado defender o contrário.
As estatísticas oficiais da Direção-Geral de Estatísticas da Educação e Ciência (DGEEC) revelaram que, no período da pandemia, as classificações internas das escolas subiram a todas as disciplinas nucleares, com algum paralelismo nos três domínios do PISA (Matemática, Português, Biologia e Geologia, e Física e Química), ainda que o relatório de diagnóstico de aprendizagens do Instituto de Avaliação Educativa (IAVE), apenas publicado em fins de outubro de 2023, aponte apenas uma redução considerável da literacia de Ciências entre 2021 — durante a pandemia — e 2023 — após a pandemia. Contudo, uma análise dos dados disponíveis mostrou perdas de aprendizagens consideráveis no 9.º ano a Leitura e a Matemática, especialmente nos níveis de literacia mais elementares.
Outros estudos internacionais realizados em Portugal, nomeadamente o TIMSS 2019 (antes da pandemia) e o PIRLS 2021 (no final da pandemia), já tinham registado piores resultados quando comparados com os resultados de edições anteriores (2015 e 2016, respetivamente). No TIMSS, que avalia a literacia em Matemática e Ciências em alunos do 4.º ano, a queda foi de 16 pontos. No PIRLS, que avalia a literacia de leitura em alunos do 4.º ano, a queda foi de 21 pontos. Estas quedas alinham-se com as que se observam agora no PISA 2022 em Matemática (20 pontos) e em Leitura (15 pontos).
Considerando todos os países da OCDE, o relatório oficial destaca que a queda só pode ser parcialmente atribuída à pandemia de covid-19. Tal como em Portugal, os desempenhos em Leitura e Ciências já estavam a diminuir antes da pandemia. Por exemplo, as tendências negativas no desempenho em Matemática já eram aparentes antes de 2018 na Bélgica, no Canadá, na República Checa, na Finlândia, em França, na Hungria, na Islândia, nos Países Baixos, na Nova Zelândia e na República Eslovaca. Em Portugal, observaram-se quebras relevantes pela primeira vez entre 2015 e 2018 em Leitura e Ciências, mas não em Matemática.
Como ilustra a Figura 4, a relação entre o encerramento das escolas induzido pela pandemia, frequentemente citado como a principal causa da queda do desempenho, não é tão direta. Em toda a OCDE, as escolas estiveram fechadas mais de três meses para cerca de metade dos alunos.
No entanto, os resultados do PISA não mostram uma diferença clara nas tendências de desempenho entre os países com encerramentos escolares limitados, como a Islândia, a Suécia e Taiwan, e os sistemas com encerramentos escolares mais longos, como o Brasil, a Irlanda e a Jamaica.
Esta conclusão é bem evidente para Portugal: aqui as escolas estiveram encerradas, em média, 49 dias, tal como na Estónia, Irlanda e Hungria. Contudo, enquanto em Portugal a queda a Matemática foi de 20 pontos, na Irlanda e na Hungria foi de 8 pontos, e na Estónia foi de 13 pontos: cerca de metade de Portugal. Mesmo na OCDE, a queda em literacia de Matemática foi inferior a 5 pontos à registada em Portugal (15 pontos na OCDE, por comparação a 20 em Portugal, entre 2018 e 2022).
Figura 4: Perdas Educativas - Diferença entre os scores PISA 2022 e de 2018
As diferenças nos sistemas educativos e nos fatores socioeconómicos — o acesso das famílias a recursos digitais, a capacitação digital dos docentes e dos alunos para usufruir do ensino a distância, as alterações de políticas educativas, etc. — explicarão certamente as diferenças de desempenho entre países. Em média, em todos os países da OCDE, cerca de três quartos dos alunos relataram sentir-se confiantes no uso das tecnologias de informação e comunicação, incluindo as plataformas de gestão de aprendizagem (por exemplo, o Moodle ou o Blackboard) e nos programas de comunicação por vídeo (WhatsApp, Messenger, etc.).
E a tecnologia na sala de aula?
Os alunos que passaram até uma hora por dia em dispositivos digitais para atividades de aprendizagem na escola obtiveram uma avaliação 14 pontos mais alta em Matemática do que os alunos que não passaram tempo nenhum, mesmo depois de se considerar o perfil socioeconómico dos alunos e das escolas. Além disso, observa-se esta relação positiva em mais de metade de todos os sistemas com dados disponíveis (45 países e economias).
No entanto, a tecnologia usada para lazer em vez de instrução, como os telemóveis, parece muitas vezes associar-se a resultados mais fracos. Os alunos que relataram ser distraídos por outros alunos que usam dispositivos digitais em pelo menos algumas aulas de Matemática obtiveram uma avaliação 15 pontos mais baixa do que os alunos que disseram que isso nunca ou quase nunca aconteceu. Em Portugal, 59% dos alunos reportaram distrair-se: 34% com o uso dos equipamentos digitais (smartphone, tablets, etc.) e 25% por colegas que usam o smartphone na sala de aula.
É necessário colmatar as disparidades regionais e socioeconómicas: a diferença do desempenho dos alunos dos estratos mais baixos por comparação com os dos mais elevados é de 100 pontos — o equivalente a quatro anos de escolaridade.
E agora?
Esta regressão significativa no desempenho dos alunos levanta questões importantes sobre os fatores subjacentes a esta tendência preocupante, que se observa desde 2015. É crucial examinar ao pormenor as variáveis que contribuem para a queda acentuada, a fim de desenvolver estratégias eficazes que a revertam.
O ponto de partida, certamente não o único, desta análise é explorar as condições específicas que acompanharam o encerramento das escolas em Portugal e as atividades de recuperação das aprendizagens. No entanto, é essencial compreender as evidências que nos chegam, de diversas fontes independentes, sobre o efeito das alterações recentes da política educativa.
Esta política encontra-se contaminada por um discurso traiçoeiro, que favorece a desvalorização e a eliminação da avaliação externa, diminuindo o peso dos exames na avaliação final. A isso aliou-se a substituição de metas de aprendizagem objetivas e mensuráveis por «aprendizagens essenciais» vagas e mínimas. Além disso, é necessário colmatar as disparidades regionais e socioeconómicas: a diferença do desempenho dos alunos dos estratos mais baixos por comparação com os dos mais elevados é de 100 pontos — o equivalente a quatro anos de escolaridade.
É ainda fundamental investigar as políticas educativas implementadas durante o período em questão e analisar como podem ter influenciado a aprendizagem dos alunos nos últimos oito anos. Tem ainda de se atentar na formação de professores, nos recursos educativos disponíveis e nos métodos de ensino. É imperativo alterar a organização das escolas, centradas na transição dos alunos, independentemente da aprendizagem que alcançaram.
Em suma, urge compreender os motivos e reverter os que explicam a queda significativa no desempenho de Portugal no PISA. Esta análise é essencial para aprimorar o sistema educativo e assegurar um futuro mais promissor para as gerações vindouras.
João Marôco
