O recurso a provas digitais traz diversas vantagens, tais como maior eficiência na correção, redução do consumo de papel, o potencial para criar perguntas que utilizem vídeos ou animações, ou mesmo proporcionar aos alunos uma maior familiaridade com ferramentas tecnológicas de que necessitarão nas suas vidas profissionais. Por outro lado, a transição para este formato pode enfrentar vários obstáculos, como as infraestruturas digitais nas escolas e o grau de familiaridade de alunos e professores com estas ferramentas.
Já vários estudos analisaram o impacto nos resultados dos alunos da transição de provas em papel e caneta para provas digitais. Contudo, é particularmente relevante compreender quais os efeitos da mudança quando esta ocorre em larga escala, ou seja, ao mesmo tempo em várias escolas do sistema de ensino.
Neste contexto, conjuntamente com os meus colegas Luís Catela Nunes, Ana Reis e João Pereira dos Santos, investigámos o programa-piloto de adoção de provas digitais realizado em 2022 em Portugal, que abrangeu as diferentes provas de aferição do 2.º ao 8.º ano nesse ano letivo. Este texto baseia-se no artigo resultante dessa investigação. O programa-piloto não chegou a todas as escolas nem a todos os alunos: do total de cerca de 437 mil provas realizadas nesse ano, apenas cerca de 6182 foram feitas em formato digital, em aproximadamente 70 escolas.
As escolas que participaram neste programa-piloto não foram selecionadas com base numa regra clara nem através de uma experiência aleatória. Tal é relevante porque, à partida, não podemos saber se existiu algum fator que determinou a participação de certas escolas, e não de outras. Por essa razão, seguimos diferentes estratégias para garantir a comparabilidade entre escolas onde se realizaram e não se realizaram provas digitais.
Em primeiro lugar, verificamos que, em várias características observáveis, tais como a escolaridade dos pais, o acesso ao apoio social escolar ou a nacionalidade dos alunos, é semelhante a composição das escolas que participaram e das que não participaram no piloto. Em segundo lugar, estudámos escolas onde coexistiram provas em papel e digitais, o que significa que, dentro da mesma escola, alguns alunos realizaram provas em ambos os formatos. Em terceiro lugar, analisámos estudantes que realizaram uma prova em formato digital e outra em formato tradicional — por exemplo, alunos que fizeram a prova de Português do 8.º ano em papel e a prova de História do 8.º ano em ambiente digital —, o que nos permitiu comparar desempenhos controlando as características individuais dos alunos.
Em todas estas diferentes estimativas obtivemos um resultado semelhante: realizar a prova em formato digital penalizou o desempenho dos alunos, em média, em cerca de 5 pontos percentuais (numa escala de 0-100). Este efeito é ligeiramente mais acentuado entre os rapazes.
Procurámos também explorar possíveis explicações para este resultado. Em primeiro lugar, testámos se o efeito estaria relacionado com a qualidade da ligação à internet nas escolas. Recorrendo a dados sobre a capacidade das redes, concluímos que este não parece ser o principal fator por detrás dos resultados observados. Em seguida, quisemos perceber se determinados tipos de perguntas eram particularmente afetados pela introdução das provas digitais. Considerámos diferentes formatos: serem de resposta aberta, exigirem leitura ou interação com figuras, ou obrigarem o aluno a localizar informação numa parte anterior da prova. Os resultados indicam que as provas digitais tiveram um impacto negativo sobretudo no desempenho em questões de escolha múltipla ou em perguntas que envolviam interação com figuras. Os mecanismos cognitivos e não cognitivos que podem explicar este resultado merecem, por isso, investigação adicional.
Noutros contextos, chegou-se a conclusões semelhantes sobre os efeitos de curto prazo da digitalização, como em dois estudos — de Ben Backes e James Cowan, em 2019, e de John Gordanier, Orgul Ozturk e Crystal Zhan, em 2022 — que avaliaram a transição para provas digitais nos Estados do Massachusetts e da Carolina do Sul nos EUA.
Os resultados que obtivemos não implicam que as provas digitais devam ser descartadas. No entanto, sugerem que, no imediato e no curto prazo, a transição entre formatos de avaliação implica períodos de adaptação. Além disso, indicam também que a transição para o digital deve ser acompanhada por provas preparatórias ou testes-piloto (como já tem acontecido em Portugal) de forma a garantir uma familiarização progressiva com o formato digital. Assim, quando chegar o momento de realizar provas com impacto na avaliação final, essa transição estará consolidada.
Pedro Freitas
Fonte: Iniciativa Educação
Sem comentários:
Enviar um comentário