Programa Internacional de Avaliação de Estudantes (Pisa)

Criado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), o Pisa testa habilidades e conhecimentos de estudantes de 15 anos em matemática, leitura e ciências. A avaliação de 2022, que teve a matemática como foco, contou com a participação de 81 países. Os dados foram divulgados pela OCDE em 5 de dezembro de 2023.

Resultados adicionais sobre letramento financeiro, pensamento criativo e prontidão dos estudantes para a aprendizagem ao longo da vida serão divulgados em 2024.

O Pisa se concentra na avaliação do desempenho dos estudantes em matemática, leitura e ciências para medir até que ponto os estudantes conseguem usar o que aprenderam dentro e fora da escola em sua plena participação na sociedade. O programa também coleta informações valiosas sobre as atitudes e motivações dos estudantes e avalia habilidades como resolução colaborativa de problemas, competência global e pensamento criativo. Para entender melhor como os estudantes estão preparados para resolver problemas complexos, pensar de modo crítico e se comunicar de forma eficaz no século XXI, domínios de avaliação como “aprendizado em um mundo digital” ou “letramento crítico de mídias” são constantemente explorados.

A pesquisa se baseia em temas que podem ser encontrados nos currículos em todo o mundo, e analisa a capacidade dos estudantes de aplicar conhecimentos e habilidades para examinar, interpretar e resolver problemas. Currículos não são prescritos nem promovidos no programa, que não é limitado pela necessidade de encontrar um denominador comum.

A 8ª rodada da avaliação do Pisa foi originalmente planejada para ocorrer em 2021. No entanto, devido à interrupção causada pela covid-19, incluindo lockdowns generalizados e fechamento de escolas, o Conselho de Administração do programa decidiu adiar a avaliação por um ano.

Conteúdo: A pesquisa Pisa 2022 teve como foco a matemática, tendo a leitura, a ciência e o pensamento criativo como áreas secundárias de avaliação. O programa também incluiu uma avaliação do letramento financeiro dos jovens, que foi opcional para países e economias, e da qual o Brasil participou.

Estudantes: Cerca de 690.000 estudantes fizeram a avaliação em 2022, representando aproximadamente 29 milhões de jovens de 15 anos nas escolas dos 81 países e economias participantes.

Testes: Na maioria dos países, foram usados testes baseados em computador, com duração total de duas horas. Já em matemática e leitura, testes adaptativos em computador em que os estudantes receberam um bloco de itens de teste com base em seu desempenho nos blocos anteriores. Os estudantes também responderam a um questionário contextual, que levou cerca de 35 minutos para ser preenchido. Os itens do teste eram uma mistura de perguntas de múltipla escolha e perguntas que exigiam que os estudantes construíssem suas próprias respostas.

Os itens foram organizados em grupos, com base em uma passagem de texto que descrevia uma situação da vida real. Foi aplicado um total de mais de 15 horas de itens de teste para leitura, matemática, ciências e pensamento criativo, com diferentes estudantes fazendo diferentes combinações desses itens.

Questionários: O questionário do estudante buscou informações sobre os próprios estudantes, suas atitudes, disposições e crenças, seus lares e suas experiências escolares e de aprendizagem. Os diretores das escolas preencheram um questionário sobre gestão escolar, organização e ambiente de aprendizagem. Os questionários para estudantes e diretores também incluíram perguntas sobre experiências de aprendizagem durante o fechamento das escolas devido à pandemia de covid-19.

Alguns países/economias também distribuíram questionários adicionais para obter mais informações. Eles incluíram: em 19 países/economias (incluindo o Brasil), um questionário pedindo aos professores que relatassem sobre si mesmos e suas práticas de ensino; e em 17 países/economias (incluindo o Brasil), um questionário pedindo aos pais que fornecessem informações sobre suas percepções e seu envolvimento na escola e na aprendizagem de seus filhos. Os países/economias também puderam optar por distribuir dois outros questionários opcionais para os estudantes: 52 países/economias distribuíram um sobre a familiaridade dos estudantes com dispositivos/recursos de TIC; e 15 países/economias distribuíram um sobre o bem-estar dos estudantes. O Brasil também aplicou esses dois questionários opcionais.

Mais informações podem ser encontradas nos relatórios do Pisa disponíveis em https://www.oecd.org/Pisa/publications/ e https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/Pisa .

Quatro países (Austrália, Canadá, Dinamarca e Suíça) realizaram estudos longitudinais que acompanharam a coorte de estudantes que fizeram as primeiras avaliações do Pisa no início dos anos 2000 até a transição para a idade adulta. Em todos esses países, os estudantes que tiveram melhor desempenho no Pisa aos 15 anos tinham maior probabilidade de atingir níveis mais altos de educação aos 25 anos. Também eram menos propensos a estar totalmente fora do mercado de trabalho, conforme medido pela porcentagem de estudantes que não estavam estudando, trabalhando ou em treinamento.

Existe uma ligação entre o status socioeconômico da casa de um estudante – incluindo as condições materiais de vida e o nível educacional dos pais – e o desempenho do estudante no Pisa. No entanto, mesmo depois de contabilizar esses fatores, os estudantes com melhor desempenho no programa aos 15 anos têm melhores condições de educação e emprego aos 25 anos. Além disso, o que os estudantes dizem sobre si mesmos nos questionários também aparece relacionado às perspectivas de vida futura dos jovens. Para mais detalhes, consulte o Pisa em Foco de novembro de 2019 e o relatório Equidade na Educação.

Além disso, a OCDE realizou análises combinando dados do Pisa (avaliações de 2000, 2003 e 2006) e da Pesquisa de Habilidades Adultas, um produto do Programa da OCDE para a Avaliação Internacional de Competências de Adultos (PIAAC) em avaliações de 2012 e 2015 para examinar o crescimento das habilidades de numeracia entre as idades de 15 e a idade adulta jovem. Tais análises sugerem que os estudantes que apresentam melhor desempenho em matemática no Pisa aos 15 anos, se comparados aos seus colegas de baixo desempenho, também mostram maiores ganhos em habilidades de numeracia após deixarem o ensino obrigatório.

Uma estrutura atualizada para a avaliação matemática foi desenvolvida para refletir as mudanças sociais em larga escala desde o Pisa 2012, a última edição em que a matemática foi o foco principal. Várias mudanças sociais, como a digitalização e as novas tecnologias, o uso de dados em decisões pessoais e a globalização redefiniram o que significa ser matematicamente competente e bem equipado para participar plenamente do século XXI. A competência matemática não é apenas sobre ser capaz de reproduzir procedimentos de rotina. É mais sobre o uso do raciocínio matemático; pensar matematicamente para resolver problemas complexos da vida real em uma variedade de contextos modernos.

O teste adaptativo foi implementado na avaliação matemática para a referida edição. Foi implementado na avaliação de leitura para o Pisa 2018. Será implementado na avaliação de ciências da avaliação de 2025. Os estudantes que tiveram um bom desempenho em partes anteriores da avaliação de matemática eram mais propensos a receber perguntas mais difíceis posteriormente na avaliação. Por outro lado, os estudantes que tiveram um desempenho mais baixo nas partes anteriores da avaliação eram mais propensos a receber perguntas mais fáceis posteriormente na avaliação.

O pensamento criativo foi testado pela primeira vez no Pisa 2022; os resultados serão publicados em meados de 2024.

Vários países/economias participaram do Pisa pela primeira vez em 2022: Camboja, El Salvador, Guatemala, Jamaica, Mongólia, Autoridade Palestina, Paraguai e Uzbequistão. Camboja, Guatemala e Paraguai já haviam participado da iniciativa Pisa para o Desenvolvimento.

O Pisa avalia estudantes com idades entre 15 anos e 3 meses e 16 anos e 2 meses, e que estejam matriculados em uma instituição de ensino no 7º ano do ensino fundamental ou acima. As listas das quais escolas e estudantes são selecionados para a avaliação do Pisa abrangem todos os estudantes que atendem a esses critérios, independentemente do tipo de instituição de ensino em que estão matriculados e se estão matriculados em período integral ou parcial.

No entanto, algumas das escolas e estudantes listados podem ser excluídos das amostras do programa. Os padrões do Pisa especificam que tais exclusões não devem representar mais de 5% da população-alvo. Dentro desse limite, os estudantes podem ser excluídos por várias razões, incluindo distância e inacessibilidade de sua escola, deficiência intelectual ou física, falta de proficiência no idioma do teste (por exemplo, se o estudante tiver recebido instrução no idioma do teste por menos de um ano) ou falta de material de teste no idioma de instrução. Para os países em que o nível geral de exclusões excede significativamente o limite, solicitam-se informações adicionais para justificar que tais exclusões não resultem em nenhum enviesamento nas comparações ao longo do tempo e com outros países.

Exceto em países/economias muito pequenos, nem todos os estudantes restantes fazem a avaliação do Pisa; nesses casos, uma amostra de escolas e de estudantes dentro das escolas é sorteada, e os estudantes selecionados recebem pesos amostrais para representar toda a coorte elegível para o programa.

A amostra do Pisa representa todos os estudantes com idade entre 15 anos e 3 meses e 16 anos e 2 meses. O programa relata a proporção da população total de 15 anos representada pela amostra em cada país (conhecido como Índice de Cobertura). Essa proporção varia de quase 100% em países com exclusões limitadas e matrícula universal em instituições educacionais para jovens de 15 a 16 anos, a menos de 50% em alguns países de baixa e média renda. Na maioria dos países e economias participantes, mais de 80% dos jovens de 15 anos participam.

A participação da coorte de 15 anos aumentou em muitos países. Entre 2012 e 2022, a Indonésia adicionou mais de 1,1 milhão de estudantes à população total de jovens de 15 anos que podiam fazer o teste (a população total de jovens de 15 anos aumentou apenas cerca de 300.000 no mesmo período). Camboja, Colômbia, Costa Rica, Marrocos, Paraguai e Romênia também aumentaram o número de jovens de 15 anos elegíveis para fazer a avaliação, apesar da estabilidade ou, em alguns casos, do encolhimento da população de jovens de 15 anos.

Mais informações sobre a participação e o número de jovens de 15 anos que participaram do Pisa podem ser encontradas no relatório internacional de resultados produzido pela OCDE e nos relatórios do Brasil produzidos pelo Inep.

A idade de 15 anos foi escolhida porque é quando os jovens, na maioria dos países da OCDE, estão chegando ao fim da escolaridade obrigatória. A seleção de escolas e estudantes é o mais inclusiva possível, de modo que a amostra de estudantes vem de uma ampla gama de origens e habilidades.

O Pisa se beneficia de sua abrangência mundial e de sua regularidade. Mais de 100 países e economias participaram do programa até agora e as pesquisas, que geralmente são realizadas a cada três anos, permitem que os países e economias participantes acompanhem seu progresso no cumprimento das principais metas de aprendizagem. O Pisa é a única pesquisa internacional de educação que mede o conhecimento e as habilidades de jovens de 15 anos.

O Pisa também é único na maneira como observa:

• Questões de políticas públicas – Governos, diretores, professores e pais querem respostas para perguntas como “nossas escolas estão preparando adequadamente os jovens para os desafios da vida adulta?”, “alguns tipos de ensino e escolas são mais eficazes do que outros?” e “as escolas podem contribuir para melhorar o futuro dos estudantes imigrantes ou desfavorecidos?”.
• Letramento – Em vez de examinar o domínio de currículos escolares específicos, o Pisa analisa a capacidade dos estudantes de aplicar conhecimentos e habilidades em áreas-chave e analisar, raciocinar e comunicar de forma eficaz à medida que examinam, interpretam e resolvem problemas.
• Aprendizagem ao longo da vida – Os estudantes não conseguem aprender tudo o que precisam saber na escola. Para serem aprendizes eficazes ao longo da vida, os jovens precisam não apenas de conhecimento e habilidades, mas também de uma consciência dos motivos pelos quais aprendem e de como aprendem. Além de medir o desempenho dos estudantes em leitura, matemática e letramento científico, o Pisa pergunta aos estudantes sobre suas motivações, crenças sobre si mesmos e estratégias de aprendizagem.

Por meio de seu site e de publicações, a OCDE disponibiliza ao público e a especialistas todas as principais informações sobre os métodos e processos associados ao Pisa. Os seguintes documentos estão disponíveis na página Publicações e na página Dados: as estruturas de avaliação que explicam o que deve ser avaliado, por que e como; exemplos dos itens do questionário; os dados da avaliação; as ferramentas de implementação da pesquisa para administração e garantia da qualidade linguística; e um relatório técnico abrangente para cada ciclo, que inclui informações técnicas detalhadas sobre todos os aspectos do projeto, desenvolvimento, implementação e análise.

Para cada ciclo de avaliação, uma seleção de itens (questões) de teste do Pisa também é disponibilizada ao público em geral. Para permitir que os países acompanhem seu desempenho ao longo do tempo, muitos itens são usados em mais de uma edição do programa. Esses itens não podem ser tornados públicos enquanto estiverem em uso.

Para consultar a versão em português dos itens públicos, acesse: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/Pisa/testes-e-questionarios

Além dos funcionários e contratados da OCDE, centenas de especialistas, acadêmicos e pesquisadores dos países e economias participantes do Pisa estão envolvidos no desenvolvimento, análise e relatórios.

O Pisa é desenvolvido e implementado sob a responsabilidade dos ministérios da educação por meio do órgão decisório do programa: o Conselho Diretor. O Conselho conta com representantes de todos os países-membros além de países parceiros com status de Associado, que são atualmente Brasil e Tailândia. Os países nomeiam representantes para o Conselho que tenham conhecimento sobre avaliações de estudantes em larga escala e sua interface com políticas e práticas educacionais. Os representantes incluem uma mistura de funcionários do governo e funcionários de instituições de pesquisa e acadêmicas.

O Conselho determina as prioridades políticas para o programa e supervisiona a adesão a essas prioridades durante a implementação. Isso inclui definir prioridades e padrões para o desenvolvimento, análise e relatórios de dados e para determinar o escopo do trabalho que formará a base para a implementação do Pisa.

Para garantir a robustez técnica, um Grupo Técnico Consultivo (TAG) é nomeado pelo Conselho Diretor e diretamente gerenciado pela OCDE, composto por especialistas independentes e de renome mundial nas áreas que sustentam a metodologia usada, como amostragem, projeto de pesquisa, dimensionamento e análise. O TAG é regularmente chamado para discutir e fornecer recomendações sobre o projeto e as metodologias, bem como para julgar os dados de países e economias individuais a fim de garantir que o que for publicado no Pisa seja robusto e internacionalmente comparável.

Conselho Diretor: O Conselho Diretor do Pisa (PGB) é composto por representantes dos membros da OCDE e dos Associados ao programa*. Países e economias que participam do Pisa mas não têm status de associado são bem-vindos para participar das reuniões do PGB como observadores. Os representantes são nomeados pelos seus ministérios da educação e o presidente do PGB é escolhido pelo próprio Conselho. Orientado pelos objetivos educacionais da OCDE ele também determina as prioridades políticas para o Pisa e garante que elas sejam respeitadas durante a implementação de cada ciclo.

*Associados são países ou economias que não são membros da OCDE, mas têm direitos e obrigações de adesão em relação a órgãos e programas específicos da OCDE.

Secretariado da OCDE: O Secretariado da OCDE é responsável pela gestão diária do Pisa. Isso significa que a equipe monitora a implementação de pesquisa, gerencia questões administrativas para o Conselho Diretor do Pisa, cria consenso entre os países e atua como intermediária entre o Conselho Diretor do Pisa e o Consórcio Pisa.

Gerentes de Projetos Nacionais: Trabalhando em conjunto com o Secretariado da OCDE, com o Conselho Diretor do Pisa e os contratados internacionais, os Gerentes de Projetos Nacionais do Pisa supervisionam a implementação do programa em cada país/economia participante. Os Gerentes Nacionais de Projetos do Pisa são nomeados por seus governos.

Contratados internacionais (o Consórcio Pisa): Para cada pesquisa do Pisa, os contratados internacionais (geralmente compostos por agências de teste e avaliação) são responsáveis pelo projeto e implementação das pesquisas. Os contratados são escolhidos pelo Conselho Diretor, por meio de um edital internacional. Os contratados são normalmente chamados de Consórcio Pisa.

Autoridades educacionais: O Pisa não seria possível sem o apoio e a orientação dos ministérios da educação nos países e economias participantes.

Grupo Consultivo Técnico: O Grupo Consultivo Técnico é chamado regularmente para discutir e fornecer recomendações sobre os projetos e metodologias, além de julgar os dados de países/economias individuais para garantir que o que for publicado seja robusto e internacionalmente comparável. O grupo é nomeado pelo Conselho Diretor do Pisa e administrado diretamente pela OCDE, composto por especialistas independentes e de renome mundial nas áreas que sustentam a metodologia do Pisa, como amostragem, desenho de pesquisa, dimensionamento e análise.

Grupos de Especialistas no Assunto: O Pisa possui Grupos de Especialistas de suas três principais áreas de teste – matemática, leitura e ciências – bem como para outros tópicos quando apropriado (por exemplo, competência global no Pisa 2018, pensamento criativo na edição de 2022 e aprendizagem no mundo digital no Pisa 2025). Esses grupos são formados por especialistas mundiais em cada área. Eles desenvolvem o quadro teórico para cada pesquisa do programa.

Grupo de Especialistas de Questionários: O Grupo de Especialistas de Questionários fornece liderança e orientação na criação dos questionários de contexto do Pisa. Os membros do Grupo de Especialistas do Questionário são selecionados pelo Conselho Diretor.

O Pisa é financiado exclusivamente por contribuições diretas dos países participantes e das autoridades governamentais das economias, normalmente ministérios da educação.

Embora o Pisa seja uma pesquisa internacional trienal, é mais fácil considerar os custos a cada ano para os países participantes. Os custos incluem valores internacionais (os países participantes contribuem para o custo dos Contratados Internacionais e da equipe da OCDE e despesas relacionadas) e valores nacionais associados à implementação da pesquisa no respectivo país (estabelecimento de um centro nacional, custo de amostragem, tradução, entre outros).

Participação

• A participação no Pisa está aberta a todos os membros da OCDE.
• Os convites – e a participação – de países/economias parceiros com status de Associado no Conselho Diretor do Pisa (PGB) são aprovados pelo Conselho seguindo uma recomendação do PGB.
• Outros países/economias parceiros podem participar da pesquisa e ser convidados como participantes do PGB.

Custos de participação

a)      Custos internacionais

Membros e Associados: O custo da participação é determinado pelo Secretariado. O custo é composto por uma contribuição mínima, determinada pelo Conselho Diretor do Pisa (PGB); o restante dos custos é atribuído aos Membros e Associados com base nos princípios e regras da OCDE para determinar as escalas de contribuições dos membros, usando como referência estatísticas, dados de renda nacional e taxas de câmbio usadas no cálculo das escalas do ano anterior. Como resultado, o custo de participação varia entre os países.

Parceiros: Os custos internacionais do Pisa para países/economias parceiras são determinados pelo Secretariado contratados internacionais. O custo é de 171.000 euros distribuídos por um período de três anos (custos de participação no Pisa 2025).   

b) Custos nacionais

Os custos nacionais para a implementação variam de acordo com o país, fatores como o tamanho da amostra, número de idiomas a serem testados na avaliação, estatísticas de renda nacional e padrões de vida. Por exemplo, um país pequeno pode gastar aproximadamente 100.000 euros por ano, enquanto um país médio pode gastar 350.000 euros por ano; um país grande pode gastar até duas ou três vezes o último montante.

O Pisa usa testes de múltipla escolha como o principal recurso de suas avaliações porque é confiável, eficiente e suporta análises robustas e científicas. As perguntas de múltipla escolha no Pisa têm uma variedade de formatos, incluindo destacar uma palavra dentro de um texto, conectar informações e fazer várias seleções a partir de menus suspensos. Além disso, normalmente até um terço das perguntas em uma avaliação do Pisa são abertas.

Alguns itens de teste do Pisa são liberados após cada avaliação, enquanto a maioria dos itens de teste é mantida em sigilo para medir as tendências ao longo do tempo. Os itens lançados estão disponíveis publicamente no site do programa.

Os estudantes também respondem a um questionário de contexto, fornecendo informações sobre si mesmos, suas atitudes em relação à aprendizagem e seus lares. Além disso, os diretores das escolas recebem um questionário sobre suas escolas. Os países e as economias também podem optar por distribuir vários questionários opcionais do Pisa: o questionário de familiaridade com a tecnologia, o questionário de bem-estar, o questionário dos pais e o questionário do professor. Além disso, muitos países e economias optam por coletar mais informações por meio de questionários nacionais. As informações coletadas ajudam países e economias a explorar conexões entre o desempenho dos estudantes no Pisa e fatores como origem imigrante, gênero e status socioeconômico dos estudantes, bem como suas atitudes em relação à escola e à aprendizagem.

Os países e economias participantes do Pisa são convidados a enviar material que é adicionado aos itens desenvolvidos pelos especialistas e contratados da OCDE. Os itens são revisados pelos contratados internacionais e pelos países e economias participantes, e cuidadosamente verificados quanto ao viés cultural. Apenas os itens que passam nessas verificações são usados no programa. Além disso, antes que o teste principal seja realizado, há um pré-teste em todos os países e economias participantes. Se algum item do teste for muito fácil ou muito difícil em certos países e economias, por razões não relacionadas ao nível geral de proficiência dos estudantes (conforme demonstrado nas perguntas restantes), eles são retirados do teste principal em todos os países e economias.

O teste Pisa é projetado para fornecer uma avaliação de desempenho do sistema (ou país) e não para produzir pontuações para estudantes individuais. Portanto, não é necessário que cada estudante receba exatamente o mesmo conjunto de itens de teste. Assim, o Pisa adota um projeto eficiente no qual o conjunto completo de material de teste, cobrindo todos os aspectos da matriz, é distribuído por um grande número de cadernos de teste. Esse procedimento permite que a OCDE obtenha uma cobertura muito maior do conteúdo do que se todos os estudantes fizessem a mesma versão do teste.

Em ciências e pensamento criativo, a atribuição dos estudantes aos cadernos de teste foi totalmente aleatória. Em matemática e leitura, que foram avaliadas por meio de testes adaptativos, a atribuição inicial foi aleatória, mas o caderno preciso só foi determinado durante a avaliação levando em consideração o desempenho dos estudantes nas etapas iniciais da avaliação. Como resultado desse desenho adaptativo em vários estágios, os estudantes de alto desempenho são mais propensos a serem direcionados para perguntas mais difíceis (e os estudantes de baixo desempenho, para perguntas mais fáceis). Isso proporcionou maior precisão na medição das pontuações dos testes e na relação entre as pontuações dos testes e outros fatores, como o status socioeconômico.

No Pisa 2022, a maioria dos estudantes respondeu a uma sequência de uma hora de itens de matemática combinadas com uma hora de itens de leitura, ciência ou pensamento criativo. Uma pequena proporção de estudantes fez uma combinação de itens de leitura, ciência ou pensamento criativo.

Os computadores e a tecnologia fazem parte do nosso dia a dia e é apropriado e inevitável que o Pisa tenha progredido para um modo de aplicação baseado em computador. Nas últimas décadas, as tecnologias digitais transformaram de forma crucial a maneira como lemos e gerenciamos informações. As tecnologias digitais também estão transformando o ensino e a aprendizagem, além da forma como as escolas avaliam os estudantes. Para refletir como os estudantes e a sociedade acessam, usam e comunicam informações hoje em dia, desde a avaliação de 2015 o teste Pisa é feito principalmente no computador. As tarefas existentes foram adaptadas para a tela; novas tarefas (inicialmente apenas em ciências, depois, para o Pisa 2018 também em leitura e para 2022 em matemática) foram desenvolvidas para aproveitar as possibilidades de testes baseados em computador e que refletiam as novas situações em que os estudantes aplicam na vida real seus conhecimentos e habilidades de matemática, leitura e ciências.  

O Pisa aplica padrões técnicos rigorosos, inclusive para a amostragem de escolas e estudantes dentro das escolas. Os procedimentos de amostragem são garantidos pela qualidade e as amostras obtidas e as taxas de resposta correspondentes estão sujeitas a um processo de adjudicação que verifica se estão em conformidade com os padrões estabelecidos. Se a taxa de resposta de qualquer país ficar abaixo do limite especificado, ela será reportada. Mais informações sobre as taxas de resposta no Pisa podem ser encontradas no site do Pisa da OCDE, e informações específicas sobre as taxas de participação de países individuais podem ser encontradas nos Relatórios Internacionais produzidos pela OCDE. Para saber mais sobre os ajustes de ponderação para mitigar o impacto da não resposta escolar e da não resposta dos estudantes em sua sub-representação nos dados, consulte o Relatório Técnico do Pisa 2018.

As circunstâncias excepcionais ao longo do Pisa 2022, incluindo lockdowns e fechamento de escolas em muitos lugares, levaram a dificuldades ocasionais na coleta de alguns dados. Embora a grande maioria dos países e economias atendesse aos padrões técnicos da pesquisa na amostragem, um pequeno número não atendeu. Em rodadas anteriores, países e economias que não atendiam aos padrões, e cujos desvios eram julgados pelo Grupo de Adjudicação como tendo consequências para fins de comparabilidade podiam ser excluídos do relatório completo. No entanto, dada a situação sem precedentes causada pela pandemia, os resultados do Pisa 2022 incluem dados de todos os sistemas educacionais participantes, incluindo aqueles em que houve problemas, como baixas taxas de resposta.

É importante notar que as limitações e implicações foram avaliadas pelo Grupo de Adjudicação do Pisa em junho de 2023. Pode haver necessidade de ajustes subsequentes à medida que surjam novas evidências sobre a qualidade e comparabilidade dos dados. O Pisa retornará à forma padrão de apresentação de relatórios na avaliação de 2025.

A seguir listamos os casos em que a OCDE, com base nas recomendações do Grupo de Adjudicação do Pisa (que abrange o Grupo Técnico Consultivo da pesquisa e um árbitro de amostragem), removeu ou comentou dados nacionais no relatório devido a anomalias técnicas ou porque os dados não atenderam às normas técnicas da OCDE. Tais casos de avaliações anteriores à rodada de 2018 estão listados abaixo.

Para o Pisa 2022, consulte o Guia do Leitor do Pisa 2022 (Relatório de Resultados da OCDE -Volume I).   

• Albânia: No Pisa 2012, a Albânia apresentou dados sobre a profissão dos pais que estavam incompletos e pareciam imprecisos, uma vez que houve uso excessivo de uma estreita gama de ofícios. Não foi possível resolver esses problemas durante a limpeza de dados e, como resultado, nem os dados de profissão dos pais nem quaisquer índices que dependessem desses dados foram incluídos no conjunto de dados internacional. Os resultados da Albânia foram omitidos de quaisquer análises que dependessem desses índices. No Pisa 2015, a avaliação foi realizada de acordo com as normas e diretrizes operacionais da OCDE. No entanto, devido à maneira com que os dados foram coletados, não foi possível combinar os dados do teste com os dados do questionário do estudante. Como resultado, a Albânia não pôde ser incluída em análises que relacionassem as respostas dos estudantes nos questionários aos resultados dos testes.
  • Argentina: No Pisa 2015, a avaliação foi realizada de acordo com as normas e diretrizes operacionais da OCDE. No entanto, houve um declínio significativo na proporção de jovens de 15 anos que participaram do teste, tanto em números absolutos quanto relativos. Houve uma reestruturação das escolas secundárias da Argentina, exceto aquelas na região adjudicada da Ciudad Autónoma de Buenos Aires, o que provavelmente afetou a participação das escolas elegíveis listadas no quadro de amostragem. Com isso, os resultados da Argentina podem não ser comparáveis aos de outros países ou aos resultados da própria Argentina em anos anteriores.
  • Cazaquistão: No Pisa 2015, os codificadores nacionais foram considerados indulgentes na marcação. Consequentemente, os itens codificados por humanos não atenderam aos padrões do Pisa e foram excluídos dos dados internacionais. Como os itens codificados por humanos formam uma parte importante dos construtos que são testados pelo Pisa, a exclusão desses itens resultou em uma cobertura significativamente menor do teste Pisa. Com isso, os resultados do Cazaquistão podem não ser comparáveis aos de outros países ou aos resultados do próprio Cazaquistão em anos anteriores.
  • Malásia: No Pisa 2015, a avaliação foi realizada de acordo com as normas e diretrizes operacionais da OCDE. No entanto, a taxa de resposta ponderada entre as escolas malaias inicialmente amostradas (51%) ficou muito aquém da taxa de resposta padrão do Pisa de 85%. Portanto, os resultados podem não ser comparáveis aos de outros países ou aos resultados da própria Malásia de anos anteriores. 
  • Áustria: Conforme observado no Relatório Técnico do Pisa 2000 (OCDE, 2003), a amostra austríaca para a avaliação do Pisa 2000 não cobriu adequadamente os estudantes matriculados em programas vocacionais combinados baseados na escola e no trabalho, conforme exigido pelas normas técnicas do Pisa. As estimativas do Pisa 2000 publicadas sobre a Áustria foram, portanto, tendenciosas (OECD, 2001). Essa não conformidade foi corrigida na avaliação do Pisa 2003. Para permitir comparações confiáveis, foram desenvolvidos ajustes e pesos de estudantes modificados que tornam as estimativas do Pisa 2000 comparáveis às obtidas no Pisa 2003 (Documento de Trabalho da OCDE nº 5 “Pisa 2000: Problemas de Peso da Amostra na Áustria”).
    
    Para a avaliação do Pisa 2009, uma disputa entre os sindicatos de professores e o ministro da educação na Áustria levou ao anúncio de um boicote ao Pisa, que foi retirado após a primeira semana de testes. O boicote exigiu que a OCDE removesse casos identificáveis do conjunto de dados. Embora o conjunto de dados austríaco tenha atendido aos padrões técnicos do Pisa 2009 após a remoção de tais casos, a atmosfera negativa em relação às avaliações educacionais afetou as condições em que a avaliação foi realizada e pode ter afetado adversamente a motivação dos estudantes para responder às tarefas do Pisa. A comparabilidade dos dados de 2009 com dados de avaliações anteriores do Pisa não pôde, portanto, ser assegurada, e os dados da Áustria foram excluídos das comparações de tendências.
  • Luxemburgo: Em Luxemburgo, foram implementadas mudanças nas condições de avaliação entre o Pisa 2000 e o Pisa 2003 no que diz respeito aos aspectos organizacionais e linguísticos a fim de melhorar a conformidade com os padrões da OCDE e refletir melhor as características nacionais do sistema escolar. No Pisa 2000, os estudantes em Luxemburgo receberam um livreto de avaliação, com os idiomas de teste escolhidos por cada estudante uma semana antes da avaliação. Na prática, no entanto, a familiaridade com a língua da avaliação tornou-se uma barreira significativa para uma grande parte dos estudantes em Luxemburgo no Pisa 2000. No Pisa 2003 e no Pisa 2006, portanto, os estudantes receberam dois livretos de avaliação – um em cada idioma de instrução – e puderam escolher seu idioma preferido imediatamente antes da avaliação. Isso proporcionou condições de avaliação mais comparáveis às de países que possuem apenas um idioma de ensino e resultou em uma avaliação mais justa do desempenho dos estudantes em matemática, ciências, leitura e resolução de problemas. Como resultado dessa mudança nos procedimentos, as condições de avaliação e, portanto, os resultados da avaliação para Luxemburgo não puderam ser comparados entre o Pisa 2000 e o Pisa 2003. As condições de avaliação entre o Pisa 2003 e o Pisa 2006 não mudaram e, assim, os resultados puderam ser comparados.
  • Países Baixos: Conforme observado no Relatório Técnico do Pisa 2000 (OCDE, 2003), a taxa de resposta das escolas dos Países Baixos para o Pisa 2000 foi insuficiente para justificar a inclusão no banco de dados do Pisa 2000. Portanto, os Países Baixos foram excluídos da análise de tendências relacionada ao Pisa 2000.

No Pisa 2018, os Países Baixos perderam o padrão de exclusões gerais por uma pequena margem. Ao mesmo tempo, nos Países Baixos, as cartilhas UH, destinadas a estudantes com necessidades especiais de educação, foram atribuídas a cerca de 17% dos estudantes não excluídos. Como as cartilhas UH não abrangem o domínio de letramento financeiro, a taxa de exclusão efetiva para a amostra adicional de letramento financeiro é superior a 20%.O fato de os estudantes que recebem apoio para a aprendizagem na escola terem sido sistematicamente excluídos da amostra de letramento financeiro resulta em um forte viés ascendente para a média do país e outras estatísticas populacionais. Portanto, os resultados dos Países Baixos em letramento financeiro podem não ser comparáveis aos de outros países ou aos resultados dos próprios Países Baixos em anos anteriores. Os Países Baixos também perderam a taxa de resposta escolar (antes da substituição) por uma grande margem e só conseguiu chegar perto de uma taxa de resposta aceitável usando escolas substitutas. Com base nas evidências fornecidas em uma análise de viés de não resposta, os resultados dos Países Baixos em leitura, matemática e ciências foram aceitos como amplamente comparáveis, mas, em consideração à baixa taxa de resposta entre as escolas originalmente amostradas, são reportados com comentário.

• Portugal: No Pisa 2018 Portugal não cumpriu o padrão de taxa de resposta do estudante. Em Portugal, as taxas de resposta caíram entre 2015 e 2018. Uma análise de viés de não resposta de estudante foi enviada, investigando o viés entre os estudantes da 9ª série e acima. Os estudantes da 7ª e 8ª séries representaram cerca de 11% do total da amostra, mas 20% dos não respondentes. Uma comparação dos casos de resposta e não resposta vinculados usando pesos de amostragem revelou que os não respondentes tenderam a pontuar cerca de um terço de um desvio padrão abaixo dos respondentes no exame nacional de matemática (implicando um viés ascendente “bruto” de cerca de 10% de um desvio padrão nas estatísticas populacionais baseadas apenas nos respondentes). Ao mesmo tempo, uma parte significativa das diferenças de desempenho pode ser explicada por variáveis consideradas nos ajustes de não resposta (incluindo o nível de escolaridade). No entanto, permaneceu um viés ascendente residual nas estatísticas populacionais, mesmo usando pesos ajustados sem resposta. A análise de viés de não resposta implica, portanto, um pequeno viés ascendente para os resultados de desempenho do Pisa 2018 em Portugal. O Grupo de Adjudicação também considerou que as comparações de tendências e comparações de desempenho com outros países podem não ser particularmente afetadas, já que um viés ascendente desse tamanho não pode ser excluído mesmo em países que atenderam ao padrão de taxa de resposta ou para ciclos anteriores do Pisa. Portanto, os resultados de Portugal são reportados com comentários.

• Espanha: Embora todos os dados sejam divulgados, os resultados de desempenho da Espanha no Pisa 2018 em todos os volumes foram comentados, chamando a atenção para uma possível tendência de queda nos resultados de desempenho. O seguinte comentário sobre os resultados de desempenho da Espanha em 2018 foi adicionado às tabelas online do Pisa 2018: Em 2018, algumas regiões da Espanha aplicaram seus testes de alto risco para estudantes da décima série mais cedo naquele ano do que havia feito no passado, e com isso o período desses testes coincidiu com o final da janela de testes do Pisa. Devido a esse conflito, vários estudantes estavam negativamente dispostos ao teste Pisa e não deram o seu melhor para demonstrar proficiência. Embora os dados de apenas uma minoria de estudantes mostrem sinais claros de falta de envolvimento, a comparabilidade dos dados do Pisa 2018 da Espanha com os de avaliações anteriores do Pisa não pode ser totalmente garantida.
• Reino Unido: No Pisa 2000, a taxa de resposta inicial do Reino Unido caiu 3,7% abaixo do requisito mínimo. Naquela época, o Reino Unido forneceu evidências ao Consórcio Pisa que permitiram uma avaliação do desempenho esperado das escolas não participantes. Com base nessas informações, o Consórcio Pisa concluiu que o viés de resposta era provavelmente insignificante e, portanto, os resultados foram incluídos no relatório internacional. No Pisa 2003, a taxa de resposta do Reino Unido foi tal que os padrões de amostragem exigidos não foram cumpridos e uma investigação mais aprofundada pelo Consórcio Pisa não confirmou se o viés de resposta resultante era insignificante. Portanto, esses dados não foram considerados internacionalmente comparáveis e não foram incluídos na maioria dos tipos de comparações. Para o Pisa 2006, foram aplicados padrões mais rigorosos e, portanto, os dados do Pisa 2000 e do Pisa 2003 do Reino Unido não foram incluídos nas comparações.
• Estados Unidos: No Pisa 2006, um erro na impressão dos cadernos de teste nos Estados Unidos, em que a paginação foi alterada e as instruções para alguns itens de leitura direcionaram os estudantes para a página errada, pode ter afetado o desempenho dos estudantes. O impacto potencial do erro de impressão no desempenho do estudante foi estimado examinando o desempenho relativo dos estudantes dos Estados Unidos no conjunto de itens comuns entre o Pisa 2006 e o Pisa 2003, após controlar o desempenho nos itens que provavelmente não seriam afetados pelo erro de impressão.
  
   O efeito previsto do erro de impressão e o direcionamento errado no desempenho médio dos estudantes no teste de leitura foi de até 6 pontos e, portanto, excedeu um erro padrão de amostragem. Os dados de desempenho de leitura dos Estados Unidos foram, assim, excluídos da publicação e do banco de dados do Pisa.
  
   O efeito previsto do erro de impressão no desempenho médio dos estudantes nos testes de matemática e ciências foi de um ponto. Os dados de desempenho de matemática e ciências dos Estados Unidos, portanto, foram retidos.
• Vietnã: No Pisa 2018, embora nenhuma grande violação de padrão tenha sido identificada, houve várias violações menores e o grupo de adjudicação identificou problemas técnicos que afetam a comparabilidade de seus dados - dimensão essencial da qualidade dos dados no Pisa. Os dados cognitivos do Vietnã mostram um ajuste fraco ao modelo de teoria de resposta ao item, com desajuste mais significativo do que qualquer outro país/grupo de idiomas. De modo particular, as perguntas de resposta selecionada, como grupo, pareciam ser significativamente mais fáceis para os estudantes no Vietnã do que o esperado, dada a relação usual entre perguntas abertas e de resposta selecionada refletidas nos parâmetros do modelo internacional. Além disso, em vários itens de resposta selecionada, os padrões de resposta não são consistentes entre os testes de campo e as principais aplicações de pesquisa, descartando possíveis explicações de desajuste em termos de familiaridade, currículo ou diferenças culturais. Por esse motivo, a OCDE atualmente não pode garantir a comparabilidade internacional total dos resultados.

Os dois primeiros volumes dos resultados do Pisa 2022 estão disponíveis on-line (Volumes I e II). O Volume III trata de letramento financeiro, o Volume IV sobre pensamento criativo e o Volume V sobre a prontidão dos estudantes para a aprendizagem ao longo da vida – todos estarão disponíveis em 2024. Os resultados dos ciclos anteriores estão disponíveis na página Principais Conclusões. Todos os dados das pesquisas do Pisa podem ser encontrados na Página de Dados.

As pontuações do Pisa podem ser localizadas ao longo de escalas específicas desenvolvidas para cada disciplina, projetadas para mostrar as competências gerais testadas pelo programa. Essas escalas são divididas em níveis que representam grupos de perguntas do teste do Pisa, começando no nível 1, com perguntas que exigem apenas as habilidades mais básicas para serem respondidas, e aumentando em dificuldade a cada nível. (Mais especificamente, a escala de matemática começa no nível 1c, seguida pelos Níveis 1b e 1a; o nível mais baixo da escala de ciências é o nível 1b e é seguido pelo nível 1a; e o nível mais baixo da escala de leitura é o nível 1c, seguido pelos Níveis 1b e 1a.)

Uma vez que as respostas de um estudante tenham sido pontuadas, sua pontuação geral em matemática, leitura e ciências pode ser localizada na escala apropriada. Por exemplo, um estudante que não possui as habilidades necessárias para responder corretamente as perguntas mais fáceis em um teste Pisa seria classificado como abaixo do nível 1b ou 1c, de acordo com o domínio, enquanto um estudante cujas respostas mostram domínio dessas habilidades seria classificado em um nível superior.

Teoricamente não há pontuação mínima ou máxima no Pisa. Os resultados são dimensionados para se ajustarem a distribuições aproximadamente normais, com médias para os países da OCDE em torno de 500 pontos e desvio padrão em torno de 100 pontos. Cerca de dois terços dos estudantes nos países da OCDE pontuam entre 400 e 600. Menos de 2% dos estudantes, em média, nos países da OCDE, atingem pontuações acima de 700 e, no máximo, uma pequena parte de estudantes na amostra de qualquer país atinge pontuações acima de 800.

O Pisa classifica os países e economias participantes de acordo com seu desempenho em matemática, leitura e ciências. O programa não dá uma pontuação coletiva para todas as disciplinas combinadas, mas atribui uma pontuação para cada área temática e a pontuação média em cada disciplina pode ser usada para classificar os países. No entanto, mesmo dentro de um único tópico, não é possível atribuir uma classificação exata a cada país ou economia com base em sua pontuação média. Isso porque o Pisa testa apenas uma amostra de estudantes de cada país ou economia, e estima, a partir de seus resultados, a distribuição do desempenho em toda a população de estudantes de 15 anos. A incerteza estatística associada a essas estimativas significa que só é possível relatar a faixa de posições (classificação superior e classificação inferior) dentro da qual um país ou economia pode ser colocado. Por exemplo, no Pisa 2003, a Finlândia e a Coreia foram classificadas em 1º e 2º lugar, quando na verdade só podemos dizer que, entre os países da OCDE, a classificação da Finlândia estava entre 1º e 3º e a da Coreia estava entre 1º e 4º.

A aplicação baseada em computador (CBA) foi o principal modo de aplicação do Pisa 2022. Na edição, 77 dos 81 países e economias fizeram a versão CBA do teste. O modo de aplicação baseado em computador permite que o Pisa meça aspectos novos e expandidos dos construtos do domínio. Em matemática, o novo material para o incluiu itens desenvolvidos para avaliar o raciocínio matemático como uma classificação de processo separada e itens que aproveitaram o uso do ambiente digital (por exemplo, planilhas, simuladores, geradores de dados, entre outros). Um desenho misto que incluiu testes adaptativos de estágios múltiplos baseados em computador também foi adotado para o domínio de letramento matemático a fim de melhorar ainda mais a precisão e a eficiência da medição, especialmente nos extremos da escala de proficiência (sobre testes adaptativos, consulte o Anexo A9 do Volume I dos Resultados do Pisa 2022).

Quatro países usaram uma versão impressa da avaliação (PBA) no Pisa 2022. Camboja, Guatemala e Paraguai aplicaram um instrumento novo de PBA, que foi usado pela primeira vez na avaliação Pisa para o Desenvolvimento (Pisa-D). Esse novo instrumento impresso continha uma quantidade substancial de material que foi usado pela primeira vez nos testes baseados em computador do Pisa 2015, ou retirado de outras avaliações, incluindo o Programa de Avaliação e Monitoramento da Alfabetização (LAMP), a Pesquisa de Habilidades de Adultos da OCDE (PIAAC) e o Pisa para Escolas. O Vietnã usou os mesmos materiais impressos dos ciclos de 2015 e 2018 (com base em itens que foram usados pela primeira vez no Pisa 2012 ou anterior).

O desempenho dos estudantes é comparável entre os testes baseados em computador e os testes impressos usados no Pisa 2022. Ao mesmo tempo, um grande número de itens utilizados nos testes em computador de matemática, leitura e, em menor grau, ciências da edição não foram usados impressos. Portanto, recomenda-se cautela ao tirar conclusões sobre o significado das pontuações da escala a partir de testes impressos quando as evidências que sustentam essas conclusões baseiam-se no conjunto completo de itens. Por exemplo, a proficiência dos estudantes que fizeram o teste de matemática impresso do Pisa 2022 deve ser descrita nos termos dos níveis de proficiência do Pisa 2012, e não dos níveis de proficiência do Pisa 2022. Isso significa, por exemplo, que, embora a edição de 2022 tenha desenvolvido uma descrição das habilidades dos estudantes que pontuaram abaixo do nível 1b em matemática, ainda não está claro se os estudantes que pontuaram dentro da faixa do nível 1c nos testes impressos adquiriram essas habilidades matemáticas básicas. Mais informações sobre a comparabilidade de testes baseados em computador e impressos podem ser encontradas no Anexo A5 dos Resultados do Pisa 2022 (Volume I).

As pontuações do Pisa são reportadas na mesma escala ao longo do tempo. A escala foi definida no primeiro ano em que cada disciplina foi o foco principal da avaliação (2000 para leitura, 2003 para matemática e 2006 para ciências).

Para determinar se o desempenho melhorou, permaneceu estável ou diminuiu, o Pisa usa comparações ano a ano (por exemplo, entre 2018 e 2022, ou entre 2012 e 2022) e tendências médias ao longo de três ou mais anos de avaliação (ou seja, durante um período de 6-7 anos ou mais).

As comparações ano a ano são mais robustas ao comparar avaliações que compartilham um grande número de itens e outros recursos do desenho. Por exemplo, comparações entre 2018 e 2022 de todas as disciplinas, ou (em menor grau) entre 2022 e o ano anterior em que o domínio de interesse foi um domínio importante (2012 para matemática, 2018 para leitura e 2015 para ciências). Em alguns casos, no entanto, as comparações ano a ano podem ser confundidas por circunstâncias particulares que afetam a aplicação do teste em apenas um dos dois anos.

As tendências médias que combinam dados de três ou mais medições podem diminuir a incerteza envolvida nas comparações de tendências e limitar o possível efeito de confusão de circunstâncias específicas que possam ter afetado a aplicação do teste em um único ano. Nos relatórios do Pisa, as tendências médias são a medida preferida de mudança no desempenho médio ao longo de um período de dez anos ou mais. As tendências médias também permitem comparações significativas de tendências entre países que não conseguem comparar dados em todos os anos de avaliação, embora as diferenças de participação devam ser consideradas ao interpretar tais comparações. Para obter mais informações sobre tendências de medição e as fontes de incerteza nessas medições, consulte o Anexo A7 do Relatório Pisa 2022 (Volume I).

A mudança real na educação é cumulativa e muitas vezes lenta; com boa medição, deve-se esperar uma melhora ou um declínio gradual. Nessa situação, as comparações ano a ano podem não ser significativas se consideradas individualmente, mas o acúmulo de mudanças de curto prazo que apontam na mesma direção representa uma tendência significativa. Ajustar uma linha de regressão para múltiplas medições permite extrair um sinal dos dados que são, por vezes, ruidosos, e detectar se há um padrão subjacente de melhoria ou deterioração.

As mudanças no desenho do teste são introduzidas apenas gradualmente no Pisa e, sempre que possível, incluem variantes que permitem isolar um subconjunto de estudantes ou de questões de teste que não são afetadas pela mudança (ou são afetadas em diferentes direções). O desenho do teste de 2022 para matemática, por exemplo, foi adaptativo pela primeira vez, e incluiu um grande número de perguntas recém-desenvolvidas. Ainda assim, atribuiu 25% dos estudantes a uma versão não adaptativa, para que fosse possível estudar o efeito da adaptatividade no comportamento do estudante e no desempenho no teste. Novas questões de matemática foram aplicadas juntamente com questões de tendência, que permaneceram idênticas às usadas em anos anteriores e poderiam ser usadas para monitorar a robustez das tendências relatadas para alterar o conteúdo do teste. Para todos os estudantes, os itens incluídos na primeira seção do teste foram determinados aleatoriamente, assim como em anos anteriores, o que significa que as mudanças de desempenho provavelmente não serão impulsionadas por mudanças no design do teste se já puderem ser observadas ao considerar apenas as primeiras perguntas vistas por cada estudante. E, como de costume, os domínios do teste e as posições de teste são alternados entre os estudantes aleatoriamente para que seja possível testar possíveis efeitos de ordem (por exemplo, para testar se o desempenho em matemática é menor após um teste de pensamento criativo em comparação com quando a matemática é aplicada primeiro ou após um teste de ciências).

Os anexos técnicos no Volume I (e, em particular, no Anexo A8) incluem várias análises para confirmar se as conclusões extraídas das pontuações dos testes são válidas e robustas para os métodos e projetos em evolução usados no Pisa.

A confiança na robustez do Pisa baseia-se no rigor que é aplicado a todos os aspetos técnicos do desenho, da implementação e da análise da pesquisa, e não apenas na natureza do modelo estatístico, que se desenvolveu ao longo do tempo e continuará a ser feito. Especificamente em relação ao desenvolvimento de testes, a robustez da avaliação reside no rigor dos procedimentos utilizados no desenvolvimento dos itens, em pré-testes, análise, revisão e seleção.

A tarefa dos especialistas que desenvolvem a avaliação é garantir que todos esses aspectos sejam levados em consideração e usar seu julgamento especializado para selecionar um conjunto de itens de teste de modo que haja um equilíbrio suficiente em todos esses aspectos. No Pisa, isso é feito por especialistas em avaliação que trabalham com grupos consultivos compostos por especialistas internacionais. Os países e economias participantes também desempenham um papel fundamental neste processo de seleção de itens.

Os detalhes dos processos de design e desenvolvimento de teste estão disponíveis no Relatório Técnico do Pisa 2022. Relatórios técnicos de avaliações anteriores também estão disponíveis no site do Pisa, como o Relatório Técnico Pisa 2018 e o Relatório Técnico Pisa 2015.

O valor das comparações entre países está no centro de pesquisas internacionais de grande escala, como o Pisa, que segue vários padrões e procedimentos que visam garantir comparações justas e válidas dos resultados entre os países. Isso inclui a implementação consistente e o uso de amostras representativas em cada país e economia participante. Muito esforço também é feito para garantir que as perguntas usadas no Pisa mantenham suas propriedades de medição em cada uma das muitas versões em diferentes idiomas (no Pisa 2022 foram usadas mais de 100 versões em idiomas diferentes). As etapas para garantir que as medidas resultantes sejam equivalentes incluem:

• Revisões qualitativas de todos os itens de teste e do questionário, em diferentes estágios de seu desenvolvimento, por especialistas nacionais e internacionais nos respectivos domínios. As classificações e comentários apresentados por especialistas nacionais determinam a revisão de itens e guias de codificação para o estudo principal e orientam a seleção final das perguntas.
• Procedimentos prescritos para tradução e adaptação, que incluem a preparação de duas versões-fonte (inglês e francês), de diretrizes detalhadas para tradução e adaptação, a exigência de um desenho de tradução dupla (duas traduções independentes são reconciliadas por uma terceira pessoa) e um controle de qualidade final da tradução resultante (“verificação”), realizado pelo consórcio internacional Pisa. Os países que compartilham um idioma de teste são incentivados a desenvolver uma versão comum que seja adaptada aos contextos nacionais. Os procedimentos de tradução e adaptação estão descritos no Relatório Técnico Pisa 2022.
• Para escalas de teste e questionário baseadas em várias perguntas, análise sistemática da equivalência de medição por meio de indicadores estatísticos de consistência da escala e ajuste do modelo. Essas análises estão documentadas no Relatório Técnico Pisa 2022. A comparabilidade dos valores da escala é confirmada por um grande número de itens cujos parâmetros do modelo podem ser restritos aos mesmos valores e que, portanto, podem servir como “âncoras” na escala de relatório.  

O Pisa é o principal programa de avaliação educacional internacional, de alta qualidade e alto impacto do mundo, por isso é de vital importância que seus dados sejam precisos e autênticos. Portanto, a OCDE aplica condições estritas em todos os níveis para garantir que os dados dos estudantes reflitam com precisão a capacidade e o desempenho deles e não envolvam nenhuma forma de trapaça. Essa garantia começa com o Acordo de Participação entre a OCDE e cada país. O artigo 4 do acordo exige que os países cumpram as normas técnicas abrangentes para o programa, incluindo a gestão segura dos materiais de teste e a aplicação segura da avaliação. Esses requisitos são então reforçados através do Manual de Operações do Pisa, do Manual de Coordenadores Escolares e do Manual de Aplicadores de Testes. Os manuais têm instruções explícitas para o recebimento, manuseio e armazenamento seguros de todos os materiais relacionados ao teste e para uma aplicação segura. Ninguém além da equipe aprovada do projeto tem acesso aos dados seguros do Pisa, e acordos de confidencialidade formal e material são postos em vigor para toda a equipe aprovada do projeto.

A adesão aos padrões é monitorada ao longo de todas as fases de implementação do projeto, e todos os desvios (por exemplo, desvios do protocolo acordado de aplicação de teste), tanto menores quanto maiores, são registrados para revisão posterior. Depois que os estudantes fazem a avaliação, cada conjunto de dados nacional é revisado e quaisquer inconsistências sinalizadas para análise posterior. Tais inconsistências incluem, por exemplo, diferenças entre um país e outro em como os itens funcionaram, e diferenças em um país entre o pré-teste e o estudo principal. A adjudicação de dados é o processo de controle de qualidade por meio do qual cada conjunto de dados nacional e relatório de monitoramento de qualidade são revisados, e por meio do qual se forma um julgamento sobre a adequação dos dados para as principais metas de relatório.

Os dados das regiões adjudicadas também são revisados, embora nem todas as jurisdições subnacionais optem por se submeter ao processo de adjudicação de dados.

O processo e os resultados da adjudicação de dados do Pisa 2022 estão descritos no Relatório Técnico do Pisa 2022.

Nos últimos ciclos, o ministério nacional tem pilotado o Pisa em várias províncias/municípios, em preparação para uma participação mais completa em toda a China. Xangai participa desde o Pisa 2009. No Pisa 2015, participaram os municípios de Pequim e Xangai e as províncias de Jiangsu e Guangdong. No Pisa 2018, participaram os municípios de Pequim e Xangai e as províncias de Jiangsu e Zhejiang.

Em uma pesquisa da OCDE de 2012 com países e economias participantes do Pisa, a maioria dos entrevistados relatou que as políticas de países de alto desempenho ou de sistemas em melhoria influenciaram seus processos de formulação de políticas. O mesmo número de países e economias também indicou que o Pisa influenciou o desenvolvimento de novos elementos de uma estratégia de avaliação nacional ou federal. Em relação à definição e aos padrões curriculares, muitos países e economias citaram a influência das estruturas do programa: nas comparações dos currículos nacionais com as estruturas e avaliações do Pisa; na formação de padrões comuns em nível nacional; no impacto em suas estruturas de leitura; na incorporação de competências semelhantes às da pesquisa em seus currículos; e no estabelecimento de padrões nacionais de proficiência.

A OCDE se esforça para identificar quais políticas e práticas são eficazes em países e economias que estão registrando alto desempenho ou mostram evidências de melhoria significativa ao longo do tempo no Pisa. Em seguida, relata essas descobertas e dá suporte aos países e economias que desejam investigar e explorar até que ponto se beneficiariam de programas semelhantes. A OCDE está ciente das diferentes circunstâncias em diferentes países e economias (com 81 participantes na edição de 2022). Não existe um modelo de educação único que sirva para todos países e economias. Não é possível nem adequado copiar o sistema educacional de um país em outro país ou economia.

Os resultados iniciais do Pisa 2022 serão divulgados em dois volumes, em 5 de dezembro de 2023. O primeiro volume, The State of Learning and Equity in Education, avalia como o desempenho dos estudantes em matemática, leitura e ciências evoluiu antes e depois da pandemia. O desempenho dos estudantes mudou repentinamente entre 2018 e 2022 ou permaneceu o mesmo? Existem tendências de longo prazo que continuaram ou mudaram drasticamente de direção? A equipe do Pisa está examinando essas questões e se grupos específicos de estudantes (como os socioeconomicamente favorecidos e desfavorecidos, meninos e meninas, imigrantes e não imigrantes) exibiram tendências de desempenho variadas.

O segundo volume do Pisa 2022, Learning During – and from – Disruption, vai além da capacidade acadêmica e examina o bem-estar dos estudantes. Ele identifica sistemas educacionais resilientes que mantiveram ou promoveram a aprendizagem, a equidade e o bem-estar dos estudantes em meio à interrupção causada pela covid-19. Os sistemas educacionais são examinados para ver quais deles mantiveram as pontuações de desempenho para todos os estudantes, independentemente de seus perfis socioeconômicos, mantendo ou aumentando seu senso de pertencimento na escola.