Jairo Macedo-Especial para o Correio, Daniela Santos*
postado em 30/09/2019 07:00
Desde 2009, o Exame Nacional do Ensino Médio (Enem) faz uso de modelagem estatística que foge ao censo comum do cálculo de desempenho em uma prova. Há 10 anos, saiu de cena a teoria clássica, aquela que preza pela quantidade de acertos pura e simples, e passou a ser utilizada a Teoria de Resposta ao Item (TRI), que preza pela coerência pedagógica dos acertos. Se antes importava a quantidade de itens corretos, hoje importa também saber quais são esses itens.
;Não sei muito bem, só sei que a correção é diferente;, confessa Maísa Freitas, 17 anos, aluna do Centro de Ensino Médio Elefante Branco. ;Tem algo a ver com as questões mais fáceis que valem mais pontos. Aqui, os professores instruem a focar nessas;, pondera ela. ;O mínimo que a gente precisa saber são as questões fáceis. Se a gente não acerta nem essas, imagina as outras;, diz Ludmilla Lima, 17.
É por aí, mas é preciso avançar no entendimento. Afinal, ;quem sabe a regra do jogo joga melhor;, sintetiza Vanessa Santos, assessora de gestão e desempenho do Bernoulli Sistema de Ensino. Especialista em TRI, ela garante que, embora um pouco complexo a princípio, o entendimento básico do funcionamento do método é essencial para o candidato ir além no exame.
Vanessa compara: ;Na teoria clássica, se dois indivíduos estão fazendo a mesma prova e acertam sete questões, tiram a nota sete, ainda que os itens que elas tenham acertado sejam diferentes.
A TRI leva mais do que isso em conta, leva a coerência pedagógica;. Essa, explica ela, exige do candidato um desempenho progressivo e lógico, criando mecanismos que percebam variáveis como a aleatoriedade nos acertos.
Se o aluno acerta um tema de matemática básica, por exemplo, espera-se que ele mostre destreza em assuntos mais espinhosos também. ;O mais coerente, claro, é acertar as de menor dificuldade. Como você tem capacidade de acertar as mais complexas sem saber o simples?;, questiona.
;Os alunos que acertam as questões fáceis têm as bases do conhecimento mais bem construído. O estudante que acerta as difíceis, mas erra as simples, está com alguma deficiência que precisa ser melhorada;, aponta Vinícius Freaza, diretor de inovação pedagógica da Evolucional, especialista em educação e tecnologia. Ou, ainda, ele simplesmente ;chutou; a questão, em português claro.
;Se você consegue mobilizar habilidades mais complexas, precisa fazer as mais simples também;, acrescenta Vanessa.
Então, para maximizar as suas notas, tem que tentar as fáceis, depois as médias e as difíceis;, acrescenta Vanessa Santos. No Enem, dois inscritos só alcançarão a mesma nota se acertarem exatamente as mesmas questões.
A definição do nível de dificuldade das questões é um longo processo de calibragem. A cada ano, aplica-se as questões para um grupo de pessoas. Nessa aplicação, é possível descobrir quais são os parâmetros das questões, levando em consideração três fatores. ;O modelo leva em conta a discriminação, que separa quem domina o assunto de quem não domina. Além disso, estabelece a dificuldade do item e o acerto casual, que é a chance de a pessoa de acertar mesmo sem saber absolutamente nada do assunto;, explica Vanessa Santos. ;Para processar a TRI, precisamos encontrar esses três parâmetros. Uma vez encerrado esse processo, esse item fica ;congelado; e está pronto para ir para o Enem oficial;, diz. Os participantes dos pré-testes devem cumprir com rigor as cláusulas de sigilo. ;Se os parâmetros não estão legais ou algo é suspeito, a questão é excluída ou retorna ao ciclo de reformulação.;
A calibragem permite estabelecer réguas para cada uma das quatro áreas de conhecimento do exame. Coordenador do processo seletivo do Insper, instituição de ensino e pesquisa, Tadeu da Ponte traça paralelo com a prática de esportes. ;Pensemos no salto em altura: o atleta corre e salta por sobre uma vara colocada em determinada altura. Se ele pula bastante, os treinos diários ajudarão a descobrir o quanto pode pular e quais os parâmetros propostos;, compara. ;Quando o inscrito faz uma prova de matemática, por exemplo, cada item daquele exame tem uma altura diferente em que se colocou a barra nesse ;salto intelectual;. Se acerta algo que não sabe, é como se pulasse uma bem mais alta do que está preparado.;
Dito isso, do ponto de vista do candidato, o grande desafio é notar qual o nível de complexidade das 180 questões do exame. ;As questões não são dispostas na prova de modo crescente de dificuldade. Recomendo que alunos se deem um tempo de leitura da prova e identifiquem as mais fáceis, que são aquelas em que, na leitura do comando, ele já nota que consegue responder pelo próprio texto de abertura;, diz Vinícius Freaza.
Às vezes, mesmo ótimo alunos se perdem nesse processo, gastando um tempo precioso com questões difíceis. ;Acontece bastante. O inscrito pode até ter capacidade de resolver, mas se vai precisar de 5, 10, 15 minutos, é um tempo muito precioso no Enem. Orientamos os alunos para deixá-las para depois;, diz Freaza.
;Para os nossos estudantes, ensinamos sempre que as questões difíceis valem mais. Para a questão mais difícil valer bastante, você precisa, antes, acertar as fáceis;, diz Vanessa Santos. ;A verdade é que alunos não estão preparados, até porque muitos professores não sabem. Quando chega uma prova que muda a lógica do senso comum, é natural que se confundam.;
De origens que remontam ainda aos anos 1950 e 1960, a TRI começou ser aplicada no Brasil nos anos 1990, em certames como Prova Brasil e a versão nacional do Toefl, teste que mensura o conhecimento da língua inglesa e é voltado para o meio acadêmico. Para Tadeu da Ponte, é o melhor modelo para uma prova de larga escala como o Enem, que movimentará 5,1 milhões de candidatos neste ano. ;São muitos inscritos e é preciso discriminar a proficiência de uma maneira muito precisa. Além disso, a TRI ajuda a precisar resultados comparáveis ao longo do tempo;, diz o especialista. Ele lembra que provas como a do Sistema Nacional de Avaliação da Educação Básica (Saeb), que diagnostica o nível dos estudantes brasileiros de ano a ano, utilizam a TRI como método ideal de avaliação.
Em branco nunca mais
A falta de informação sobre o método adotado suscita outro mito. Os estudantes Iago Mondardo, 18, e Ludmilla Lima, por exemplo, não estão a par do uso do ;chute; no Enem. ;Acho que, na dúvida, se você não sabe a questão, é melhor deixar em branco do que ;chutar;;, avalia ele. ;Para mim, não muda muito, não. Eu prefiro deixar as questões em branco do que chutar;, emenda a jovem.
Não é bem assim. Vanessa Santos conta que ouve muito esse equívoco entre os alunos. ;Qualquer acerto na sua prova vai somar na nota. Só que, em caso de incoerência pedagógica, vai somar menos;, explica Vanessa Santos. Assinalar um item sem qualquer conhecimento nunca é bom, é claro, mas não trará prejuízo nem tira pontos. ;Como estratégia de prova, faça sempre as mais fáceis. Se no final não conseguiu fazer as questões mais difíceis, é melhor chutar;, recomenda a especialista.
Fala aí!
Você sabe como funciona a TRI do Enem?
;Estudar pela base, fazendo as mais fáceis, é melhor do que procurar ganhar nota pelas mais complicadas.;
Vitória Miranda, 17
;Nunca ouvi falar sobre isso, e os professores nunca comentaram. Se tiver um pouco de certeza, chuto mesmo.;
Maurício Carlos Souza, 17
;É uma boa lógica, um bom raciocínio. Mas não sei definir se é justo, porque nem todos os casos são chute.;
Ana Paula Vilarinho, 17
Fico confuso. Não lembro de isso ser comentado em sala de aula e pensava que era parecido com o PAS (Programa de Avaliação Seriada da UnB) Rafael Costa, 17
Mitos e verdades sobre a TRI
Chutar pode me prejudicar?
; Não! Uma questão certa sempre aumenta a nota, e uma questão em branco é corrigida como errada. Se o acerto não contribuir com a coerência pedagógica, o incremento na nota não será muito alto, mas ainda assim irá colaborar para seu aumento.
É possível tirar mais que 1.000?
; Sim! A prova é constituída por um conjunto de itens com parâmetros pré-estabelecidos pelo pré-teste. São esses parâmetros que definem os valores de mínimo e máximo da prova. Até o momento, a área de matemática e suas tecnologias foi a única que obteve máximo acima de 1.000.
Existe nota zero?
; O Enem só confere nota zero àquele aluno que não assinalou nenhuma questão ou não esteve presente no dia da prova.
Posso comparar minhas notas?
; A nota de cada área do conhecimento é calculada em uma escala diferente. Portanto, só é possível comparar notas da mesma área.
Alguma prova vale mais?
; Não. Porém, alguns vestibulares consideram a nota final como a média simples das quatro áreas objetivas da prova. Portanto, como a régua de matemática já ultrapassou 1.000 pontos, e a de linguagens nunca alcançou 900, ao se calcular a média citada, matemática tem mais valor.
A redação é corrigida pela TRI?
; Não. Existem estudos e ferramentas sendo desenvolvidos para que isso possa ocorrer, mas, atualmente, o trabalho é feito por corretores que avaliam as competências já definidas.
Consigo eu mesmo calcular a minha nota?
; Não. Calcular uma nota via TRI requer reforço computacional, além de parâmetros pré-estabelecidos que são mensurados na pré-testagem das questões.
*Fonte: Cartilha rumo ao Enem, do Bernoulli Sistema de Ensino.
* Estagiária sob supervisão de Jairo Macedo