Enfoque metodológico

A presente pesquisa se enquadra no viés quantitativo, pautada nos pressupostos da Teoria da Mensuração (^{Pasquali, 2009}). Caracteriza-se como descritiva e exploratória, uma vez que, procura descrever um instrumento de avaliação (ENEM) através da exploração de sua estrutura estatística. Foram analisados os itens da prova de Linguagens e Códigos do ENEM, e de forma mais específica os parâmetros dos itens de Educação Física do Exame.

População e amostra

Os microdados dos resultados das provas de cada candidato do ENEM estão disponíveis no site do Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira” (INEP) em tabelas do SPSS (Statistical Package for Social Sciences) e são de livre acesso ao público. Neste estudo utilizaram-se os microdados disponíveis a partir de 2009, quando ocorreu mudança na metodologia de análise do desempenho dos candidatos.

A população é constituída pelos candidatos cearenses participantes do ENEM entre os anos de 2009 e 2014. Para este estudo, selecionaram-se os candidatos por amostragem aleatória simples. O tamanho da amostra foi estimado a partir da seguinte equação:

Em que,

n = é o número de indivíduos na amostra;

Z_α/2 = é o valor crítico que corresponde ao grau de confiança desejado; α = nível de significância;

E = é a margem de erro ou Erro Máximo de Estimativa (X ̅ - µ). Foi utilizado um erro de 5 % (0.05).

A partir disso foi obtido um tamanho amostral de 385 candidatos para todos os anos. Para estimar a normalidade dos dados utilizou-se o teste Kolmogorov-Smirnov. Foram considerados normais os dados que apresentaram valor de p > 0.05. Adotou-se como variável principal para o teste de normalidade a nota em Linguagens e Códigos, área que os itens de Educação Física estão contemplados. Com isso, as amostras apresentaram normalidade para a prova do ano de 2009 (D(385)= 0.037, p = 0.200), 2010 (D(385)= 0.045, p = 0.063), 2011 (D(385)= 0.045, p = 0.063), 2012 (D(385)= 0.037, p = 0.200), 2013 (D(385)= 0.045, p = 0.057) e 2014 (D(385)= 0.036, p = 0.200). A Tabela 1 apresenta as características das amostras de cada ano.

Foram excluídos os candidatos que não indicaram o sexo, dependência administrativa da escola, localização da escola (zona rural ou urbana) os que não estiveram presentes na prova de Linguagens e Códigos. Também se optou por selecionar os candidatos que responderam o caderno de prova de cor azul. Esse procedimento foi necessário para a obtenção de uma amostra de participantes com boa representatividade da realidade educacional brasileira.

Procedimentos

A elaboração e aplicação das provas do ENEM é realizada pelo INEP. O Exame é constituído de quatro provas referentes as áreas de Linguagens e Códigos, Matemática, Ciências da Natureza e Ciências Humanas. Cada prova contém 45 itens objetivos de múltipla escolha com cinco alternativas, em que apenas uma é correta. Foram objetos desse estudo apenas os itens referentes ao conteúdo de educação física inseridos na prova de Linguagens e Códigos. As provas foram aplicadas em formato impresso em dois dias consecutivos (sábado e domingo).

Análise dos dados

Para a análise dos dados, de início foi utilizado os recursos da Análise Fatorial Exploratória pelo método da Fatoração dos Componentes Principais para verificar a unidimensionalidade da prova de Linguagens e Códigos, a qual contém os itens de Educação Física. Para tanto, analisou-se primeiro a adequação da amostra de variáveis (itens) através do teste de Kaiser-Mayer-Olklin (KMO), esfericidade de Bartlett (BTS). Considerou-se como adequado os valores de KMO ≥ 0.70 e BTS ≤ 0.05. Além disso, foi analisado a adequação de cada item através da Correlação de Pearson (r), sendo considerado adequado o item que apresentou r ≥ 0.50. Em seguida solicitou-se a variância acumulada considerando um fator, uma vez que a prova é elaborada de forma a constituir uma dimensão. Também se utilizou como parâmetro de análise da estrutura fatorial da prova o gráfico Scree Plot. Na análise da adequação de cada item ao fator considerou-se itens com comunalidade e cargas fatoriais acima de 0.4.

Também foi realizado o cálculo de consistência interna (α de Cronbach) para a análise da fidedignidade da prova e o T² de Hotelling (T²) para a existência de efeito halo (^{Field, 2009}; ^{Hair, Black, Babin, Anderson, e Tatham, 2005}; ^{Pasquali, 2009}). Foram considerados adequados os valores α ≥ 0.7 e T² com p ≤ 0.05.

Em seguida foram analisados os parâmetros de dificuldade e discriminação dos itens, sendo este último realizado através da correlação bisserial por ponto (r_bp), uma vez que os itens foram dicotomizados em certo e errado (^{Pasquali, 2009}). Os valores de dificuldade foram classificados da seguinte forma: muito fácil de 0 a menos de 0.21; fácil de 0.21 a menos de 0.41; médio de 0.41 a menos de 0.61; difícil de 0.61 a menos de 0.81 e; muito difícil de 0.81 a 1.0. Para o segundo parâmetro, foram considerados discriminativos os itens com r_bp ≥ 0.20. As seguintes análises foram conduzidas com o software SPSS, versão 20.0.

Análise da prova: Análise Fatorial Exploratória, Consistência Interna e Sensibilidade

Inicialmente foram analisados os valores de correlação dos itens de Linguagens e Códigos, com destaque para os itens de Educação Física através de uma matriz de anti- imagem para verificar sua adequabilidade para compor a prova. Posteriormente verificados os valores de comunalidade e as cargas fatoriais dos itens considerando que o instrumento apresenta um fator. A correlação apresentou adequabilidade de todos os itens de Educação

Física, com valores de r variando entre 0.54 a 0.89. Embora, alguns itens apresentaram valores abaixo de 0.50, o que inviabilizaria a continuação da análise fatorial, sendo necessária a exclusão de alguns itens para se obter adequabilidade do conjunto de itens para a análise fatorial. As comunalidades dos itens foram baixas, variando entre 0.04 e 0.30 e cargas fatoriais entre 0.20 e 0.54, com exceção do item 97 de 2014. Os valores referentes aos itens de Educação Física estão dispostos na Tabela 2.

Na Tabela 3 estão os valores referentes à adequação da prova de Linguagens e Códigos para a realização da análise fatorial. São apresentados os valores de KMO, testes de esfericidade de Bartlett e a variância explicada com um fator. O teste de KMO apresentaram valores adequados, com exceção das provas de 2012 e 2014, mas permanecendo em níveis aceitáveis. O teste de esfericidade apresentou significância em todos os anos. Esses valores indicam a adequação da amostra de itens para a realização da análise fatorial. Ao realizar a análise solicitando a extração de um fator, obteve-se uma variância explicada muito baixa (7.80 a 14.71).

A análise gráfica indica que os testes são unifatoriais, apesar da baixa variância explicada do fator das provas. A exceção foi a prova de 2014 que apresentou uma estrutura fatorial insatisfatória. A Figura 1 mostra o gráfico scree plot que apresenta a relação dos componentes e os autovalores.

Fonte: Elaboração própria, 2018.

Figura 1 Scree plot das provas do Exame Nacional do Ensino Médio (ENEM), Brasil, 2009 a 2014. 

Na Tabela 4 são apresentados os valores de confiabilidade da prova. A sensibilidade das provas apresentou valores de 0.85 a 0.99 e erro de medida entre 2.90 e 3.19. O teste T² de Hotteling apresentou valores satisfatórios, indicando a inexistência de efeito de halo. Com relação a precisão da prova, apenas os anos de 2009 a 2011 tiveram valores adequados. Ressalta-se a baixa precisão (α = 0.53) da prova de 2014. De modo geral, os itens não influenciam a precisão caso sejam excluídos.

Análise dos Itens: dificuldade e discriminação

O índice de dificuldade e discriminação dos itens estão apresentados na Tabela 5. A dificuldade dos itens variou entre 0.28 e 0.88. Quanto a discriminação, a maioria apresenta discriminação acima de 0.20, com exceção do item 100 do ano de 2012 e dos dois itens de 2014. Ambos os itens deste ano apresentaram dificuldade alta. Além disso, o item de 2014 teve discriminação inversa.

Discussão da análise da prova

A análise estatística da prova objetivou conhecer as características métricas do conjunto de itens de Linguagens e Códigos. As análises iniciais de adequação da amostra de itens de Educação Física apresentaram valores parcialmente insatisfatórios (<0.50), ou seja, o conjunto de itens não apresentou adequabilidade para a realização da análise fatorial exploratória. A correlação entre os itens mostra o quanto cada item está adequado para compor a prova. Na análise os itens apresentaram valores adequados (^{Field, 2009}), ou seja, nenhum item de Educação Física se mostrou inapropriado, inicialmente, para fazer parte da prova. Considerando que o ENEM é uma avaliação que tem grandes repercussões sociais, sendo necessários resultados confiáveis, essa primeira análise mostrou deficiência no instrumento.

Mesmo com alguns itens com valores de correlação abaixo do aceitável, o teste de KMO apresentou valores aceitáveis, acima de 0.7, embora considere-se ótimo os valores acima de 0.8 e com significância no teste de esfericidade (^{Field, 2009}, Pontes Junior)

Soares, Almeida e Trompieri Filho, 2014). Essas medidas são importantes, pois indicam a adequação do conjunto de itens para compor o instrumento e prosseguir com análise fatorial. Após analisar a adequação da amostra de itens, procedeu-se com a análise fatorial.

Ressalta-se, que nesse momento optou-se por solicitar análise com a extração de um fator, uma vez que o Inep estima a proficiência dos candidatos via TRI, a qual tem como pressuposto a unidimensionalidade dos itens. O objetivo foi identificar se os itens atendiam a esse critério. Nessa análise, obteve-se variância explicada muito baixa considerando um fator, todos abaixo de 15%. Pontes et al. (2014) destaca a necessidade de os fatores do instrumento explicarem pelo menos 50% da variância. ^{Hair et al. (2005}) indica que muitos autores apresentam a necessidade de pelo menos 60% de explicação da variância. No caso da prova de Linguagens e Códigos do ENEM, levando em conta que a organizadora analisa os resultados pela técnica da TRI, portando assumindo a unidimensionalidade dos itens, a variância dos itens explicada pelo modelo unidimensional não foi maior que 20%, valor considerado abaixo do esperado (Hair et al., 2005). Isso se torna um problema porque o teste assume que o desempenho de estudantes é representado por uma variável latente.

^{Pasquali (2009}) ressalta a dificuldade de se obter a unidimensionalidade, uma vez que, os aspectos cognitivos dos seres humanos são multifacetados e multideterminados. ^{Tavares (2013}) questiona o fato de avaliações educacionais pretenderem medir um fator unidimensional, uma vez que, é consensual entre educadores pesquisadores que o ser humano é determinado por vários fatores. Mesmo assim, Pasquali (2009) propõe ser suficiente a existência de um fator dominante para garantir esse pressuposto. Em modo complementar, ^{Vitória, Almeida e Primi (2006)} afirmam, com base em pesquisas, que a dimensionalidade (os diferentes graus) pouco afeta os parâmetros dos itens e os resultados de testes.

Além disso, ao extrair um fator, os itens apresentam variâncias comuns muito baixas, não passando de 0.30, enquanto que o mínimo aceitável é 0.40, acontecendo o mesmo com as cargas fatoriais dos itens, em que muitos não atingiram o valor mínimo (^{Pontes Junior et al., 2014}). Apesar dos valores inadequados, a análise gráfica através do scree plot mostra a unidimensionalidade dos dados ao observar o ponto de inflexão, com exceção dos dados de 2014 que apresentaram uma estrutura inadequada.

No que se refere à precisão da prova utilizou-se o coeficiente Alpha de Cronbach, que é uma das técnicas mais utilizadas para a análise da confiabilidade de um instrumento (^{Cunha, Almeida Neto e Stackfleth, 2016}). Com exceção das provas de Linguagens e

Códigos de 2009 e 2011 com valores α acima de 0.80, considerados excelentes, o demais tiveram valores inferiores, embora aceitáveis. Cabe destacar a baixa precisão da prova de 2014, que teve o coeficiente α de 0.53. De modo geral, os itens de Educação Física não influenciaram na precisão do instrumento, o que é considerado bom.

A precisão ou fidedignidade de um instrumento de medida é central na sua validação. Uma boa precisão é uma garantia da confiabilidade do teste. Quando se trata de testes para fins de seleção, sua importância aumenta, já que pode influenciar nos resultados.

A fidedignidade ou precisão pode ser afetada por uma série de fatores, como afirma ^{Vianna (1976}). Segundo o autor, a precisão do teste aumenta quanto maior for o número de itens, desde que com índice de correlação suficiente com os demais itens do teste. Nesse quesito, o ENEM não poderia apresentar problemas, uma vez que que cada área do exame, no caso deste estudo a área de Linguagens e Códigos, é constituída de 45 itens, o que é considerado um grande número. Além do mais, o exame é alvo de muitas críticas no sentido de diminuir o número de itens e assim diminuir o tempo de aplicação da prova.

Outro fator que pode influenciar na precisão da prova é a amplitude de dificuldade dos itens (^{Vianna, 1976}). Quanto menor a amplitude maior a fidedignidade. Considerando apenas os itens de Educação Física de 2014, observa-se que os itens apresentam baixa dificuldade, fato também observado ao considerar os demais itens. Isso pode ter contribuído para o baixo índice alpha no exame deste ano.

Discussão da análise dos itens

A análise dos parâmetros de dificuldade e discriminação dos itens a partir da TCT objetivou observar as caraterísticas estatísticas de adequação dos itens ao realizar medidas. A dificuldade apresentou índices adequados, ou seja, entre 0.20 e 0.80, com exceção do item 97 de 2014. Quanto à discriminação, a maioria permaneceu acima de 0.20. No entanto, os itens de Educação Física da prova de 2014 apresentaram discriminação muito abaixa, ou seja, são itens ruins para avaliar, uma vez que não conseguem diferenciar os sujeitos de baixa habilidade dos de alta habilidade.

O índice de dificuldade é um parâmetro simples de um teste. Neste caso, como coloca ^{Vianna (1976}), poderia ser chamado de índice de facilidade, uma vez que se utiliza da proporção de acertos. Dessa forma, quanto maior a proporção mais fácil é o item. No caso dos itens de Educação Física analisados, a maioria apresentou índices adequados.

Vale ressaltar que esse parâmetro depende do particular conjunto de sujeitos que constituem a amostra avaliada (^{Laros, 2009}). Dessa forma, o autor ressalta que os sujeitos habilidosos a dificuldade vai aumenta. Do mesmo modo, a dificuldade do item será baixa se os sujeitos não forem tão habilidosos. Entretanto, destaca-se que esse problema desaparece se a amostra for representativa da população, em que qualquer amostra aleatória apresentará os mesmos índices para os itens (Laros, 2009). No caso deste estudo em particular, acredita-se ter superado esse problema, considerando que o pressuposto da normalidade foi atendido para a amostra de todos os anos.

Por outro lado, quanto à discriminação, os itens de 2014 apresentaram baixo índice. Esses mesmos itens apresentaram dificuldade elevada. Alguns autores (^{Pasquali, 2009}; ^{Vianna, 1976}) ressaltam que itens com dificuldade muito alta ou muito baixa apresentam discriminação inadequada, pois não conseguem distinguir sujeitos de habilidades distintas.

Nesse estudo, utilizou-se da correlação bisserial por ponto, uma vez que, segundo ^{Silveira (1983}) é o melhor indicador da discriminação de um item. Vários estudos que se utilizam da TCT para analisar testes utilizam-se desse parâmetro.

No entanto, ^{Laros (2009}) considera inadequado para o cálculo da discriminação por apresentar problemas teóricos. Ressalta ser incoerente avaliar um parâmetro de um item através da correlação do item com o escore total do teste, uma vez que os outros itens ainda não foram testados. Destaca ainda a necessidade de os itens do teste apresentar unidimensonalidade para que a discriminação seja consistente. Além do mais, indica que o parâmetro é falho quando se tem itens muito fáceis ou muito difíceis.