Diretrizes para Elaboraçao de Preparaçao de Exercícios para o ENADE 1. APRESENTAÇÃO O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira — Inep tem a missão de promover estudos, pesquisas e avaliações sobre o Sistema Educacional Brasileiro, com o objetivo de subsidiar a formulação e implantação de políticas públicas para a área educacional, a partir de parâmetros de qualidade e equidade. No âmbito da educação superior, a avaliação é regulamentada pela Lei n2 10.861, de 14 de abril de 2004, que institui o Sistema Nacional de Avaliação da Educação Superior (Sinaes), nos termos do art. 92, incisos VI, VIII e IX da Lei n2 9.394, de 20 de dezembro de 1996 (Lei de Diretrizes e Bases da Educação Nacional — LDB). O Sinaes tem por objetivo assegurar processo nacional de avaliação das instituições de educação superior (IES), dos cursos de graduação e do desempenho acadêmico dos seus estudantes. A avaliação dos estudantes visa aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades e competências para compreender temas exteriores ao âmbito específicos de sua profissão, relacionados à realidade brasileira e mundial e a outras áreas do conhecimento. A avaliação do desempenho dos estudantes é realizada por meio da aplicação do Exame Nacional de Desempenho dos Estudantes — Enade. Considerando os efeitos diretos e indiretos dos resultados do Enade para as IES, em articulação com as avaliações no âmbito do Sinaes e as políticas de regulação e supervisão do MEC, o Exame tem se revestido de grande importância para a Educação Superior. A relevância, complexidade e especificidade do Enade apontam para a importância da construção de instrumentos de avaliação de alta qualidade técnica, cada vez mais adequados aos objetivos do Exame. Nesse sentido, o Inep criou, em 2010, o Banco Nacional de Itens para o Enade (BNI-Enade), cujo objetivo é reunir itens de forma organizada, classificada e ordenada, com informações sobre sua qualidade técnica, pedagógica e psicométrica. Para atender a essa demanda e, ao mesmo tempo, ampliar a participação da comunidade acadêmica nos processos de avaliação da educação superior, o Inep convocou publicamente docentes interessados em participar do BN1-Enade na condição de elaboradores ou revisores de itens. O presente Guia de Elaboração de Itens tem por objetivo orientar a elaboração e a revisão de itens visando à 2 consolidação do BNI-Enade, de forma que se obtenha, por meio do trabalho desenvolvido pelos docentes cadastrados, uma quantidade expressiva de itens aprovados que poderão ser usados na composição das provas do Exame. 2 A PROVA DO ENADE 2.1 Estrutura da Prova A prova do Enade é constituída de duas partes, totalizando 40 itens: 1.a parte — Formação Geral: contém 10 (dez) itens, sendo 8 (oito) de múltipla escolha e 2 (dois) discursivos, comuns a todas as áreas ou cursos superiores de bacharelado, licenciatura e tecnológicos avaliados pelo Enade. Os itens da Formação Geral buscam aferir a aquisição de competências, habilidades e conhecimentos essenciais à formação do estudante de graduação, abordando situações-problema, estudos de caso, simulações e interpretação de textos, imagens, diagramas, gráficos e tabelas. 2.a parte — Componente Específico: contém 30 (trinta) itens, sendo 27 (vinte e sete) itens de múltipla escolha e 3 (três) itens discursivos, abrangendo os componentes específicos das áreas ou cursos avaliados pelo Enade. Os itens do Componente Específico da prova têm como objetivo básico aferir a aquisição de conhecimentos e competências esperadas para o perfil profissional do curso, em níveis diversificados de complexidade. 2.2 Diretrizes para as provas do Enade As provas do Enade são elaboradas a partir das Diretrizes Curriculares Nacionais dos cursos de graduação aprovados ou em fase de aprovação pelo Conselho Nacional de Educação (CNE) e contemplam os objetivos, o perfil do estudante, as competências, as habilidades e os conteúdos a serem avaliados. A elaboração das diretrizes para as provas e das matrizes de referência, instrumentos norteadores do processo de construção de itens que compõem as provas, são de competência das Comissões Assessoras do Enade, a saber, Comissão Assessora de Formação Geral, Comissões Assessoras de Área e Comissões Assessoras de Cursos Superiores de Tecnologia. Nomeadas pelo Presidente do Inep, essas comissões são formadas por professores de Instituições de Ensino Superior (IES) públicas e privadas e sua composição busca contemplar todas as regiões do País. As diretrizes do Enade são publicadas anualmente por meio de Portarias específicas e se constituem documentos de referência que orientam as IES e os estudantes que serão avaliados no Exame. 3 2.3 Matriz de referência A matriz de referência é o instrumento norteador para a elaboração de itens que irão fazer parte do BNI-Enade e que poderão ser usados na composição da prova a ser aplicada no Exame. As matrizes, formuladas pelas Comissões Assessoras do Enade, são documentos sigilosos e de uso restrito ao Inep, pois indicam detalhadamente conteúdo, objetivo e formato dos itens que serão encomendados aos elaboradores de cada área. A matriz, fundamentada pelo perfil esperado, tem concepção tridimensional, formada por colunas verticais e linhas horizontais que se cruzam em quadrículas denominadas de células. Nas linhas, distribuem-se as características condizentes ao perfil de formação esperado; nas colunas, disponibilizam-se os diversos recursos a serem avaliados que, mediados por processos educacionais e de formação profissional, compõem as competências, entendidas como mobilização de conhecimentos, saberes, escolhas éticas e estéticas, habilidades, posturas etc. Tais recursos podem ser categorizados em grandes blocos, que poderão sinalizar aspectos do contexto, das relações, das metas institucionais, orientados pelas características do perfil profissional a ser formado. As células de interligação sintetizam os objetos de conhecimento (a terceira dimensão da matriz), permitindo o cruzamento das características do perfil com os diversos recursos mobilizados. (Marinho-Araújo & Rabelo, 2012a, 2012b; Rabelo, 2011a, 2011b; Rabelo & Soares, 2011) A matriz constitui referência para as análises de desempenho e elaboração de feedbacks, pois permite inferir indicadores de desenvolvimento das características de perfil profissional elencadas, além de possibilitar a professores e gestores das instituições uma visão ampla do desempenho de determinado grupo de indivíduos avaliados, como forma de se proceder a uma análise global para promover a regulação do ensino e das aprendizagens. Para os especialistas elaboradores de itens, as análises levam à reflexão sobre o processo de construção de itens, servindo como validação da própria matriz e também como meta-avaliação (Rabelo, 2011a, 2011b; Rabelo & Soares, 2011). A Tabela 1 a seguir apresenta um modelo de matriz de referência. Como se pode depreender do exemplo, para cada item a ser elaborado, apresenta-se a descrição do perfil, dos recursos e dos objetos de conhecimento (conteúdos) a serem abordados. A matriz traz ainda o nível de dificuldade, tipos de itens e comentários e observações, como a utilização de tabelas, gráficos, figuras, desenhos, citações, textos e outros elementos que deverão compor cada item elaborado. A matriz contempla também o quantitativo de itens em cada parte da prova (Formação Geral e Componente Específico) e os respectivos níveis de dificuldade com o objetivo se proporcionar um equilíbrio da dificuldade da prova como um todo. 4 R1xP1 = OC2, OC3 (D) R2xP3 = OC1, G (M) R2xP4 = OC5 (F) A matriz de referência, portanto, é um instrumento que orienta elaboradores e revisores técnico-pedagógicos. No processo de construção dos itens, esses especialistas deverão interpretar as matrizes e idealizar o tipo de elaboração mais adequado à aferição das características propostas para cada item. 2.4 Itens que compõem as provas — aspectos essenciais Nos exames educacionais, item pode ser considerado sinônimo de questão, termo mais popular e utilizado com frequência na educação. Os itens podem ser de dois tipos: (i) de resposta livre e (ii) de resposta orientada. Um único exame pode conter itens de ambos os tipos ou de apenas um deles. Aos propósitos deste guia, interessam os dois tipos de itens. Há várias formas possíveis de itens, sendo que a mais adequada a ser escolhida será determinada, em grande parte, pelo que se pretende examinar. Entre os itens de resposta orientada, destacam-se os de múltipla escolha, definidos como aqueles que permitem ao participante do exame escolher a resposta entre várias alternativas, das quais apenas uma é indubitavelmente correta. A construção adequada de itens para o BNI-Enade requer a observação de alguns aspectos essenciais. Para facilitar a identificação desses aspectos estão descritas abaixo algumas características que o elaborador deve observar para melhor adequar o item à proposta do exame. 1 Objetividade: vá direto ao assunto. Use frases curtas, termos exatos, sem demonstração de erudição. Períodos e parágrafos curtos são mais fáceis de serem redigidos e compreendidos, além de tornarem a leitura mais agradável e menos cansativa. 2 Originalidade: construa itens inéditos. Não aproveite questão de provas, livros ou apostilas, questão retirada da Internet ou que já tenha sido aplicada em sala de aula, em vestibulares, concursos ou em outra prova do Enade. 5 3 Concisão: apresente apenas as informações necessárias para a solução do problema proposto, isto é, elimine os excessos linguísticos que nada lhe acrescentam. Um texto conciso é aquele que consegue transmitir um máximo de informações com um mínimo de palavras; 4 Ordem direta: use os termos essenciais das orações na sua ordem natural: sujeito, verbo, complemento; 5 Adequação: procure adequar a prova ao nível exigido e ao perfil profissional desejado. Muitas vezes, o elaborador, na tentativa de tornar o item mais difícil, utiliza informações irrelevantes ou obscuras, ou palavras rebuscadas ou semanticamente fora da capacidade de compreensão dos respondentes, o que pode dificultar a análise da real proficiência do indivíduo na competência investigada; 6 Simplicidade: escolha cada palavra. Evite rebuscadas, termos técnicos desnecessários; preciosismos, palavras 7 Correção da linguagem: adote o padrão culto, redigido de forma apropriada e correta; 8 Clareza: seja explícito, transmita o conteúdo do texto ao interlocutor de maneira que ele compreenda a mensagem. Esclareça os conceitos que não são objetos da avaliação. Precise os termos técnicos. Evite as expressões ou palavras de uso restrito à sua área de especialização e que não são de domínio dos estudantes; 9 Precisão: seja preciso na redação e não deixe dúvidas quanto à sua interpretação. Um bom item é aquele que admite uma única interpretação e uma só resposta; 10 Impessoalidade: a linguagem deve ser despersonalizada, por isso, evite impressões e expressões pessoais, próprias do gênero literário ou da fala informal. Evite ainda chavões e gírias. 11 Adjetivos e advérbios: tenha cuidado especial com o uso de adjetivos e advérbios, principalmente para tornarem as frases verdadeiras ou falsas, pois eles podem apresentar forte carga de subjetividade ou imprecisão e criar ambiguidade para o julgamento. 3 ESTRUTURA DO ITEM DE MÚLTIPLA ESCOLHA DO BNI/ENADE Em um texto, o significado de uma parte não costuma ser autônomo, mas depende das outras com que se relaciona. O seu significado global não é simplesmente uma soma do que representa cada parte, mas de uma combinação geradora de sentido. Cada uma deve manter relação com as 6 demais, inter-relacionando-se e formando um todo organizado. Desse modo, o texto deve apresentar coerência entre elas, não evidenciando contradições. O item de múltipla escolha utilizado nos exames do Inep divide-se em três partes: texto-base, enunciado/comando e opções/alternativas. Assim como qualquer texto, o item deve ser estruturado de modo que se configure uma unidade de proposição e que contemple as orientações da matriz de referência. Para tanto, devem ser observadas a coerência e a coesão entre suas partes, apresentando uma articulação entre elas, explicitando uma única situaçãoproblema e uma abordagem homogênea do conteúdo selecionado. O esquema a seguir ilustra essa estrutura. As justificativas das respostas (item de múltipla escolha) ou o padrão de resposta esperado (item de resposta livre ou construída) também são fundamentais e devem ser apresentados considerando as mesmas recomendações relativas à correção da linguagem, especialmente a clareza e precisão. 7 3.1 Texto-base O texto-base motiva ou compõe a situação-problema que será objeto de avaliação no item, formulada a partir da utilização de um ou mais textos (verbais ou não verbais — imagens, figuras, tabelas, gráficos ou infográficos, esquemas, quadros, experimentos, entre outros), que poderão ser de dois tipos: (i) criados pelo próprio elaborador para o contexto do item, ou (ii) referenciados por publicações de apropriação pública. No caso de textos referenciados por publicações de apropriação pública, é imprescindível a citação da respectiva fonte, conforme normas da Associação Brasileira de Normas Técnicas (ABNT). Além disso, recomenda-se que as publicações citadas não sejam de autoria do próprio elaborador. 3.2 Enunciado/comando O enunciado constitui-se de uma ou mais orações e não deve apresentar informações adicionais ou complementares aos textos-base; ao contrário, deverá considerar exatamente a totalidade das informações previamente oferecidas. No enunciado, inclui-se uma instrução clara e objetiva da tarefa a ser realizada pelo estudante. Essa instrução poderá ser expressa como pergunta ou frase a ser completada ou respondida pela alternativa correta. É no enunciado que, fundamentalmente, se determina o nível de habilidade cognitiva que será avaliado, desde a simples identificação de informações explícitas até níveis mais complexos como a capacidade de síntese do estudante. Desse modo, a sua formulação adequada contribui diretamente para a validade da medida de desempenho. 3.3 Opções/alternativas As opções/alternativas são possibilidades de respostas para a situaçãoproblema apresentada, dividindo-se em gabarito (a alternativa que contempla a resposta correta) e em distratares (alternativas que contemplam respostas incorretas). A construção das alternativas, principalmente dos distratares, é uma tarefa complexa e exige grande domínio técnico na sua elaboração. 3.4 Gabarito O gabarito indica, inquestionavelmente, a única opção/alternativa correta que responde à situação-problema proposta. 3.5 Distratares Os distratares indicam as alternativas incorretas à resolução da situaçãoproblema proposta. Devem ser redigidos com aparência de resposta correta, mas sendo inquestionavelmente incorretos. Eles devem atender à 8 característica de plausibilidade e, além disso, devem parecer corretas para aqueles participantes do exame que não desenvolveram a competência avaliada. Isso significa que o distratar plausível deve retratar hipóteses de raciocínio utilizadas na busca da solução da situação-problema apresentada. Como consequência, se esse distratar retrata uma dificuldade real do participante com relação à competência avaliada, não devem ser criadas situações capazes de induzido ao erro. A utilização das hipóteses ou respostas equivocadas observadas em situação de ensino-aprendizagem costuma aumentar a plausibilidade dos distratares. Por outro lado, respostas que retratam erros grosseiros ou alternativas absurdas, dentro ou não do contexto do item, tendem a induzir a identificação imediata da alternativa correta, o que não é desejável. 3.6 Justificativas das respostas As justificativas fazem parte da apresentação do item, devendo ser formuladas separadamente para cada uma das alternativas. Visam não somente indicar qual a resposta correta e quais incorretas, como também oferecer elementos que permitam compreender o acerto ou o equívoco implícito na resolução da situação-problema abordada no item. No que se refere à revisão técnicopedagógica do item, a apresentação das justificativas deverá oferecer elementos que permitam ao revisor verificar a plausibilidade dos distratores. As justificativas deverão informar exatamente os motivos pelos quais cada uma das alternativas representa ou não a opção correta de resposta, de modo que não serão aceitas justificativas tautológicas. Cada uma delas deverá começar com a palavra CERTA ou ERRADA, seguidas de ponto final, e da explicação devida. Exemplo: (A) ERRADA. O estudante não compreende a situação proposta e considera que blau blau blau blau (B) ERRADA. O estudante blau blau blau blau (C) CERTA. O estudante raciocina corretamente e conclui que blau blau blau blau (D) ERRADA. O estudante blau Nau blau blau (E) ERRADA. O estudante blau blau blau blau 4 TIPOS DE ITENS DE MÚLTIPLA ESCOLHA Os itens de múltipla escolha são constituídos de alternativas problematizadoras e devem favorecer soluções por meio de escala de respostas. São adotados no Enade os seguintes tipos de itens de múltipla escolha: interpretação, resposta múltipla e asserção-razão. 9 4.1 Itens de interpretação O item de múltipla escolha do tipo interpretação é formulado a partir de uma situação-estímulo que compõe o enunciado. A situação-estímulo faz parte de um problema e, a partir dela, o estudante organiza as ideias, dados ou informações para resolvê-lo. É nesse momento que ele identifica, mobiliza, gerencia e utiliza diversos recursos, articulados a habilidades, saberes, conhecimentos e outras características pertinentes, que vão oportunizar a visibilidade de determinada competência ou característica do perfil profissional esperado. São exemplos de situação-estímulo: texto, estudo de caso, tabela, quadro, diagrama, gráfico, figura, mapa, esquema ou ilustração (extraídos de fonte fidedigna, com as devidas referências). O enunciado/comando pode ser apresentado tanto como frase incompleta, a ser finalizada pelas opções/alternativas, quanto em forma de pergunta. A opção por uma ou outra está mais relacionada à clareza do desafio proposto. Exemplos de itens de interpretação Exemplo 1 QUESTÃO 6 A educação é o Xis da questão A expressão “o Xis da questão” usada no titulo do infográfico diz respeito 10 A. à quantidade de anos de estudos necessários para garantir um emprego estável com salário digno. B. às oportunidades de melhoria salarial que surgem à medida que aumenta o nível de escolaridade dos indivíduos. C. à influência que o ensino de língua estrangeira nas escolas tem exercido na vida profissional dos indivíduos. D. aos questionamentos que serão feitos acerca da quantidade mínima de anos de estudos que os indivíduos precisam para ser boa educação. E. À redução da taxa de desemprego em razão da política atual de controle da evasão escolar e de aprovação automática de ano de acordo com a idade. Exemplo 2 QUESTÃO 45 A aplicação S : S1 -> S2 ilustrada na figura abaixo é uma isometria entre a faixa plana S1 e o cilindro circular reto S2. A isometria leva o segmento de reta r1 em um arco de circunferência em S2 e o segmento de reta r2 em um segmento de reta de S2. Nessa situação, a imagem do segmento de reta r3 pela isometria S é uma A. espiral da superfície S2. B. curva plana contida em S2. C. geodésica da superfície S2. D. linha assintótica da superfície S2. E. linha de curvatura da superfície S2. 11 Exemplo 3 QUESTÃO 23 Iracema voou Iracema voou Para a América Leva roupa de lã E anda lépida Vê um filme de quando em vez Não domina o idioma inglês Lava chão numa casa de chá Tem saldo ao luar Com um mímico Ambiciona estudar Canto lírico Não dá mole pra polícia Se puder, vai ficando por lá Tem saudade do Ceará Mas não muita Uns dias, afoita Me liga a cobrar: — É Iracema da América BUARQUE, C 1998. Disponível em: <www.chicobuarque.com.br/construção/=mestre.asp?pg.iracerna_98.htm>. Acesso em: 11 ago. 2011. A canção de Chico Buarque reproduzida acima mostra que personagens e temas da literatura permanecem presentes em formas e suportes diversos. Nessa perspectiva, como se estabelece a relação entre essa canção e o romance Iracema, de José de Alencar? 12 A. Ampliado pelo gênero musical, o texto de Chico Buarque apresenta aspectos culturais semelhantes aos da obra alencariana, relacionados ao projeto de construção da identidade nacional, sob a influência do movimento emancipatório iniciado no século XIX. B. Os temas viagens, natureza e novo mundo, bem como a linguagem, convergentes tanto na canção quanto na obra de Alencar, retratam anseios nacionalistas em criar uma literatura portadora da identidade brasileira. C. Embora a canção reaproveite da obra de Alencar a figura do indígena, exílio e busca pela modernidade, ela o faz em urna perspectiva de desconstrução desses elementos caracterizadores do período. D. A (re)valorização e a fixação da identidade nacional constituem a antítese que fundamenta a escrita da canção, o que explica a negação do passado nacional e artístico revelada por Chico Buarque. E. A relação de intertextualidade que se estabelece entre o texto contemporâneo e o romântico confirma a predominância da cultura colonizada em relação ao colonizador português na América. Exemplo 4 QUESTÃO 42 Soneto XXXI Longe de ti, se escuto, porventura. Teu nome, que urna boca indiferente Entre outros nomes de mulher murmura, Sobe-me o pranto aos Olhos, de repente__ Tal aquele, que, mísero, a tortura Sofre de amargo exílio, e tristemente A linguagem natal, maviosa e pura, Ouve falada por estranha gente... Porque teu nome é para mim o nome De urna pátria distante e idolatrada. Cuja saudade ardente me consome: E ouvi-lo é ver a eterna primavera E a eterna luz da terra abençoada, Onde, entre flores, teu amor me espera. BILAC, O. Melhores poemas. Seleção de Marisa Lajolo São Paulo Global, 2003, p. 54. 13 Olavo Bilac, mais conhecido como poeta parnasiano, expressa traços românticos em sua obra. No soneto apresentado, o traço romântico observado ea A. B. C. D. E. erudição do vocabulário. objetividade do eu lírico. predominância de descrição. idealização do terna amoroso. utilização de universo mitológico. 4.2 Itens de resposta múltipla O item do tipo resposta múltipla é também conhecido como complementação múltipla ou múltipla escolha complexa. A composição desse tipo de item consiste de três a cinco afirmações, relacionadas com o tema explicitado no enunciado, e de uma chave de respostas, em que são apresentadas as alternativas de resposta propriamente ditas, sendo que em cada uma delas consta(m) qual(is) afirmação(ões) entre as apresentadas é(são) verdadeira(s) em relação à proposta do item. Para responder a esse item, o estudante deve analisar as afirmações com relação ao tema proposto no enunciado, se verdadeiras ou falsas, e identificar na chave de resposta aquela que corresponde ao resultado da análise efetuada. Exemplos de itens de resposta múltipla Exemplo 1 QUESTÃO 36 A tecnologia de fermentação vem sendo aprimorada nos últimos anos com o objetivo de aumentar a produtividade dos processos fementativos. Um exemplo desse avanço é o desenvolvimento da Sacarificação e Fermentação Simultâneas (Simultaneous Saccharification and Fennentation -SSF), que consiste em realizar num mesmo reator a hidrólise enzimática de materiais lignocelulósicos, gerando açúcares que são fermentados no mesmo reatar por microrganismos ali presentes. Considerando a utilização dessa tecnologia para a produção de etanol, a partir de bagaço e palha de cana-de-açúcar, analise as afirmações abaixo. 14 I - A utilização da tecnologia SSF para a produção de etanol valoriza os resíduos da indústria de açúcar e álcool, pois há um crescimento da demanda mundial por biocombustíveis. II - Nesse tipo de reator, a formação de subprodutos é grande, em função da natureza dos agentes de hidrólise e fermentação, o que consiste em uma vantagem do ponto de vista ambiental. III - Quando as condições ótimas de atividade das enzimas de hidrólise e dos microrganismos que realizam a fermentação forem diferentes, a quantidade de etanol produzida nesse tipo de ferrnentadorficara comprometida. IV- O aproveitamento da palha e do bagaço de cana já é realizado industrialmente e, por isso, não é necessário desenvolver alternativas para seu aproveitamento. É correto apenas o que se afirma em (A) I. (B) II. (C) I e III. (D) II e IV. (E) III e IV. Exemplo 2 QUESTÃO 24 O conhecido modelo de proposta de redação "Minhas férias" parece perpetuarse no meio escolar, dado que ainda são solicitadas produções textuais em que o aluno somente tem como referência o tema a ser abordado, sem quaisquer outras explicitações acerca de sua produção. Considerando as especificidades dessa proposta de escrita, sob a perspectiva de que a produção textual se caracteriza não somente pelos seus aspectos linguísticos e textuais, mas também pelas suas funções frente às relações sociais particulares, pelos seus aspectos sociocomunicativos, analise as afirmações seguintes. I. II. A estratégia mencionada reflete aquilo que vários estudos acerca das especificidades do processo escritural vêm discutindo recentemente: as habilidades nesse processo se realizam a partir de abstrações, as quais dispensam sobretudo as interferências extralinguisticas, contextuais. II. À medida que os propósitos comunicativos, como parte das condições de produção do texto, foram deixados de lado na proposição da atividade, a realização desta se tornou inócua. 15 III. III. A atividade mencionada limitou o processo de produção do aluno, comprometendo seu desempenho, por não ser indicada a situação comunicacional envolvida. É correto o que se afirma em A. B. C. D. E. I, apenas. III, apenas. I e II, apenas. II e III, apenas. I, II e III. Exemplo3 QUESTÃO 39 O gráfico abaixo representa o traço da curva parametrizada diferenciável plana A respeito dessa curva, avalie as afirmações a seguir 16 É correto apenas o que se afirma em A. B. C. D. E. II. I e II. I e IV III e V III,IV e V Exemplo4 QUESTÃO 25 Na criança portadora de paralisia cerebral, alguns aspectos mais gerais relacionados à postura corporal e ao desenvolvimento motor necessitam ser observados pelo fonoaudiólogo, uma vez que esses aspectos irão influenciar significativamente o processo terapêutico. Considerando essa situação, avalie as afirmações abaixo. I. II. A permanência de reflexos primitivos ou anormais corporais irá prejudicar o movimento de rotação corporal, que permite, por exemplo, a utilização dos membros superiores em experiências de explorações do ambiente, as quais, por sua vez, podem trazer prejuízos ao desenvolvimento da linguagem, cognição e fala. A persistência de padrões primitivos ou anormais nos orgãos fonoarticulatórios rios poderá prejudicar as funções de alimentação e coordenação fonoarticulatória, a qual, por sua vez, poderá prejudicar o desenvolvimento da fala. 17 III. IV. A presença de alteração de tono em membros inferiores não é um elemento significativo para o fonoaudiologo, urna vez que o êxito do seu trabalho dependerá da obtenção de um bom padrão de tono muscular nas estruturas do sistema estomatognático, que são responsáveis pelas funções orais. Tendo em vista as dificuldades relacionadas à postura corporal e ao desenvolvimento motor global, o fonoaudiólogo necessitará aguardar a evolução do desenvolvimento neuropsicomotor da criança para iniciar o trabalho voltado para o desenvolvimento das funções orais. É correto apenas o que se afirma em A. B. C. D. E. I e II. I e III. III e IV. l, ll e IV II, III e IV. 4.3 Itens do tipo asserção-razão O item de múltipla escolha do tipo asserção-razão, também conhecido como análise de relações, constitui-se de duas proposições ligadas pela palavra PORQUE, sendo que a segunda proposição deve ser avaliada se constitui razão ou justificativa da primeira. Compõe o item, ainda, uma chave de respostas padrão, em são descritas as opções/alternativas de resposta propriamente ditas, e cada uma delas contém uma afirmação sobre a veracidade ou falsidade de cada uma das proposições e também da existência ou não de relação de causalidade entre elas. Exemplos de itens do tipo asserção-razão Exemplo 1 QUESTÃO 4 Com o advento da República, a discussão sobre a questão educacional tornase pauta significativa nas esferas dos Poderes Executivo e Legislativo, tanto no âmbito Federal quanto no Estadual. Já na Primeira República, a expansão da demanda social se propaga com o movimento da escolanovista; no período getulista, encontram-se as reformas de Francisco Campos e Gustavo Capanema; no momento de crítica e balanço do pós-1946, ocorre a promulgação da primeira Lei de Diretrizes e Bases da Educação Nacional, em 1961. É somente com a Constituição de 1988, no entanto, que os brasileiros têm assegurada a educação de forma universal, como um direito de todos, tendo em vista o pleno desenvolvimento da pessoa no que se refere a sua preparação para o exercício da cidadania e sua qualificação para o trabalho. O artigo 208 do texto constitucional prevê como dever do Estado a oferta da 18 educação tanto a crianças como àqueles que não tiveram acesso ao ensino em idade própria à escolarização cabida.o em idade própria à escolarização cabida. Nesse contexto, avalie as seguintes asserções e a relação proposta entre elas. I - A relação entre educação e cidadania se estabelece na busca da universalização da educação como uma das condições necessárias para a consolidação da democracia no Brasil. A respeito dessas asserções, assinale a opção correta. PORQUE II - Por meio da atuação de seus representantes nos Poderes Executivos e Legislativo, no decorrer do século XX, passou a ser garantido no Brasil o direito de acesso à educação, inclusive aos jovens e adultos que já estavam fora da idade escolar. (A) As asserções I e li são proposições verdadeiras, e a segunda é uma justificativa correta da primeira. (B) As asserções 1 e II são proposições verdadeiras, mas a segunda não é uma justificativa correta da primeira. (C) A asserção 1 é urna proposição verdadeira, e a asserção II é uma proposição falsa. (D) A asserção i é uma proposição falsa, e a asserção II é uma proposição verdadeira. (E) As asserções I e II são proposições falsas. Exemplo 2 QUESTÃO 37 Comecei a fazer um tratamento com um medicamento muito forte á base de corticoide, Para quem nunca tomou :medicamento mais forte que urna Aspirina ou um Tilenol, vocês podem imaginar como foi difícil para mim tomar esta medida. Disponível em: http://www.amigosdebike.com.br. Acesso em: 19 ago. 2011. Considerando o texto apresentado e as restrições naturais ao emprego do pronome oblíquo 'mim em português, avalie as asserções que se seguem. No texto acima, o pronome oblíquo está colocado antes do verbo e empregado de acordo com a norma culta. 19 PORQUE O rato de o pronome 'mim' estar em posição imediatamente anterior ao verbo não indica, necessariamente, que ele seja o seu sujeito da oração, como ocorre no texto apresentado acima. A respeito dessas asserções, assinale a opção correta, A. As duas asserções são proposições verdadeiras, e a segunda é urna justificativa correta da primeira. B. As duas asserções são proposições verdadeiras, mas segunda não é urna justificativa correta da primeira. C. A primeira asserção é urna proposição verdadeira, e a segunda, urna proposição falsa D. A primeira asserção é uma proposição: falsa, e a segunda, uma proposição verdadeira. E. Tanto a primeira quanto a segunda asserções são proposições falsas. Exemplo 3 QUESTÃO 18 A família, nos dois sentidos do termo (parentesco e grupo doméstico), é uma estrutura que atravessa e anima a sociedade inteira. Seu papel econômico é essência, mesmo em nossas sociedades, nas quais consumo e produção estão descasadas, á que a linhagem é um canal maior de redistribuição de bens e serviços. MENDRAS, H. O que é sociologia? São Paulo), 2004 (com adaptações). Analise as proposições a segura, a respeito do fragmento do texto de Mendras. A família é urna importante célula de consumo e movimentação de recursos financeiros nas sociedades capitalistas independentemente do tamanho do grupo doméstico. PORQUE O trabalho e o rendimento dos membros da família potencializam a capacidade de aquisição de bens e serviços. A respeito dessas asserções, assinale a opção correta. 20 A. As duas asserções são proposições verdadeiras, e a segunda é uma justificativa correta da primeira. B. As duas asserções São proposições verdadeiras, mas a segunda não é urna justificativa correta da primeira. C. A primeira asserção é urna proposição verdadeira, e a segunda é uma proposição falsa. D. A primeira asserção é uma proposição falsa, e a segunda é urna proposição verdadeira. E. As duas asserções são proposições falsas, 5 ITENS DISCURSIVOS OU DE RESPOSTA CONSTRUÍDA Os itens discursivos são conhecidos também como dissertativos, abertos, descritivos, tipo ensaio ou de resposta livre. Além do domínio de conhecimentos, os itens discursivos avaliam aspectos como a capacidade de exposição de ideias com clareza, coerência e coesão, construção de argumentações consistentes, domínio da norma culta, estabelecimento de relações, entre outros. Para o BNI/Enade, os itens discursivos deverão ser respondidos em, no máximo, 15 linhas. A estruturação desses itens deve dar oportunidade para que o estudante, no desenvolvimento da resposta, possa: • propor explicações e soluções para os problemas apresentados; • aplicar o que aprendeu a situações novas; • fazer comparações ou classificações de dados e informações; • estabelecer relações entre fatos e princípios, por exemplo, relações de causa e efeito; • analisar e criticar a veracidade de afirmações; • analisar o valor de procedimentos; • assumir posição favorável ou contrária a alguma conduta, apresentando a devida argumentação; • demonstrar capacidade de síntese, originalidade e(ou) julgamento de valor; • formular conclusões a partir de elementos fornecidos; • demonstrar capacidade de organizar as ideias, expressando-as na forma escrita, de maneira coerente e lógica. 21 Exemplos de itens discursivos Exemplo 1 QUESTÃO DISCURSIVA 5 O Teorema do Valor Intermediário é uma proposição muito importante da análise matemática, com inúmeras aplicações teóricas e práticas. Uma demonstração analítica desse teorema foi feita pelo matemático Bernard Bolzano [1781 —1848]. Nesse contexto, faça o que se pede nos itens a seguir: a) Enuncie o Teorema do Valor Intermediário para funções reais de uma variável real; (valor: 2,0 pontos) b) Resolva a seguinte situação-problema. O vencedor da corrida de São Silvestre-2010 foi o brasileiro Mailson Gomes dos Santos, que fez o percurso de 15 km em 44 min e 7 seg. Prove que, em pelo menos dois momentos distintos da corrida, a velocidade instantânea de Mailson era de 5 metros por segundo. (valor: 4,0 pontos) c) Descreva uma situação real que pode ser modelada por meio de uma função continua f, definida em um intervalo [a b], relacionando duas grandezas x e y, tal que existe ft E (a . h) com f(x) f(k), para todo x E (a b), x # k. Justifique sua resposta. (valor: 4,0 pontos) Exemplo 2 QUESTÃO 9 As seguintes acepções dos termos democracia e ética foram extraídas do Dicionário Houaiss da Língua Portuguesa. democracia. POL. 1 governo do povo; governo em que o povo exerce a soberania 2 sistema político cujas ações atendem aos interesses populares 3 governo no qual o povo toma as decisões importantes a respeito das políticas públicas, não de forma ocasional ou circunstancial, mas segundo princípios permanentes de legalidade 4 sistema político comprometido com a igualdade ou com a distribuição equitativa de poder entre todos os cidadãos 5 governo que acata a vontade da maioria da população, embora respeitando os direitos e a livre expressão das minorias. ética. 1 parte da filosofia responsável pela investigação dos princípios que motivam, distorcem, disciplinam ou orientam o comportamento humano, refletindo esp. a respeito da essência das normas, valores, prescrições e exortações presentes em qualquer realidade social 2 p.ext. conjunto de regras e preceitos de ordem valorativa e moral de uni indivíduo, de um grupo social ou de urra sociedade Dicionário Houaiss da Língua Portuguesa. Rio de Janeiro: Objetiva, 2011. 22 Considerando as acepções acima, elabore um texto dissertativo, com até 5 linhas, acerca do seguinte tema: Comportamento ético nas sociedades democráticas. Em seu texto, aborde os seguintes aspectos: Dicionário Houaiss da Língua Portuguesa. Ria de Janeiro: Objetiva, 2 001. a) conceito de sociedade democrática; (valor: 4,0 pontos) b) evidências de um comportamento não ético de uni indivíduo; (valor: 3,0 pontos) c) exemplo de um comportamento ético de um futuro profissional comprometido com a cidadania. (valor: 3,0 pontos) Exemplo 3 QUESTÃO DISCURSIVA 2 A Síntese de Indicadores Sociais (SIS 2010) utiliza-se da Pesquisa Nacional por Amostra de Domicílios (PNAD) para apresentar sucinta análise das condições de vida no Brasil. Quanto ao analfabetismo, a SIS 2010 mostra que os maiores índices se concentram na população idosa, em camadas de menores rendimentos e predominantemente na região Nordeste, conforme dados do texto a seguir. Ataxa de analfabetismo referente a pessoas de 15 anos ou mais de idade baixou de 13,3% em 1999 para 9,7% em 2009. Em números absolutos, o contingente era de 14,1 milhões de pessoas .analfabetas. Dessas, 42,6% tinham mais de 60 anos, 52,2% residiam no Nordeste e 16,4% viviam com 'A salário-mínimo de renda familiar per capita. 23 Os maiores decréscimos no analfabetismo por grupos etários entre 1999 a 2009 ocorreram na faixa dos 15 a 24 anos. Nesse grupo, as mulheres eram mais alfabetizadas, mas a população masculina apresentou queda um pouco mais acentuada dos índices de analfabetismo, que passou de 13,5°k para 6,3%, contra 6,9% para 3,0% para as mulheres. SIS 2010: Mulheres mais escolarizadas são mães mais tarde e têm menos filhos. Disponível em: http://www.ibge.gov.br/home/presidencia/noticias. Acesso em: 25 ago. 2011 (adaptado). Com base nos dados apresentados, redija um texto dissertativo acerca da importância de políticas e programas educacionais para a erradicação do analfabetismo e para a empregabilidade, considerando as disparidades sociais e as dificuldades de obtenção de emprego provocadas pelo analfabetismo. Em seu texto, apresente uma proposta para a superação do analfabetismo e para o aumento da empregabilidade. (valor: 10,0 pontos) 6 ORIENTAÇÕES PARA ELABORAÇÃO DOS ITENS DO BNI/ENADE A confiabilidade nos resultados de um processo de avaliação depende diretamente da qualidade dos instrumentos produzidos. Inicialmente, é preciso 24 ter clareza do que se deseja avaliar, o que implica a necessidade de definir com precisão e objetividade os perfis, os recursos (competências/habilidades) e os objetos de conhecimento a serem avaliados para se alcançar o rigor no planejamento e na execução da avaliação. O banco de itens construído para uma avaliação educacional de larga escala é o elemento chave para a análise de desempenho dos participantes. Como a qualidade do instrumento de avaliação (itens que compõem o teste) reflete a clareza teórica, conceituai e metodológica adotada (Rabelo, 2010), faz-se necessário tecer alguns comentários acerca dos cuidados básicos que devem ser observados no processo de elaboração dos itens. A elaboração de itens requer o domínio da área de conhecimento a ser avaliada e o atendimento aos procedimentos técnicos que envolvem a construção de itens. O processo de elaboração do item desenvolve-se "artesanalmente" e a versão final será alcançada após várias revisões. Costuma-se dizer que se inicia com a "pedra bruta" — a primeira versão do item —, que vai sendo "lapidada" a cada revisão, obtendo-se a "joia preciosa", a versão final do item. Tanto elaboradores quanto revisores devem confirmar se os itens elaborados atendem integralmente as diretrizes e as condições estabelecidas nas matrizes de referência de suas áreas ou cursos. 6.1 Recomendações gerais Antes de se iniciar o trabalho, devem ser verificados alguns aspectos essenciais para a elaboração dos itens, considerando a concepção da avaliação do exame e a finalidade a que se destina. O foco não é se o avaliando domina determinado objeto de conhecimento, mas se consegue utilizá-lo no processo de tomada de decisão frente a uma situação-problema proposta, que foi especialmente construída para avaliar o desenvolvimento do recurso (competência/habilidade) selecionado como objeto da avaliação. Desse modo, a primeira ação do elaborador do item é escolher um recurso (competência/habilidade) na matriz de referência e analisar suas possibilidades de relações com as demais dimensões que integram a matriz, focando a avaliação em apenas uma dessas relações. Tentar enquadrar um item depois de pronto em uma competência da matriz torna-se completamente inviável, pois, na construção do item, é preciso contemplar os diversos aspectos que compõem a competência, o que não será possível se isso já não tiver sido levado em conta desde o início do processo de elaboração. (Marinho-Araújo & Rabelo, 2012b; Rabelo, 2010) Abaixo estão listados alguns procedimentos fundamentais para a elaboração, de forma adequada, de itens para o BN1-Enade: • Na matriz de referência, selecione o recurso (competência/habilidade) a ser avaliado, observe a característica de perfil a ele associada e o(s) objeto(s) de 25 conhecimento(s) que serão abordados. Em geral, essa escolha é direcionada previamente pela Comissão Assessora. • Utilize os objetos de conhecimento (conteúdos) como meio no processo de avaliação; as questões deverão avaliar o desenvolvimento de determinados recursos (competências/habilidades) que contribuem para o alcance de alguma característica do perfil de formação esperado. • Os itens deverão ser embasados em situações-problema, estudos de caso ou simulacros. Quanto mais próximos do cotidiano dos estudantes, melhor será o desempenho. • Pesquise diferentes fontes antes de decidir qual a melhor forma de abordar o assunto. A escolha de um contexto adequado, que servirá de texto-base, é fundamental para a construção de um item de bom nível. Deve-se dar preferência a textos de fonte primária, de autoria explícita, que sejam curtos e integrais, de fácil compreensão, com linguagem apropriada ao nível dos estudantes, que sejam adequados aos objetivos da questão e possibilitem a criação das opções de resposta: uma correta e as demais incorretas, mas plausíveis. São permitidos recortes no texto, desde que sejam mantidas as ideias principais e se indique que houve adaptação. É obrigatória a apresentação da fonte de referência, seguindo o padrão estabelecido nas normas técnicas. 6.2 Recomendações específicas para itens de múltipla escolha Na elaboração de itens de múltipla escolha para o Enade, em qualquer de suas formas, permite-se apenas uma única resposta correta, ou seja, apenas uma alternativa deverá ser indubitavelmente a correta. Seguem algumas recomendações a serem observadas durante o processo de criação do item. • Elabore primeiro a situação-estímulo (texto-base), depois o enunciado/comando e, em seguida, as opções/alternativas. O texto-base não pode ser utilizado simplesmente como pretexto. Uma maneira de verificar isso é ocultar o texto-base, ler o comando e analisar se a resposta correta pode ser encontrada sem as informações do texto-base. Caso isso ocorra, há um erro grave de elaboração e o comando e as opções precisam ser refeitos. • Ao elaborar um item de múltipla escolha, considere que o gabarito deve ser a única resposta correta, sem deixar dúvidas para o respondente que sabe. Alternativas erradas que atraem bons alunos podem ser consideradas "pegadinhas", que não se enquadram nos propósitos de uma avaliação educacional de qualidade. • Cada opção errada (distratar) deve ser plausível, isto é, fazer parte do contexto do item e ser uma resposta possível para o estudante que não sabe ou que não desenvolveu a competência que está sendo avaliada. Não pode 26 fugir do tema proposto nem se constituir em afirmação evidentemente descabida até para quem não domina o assunto. É desejável que cada distrator esteja vinculado a um nível de desenvolvimento adequado da aprendizagem e ensejar um possível raciocínio que um estudante de baixo desempenho faria para escolhê-lo como resposta. Nesse caso, seria possível identificar, na fase de análise de desempenho, os erros mais comuns nos diversos níveis de proficiência e, assim, fornecer indícios sobre o processo cognitivo dos respondentes (Rabelo, 2010, 2011a). Há um limite tênue entre o que se considera um distrator plausível e uma "pegadinha". Nesse caso, basta lembrar que um distrator plausível é uma possibilidade de resposta a ser dada por um estudante que não sabe resolver a situação proposta, enquanto a "pegadinha" é uma resposta que atrai um bom estudante. • Siga a ordem crescente ou decrescente nas opções/alternativas numéricas, sem discrepâncias exageradas de valores que possam atrair para a resposta correta estudantes que não sabem, mas que acertam ao acaso simplesmente pela observação das opções de respostas apresentadas. • Siga uma sequência lógica nas opções/alternativas, seja a ordem crescente ou decrescente mencionada anteriormente, seja a ordem alfabética no caso de palavras ou expressões, seja a ordem cronológica dos eventos. No entanto, a ordem de tamanho das alternativas é a de preferência. • Redija as opções/alternativas com extensão e estrutura semelhantes, mas, caso não seja possível, utilize o formato trapezoidal na apresentação. Eventuais diferenças de extensão podem induzir a escolha da resposta pelos estudantes. • Redija as opções/alternativas de modo a completar de forma gramaticalmente o enunciado. • Mantenha o paralelismo sintático na apresentação das opções/alternativas, por exemplo: todas começando por verbo, ou por substantivo, ou por artigo. • Redija as opções/alternativas de forma relativamente homogêneas, isto é, elas devem formar um conjunto equilibrado (de sinais, de sintomas, de métodos, de exemplos, de quantidade de termos ou fatores, de figuras etc.). • Considere o balanceamento das respostas (quantidade de respostas corretas para cada alternativa/opção) em relação ao total de itens elaborado. • Redija, preferencialmente, enunciados/comandos e opções/alternativas na forma afirmativa. Os itens com enunciados negativos devem ser evitados, pois os bons estudantes podem, inadvertidamente, escolher uma opção que traz uma ideia correta, mas que não se ajusta ao comando, que, nesse caso, solicitaria a opção incorreta. 27 • Nos itens de interpretação, evite formulações do tipo "assinale a opção correta" ou "é correto afirmar que", pois, frequentemente, levam a cinco problemas diferentes nas alternativas e não deixam claro para o estudante o escopo da avaliação que se pretende, o desafio proposto e que deveria estar explícito no enunciado. • Não use comando/enunciado do tipo "Em relação ao tema XXX, pode-se afirmar que". • Utilize comando/enunciado na forma impessoal, não utilizando a primeira pessoal do plural.' • Selecione os tópicos mais significativos para a avaliação, de acordo com o número de itens previstos, respeitando a matriz de referência. • Os itens devem ser discriminativos: os examinandos que apresentam melhor desempenho na prova devem ser mais bem-sucedidos, em cada item, do que aqueles que apresentam baixo desempenho. Itens de média complexidade apresentam, em geral, bons índices de discriminação. Itens extremamente fáceis ou extremamente difíceis não discriminam. • Considere o tempo disponível para a resposta de cada item, No caso de múltipla escolha, em torno de 4 minutos para um estudante de desempenho mediano. • Construa itens independentes, de modo que o acerto de um não fica subordinado ao acerto do outro. • Não use o mesmo contexto em mais de um item, pois o BNI/Enade não tem mecanismo de controle para agrupar esses itens. • Não formule itens com opções/alternativas encadeadas em que haja referência à alternativa anterior. As informações necessárias para julgar cada alternativa devem estar presentes no texto-base ou no enunciado/comando. • Mencione a interpretação utilizada na formulação do comando/enunciado, quando o item elaborado ensejar controvérsias oriundas de interpretações diversas ou de referenciais teóricos específicos. • Leve em consideração as condições em que será aplicada e respondida a prova. Por exemplo, sem consulta a qualquer tipo de material e sem uso da calculadora. Observe também que os itens do BNI-Enade devem: • atender rigorosamente às Portarias que estabelecem as diretrizes para as respectivas áreas e ser concebidos seguindo as orientações das matrizes de referência; 28 • apresentar enunciado com todas as informações técnicas necessárias para a sua resolução e formulado de forma clara, direta e precisa, evitando-se construções complicadas que possam induzir os estudantes ao erro; • basear-se em informações de fontes confiáveis e de autores reconhecidos, priorizando-se as primárias, originais e que não precisem de adaptação; • explorar textos que abordem, de preferência, temas atuais que sejam relevantes para o propósito da avaliação e adequados ao público-alvo; • referenciar fontes de tabelas, figuras, gráficos, quadros, textos ou fragmento de texto de acordo com as normas da ABNT; • conter, sempre, as justificativas das respostas, no caso de item de múltipla escolha, e o padrão de resposta esperado, para os itens de resposta construída pelo estudante. Além disso, os itens do BNI-Enade não devem: • avaliar simples memorização, tão pouco exigir mera recordação de conceitos e(ou) fórmulas; • abordar aspectos regionais e muito específicos (fatos, terminologia, usos etc.); • conter situações, exemplos ou informações que possam se caracterizar como viés político, cultural, discriminação ou preconceito segundo raça, gênero, religião, origem, cultura ou outros; • privilegiar abordagens, autores, teorias específicas ou mesmo editoras; • utilizar textos da Internet sem que seja feita a devida conferência de sua originalidade e autoria; • citar nomes fictícios jocosos ou usar em situações hipotéticas nomes que se referem a pessoas públicas; • fazer qualquer tipo de propaganda comercial (marca de produto) ou política (apologias a programas de governo); • propiciar pistas que facilitem a resposta do estudante; • utilizar subterfúgios que dificultem a resposta do estudante; • apresentar redação muito semelhante entre o enunciado/comando e a resposta correta; • apresentar a opção correta com extensão bem diferente das demais, atraindo os estudantes para a resposta; 29 • apresentar enunciados/comandos vagos, que transformem as alternativas em um conjunto de frases soltas; • fazer uso no enunciado/comando de termos negativos como: "falso", "exceto", "incorreto", "não", "errado"; • fazer uso no enunciado/comando dos termos "assinale", "indique", "aponte" e outros correlatos. (Exceto na questão do tipo asserção-razão, que já contempla uma chave de respostas específicas.) • ter como elemento caracterizador os termos "somente", "apenas", "nunca", "jamais", "raramente", "exclusivamente", "unicamente", "sempre", "totalmente", "todo", "pode ser", "tudo", "ninguém", "nenhum", "nada", "algum", "pode acontecer", "pode haver", "pouco", "às vezes", "qualquer", entre outros. O estudante pode descartar uma opção de resposta apenas por conter um desses termos. • conter opções do tipo: "Nenhuma das respostas anteriores" ou "Todas as respostas anteriores". (Exceto nas questões do tipo resposta múltipla, que apresentam uma chave de respostas diferenciada.) • apresentar opções/alternativas longas demais e(ou) repetitivas, que podem levar o estudante a ter dificuldade em compreender o que se pretende avaliar; • incluir erros grosseiros ou flagrantes absurdos que levem, de imediato, à resposta correta ou induzam a respostas incorretas, pois isso compromete a validade do processo de avaliação; • induzir o estudante a selecionar a melhor alternativa, uma vez que isso pode ser contestado de acordo com outros pontos de vista; • tornar falsa uma afirmação simplesmente pela inclusão da palavra "não" na frase, pelo uso do prefixo "in" em algum termo ou por outros artifícios similares, o que pode prejudicar a plausibilidade. No caso de itens do tipo resposta múltipla, os seguintes cuidados adicionais devem ser observados: • não formular o comando na forma negativa, ou seja, nunca solicitar que sejam avaliadas quais afirmações estão incorretas, mas sempre as corretas; • apresentar as afirmações a serem julgadas com estrutura simples, não construindo frases longas demais, que dificultem o entendimento pelos estudantes e demandem muito tempo de leitura e interpretação; • não transformar afirmações de verdadeiras em falsas simplesmente pela inserção da palavra "não" ou pelo uso do prefixo "—in"; 30 • construir a chave de respostas de tal forma que as combinações não forneçam pistas quanto à opção correta — balancear a quantidade de vezes que o número de cada afirmação aparece nas alternativas. Para itens do tipo asserção-razão, as seguintes recomendações extras precisam ser observadas: • construir as duas proposições a serem julgadas de modo vinculado ao contexto e aos objetos de conhecimento avaliados no item; • construir cada proposição como frase com sentido completo, sem apoio na outra proposição; • considerar que cada proposição deve ser analisada pelo estudante independentemente uma da outra; • redigir proposições sem ambiguidade de interpretação; • considerar que a relação de causa e consequência pode existir ou não entre as duas proposições. Seguindo essas breves recomendações no processo de construção de um item de múltipla escolha, pelo menos do ponto de vista formal, o item terá uma estrutura isenta de vícios que poderiam comprometer as inferências de desempenho que são feitas a partir das respostas dos estudantes. 6.3 Recomendações específicas para itens discursivos A elaboração de itens discursivos requer cuidados para garantir a validade e a confiabilidade dos resultados. Um item discursivo bem elaborado deve possibilitar uma avaliação criteriosa pela banca de corretores. Em geral, a prova contém poucos itens discursivos, o que acaba por influenciar as escolhas da abordagem proposta. Selecione cuidadosamente o contexto, não busque avaliar detalhes muito específicos, centre a avaliação nos temas essenciais da área, não crie item discursivo que poderia ser facilmente substituído por um ou mais itens objetivos. Muitas das recomendações apresentadas anteriormente para itens objetivos também se aplicam aos discursivos, principalmente as que se referem à linguagem utilizada e à pertinência dos textos escolhidos. No [nade, espera-se que o estudante leia a proposta apresentada no item discursivo, elabore um rascunho de sua resposta e transcreva-o para o Caderno de Respostas em, no máximo, 15 minutos. Esse parâmetro deve balizar a proposta apresentada. Ao redigir o padrão de resposta esperado, o elaborador tem também a oportunidade de estimar esse tempo. As seguintes recomendações precisam ser consideradas por elaboradores e revisores de itens: 31 • apresentar comando/enunciado com linguagem simples, clara e sem ambiguidade, evitando-se respostas que não seriam esperadas, mas que traduzem interpretações diferentes da proposta apresentada; • definir claramente a(s) tarefa(s) a realizar, indicando a abrangência da resposta esperada e os aspectos a abordar. O estudante precisa ter clareza dos aspectos que serão objeto de avaliação e dos valores máximos de pontuação atribuídos; • formular enunciados de modo preciso, de forma a possibilitar que o estudante compreenda o que se pede e saiba como proceder para estruturar e desenvolver a sua resposta; • incluir todas as informações necessárias para a resolução do item e que não serão objeto de avaliação, fornecendo textos motivadores, informações técnicas específicas, tabelas com dados a serem considerados, figuras e fórmulas que sejam necessárias para a resolução da proposta apresentada; • não empregar perguntas do tipo "Que", "Quem", "Quando" e "Onde", pois, possivelmente, não avaliam a mobilização de recursos complexas para a construção da resposta; • não empregar perguntas que simplesmente admitem a resposta "sim" ou "não", pois os subitens de um item discursivo não podem depender uns dos outros de forma que errar um implique errar também o seguinte. Quando possível, recomenda-se dividir o item discursivo em subitens, pois isso ajuda o estudante a organizar melhor a sua resposta e possibilita uma avaliação parcial da produção escrita dele. Cada item será avaliado na escala de 0 a 10 pontos e o elaborador deverá indicar o valor correspondente a cada subitem. 6.4 Especificações para elaboração do padrão de resposta para avaliação dos itens discursivos Para a correção de itens discursivos, será adotado o método analítico, o que exige do elaborador do item a redação de um padrão de resposta esperado e que contemple os seguintes aspectos: • estabelecer a resposta esperada ou resposta padrão para o item discursivo, identificando as partes essenciais que devem ser usadas como referência no processo de correção; • prever diferentes opções de respostas a serem consideradas como corretas e válidas; • prever o critério de atribuição de pontos (quesitos de avaliação), considerando a indicação do valor atribuído aos diferentes níveis de resposta de cada parte 32 do item discursivo, dependendo da abrangência e do desenvolvimento da resposta padrão; • considerar que o padrão de resposta pode ajudar o revisor a verificar eventuais falhas de redação do próprio item, bem como a ausência de dados importantes e ou mesmo fazer julgamento acerca do grau de dificuldade ou de complexidade; • considerar que o padrão de respostas é divulgado pelo lnep após a aplicação do Exame; • avaliar o tempo necessário para o estudante produzir sua resposta, considerando o tempo que o próprio elaborador gastou para produzir o padrão de resposta esperado. Exemplo de padrão de resposta Questão 49 Parte (a) O estudante não deve deixar de mencionar a idéia de promover a educação ambiental por meio de práticas participativas, transformadoras da realidade, nas quais todos os atores sociais têm papel preponderante e ativo. A comunidade deve ser vista não como grupos de pessoas a serem "ensinadas", mas como parceiras. Deve tornar evidente o papel do "educador" corno um facilitador do processo. Parte (b) O estudante deve considerar conteúdos e métodos de educação ambiental que relativizem os processos formais de educação, e que valorizem o conhecimento. as práticas e as experiências de todos os grupos que formam a sociedade, por meio de processos que favoreçam a participação de todos na construção de conceitos e na avaliação de práticas a serem adotadas pela sociedade. Parte (c) Finalmente, espera-se que o estudante mostre conhecimento de que a pratica da educação ambiental é extremamente diversa e deve estar voltada para sensibilizar as pessoas a transformarem o seu espaço de modo a torna-lo sustentável: para isso. diversos ternas podem e devem ser abordados. fugindo ao formalismo e à previsibilidade de alguns enfoques (por exemplo, lixo, poluição do ar, etc.). 33 6.5 Recomendações para o uso de imagens O uso de imagens na elaboração de itens requer a observação de alguns aspectos e recomendações importantes citados a seguir. • É imprescindível observar a precisão conceituai das imagens usadas. Em geral, a preocupação com a precisão conceituai recai apenas sobre o texto escrito. Eventuais imprecisões ou erros conceituais presentes nas imagens usadas nas provas do Enade levam, invariavelmente, à anulação do item. • Devem ser usadas imagens que não deixem dúvidas com relação ao conceito, objeto ou fenômeno que se quer ilustrar, descrever ou explicar, imagens mal elaboradas podem gerar interpretações equivocadas e induzir o estudante ao erro. • Recomenda-se cautela no uso de imagens que possam gerar múltiplas interpretações (charges, tirinhas, anúncios). • É importante garantir que a inserção de imagens esteja articulada com o texto do item. O diálogo entre o texto e a imagem deve ser garantido por meio de remissões claras e objetivas. Imagens "ilhadas" reduzem o grau de informação que se deseja extrair delas. • Na elaboração do item, devem ser inseridas imagens que contribuam para a resolução do desafio proposto. Imagens "ornamentais" são descartadas na montagem da prova. • As imagens anexadas no sistema BNI devem atender limites de tamanho, resolução e extensão de arquivo, de acordo com padrões estabelecidos pelo INEP. 7 INCLUSÃO DAS REFERÊNCIAS DE TEXTOS, GRÁFICOS OU IMAGENS Respeite as seguintes recomendações ao inserir as referências de textos, gráficos e imagens: • Utilize o padrão: ABNT; • Coloque o máximo de informações na referência. Não se esqueça de inserir: data, local, edição, volume, ano, editora, autor, título do artigo/livro, páginas, título do capítulo de livro, quando estes forem necessários. Algumas vezes, o revisor precisa consultar a referência para conferir o texto e se ela estiver incompleta, fica difícil encontrar o original; • Para destacar o elemento título da referência, use negrito; • Caso haja figuras no texto, coloque também a referência delas; • Caso tenha construído o texto do item, escreva "Texto do elaborador"; 34 • Textos ou figuras retirados da Internet devem ser mencionados na forma: Disponível em: <http://www.foiaqui.com.br>. Acesso em: 25 jun. 2012.; • Nunca deixe em branco o campo da referência. 8 PADRÕES ESPECÍFICOS ADOTADOS PELO INEP Deve ser dada atenção especial a alguns aspectos gráficos do item, principalmente no que refere à pontuação final das opções/alternativas, adotados pelo lnep. 8.1 O uso da pontuação nas alternativas O uso da pontuação na elaboração das opções/alternativas deve observar as regras descritas a seguir. • Nas alternativas que complementam a sentença do enunciado, iniciar cada sentença com letra minúscula e usar ponto final em cada alternativa. o Exemplo em: palavra, oração, número inteiro, número decimal, número acompanhado de unidade de medida, potência, porcentagem, equação química ou matemática, fórmula. o Exceção em: quando se tratar de fração, sistema de equações, figura. • Nas alternativas que respondem a uma interrogação, iniciar com maiúscula e usar ponto final em cada alternativa. o Exemplo em: palavra, oração ou citação. o Exceção em: não usar ponto final na alternativa quando se tratar de número inteiro, número acompanhado de unidade de medida, fração, sistema de equações, equação química ou matemática, fórmula, figura. • Nas alternativas que são precedidas por dois-pontos, iniciar cada sentença com letra minúscula e usar ponto final em cada alternativa. o Exemplo em: palavra, oração, citação. o Exceção em: quando se tratar de fração, sistema de equações, figura. 8.2 Outras marcações gráficas Observe os padrões gráficos adotados pelo Inep, listados a seguir. • Todo termo estrangeiro deve vir registrado em itálico. • Imagens, figuras, tabelas, gráficos e textos, quando numerados, receberão números romanos: I, II, III, IV, V etc. 35 • Em escrita de unidades de milhar (1 000 / 10 000 / 3 000 000), não se separa por ponto, deixa-se um espaço. Exceção para números de leis, normas, decretos e portarias: Lei n.o 8.112/1990. • Texto adaptado ou fragmento de texto deverá ter essa informação registrada ao final da referência bibliográfica, iniciada por minúscula, entre parênteses, de acordo com os seguintes exemplos: BAGNO, M. A língua de Eulália: Novela Sociolinguística. São Paulo: Contexto, 2003 (adaptado). ANDRADE, C. D. Reunião. Rio de Janeiro: José Olympio, 1971 (fragmento). 9 ETAPAS DE VALIDAÇÃO DO ITEM Os itens elaborados para o BNI/Enade serão submetidos à seguinte sequência de revisões: 1 Revisão técnico-pedagógica e de forma. 2 Revisão linguística. 3 Revisão de sensibilidade. 4 Revisão Final-INEP. 5 Aceite INEP. 6 Inserção no BNI-ENADE. 10 REVISÃO DO ITEM 10.1 Formulário de revisão técnico-pedagógica Os formulários de revisão de itens, destinados tanto ao revisor técnicopedagógico de cada área quanto ao revisor de língua portuguesa, têm o objetivo de orientar a análise, registrar os resultados e fundamentar a revisão final do item apresentado para compor o BNI-Enade. O formulário do revisor técnico-pedagógico permite uma análise ao mesmo tempo global e detalhada. Há campos a partir dos quais podem ser feitas observações que o revisor julgar necessárias para justificar, documentar e, finalmente, qualificar o destino dado ao item. A proposta do formulário do revisor técnico-pedagógico é a de oferecer, após seu completo preenchimento, o encaminhamento a ser dado ao item, ou seja, aprovação, aprovação com ajustes ou reprovação final. A revisão deve ser identificada no formulário específico, o que permitirá a rápida recuperação de informações sobre o item revisado. Se necessário, será possível resgatar todas as observações registradas durante o processo de construção do item, desde a sua elaboração até a aprovação final ou 36 reprovação. (O formulário de revisor técnico-pedagógico estará disponível no Sistema BNI.) 10.2 Formulário de revisão de língua portuguesa Respeitando a especificidade de cada instrumento, a mesma metodologia de revisão aplica-se ao formulário do revisor de língua portuguesa. A revisão de língua portuguesa deve ser identificada em formulário específico, registrando as modificações de adequação à norma padrão da língua e às inserções das adequações linguisticas de acordo com a nova ortografia da Língua Portuguesa. (O formulário do revisor de língua portuguesa estará disponível no Sistema BNI.) 11 ATRIBUIÇÕES DOS ELABORADORES, REVISORES TÉCNICOPEDAGÓGICOS E DOS REVISORES DE LINGUA PORTUGUESA DO BNI/ENADE Os elaboradores de itens deverão criar itens de avaliação para educação superior inéditos, considerando as matrizes de referência e seguindo critérios estabelecidos para a construção do item. tais como: formato do item (múltipla escolha ou discursivo), escolha temática, adequação de conteúdos, correspondência clara com a matriz de referência, elaboração de alternativas plausíveis e gabarito único (múltipla escolha) e padrão de resposta (discursivo), citação das fontes dos textos utilizados e demais orientações específicas contidas neste guia. Os revisores técnico-pedagógicos deverão revisar os itens avaliando e atestando a qualidade técnico-pedagógica de acordo com as orientações do presente guia, verificando se: • o conteúdo está adequado ao formato a que o item se destina; • há correspondência direta com as características de perfil e os recursos (competências/habilidades) especificados na matriz de referência; • a contextualização é adequada e efetiva, não se constituindo mero pretexto; • há coerência e coesão entre as partes que constituem o item; • as alternativas são plausíveis, com gabarito claro e único (múltipla escolha), ou o padrão de resposta está adequadamente redigido (discursivo); • há paralelismo sintático na estrutura do item; • não há erros conceituais; • o enunciado é claro; • o grau de dificuldade estimado é adequado; 37 • o tempo estimado para a resolução do item é adequado; • as justificativas das alternativas estão coerentes e esclarecem o gabarito e as alternativas; • os textos utilizados são adequados e necessários para a resolução do item; • os textos utilizados apresentam referência completa e fidedigna; • o item não apresenta qualquer tipo de preconceito. Os revisores de língua portuguesa deverão revisar os itens verificando sua adequação à norma padrão da língua portuguesa e às normas da ABNT. Os revisores de língua portuguesa receberão guia específico de revisão. 12 REFERÊNCIAS E BIBLIOGRAFIA CONSULTADA BARRETO, H. P. D., MENDES, L. V. A. & OLIVEIRA, Z. M. F. Banco de itens: um recurso para a prática avaliativa do professor universitário. In: RODRIGUES JÚNIOR, J. F. (Org.), Avaliação do Estudante Universitário. Brasília: SENAC, 2009. p. 199-209. BRENNAN, ROBERT L. (Ed.). Educational Measurement. 4th. Edition. Westport, CT: National Council on Measurement in Education and American Council on Education, 2006. CARNEIRO, M. H. S. As imagens no livro didático. Atas do I Encontro de Pesquisa em Ensino de Ciências, Águas de Lindóia (SP): 1997, p. 366-373. CASE, S. M. & SWANSON, D. B. Constructing written test questions for the basic and clinicai sciences. Philadelphia: National Board of Medical Examiners, 2001. Disponível em: <http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf>. Acesso em: 23 mal. 2012. CASSIANO, W. S. Análise de imagens em livros didáticos de Física. Dissertação (Mestrado em Educação), Universidade de Brasília, Brasília: 2002. 125 p. DUCHASTEL, P. C. & WALLER, R. Pictorial illustration in instructional texts. Educational Technology, 19 (11), 20-25, 1979. FRARY, R. B. More multiple-choice item writing do's and don'ts. Practical Assessment, Research & Evaluation, v. 4, n. 11, 1995. Disponível em: <http:fiericae.net/edoied398238.htm>. Acesso em 23 mal. 2012 HALADYNA, Thomas M. Developing and validating multiple-choice test items. 3 ed., Mahwah, NJ: Lawrence Erlbaum, 2004. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. SlNAES - Sistema Nacional de Avaliação da Educação Superior: Da concepção à regulamentação. 5 ed. rev. e ampliada. Brasília: INEP, 2009. 38 KEHEO, J. Writing multiple-choice test items. Practical Assessment, Research & Evaluation, v. 4, n. 9, 1995. Disponível em: <http://pareonline.net/getvn.asp?v=4&n=9›. Acesso em: 23 mai. 2012. MARINHO-ARAUJO, C. M; RABELO, M. L. Avaliação educacional: a abordagem por competência, 2012a (submetido). MARINHO-ARAUJO, C. M; RABELO, M. I.. Matriz de referência de competências: fundamentos teórico-metodológicos, 2012b (submetido). MARTINS, I. O papel das representações visuais no ensino-aprendizagem de ciências. Atas do I Encontro de Pesquisa em Ensino de Ciências: Águas de Lindóia (SP): 1997, p. 366-373. RABELO, M. L. Avaliação em larga escala em perspectiva comparada: a experiência brasileira. Actas do VIII Congresso lberoamericano de Avaliação/Evaluacidin Psicológica. XV Conferência Internacional Avaliação Psicológica: Formas e Contextos (pp. 406-418). Lisboa: Universidade de Lisboa. 2011a. RABELO, M. L.. Matriz de referência como centro dos processos de avaliação em larga escala. Pesquisa & Avaliação: Revista do Professor: SADEAM 2010: Matemática e suas tecnologias, v.2. 2011b. RABELO, M. L. O processo de construção de itens para avaliação em larga escala. Pesquisa & Avaliação: Revista do Professor: SADEAM 2009: Ciências humanas e suas tecnologias. Brasília, v.1, p.15-19, 2010. RABELO, M.L. & SOARES, P. G. Como avaliar? Matriz de referência para a construção de instrumentos de avaliação. Pesquisa & Avaliação: Revista do Professor Avalie 2009, 12-21, 2011. REINER, C. M.; BOTHELL, T. W.; SUDWEEKS, R. R. & WOOD, B. How to prepare effective essay questions: guidelines for university faculty. Brigham Young University Testing Services, Department of Instructional Psychology and Technology. Rexburg, 1D: 2002, 46 p. Disponível em: <http://www.uwgb.edu/oira/teachLearn/betterTests/betteressays.pdf>. Acesso em: 28 abr. 2012. SILVA, H. C., ZIMMERMANN, E., CARNEIRO, M. H. S., GASTAL, M. L. & CASSIANO, W. S. Cautela ao usar imagens em aulas de Ciências. Bauru, UNESP, Ciência & Educação, v. 12, n. 2, p. 219-233, 2006. Disponível em: <http://www2.fc.unesp.bricienciaeeducacao/viewarticle.php?id=137>. Acesso em 28 mai. 2012.