Uma abordagem de condução e avaliação para a
disciplina de Tópicos Especiais em Sistemas de
Informação com base em questões de múltipla
escolha
Marcelo Werneck Barbosa
Lúcio Mauro Pereira
Departamento de Ciência da Computação
PUC Minas
Belo Horizonte, Brasil
[email protected]
Departamento de Ciência da Computação
PUC Minas
Belo Horizonte, Brasil
[email protected]
Resumo — É um desafio constante preparar melhor os alunos dos
cursos de Sistemas de Informação para as exigências do mercado
de trabalho e de processos avaliativos aos quais eles serão
submetidos. Neste contexto, as instituições podem se organizar
melhor para incluir em suas disciplinas e práticas avaliativas
mecanismos que favoreçam a preparação destes alunos. Este
trabalho apresenta uma abordagem de condução e avaliação
para disciplinas de Tópicos Especiais ou optativas com base em
avaliações por questões de múltipla escolha com vistas à melhor
preparação dos alunos para futuras avaliações. A proposta já foi
aplicada em três turmas com excelente aceitação e resultados.
Keywords: Aspectos Metodológicos do Ensino de Computação,
Processos de Avaliação na Educação Superior
I.
INTRODUCAO
O profissional de informática tem a missão de
solucionar problemas envolvendo tecnologia da informação
(TI) e produzir conhecimento que leve à evolução dessa
tecnologia em benefício da sociedade. A complexidade dos
problemas que se apresentam ao cientista da computação tem
aumentado continuamente em decorrência de estudos e
desenvolvimento em outras áreas do conhecimento. Além
disso, o desenvolvimento crescente do setor produtivo mostra
uma tendência muito clara pelo uso de softwares cuja
complexidade também é crescente, envolvendo a integração
de diversas subáreas do conhecimento [1]. O profissional de
TI deve estar preparado para assumir as atividades tanto do
mercado de trabalho quanto da continuidade dos estudos no
meio acadêmico.
Esse cenário aponta para a necessidade de
pesquisadores e profissionais na área de TI com elevado nível
de competências. O processo ensino-aprendizagem precisa
auxiliar que estudantes graduados em cursos de TI,
particularmente em curso de Sistemas de Informação – objeto
de estudo deste trabalho, possuam as competências necessárias
para resolver os problemas que lhes serão apresentados.
Para verificar a adequação do processo de ensino
frente às necessidades do mercado, é necessário algum
instrumento de avaliação. Um exemplo de tal instrumento é o
Sistema Nacional de Avaliação do Ensino Superior (SINAES)
[3] e o Exame Nacional de Desempenho dos Estudantes
(ENADE) [2]. O SINAES é formado por três componentes
principais: a avaliação das instituições, dos cursos e do
desempenho dos estudantes. O ENADE é a parte do SINAES
que visa aferir o rendimento dos alunos dos cursos de
graduação em relação aos conteúdos programáticos, suas
habilidades e competências.
Segundo [5], aproximadamente 85% dos cursos de
Bacharelado em Sistemas de Informação são oferecidos por
instituições privadas. Observa-se que, principalmente neste
tipo de instituição, a maioria dos alunos busca uma ascensão
no mercado de trabalho após a conclusão de seu curso. Sendo
assim, os cursos precisam estar também focados no
atendimento das demandas deste mercado.
Este trabalho possui como objetivo apresentar uma
proposta de mecanismo de revisão e avaliação de conteúdos
assimilados em um curso de Sistemas de Informação
totalmente baseado em questões de múltipla escolha. É
intenção desta proposta preparar melhor os alunos prováveis
formandos para o mercado de trabalho e mecanismos de
avaliação que estarão sujeitos após sua formatura..
II.
OS CURSOS DE SISTEMAS DE INFORMACAO
Segundo uma definição clássica, Sistemas de
Informação podem ser entendidos como uma combinação de
recursos humanos e computacionais que se inter-relacionam
para a coleta, o armazenamento, a recuperação, a distribuição
e o uso de dados almejando a consecução de objetivos
organizacionais (e.g. planejamento, controle, comunicação e
tomada de decisão). O curso de Bacharelado em Sistemas de
Informação (BSI), por sua vez, reúne aspectos da Tecnologia
da Computação e da Administração e tem por objetivo
promover ao aluno a capacidade empreendedora e a
capacidade de propor soluções tecnológicas para
automatização de processos organizacionais, através da análise
de cenários, aquisição, desenvolvimento e gerenciamento de
serviços e recursos da tecnologia de informação, fornecendo
apoio ao processo decisório e definição e implementação de
novas estratégias organizacionais [6]. Vê-se que segundo essas
definições o curso de BSI tem um perfil eminentemente
interdisciplinar, com contribuições disciplinares marcantes das
disciplinas Ciência da Computação e Administração.
Baseando-se no Currículo de Referência para os
Cursos de Computação e Informática da Sociedade Brasileira
de Computação [6], as disciplinas do curso de Bacharelado em
Sistemas de Informação (BSI) podem ser divididas em seis
categorias específicas, discriminadas a seguir.
a) Fundamentos da Computação: compreende o
núcleo de matérias que envolvem a parte científica e as
técnicas fundamentais à formação sólida dos egressos dos
diversos cursos de computação.
b) Tecnologia da Informação: compreende o núcleo
que representa um conjunto de conhecimento agregado e
consolidado que capacitam o aluno para a elaboração de
solução de problemas nos diversos domínios de aplicação.
c) Sistemas de Informação: compreende o núcleo de
matérias que capacitam o aluno a utilizar os recursos de
Tecnologia de Informação na solução de problemas de setores
produtivos da sociedade. Essa categoria inclui as disciplinas:
Gerência de projetos, Qualidade de Software, Fundamentos de
SI, Teoria Geral dos Sistemas, Produtividade Pessoal com TI,
Teoria e Prática dos SI, Avaliação de Sistemas, Gestão da
Informação e SI, Auditoria e Segurança de SI, Trabalho
Cooperativo apoiado por TI.
d) Matemática: propicia a capacidade de abstração,
de modelagem e de raciocínio lógico constituindo a base para
várias matérias da área de Computação.
e) Ciências da Natureza: desenvolvem no aluno a
habilidade para aplicação do método científico.
f) Contexto Social e Profissional: fornece o
conhecimento sócio-cultural e organizacional, propiciando
uma visão humanística das questões sociais e profissionais, em
consonância com os princípios da ética em computação.
A. A Disciplina de Tópicos Especiais
No curso de Sistemas de Informação da PUC Minas,
a disciplina de Tópicos Especiais é ofertada em fluxo contínuo
pelo Instituto de Informática, com ementa em aberto e com o
objetivo de abordar tópicos avançados e específicos da área de
Sistemas de Informação. O tema a ser abordado deverá ser
definido pelo Colegiado de cada curso, e deve atender às
demandas regionais pertinentes para a formação do perfil do
egresso [4].
III.
A PROPOSTA DE TRABALHO PARA TÓPICOS ESPECIAIS
A motivação para realização de uma nova proposta
de condução para a disciplina de Tópicos Especiais nasceu de
um desejo de preparar melhor os futuros egressos do curso
para o mercado de trabalho e para possíveis exames a que eles
irão se submeter.
Nossa proposta é focada em um processo de
avaliação de competências similar a processos seletivos e
avaliativos que o aluno egresso irá enfrentar quando deixar a
universidade. Todo o processo de avaliação é baseado em
questões de múltipla escolha. Como boa parte do conteúdo
programático do curso de Sistemas de Informação pertence ou
está relacionada ao eixo de disciplinas de Engenharia de
Software e como esta é uma área de interesse e dedicação de
muitos dos alunos do curso, foi proposto rever, aplicar e
praticar esses conceitos na disciplina. Pretende-se com esta
forma de avaliação poder identificar as principais dificuldades
dos estudantes em obter um nível de desempenho mais
elevado em processos externos de avaliação, tais como
ENADE, POSCOMP, concursos públicos, entre outros.
Nestes termos, este processo de avaliação do
desempenho dos estudantes na disciplina de Tópicos Especiais
em Sistemas de Informação tem como objetivos:
 verificar se cada estudante desenvolveu de modo
satisfatório as competências previstas ao longo do curso em
disciplinas relacionadas especialmente ao eixo de Engenharia
de Software;
 identificar os temas deste eixo nos quais os estudantes
apresentaram maior dificuldade na aprendizagem a fim de
orientar ações de reforço e recuperação;
 preparar o aluno para realizar diferentes tipos de
avaliações externas à universidade às quais ele será submetido
ao longo de sua vida estudantil e profissional; e
 orientar e estimular estudos individuais extra-classe com
base nas referências bibliográficas da disciplina para promover
a autonomia intelectual dos estudantes.
Sendo assim, a disciplina foi conduzida tratando os
conteúdos de acordo com a Tabela 1. Nesta tabela, pode-se
observar o número de horas dispensadas a cada conteúdo bem
como a fonte de base de preparação do material de aula e de
avaliação dos mesmos.
Pela grande disponibilidade de material de provas de
concursos públicos, questões deste tipo foram usadas como
revisão e prática dos conceitos vistos em sala e também como
parte dos métodos de avaliação. Além disso, para praticar os
conceitos trabalhados, também foram utilizadas questões de
certificações profissionais como mostra a Tabela 1. Como
existem apenas 2 provas anteriores do ENADE do curso de
Sistemas de Informação, esse tipo de questão foi utilizado em
menor escala. A Tabela 1 exibe ainda para quais temas
trabalhados foram também exercitadas questões dos exames
ENADE anteriores.
Tabela 1. Distribuição do conteúdo da
disciplina
Conteúdo
Quantidade
de horas
Gerência de
Projetos
8
Modelos de
Maturidade
8
Pontos de
Função
6
UML
8
RUP
6
Testes de
Software
4
Metodologias
ágeis com XP e
Scrum
Gerência de
Configuração
Requisitos e
casos de uso
4
ITIL
Análise
essencial com
DFD
Diagramas
Entidade
Relacionamento
Material de aula e avaliação baseado
em
Certificação
Concursos Questões
Profissional
Públicos
ENADE?
Project
Sim
Sim
Management
Professional –
PMP (desde
2010/2)
Prova de
Sim
Sim
Introdução
MPS.BR
(desde
2011/2)
IFPUG
Sim
Function
Point
Specialist
(desde
2011/1)
IBM Analysis
Sim
Sim
and Object
Oriented
(desde
2011/1)
IBM Rational
Sim
Sim
Unified
Process V7.0
(desde
2011/1)
Certified Test
Sim
Sim
Foundation
Level –
ISTQB (desde
2011/2)
Sim
4
4
4
Sim
IBM
Requirements
Management
(desde
2011/1)
ITIL
Foundation
V3 (desde
2011/2)
sala de aula e os mesmos são corrigidos na aula seguinte. Os
pontos da lista são atribuídos em sua totalidade para os alunos
que entregam a lista feita, independente do número de acertos.
Ao longo do semestre, são distribuídas várias listas de
exercícios. Os simulados têm como objetivo preparar melhor o
aluno para uma prova. Contêm basicamente questões de
diversos concursos públicos sobre os temas trabalhados em
sala. Os simulados são realizados em sala de aula e corrigidos
para discussão na aula seguinte. A nota é atribuída de acordo
com o número de acertos do aluno. No semestre, são aplicadas
3 provas, cobrindo de modo acumulativo o conteúdo visto em
sala. As provas somam 60 pontos. As listas de exercícios e os
simulados somam 20 pontos cada, conforme exibido na Tabela
2.
Tabela 2. Métodos de Avaliação e
Distribuição de Pontos
Tipo de Avaliação
Provas
Simulados
Listas de
Exercícios
Tabela 3. Fontes de Questões
Fontes
4
Sim
4
Sim
Pontos Distribuídos
60
20
20
Na Tabela 3, pode-se observar que durante a
disciplina é trabalhado um grande número de questões,
proporicionando prática na resolução de questões de múltipla
escolha para nossos alunos. Foram trabalhadas 35 questões de
certificações profissionais, 258 questões de concursos públicos
e 14 questões do exame ENADE na primeira oferta da
disciplina com este enfoque. Na segunda oferta, mais questões
foram incluídas como exercícios, chegando a 72 questões de
simulados de certificações profissionais e 300 questões de
concursos públicos. Na oferta mais recente, foram aplicadas
365 questões múltipla escolha de concursos, 109 de
certificações profissionais e 20 questões do exame ENADE.
Sim
Sim
Quantidade
3
4
Ao menos
uma para
cada tópico
Sim
A avaliação da disciplina é realizada por meio de
provas, simulados e listas de exercícios. A distribuição de
pontos entre estes métodos de avaliação segue o demonstrado
na Tabela 2. Após trabalhar alguns conteúdos, os alunos
recebem listas de exercícios para treinar os conceitos vistos
em sala de aula. Os alunos fazem os exercícios em casa ou em
Certificações
Profissionais
Concursos
Públicos
ENADE
Número
de
Questões
(2010/2)
35
Número
de
Questões
(2011/1)
72
Número
de
Questões
(2011/2)
109
258
300
365
14
14
20
IV.
O ESTUDO DE CASO
Nesta seção, são apresentados e discutidos os
resultados da nova proposta para a disciplina de Tópicos
Especiais em Sistemas de Informação do curso de graduação
de Bacharelado em Sistemas de Informação da PUC Minas. A
disciplina tem sido conduzida com esta abordagem desde o
segundo semestre de 2010 na unidade da cidade de Contagem.
A avaliação da disciplina foi realizada por meio de
aplicação de questionário ao final do semestre. Todos os 28
alunos matriculados na disciplina na primeira oferta e os 21 da
segunda e 21 da terceira responderam ao questionário e o
entregaram ao professor. No total, 70 alunos participaram
desta pesquisa. A seção seguinte apresenta os resultados deste
questionário bem como sua análise.
A. Resultados
Os alunos foram questionados em relação à
relevância dos temas trabalhados em sala de aula. Da lista total
de temas trabalhados, foi solicitado aos alunos que
escolhessem os três que consideram mais relevantes para sua
formação. Na percepção deles, os temas considerados
relevantes para mais de 30% da turma foram nesta ordem:
Gerência de Projetos, UML e Bancos de Dados. A Figura 1
exibe os dados da percepção de relevância dos alunos para os
temas trabalhos na disciplina.
Figura 1. Relevância dos temas trabalhados.
Os alunos foram ainda questionados sobre alguns
temas que gostariam que fossem tratados na disciplina e não
foram. Neste caso, mesmo divergindo da proposta da
disciplina de trabalhar temas relacionados à Engenharia de
Software, foram incluídos no questionamento temas de
diversas naturezas. O tema que a maioria dos alunos gostaria
de incluir na disciplina foi Tecnologias Web. A Figura 2
mostra o resultado desta avaliação para os outros temas.
A aprovação dos alunos em relação à nova
abordagem da disciplina também foi questionada. Pode-se
observar na Figura 3 que a grande maioria dos alunos aprovou
a condução da disciplina bem como seus métodos de
avaliação, pois acreditam que os conhecimentos revistos e
aplicados na disciplina serão exigidos deles no mercado de
trabalho. 27% dos alunos ainda consideram que a disciplina
pode ser conduzida da mesma maneira, mas pode também
abranger mais tópicos. Uma pequena parcela prefere a
condução anterior trabalhando temas de tecnologia de ponta
mais específicos e nenhum aluno desaprovou totalmente a
condução da mesma.
Figura 2. Temas sugeridos para a disciplina.
Figura 3. Avaliação da disciplina.
Por ser uma experiência inovadora na universidade, a
expectativa inicial dos alunos em relação à disciplina também
foi avaliada. Como era esperado, mais da metade dos alunos
esperava a abordagem de um tema técnico ou relacionado a
tecnologias mais modernas. O restante admitiu ter outras
expectativas ou mesmo nenhuma idéia sobre a disciplina. A
Figura 4 exibe os resultados deste questionamento.
Para corroborar os objetivos desta proposta e avaliar
se ela está alinhada às pretensões dos nossos alunos como
egressos, os mesmos foram questionados em relação aos
exames que decidem se submeter após a obtenção do título.
Pode-se ver pela Figura 5 que a grande maioria dos alunos
deseja realizar alguma certificação profissional ou seguir a
carreira pública. Uma pequena parte deseja se submeter ao
exame Poscomp indicando um desejo menor, mas ainda
expressivo, dos alunos pela área acadêmica e continuação dos
estudos em um curso de pós graduação.
Figura 6. Evolução das notas dos simulados
Figura 4. Expectativas em relação à disciplina.
Figura 7. Evolução das notas das provas
V.
Figura 5. Exames pretendidos após obtenção do título.
B. Acompanhamento da evolucao dos alunos
Foi objetivo deste trabalho também acompanhar a
evolução dos alunos ao longo do semestre para verificar se a
abordagem de avaliação contínua dos conteúdos vista
proporcionava melhor aprendizado dos conteúdos com o
tempo. Por ser uma disciplina com métodos de avaliação
diferenciados, é importante verificar se o método contribuiu
para o aprendizado dos alunos. Pode-se ver pelas Figuras 6 e
7, que mostram a evolução das notas obtidas em simulados e
provas respectivamente, que os alunos melhoraram seu
desempenho nas avaliações ao longo do semestre. Através da
abordagem de continuamente trabalhar e avaliar os conteúdos
já vistos, os alunos conseguiram assimilar melhor os temas
vistos.
O comportamento dos gráficos mostra uma ascensão
até a última avaliação. Tal ascensão pode ser explicada pelo
fato de os alunos, ao final do semestre, estarem preocupados e
envolvidos também com outras atividades docentes,
possivelmente fazendo com que eles dedicassem menos tempo
e esforço à disciplina de Tópicos Especiais.
AÇÕES EM IMPLANTAÇÃO
Na última oferta de 2011/02, foram realizadas já algumas
mudanças na condução da disciplina observando o resultado
dos questionários aplicados com as turmas anteriores. Podemse destacar as seguintes ações:
 Realização de um quiz em sala de aula com os
alunos. Estes foram divididos em grupos que
deveriam juntos responder a perguntas aleatórias
sobre os temas trabalhados em sala de aula. O
objetivo era simular um jogo de perguntas e
respostas comum nas emissoras de TV. Foi
utilizado o software QuestionWriter para
apresentar as perguntas e o grupo tinha que
apresentar a melhor opção de resposta. Os grupos
eram bonificados ou penalizados com pontos no
jogo. A recepção dos alunos a esta atividade lúdica
foi muito boa.
 Foram aplicadas listas de exercícios com questões de
concursos públicos dos temas Redes de
Computadores e Algoritmos e Estruturas de Dados
de acordo com solicitação dos alunos. Como os
temas não fazem parte do objetivo da disciplina, os
mesmos não foram trabalhados em sala, mas os
alunos receberão questões extras para estudarem
sozinhos.
 Foi aplicada uma lista com questões de versões
recentes do exame Poscomp de acordo com desejo
de alguns alunos.
VI.
CONCLUSOES E TRABALHOS FUTUROS
Este trabalho teve como objetivo propor e avaliar um
mecanismo de revisão e avaliação de conteúdos relacionados
ao eixo de Engenharia de Software em um curso de Sistemas
de Informação da PUC Minas. Este mecanismo foi implantado
na disciplina de Tópicos Especiais em Sistemas de
Informação.
A disciplina foi executada em três semestres
completos e está em seu quarto semestre. A avaliação do
alcance dos objetivos deste trabalho foi realizada pela análise
das notas obtidas pelos alunos ao longo do curso bem como de
questionário aplicado ao final do semestre.
Pode-se perceber que o desempenho dos alunos nos
tipos e temas de questões abordados melhorou ao longo do
semestre, sendo isto um indício que o aprendizado dos
mesmos aumentou durante o período. Observou-se ainda que a
forma de condução e avaliação da disciplina foi muito bem
recebida pelos alunos, sendo que 98,5% deles recomendaria a
disciplina para um colega de curso. Os alunos da última oferta
foram questionados se o foco em disciplinas de múltipla
escolha e extensa prática deste tipo de questões proporciona
aumento do seu aprendizado. A totalidade dos alunos
concordou com esta afirmativa.
Como trabalhos futuros, pretende-se aumentar o
número de questões de provas passadas do POSCOMP para
atender melhor aos alunos que desejam seguir carreira
acadêmica. Pretende-se ainda avaliar como outros cursos de
Sistemas de Informação no Brasil conduzem disciplinas
optativas ou de tópicos especiais para identificar possíveis
melhorias em nossa disciplina. É nosso desejo ainda
acompanhar os alunos após sua formatura para conhecer seu
desempenho em exames realizados após a universidade.
VII. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
Freitas, C.O.A; Scalabrin, E.; Martins, V. (2010) Uma Proposta de
Processo Contínuo de Avaliação para Cursos de Ciência da
Computação. XVIII Workshop de Educação em Informática (WEI) –
XXX Congresso da Sociedade Brasileira de Computação. Belo
Horizonte – Minas Gerais, 2010.
ENADE
Ministério
da
Educação.
“ENADE”.
http://portal.mec.gov.br/index.php?Itemid=313&id=181&option=com_c
ontent&view=article, Agosto, 2011.
Sinaes.
Ministério
da
Educação.
“Sinaes”,
http://portal.mec.gov.br/index.php/?id=12303&option=com_content&vi
ew=article, Agosto, 2011.
Projeto Pedagógico. “Projeto Pedagógico – Curso Sistemas de
Informação – PUC Minas”, Fevereiro de 2011.
Pereira, L. Z.; Albuquerque, J. P.; Coelho, F. S. “Uma Análise da Oferta
e Abordagem Curricular dos Cursos de Bacharelado em Sistemas de
Informação no Brasil”. Workshop de Educação em Informática (WEI) –
Congresso da Sociedade Brasileira de Computação, 2010.
Sociedade Brasileira de Computação. (2003) Currículo de Referência da
Sociedade Brasileira de Computação para cursos de Graduação em
Ciência da Computação e Informática – versão 2003.