XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
ANALÍSE ESTATÍSTICA DO PROGRESSO DO
ALUNO SOBRE CONCEITOS DE ENGENHARIA
DE PRODUÇÃO COM O USO DE DINÂMICA DE
ENSINO
Paula Carneiro Martins (UNIFEI)
[email protected]
Fabiano Leal (UNIFEI)
[email protected]
Luiz Gonzaga Mariano de Souza (UNIFEI)
[email protected]
Jose Henrique de Freitas Gomes (UNIFEI)
[email protected]
Carlos Eduardo Correa Molina (UNIFEI)
[email protected]
Este artigo visa analisar de forma estatística o desempenho dos alunos em
questionários aplicados antes/depois da apresentação de uma dinâmica que
transmite conceitos sobre Sistema Toyota de Produção, Just-in-time (JIT),
tempo de setup, metodologia 5S e nivelamento de produção. A dinâmica de
ensino utiliza bloquinhos de montagem LEGO® e é batizada como MIB Montagem Interativa de Bloquinhos . O artigo descreve as etapas utilizadas
na dinâmica e a analíse estatistica de melhora significativa de desempenho
dos alunos entre o pré e o pós teste.
Palavras-chave: Educação na Engenharia de Produção, Avaliação, Dinâmicas
de Ensino
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
1. Introdução
A metodologia de ensino vem sendo alvo de várias discussões no âmbito acadêmico. As
ideias se dividem entre o tradicional método de aprendizado, em aulas utilizando quadro,
pincel e exercícios de fixação, e entre as formas alternativas de ensino visando um
aprendizado mais eficaz das distintas matérias e ideais. Dentre os métodos alternativos é
possível destacar alguns como o uso de vídeos para ilustração e melhor visualização de
conceitos, o maior envolvimento dos alunos como a divisão de tópicos da matéria para os
alunos apresentarem, e dezenas de estrátegias são criadas pelos docentes a cada dia afim de
conseguirem a maior participação e envolvimento dos alunos. O presente trabalho visa
comprovar a eficácia de um desses métodos alternativos de ensino: dinâmicas educacionais.
Segundo Lee e Hammer (2011), o sucesso dos jogos em ambientes sociais e para o
entretenimento de forma geral faz com que pesquisadores acreditem que estes podem ser
usados na educação como uma ferramenta para aumentar o envolvimento ou engajamento dos
alunos e assim estimular comportamentos de aprendizagem desejáveis. Nesse caso a dinâmica
apresentada é conhecida como „Montagem Interativa de Bloquinhos‟ (MIB), aplicada em
turmas da disciplina „Sistemas de Produção‟ ou disciplinas similares, na Universidade Federal
de Itajubá. A Dinâmica MIB, além de abordar os principais conceitos sobre o Sistema de
Toyota de Produção (STP), também trata dos conceitos de Just in Time (JIT), tempo de setup,
metodologia 5S e nivelamento de produção (Heijunka).
Esse trabalho terá como objeto de estudo uma dinâmica de ensino de conceitos de Engenharia
de Produção com o uso de peças de LEGO®. A dinâmica MIB propõe o ensino de alguns
conceitos da manufatura enxuta através da participação direta do aluno na gestão operacional
de uma linha de montagem utilizando-se peças Lego®. O objetivo do presente trabalho é
focar na analíse estatística das respostas dos alunos antes e depois da apresentação da
dinâmica, a fim de mensurar as características favoráveis ou não ao processo de
ensino/aprendizagem e subsidiar melhorias em novas versões da dinâmica. Assim utilizou-se
a aplicação de pré e pós testes para avaliar o grau de aprendizado antes e depois da mesma. Os
questionários foram levados a análise estatística a fim de determinar uma melhora no
conhecimento dos alunos após a dinâmica.
2
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
2. Referencial teórico
2.1. Metodologia de ensino na engenharia
A metodologia de ensino é um dos tópicos de grande enfâse na vida acadêmica. Ao tratar do
tema “Educação na Engenharia” na atualidade é reconhecer a necessidade de um currículo
que proporcione aos futuros engenheiros oportunidades de aprendizagem que utilizem as mais
recentes tecnologias, visando com isso enriquecer e ampliar o aporte de conhecimento para
que os graduados sejam mais bem preparados para trabalhar em uma economia global e em
constante mudança (NAE, 2005). Assim, docentes se desdobram para utilizarem métodos
eficazes de transmissão de conhecimento para os alunos.
Alguns modelos como o modelo de Gestão do Conhecimento de Nonaka e Takeuchi (1995)
tem sido um importante aporte teórico por apresentar o fluxo entre os processos de
conhecimento explícito e tácito. Enquanto o conhecimento explícito pode ser facilmente
expresso em linguagem formal e sistemática, o conhecimento tácito é muito mais difícil de
articular, pois requer que o conhecimento ganhe vida através de “fazer as coisas” e mediante a
interação e participação das outras pessoas. O modelo consiste em quatro modos de conversão
do conhecimento: socialização, exteriorização, combinação e internalização. O conhecimento
produzido por meio do “fazer as coisas” é apresentado também por Ríos et al. (2010), uma
vez que o trabalho descreve as discussões realizadas em um workshop sobre o uso de jogos,
simulações e dinâmicas na formação de engenheiros. O workshop apresenta a realidade em
que várias instituições de ensino estão se dirigindo para uma mudança em direção ao uso de
métodos de ensino que envolvam a aprendizagem experiencial.
Assim, o aprendizado experimental é muito utilizado na engenharia. Em laboratórios de
prática como os de química , física, mecânica e elétrica. A aprendizagem experiencial
segundo Kolb (1976) nada mais é que a forma natural pela qual os seres humanos aprendem,
crescem e se desenvolvem. Os conceitos da engenharias têm alto nível de complexidade a
serem passados aos alunos, assim certas estraatégias de ensino tenham maior utilidade para
despertar a atenção dos alunos. Segundo Molina.(2015) as muitas estratégias de aprendizagem
contemporâneas tem em comum a preocupação dos estudiosos e práticos, em geral docentes,
com o alcance do sucesso dos profissionais em cada área do saber.
2.2. Métodos interativos de ensino
3
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Há inúmeras maneiras de instrução para o aprendizado de um tópico (VON WANGENHEIM;
SAVI & BORGATOO, 2011). Essas estratégias são dividas em 5 categorias ilustradas na
Figura 1.
Figura1 – Categorias de estratégias instrucionais
Fonte: Adaptado de Saskatchewan Education (1991)
Dentre as categorias de estratégias instrucionais temos a “Experimental Learning”, que está
diretamente relacionada com o uso de métodos alternativos e práticos, ou seja, fazer com que
os alunos participem de uma maneira ativa para a transferência de conhecimento. Há indícios
de que jogos e dinâmicas educacionais sejam ferramentas capazes de aprimorar o processo de
ensino-aprendizagem (VON WANGENHEIM; SAVI & BORGATOO, 2011), assim eles vem
sido usados em transferência de conceitos em muitos situações. Desde de treinamentos em
empresas à aulas diferenciais em algumas universidades . Segundo Pinho,Leal & Almeida
(2005) com a utilização da dinâmica foi possível transmitir de maneira relativamente fácil
conceitos de tópicos de Engenharia na Univerisadade Federal de Itajubá(UNIFEI). Outros
trabalhos como na Universidade Federal de Santa Catarina(UFSC) também utilizaram de
4
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
métodos alternativos para a transferência de conhecimento teóricos no curso de Computação
com o uso de Jogos. Torna-se comum a busca por metódos alternativos de fixação de
conceitos, de maneiras que comprovem o maior envolvimento dos alunos no conteúdo e
maior efetividade da fixação da matéria a ser ensinada. Para Lee e Hammer (2011), é o
sucesso dos jogos em ambientes sociais e para o entretenimento de forma geral que faz com
que pesquisadores acreditem que estes também possam ser usados na educação como uma
ferramenta
para
aumentar
o
envolvimento/engajamento
dos
alunos
e
estimular
comportamentos de aprendizagem desejáveis.
2.3. Efetividade de um método
Estudos na literatura apresentam alguns métodos alternativos como capazes e responsáveis
por aumentar a motivação dos aprendizescomo por exemplo, Kebritchi, Hirumi e Bai (2010),
Papastergiou (2009), Prensky (2001), Randel et al. (1992) e Rosas et al. (2003); por aumentar
o envolvimento dos mesmos, como por exemplo, Barab et al. (2012); e, finalmente, por
incrementar a aprendizagem, como por exemplo, Terrell e Rendulic (1996).
Em controversa, há quem apresente resultados em que a adoção de práticas de ensino lúdicas
não acrescenta, necessariamente, à aprendizagem. Como exemplo, Ebner e Holzinger (2007)
apresentaram uma implementação bem-sucedida de ensino por meio de um jogo centrado no
usuário para 121 alunos do sétimo período de engenharia civil. Então a efetividade do método
de ensino se faz necessária para a propagação desse. Alguns autores com o objetivo de
conseguir instrumentos de avaliação de metódos didáticos buscam criar soluções para
impasses de relativo aprendizado ou não. Segundo Molina (2015) , a avaliação de práticas de
ensino pode ser feita utilizando o modelo multimensional na Figura 2.
Figura 2 – Representação esquemática do Modelo Mutidimensional para Avaliação de
Ensino
5
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Fonte: Adaptado de Molina (2015)
A comprovação da efetividade de um metódo de ensino é importante para a sua utilização.
3. Materiais e métodos
Tendo em vista o objetivo geral do presente trabalho, de entender e construir mecanismos
para mensurar o potencial impacto positivo da utilização de dinâmicas de ensino na
Engenharia de Produção. Assim há uma avaliação em dinâmicas de ensino específicas. A
abordagem é qualitativa, uma vez que o pesquisador coletou dados e em cima desses tirou
interpretação de aumento de conhecimento baseado em analíses estatísticas dos dados.
Trata-se de um estudo de caso, método este que permite a investigação de um dado fenômeno
dentro de um contexto real contemporâneo por meio de análise aprofundada de um ou mais
objetos de análise (YIN, 2008); sendo que a unidade de análise (caso) é a “Dinâmica MIB”,
aplicada em turmas da Engenharia de Produção da Universidade Federal de Itajubá (UNIFEI)
com o objetivo de mensurar o nivel de conhecimento adquirido.
Em relacão às fontes de evidências, o presente trabalho usa a melhora significativa do
desempenho no questionário como um nivel de aprendizado com a apresentação da dinânima.
6
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Após a coleta de dados a pesquisa prevê a avaliação do desempenho, no caso a soma de todas
as notas de cada questão, do aluno nos questionários antes e depois. Assim, fez-se o uso do
software estatística Minitab com o objetivo de avaliar alguns parâmetros como: tamanho da
amostra, diferença significativa .
3.1. Apresentação da dinâmica
Na dinâmica, acontecem quatro rodadas pelas quais são reforçados aos alunos os conceitos
apresentados e trabalhados em aula anteriormente ou, mais frequentemente, como introdução
ao conteúdo. No decorrer das quatro rodadas, as equipes de alunos podem tomar diferentes
decisões e acompanhar os resultados de suas decisões em um sistema de produção simulado
em cada rodada, pois cada rodada trata-se de uma etapa de um processo de melhoria que a
linha vai receber. É dessa forma que os conceitos descritos anteriormente são transmitidos aos
alunos participantes.
Tal dinâmica vem sendo aplicada na Universidade Federal de Itajubá (UNIFEI) desde junho
de 2003, na graduação e na pós-graduação em Engenharia de Produção, tendo sido premiada
em 2005, na sessão de Ensino de Engenharia do Encontro Nacional de Engenharia de
Produção (ENEGEP) (PINHO et al., 2005).
A dinâmica representa um sistema de produção que é inicialmente caracterizado por ser do
tipo “empurrado” (quando um trabalho é finalizado num posto, o resultado da operação é
“empurrado” para a próxima estação ou para o inventário final), e que, ao final, torna-se um
sistema do tipo “puxado” (cada estação “puxa” o resultado da montagem da estação anterior,
de acordo com o necessário, e os produtos finais da operação são “puxados” pelo cliente de
acordo com sua demanda). Esta dinâmica se caracteriza por ser um modelo de aprendizagem
vivencial, pois segundo Kolb & Kolb (2005) e Kolb & Kolb (2006), enfatiza a experiência no
processo de aprendizagem.
Para que ocorra o aprendizado é necessário, que as pessoas se envolvam completa e
abertamente em novas experiências concretas. Em seguida, é necessário refletir sobre essas
experiências e observá-las a partir de outras perspectivas. Depois, as conclusões obtidas
devem ser generalizadas, criando-se novos conceitos que consigam integrar as observações
em teorias lógicas. No final, deve-se transferir, ou mesmo testar, estes conceitos em novas
situações, modificando procedimentos, tomando decisões ou resolvendo problemas.
7
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
A MIB se baseia em uma dinâmica utilizada pelo grupo ALCOA (agora como PKC Group),
porém adaptada ao cenário acadêmico. Consiste na montagem de bloquinhos LEGO®,
representando três tipos (três variedades de cores) de produtos finais de uma linha de
montagem. A Figura 3 demonstra as duas etapas de montagem do produto, divididas em
processo A e processo B.
Figura 3 – Processos da dinâmica Montagem Interativa de Bloquinhos
3.2. Modelagem conceitual e aspectos observados
8
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Ao iniciar a dinâmica, geralmente um grupo de 20 a 30 alunos sentados em mesas de cinco
lugares ocupados por dois operadores diretos, um operador de expedição, um controller e um
gerente. Eram submetidos a uma breve introdução do que seria simulado e como isso iria
funcionar e depois recebiam um reservatório contendo as peças utilizadas para a montagem e
também algumas pecas em excesso ao necessário à produção que visam simular a
desorganização de uma mesa de trabalho e tambem ordens de produção para cada posto de
trabalho, ilustradas na Figura 4.
Figura 4 – Primeira rodada da dinâmica (Grupo PET 2014)
Ao começarmos as rodadas os operadores tinham por volta de 4 minutos para a produção de
30 produtos acabados (conforme Figura 3), usando um takt time de 8s/produto. Cada operador
deve seguir a sua respectiva ordem deprodução. Ao final de cada rodada os gerentes de cada
grupo eram convidados a ir na frente da sala para mostrar seus resultados financeiros e
apresentar os problemas encontrados na respectiva rodada.
No caso da primeira rodada foi comum a reclamação de excesso de peças desnecessárias e
falta de alinhamento entre a ordem de produção do operador A, operador B e expedição, o que
acarretava em um alto estoque intermediário e acabado (elevando custos). Assim, após cada
rodada, eram apresentadas soluções para os problemas, como por exemplo, após a primeira
rodada foi proposto a aplicação do 5 S. A situação da mesa de trabalho dos operários
melhorou de uma maneira significativa para a segunda rodada, como pode-se observar na
Figura 5.
9
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Figura 5 – Segunda rodada da dinâmica (Grupo PET 2014)
Assim, a cada etapa conceitos eram implentados na linha simulada afim de fazer com que os
alunos observassem diretamente a melhoria causada por uma ferramenta. Dessa forma, cada
rodada se baseava em implementação de pelo menos um conceito, como ilustrado na figura 6.
Figura 6 – Conceitos implementados em cada rodada
4. Analíse dos dados
A coleta dados deu-se da seguinte forma: os 23 alunos do Mestrado da Universidade Federal
de Itajubá foram submetidos a um questionário com cinco questões objetivas, com seis
alternativas variando em uma escala Likert (Discordo completamente até Concordo
completamente), antes da dinâmica.
As questões tinham por objetivo visualizar se o aluno tinha convicção de um conceito da área
de Engenharia de Produção ou não. Após toda a dinâmica, os alunos foram novamente
submetidos a esse mesmo questionário, para que pudéssemos avaliar a evolução de cada
10
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
aluno. A avaliação desses dados foi feita no Software Minitab. Em primeiro lugar, realizou-se
um teste para verificar a adequação do tamanho da amostra. Assim, obtivemos a Figura 7.
Figura 7 – Tamanho da amostra
Power Curve
1,0
Sample
Size
23
0,8
A ssumptions
A lpha
0,05
S tDev
0,5
A lternativ e N ot =
Power
0,6
0,4
0,2
0,0
-0,50
-0,25
0,00
Difference
0,25
0,50
E o tamanho da amostra se mostra significativo, pois ele consegue detectar um delta de 0,45
de diferença. E como as respostas variam de 0 a 6, sendo que ou a pessoa responde 0,1,2..,6, a
diferença entre os graus de aprendizado é 1. Outro caso, que deve ser considerado é o caso de
uma questão especifica do questionário.
A questão 3 é um caso especial pois na maioria das questões o concordar completamente era o
máximo de conhecimento do aluno em relação ao tópico, mas nesse trata-se de uma reversa
que quanto mais as pessoas concordavam mais elas estavam erradas, então a escala foi
invertida e quem colocou discordo completamente recebeu 6 e quem colocou concordo
completamente recebeu zero. Assim, os dados foram colocados em uma planilha,
respondentes x questões no próprio Excel, como mostra a Figura 8.
11
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Figura 8 – Respostas do antes e depois da dinâmica
Com os dados da Tabela 2 foi elaborado um histograma que permitiu a visualização de
evolução entre o antes (Figura 9) e o depois (Figura 10) de cada questão.
12
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Figura 9 – Histograma das respostas antes da aplição da dinâmica
Histograma das respostas antes da dinamica
Q1A
16
Q2A
12
8
Frequency
4
0
3
4
5
8
7,5
6
5,0
4
2,5
2
0,0
2
3
Q4A
20
Q3A
10,0
4
5
0
1
2
3
4
5
Q5A
12
15
9
10
6
5
3
0
3
4
5
0
3
4
5
Figura 10 – Histograma das respostas depois da aplição da dinâmica
Histograma das Respostas Depois da dinamica
Q1D
20
Q2D
20
Q3D
Frequency
10,0
15
15
10
10
5
5
0
0
5
6
Q4D
20
15
10
10
5
5
4
5
5,0
2,5
5
6
0
0,0
6
0
1
2
3
4
5
6
Q5D
20
15
0
7,5
4
5
6
Os resultados sugerem melhora, mas para a sua comprovação é necessario realizar alguns
testes que comprovem a diferenca significativa entre as respostas antes e depois, e evitar erros
do tipo I e II. E para essa avaliação, como os dados não seguem uma distribuição normal por
serem em escala Likert, foi necessário o uso de testes de hipóteses não paramétricos. Os
cálculos subsequentes compreendem a verificação e comparação das amostras obtidas “antes”
13
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
e “após” a aplicação da dinâmica. Para tanto, utiliza-se o Teste de Wilcoxon (Wilcoxon
Signed Rank Test) ou, em português, “Teste de Postos com Sinais”, um equivalente do “Teste
t pareado” para dados não paramétricos, usado para comparar 2 amostras de dados pareados,
não independentes (MILLER; MILLER, 1993; WALPOLE et. al., 2009).
A primeira situação trata-se do prévio questionário e o segunda do posterior à dinâmica.
Assim cada questão foi analisada segundo a diferença de notas entre a situação 2(depois) e a
situação 1(antes).
 Wilcoxon
H0: Mediana da diferença = 0 ( Mediana depois =Mediana antes)
H1: Mediana da diferença ≠ 0
Utilizou-se também a confiabilidade de 95% para todos os testes realizados.
5. Resultados e discussões
Os testes supracitados foram realizados nas amostras de cada questão antes e depois da
aplicação da dinâmica. O objetivo desses testes é verificar se há diferença significativa dos
resultados do questionário antes e depois, para comprovar ou não a eficiência do uso da
dinâmica como modo de transmissão de conceitos ligados a uma área específica de
conhecimento. No caso do uso de testes não paramétricos se deve aos testes compararem as
medianas antes e depois para analisar a eficácia de um processo. Na Figura 11, estão as
questões analisadas seguindo o teste de hipotese:
Test of median = 0,000000 versus median ≠ 0,000000
Figura 11 – Respostas das questões 1,2,4,5 analisados no teste Wilcoxon Minitab
14
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Para as 4 questões acima (Questão 1,2,4,5) como P value < 5%, rejeita-se Ho. Portanto, podese perceber que a diferenca entre as medianas antes e depois da dinâmica é diferente de zero.
Assim, há diferrença significativa entre as respostas antes e depois da dinâmica. E como o
intervalo de confiabilidade da diferença das medianas é maior que zero, pode-se observar
que houve uma melhora de desempenho dos estudantes antes e depois , já que trata-se de uma
análise de diferença(mediana depois-mediana antes). A questão 3 abaixo analisada na Figura
12 trata-se de uma questão de comportamento diferente, seguindo o teste de hípotese:
Test of median = 0,000000 versus median ≠ 0,000000
Figura 12 – Respostas da questão 3 analisada no teste Wilcoxon Minitab
15
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
Na questão 3 como P value >5%, aceita-se Ho. Portanto, pode-se perceber que a diferenca
entre as medianas antes e depois da dinâmica não é significamente diferente de zero. Assim,
não há diferrença significativa entre as respostas antes e depois da dinâmica. E como o
intervalo de confiabilidade da diferença das medianas é menor que zero, não é possível
afirmar um melhor ou pior desempenho de cada estudante nessa questão, já que trata-se de
uma análise de diferença(mediana depois-mediana antes) não consiguimos afirmar se a
diferença está entre -0,5 e zero (piora de rendimento) ou entre 0 e 2 (melhora de rendimento).
Assim na maioria das questões houve um aumento na resposta depois da dinâmica, apenas na
terceira questão o aumento depois da dinâmica não pode ser considerado.
6. Considerações finais
As análises dos testes não paramétricos realizados comprovaram que os alunos melhoraram
suas respostas na maioria das questões apresentadas. As hipóteses apresentadas nos testes
Wilcoxon são:
H0: Mediana da diferença = 0 ( Mediana depois =Mediana antes)
H1: Mediana da diferença ≠ 0
Nas questões 1, 2, 4 e 5 obtivemos P-value < 5%, o que significa que deve-se rejeitar Ho, ou
seja, aceita-se H1. Assim, a mediana das respostas antes da aplicacao da dinamica é menor
que a mediana depois, comprovando que houve uma melhora significativa entre antes e
depois da dinâmica. Na questão 3, o P-value foi maior que 5% o que faz com que aceitemos
Ho. Assim, a mediana antes é maior ou igual a mediana depois, ou seja, nessa questão não
houve uma melhora significativa das respostas dos alunos antes e depois. Alguns motivos
podem explicar o que houve com essa pergunta:
 Tratava-se de uma alternativa reversa;
16
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
 Indução de respostas;
 Má formulação da pergunta.
Alternativas reversas são aquelas que a opção certa é inversamente proporcional à opção
concordo completamente. Assim, quanto mais você concordava mais sua resposta estava
errada.
A indução das respostas e a má formulação da pergunta se deve ao fato de que já que a
maioria das outras respostas que os alunos tinham conhecimento estavam com respostas
semelhantes à concordo e concordo completamente. A questão que gerava dúvida, nesse caso
a questão 3, deveria seguir o mesmo padrão das outras respostas.
Assim, este presente trabalho visou verificar a melhora significativa das respostas de
estudantes ao questionário já que ao visualizarmos apenas gráficos que mostram um
crescimento, não significa que esse seja significativo. É necessário uma prova estatística de
uma melhora no desempenho de cada aluno. A elaboração de uma nova questão 3 com o
objetivo de melhor formular a questão é um ponto a ser considerado para os próximos testes.
7. Referências
BARAB, S., PETTYJOHN, P., GRESALFI, M., VOLK, C., SOLOMOU, M. Game-based curriculum and
transformational play: Designing to meaningfully positioning person, content, and context, Computers &
Education, 58(1), 518-533. 2012.
EBNER, M.; HOLZINGER, A. Successful implementation of user-centered game based learning in higher
education: An example from civil engineering. Computers & Education, v. 49, n. 3, p. 873-890, Nov. 2007.
KEBRITCHI, M., HIRUMI, A., & BAI, H. The effects of modern mathematics computer games on mathematics
achievement and class motivation. Computers & Education, 55, 427–443. 2010.
KOLB, D. A. Learning style inventory: Technical manual. Boston: The McBer and Company. 1976.
KOLB, A. Y., KOLB, D. A. Learning styles and learning spaces: Enhancing experiential learning in higher
education. The Academy of Management Learning and Education, 4(2). 2005.
_________________________. Learning styles and learning spaces: A review of the multidisciplinary
application of experiential learning theory in higher education. In: SIMS, R. R., SIMS, S. J. (Eds.), Learning
styles and learning: A key to meeting the accountability demands in education (pp. 45–92). NY: New Science
Publishers. 2006.
LEE, J. J., HAMMER, J. Gamification in education: what, how, Why Bother? Definitions and uses. Exchange
Organizational Behavior Teaching Journal, 15(2), 1–5. 2011.
MILLER, J. C.; MILLER, J. N.; Non-parametric and robust methods in Statistics for Analytical Chemistry, 3rd
ed. Ellis Horwood PTR Prentice Hall: London, 1993.
17
XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO
Perspectivas Globais para a Engenharia de Produção
Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.
MOLINA, Carlos Eduardo Corrêa. Desenvolvimento de um instrumento multidimensional para avaliação de
práticas de ensino no processo de aprendizagem. 2015. 120 f. Tese (Doutorado em Engenharia Mecânica na área
de Gestão e Otimização) - Universidade Estadual Paulista, Faculdade de Engenharia de Guaratinguetá,
Guaratinguetá. 2015.
NAE. Educating the Engineer of 2020: Adapting Engineering Education to the New Century. The National
Academic Press, Washington, D.C. 2005.
NONAKA, I., TAKEUCHI, H. The knowledge-creating company. New York: Oxford University Press, 1995.
PAPASTERGIOU, M. Digital game-based learning in high school computer science education: impact on
educational effectiveness and student motivation. Computers &Education, 52(1), 1–12. 2009.
PRENSKY, M. Digital game-based learning. New York: McGraw-Hill, 2001.
PINHO, A. F. de ; LEAL, F. ; ALMEIDA, D. A. de . Utilização de bloquinhos de montagem LEGO para o
ensino dos conceitos do Sistema Toyota de Produção. In: XXV Encontro Nacional de Engenharia de Produção.
Porto Alegre. 2005.
RANDEL, J. M., MORRIS, B. A., WETZEL, C. D., & WHITEHILL, B. V. The effectiveness of games for
educational purposes: A review of recent research. Simulation and Gaming, 23(3), 261–276. 1992.
ROSAS, R., NUSSBAUM, M., CUMSILLE, P., MARIANOV, V., CORREA, M., FLORES, P. Beyond
Nintendo: design and assessment of educational video games for first and second grade students. Computers &
Education, 40, 71–94. 2003.
RÍOS, I. D. L., CAZORLA, A., DÍAZ-PUENTE, J. M., YAGUE, J. L. Project–based learning in engineering
higher education: two decades of teaching competences in real environments. Procedia - Social and Behavioral
Sciences, v. 2, n. 2, p. 1368-1378, Jan. 2010.
TERRELL, S., RENDULIC, P. Using computer-managed instructional Software to increase motivation and
achievement in elementary school children. Journal of Research on Computing in Education, 26(3), 403–414.
1996.
VON WANGENHEIM; C. G.; SAVI, R.; BORGATTO, A. F. DELIVER! An educational game for teaching
Earned Value Management in computing courses. Information and Software Technology, v. 54, p. 286-298,
2011.
WALPOLE, R. E.; MYERS, R. H.; MYERS, S. L.; YE, K. Probabilidade & Estatística para engenharia e
ciências. 8a. edição. São Paulo: Pearson Prentice Hall, 2009.
YIN, R. K. Case Study Research: Design and Methods. Fourth Ed. Sage Publications. 2008.
18