EDUCAÇÃO PROFISSIONAL E O CONTEXTO DE TRABALHO:
REFLEXÕES SOBRE A REALIZAÇÃO DE PESQUISA DE AVALIAÇÃO
Fabiana Queiroga1
Faculdade Senac Distrito Federal
Raphael Andrade
Jairo Eduardo Borges-Andrade
Universidade de Brasília
1. Introdução
Em meados da década de 1940 começaram a surgir os primeiros centros de
educação profissional do Brasil, especialmente voltados para atender o setor
industrial. Paralelo ao crescimento da mão-de-obra especializada em produção,
nascem nesse mesmo período as instituições preocupadas com a educação para o
trabalho em atividades do comércio de bens, serviços e turismo.
A rapidez das transformações tecnológicas, entretanto, passou a exigir dos
profissionais de nível técnico, qualificação atualizada que atenda às dinâmicas do
mundo do trabalho. Com vistas a otimizar a relação entre escola e trabalho, a
reforma na legislação básica do ensino profissional concedeu relativa autonomia às
instituições de ensino, tanto para a organização e o planejamento de seus cursos,
quanto para a sua adequação às demandas dos setores produtivos (RODRIGUES,
1997). Há acúmulo, no Brasil e no exterior, de pesquisas empíricas sobre o impacto
do atual processo de reestruturação produtiva sobre a qualificação do trabalhador
(BASTOS, 2006)
Paralelo à preocupação com a qualificação dos profissionais, surge a
preocupação com os formadores desses profissionais. Carnielli, Gomes e
Capanema (2008) sinalizam que, em princípio, bastava ao professor da escola
1
Endereço para correspondência: SHIN CA-5 Bloco H, Apto 301 – Lago Norte. CEP 71.503-505. Brasília-DF.
[email protected]
Esse trabalho contou com o apoio financeiro do Cespe/UnB, com a colaboração da equipe formada por funcionários e
professores de uma instituição no sistema S que foi parceira da pesquisa. Também devem ser registrados agradecimentos aos
alunos de pesquisa da UnB que estiveram trabalhando para viabilizar a execução desse projeto: Andréa Oliveira, Adriana
Carvalho, Cassiana Borges, Julia Moraes, Milena Sbardelotto, Rodrigo Miranda e as estagiárias Ana Beatriz Franco, Beatriz
Rufini e Verônica Aguiar.
2
profissionalizante saber fazer o “ofício” a ser ensinado. Na prática, as qualidades
pedagógicas acabavam sendo negligenciadas e havia mais improvisação na escola
profissional que na acadêmica.
Os autores descrevem ainda que a formação profissional foi elevada de status
graças às mudanças políticas e econômicas e às suas relações com o
desenvolvimento do país. Com o objetivo de preparar professores para o PIPMO
(Programa Intensivo de Formação de Mão-de-Obra), o CENAFOR (Centro Nacional
de Aperfeiçoamento de Pessoal para a Formação Profissional), criado em 1969, se
propôs, entre outras tarefas, a preparar professores para as matérias específicas da
educação profissional oferecidas por escolas, centros de treinamento e empresas
em geral (CARNIELLI; GOMES; CAPANEMA, 2008).
Os acontecimentos apresentados nesse cenário começam a demandar que
sejam implantados mecanismos permanentes de consulta a fim de avaliar os
atributos valorizados pelo mercado de trabalho e, assim, retroalimentar o sistema de
ensino. Na área de Treinamento, Desenvolvimento e Educação (TD&E), muitas
pesquisas vem sendo realizadas no sentido de verificar se o conteúdo aprendido
nesses programas são, de fato, aplicados no trabalho (ver, por exemplo MOURÃO,
2004; PILATI, 2004; Zerbini, 2006; BRANDÃO, 2008). Levantamentos realizados no
campo de TD&E têm apontado crescente demanda por avaliação em instituições
que tradicionalmente fazem altos investimentos na oferta de cursos, bem como
naquelas que mais recentemente descobriram os valores estratégicos do
conhecimento e do esforço na contínua qualificação de pessoal (BORGESANDRADE, 1997). Mourão e Puente-Palacios (2006) discutem as questões
envolvidas no processo de monitoramento e avaliação de programas relativos à
formação e à qualificação profissional.
Não obstante, o aumento da demanda por avaliação vem sinalizando maior
consciência por parte das instituições de que os cursos por si só não são soluções
infalíveis e que, nesse sentido, é importante avaliar o sistema instrucional e os
resultados que eles produzem (BORGES-ANDRADE, 1997; MOURÃO, 2004). No
caso da educação profissional, a preocupação deveria estar voltada para a
avaliação no mercado de trabalho, uma vez que é neste contexto que se observa a
aplicação do que foi aprendido nos cursos.
A contribuição para o aumento da empregabilidade vai além da oferta de
cursos profissionalizantes; ela adquire maior importância quando é feito o
3
acompanhamento dos egressos. Realizar a avaliação dos alunos que saem das
escolas torna-se uma poderosa ferramenta para retroalimentar o sistema
instrucional, na medida em que responde questões relacionadas não apenas ao
número de pessoas empregadas após a conclusão dos cursos, mas também ao
desempenho delas no trabalho.
Na busca por contribuir para o alinhamento entre a escola e as exigências do
mercado de trabalho, foi iniciada em 2008 uma pesquisa cujo como objetivo era
verificar em que medida os egressos da educação profissional empregados
utilizavam em suas atividades laborais aquilo que foi ensinado nas escolas em que
concluíram o curso. Para tanto, a Universidade de Brasília (UnB), realizou parceria
com uma instituição do sistema S avaliar a transferência de aprendizagem de
egressos dos seus cursos. Após algumas reuniões com o corpo gestor, foram
selecionados quatro cursos técnicos das áreas de nutrição, enfermagem, informática
e cozinha.
Conforme descrito anteriormente, a proposta inicial do trabalho era a de
analisar em que medida os conhecimentos, habilidades e atitudes (CHA’s) dos
alunos egressos de escolas profissionalizantes estavam em consonância com as
necessidades do mercado de trabalho em que eles, supostamente, estariam
inseridos. Entretanto, a pesquisa se viu forçada a mudar de direção em decorrência
das dificuldades encontradas em campo. Para que seja possível construir uma
reflexão em torno dessas dificuldades, a seguir serão relatados o delineamento da
pesquisa e os principais resultados encontrados.
O objetivo deste relato é, portanto, trazer ao leitor dados que possam
subsidiar a discussão sobre a importância de realizar avaliação na educação
profissional e de melhorar o sistema de acompanhamento do egresso desses
cursos.
2. Como foi delineada a pesquisa?
Para alcançar o objetivo da pesquisa, foi delineado um estudo quantitativo do
tipo correlacional, com amostra não-aleatória. A ideia inicial era realizar o teste de
um modelo estatístico robusto (por meio de Modelagem por Equações Estruturais)
que precisaria contar com um número elevado de participantes. Por isso, os
gestores dos cursos técnicos da instituição parceira foi consultada para indicar
cursos com maior volume de egressos, mas que também fossem relevantes do
4
ponto de vista da avaliação. Com base nesses critérios foram selecionados quatro
cursos das seguintes áreas: nutrição, informática, enfermagem e cozinha. A Figura 1
apresenta o número de egressos previsto em cada curso. A expectativa era obter a
participação de uma amostra de aproximadamente 300 egressos.
Cozinheiro; 83
Técnico em nutrição;
58
Técnico em
enfermagem; 135
Operador de
microcomputador;
454
Figura 1 Concluintes dos cursos selecionados entre 2004 e 2006 (N = 730).
2.1 Critérios para selecionar os egressos participantes
Além dos critérios para selecionar os cursos, foram previstos critérios para a
participação do egresso. Para participar da pesquisa, era necessário que o egresso
estivesse trabalhando há pelo menos três meses, na área em que concluiu o curso.
Essa condição foi estabelecida para que fosse possível verificar realmente se estaria
havendo transferência de aprendizagem dos conteúdos aprendidos nos cursos.
Se os egressos estivessem empregados em uma área diferente da que eles
concluíram o curso, não seria possível comparar as competências desenvolvidas na
escola com as competências requeridas no trabalho atual. Além disso, com menos
tempo de trabalho na área relacionada com curso, torna-se muito difícil verificar o
uso de competências ensinadas nos sistemas instrucionais (ver PILATI, 2004).
2.2 Questionários de avaliação utilizados na pesquisa
A pesquisa tinha como intenção não apenas verificar quais CHA’s eram
utilizados pelos egressos no mercado de trabalho, mas também compreender
porque eles seriam ou não aplicados nesse contexto. Assim, diversos instrumentos
foram desenvolvidos para atender a demanda da pesquisa, conforme descrito a
seguir.
5
Transferência de aprendizagem. Para mensurar em que medida os alunos
estavam utilizando no trabalho os CHA’s adquiridos no curso, foram utilizadas duas
medidas, sendo uma em amplitude e outra em profundidade. O instrumento de
transferência de aprendizagem em amplitude diz respeito a uma medida geral,
respondida pelos alunos de todos os cursos e composta por 9 itens. Esta medida foi
adaptada do instrumento proposto por Abbad (1999), para atender as necessidades
da avaliação em educação profissional. O instrumento de transferência em
profundidade trata de uma medida específica para cada um dos cursos e foi
construído com base nos planos de cursos. Nesses instrumentos específicos era
solicitado ao participante que indicasse, em um mesmo item, o quanto ele
considerava que aprendeu o que estava especificado, o quanto ele utilizava o
conteúdo no trabalho e o quanto ele considerava o conteúdo útil. No total, seis
versões de questionários foram elaboradas embora apenas quatro tenham sido
consideradas na etapa final de coleta de dados2. A quantidade de itens em cada um
desses instrumentos variou de acordo com o número de competências a serem
avaliadas em cada curso.
Suporte material e psicossocial à transferência. As condições do contexto que
favorecem ou não a transferência da aprendizagem foram avaliadas com cinco itens
sobre o suporte material e nove itens sobre suporte psicossocial. Esses itens, que
também originalmente desenvolvidos por Abbad (1999), foram adaptados para o
caso específico da educação profissional.
Estratégias de aplicação do conteúdo aprendido. De acordo com Pilati (2004),
além de verificar quais as condições do contexto em que a transferência de
aprendizagem está ocorrendo, uma avaliação torna-se completa ao se identificar
como os egressos fazem para utilizar no novo contexto (diferente da sala de aula)
aquilo que lhes foi ensinado. Para mensuração desse construto foi adaptado o
instrumento desenvolvido pelo autor citado e, no total, foram aplicados 13 itens.
Satisfação com a escola. Buscando identificar se este também seria um fator
influenciador da retenção e transferência de aprendizagem, procurou-se avaliar o
grau de satisfação dos egressos com a escola na qual haviam concluído o curso.
Para tanto, foram elaborados sete itens sobre o material didático, o domínio do
2
Embora os instrumentos para os cursos de técnico em contabilidade e auxiliar em enfermagem tenham sido elaborados,
foram desconsiderados após a etapa da validação semântica.
6
conteúdo e a assiduidade dos docentes, o relacionamento com os membros da
equipe escolar e a qualidade das instalações da escola.
Os
instrumentos
descritos
foram
compostos
de
questões
fechadas
respondidas em uma escala de cinco pontos, com âncoras apenas nos extremos
que variavam de 0 a 4. Ao final do questionário foi solicitado aos participantes que
indicassem o centro de formação profissional e a data de conclusão do curso, o grau
de escolaridade, há quanto tempo exerciam a profissão atual e se já trabalhavam na
área antes de concluir o curso, há quanto tempo exerciam atividade remunerada e
qual o tempo de trabalho do participante na empresa e no cargo atual.
Em função dos instrumentos de transferência de aprendizagem em
profundidade (específicos de cada curso) terem sido elaborados exclusivamente
para esta pesquisa, considerou-se pertinente que tais questionários fossem
submetidos a uma verificação de qualidade antes da sua aplicação em campo. Essa
verificação foi conduzida por meio de técnicas qualitativas como validade semântica
e de juízes.
2.3 Validação dos questionários para avaliação dos cursos
Com a etapa de desenvolvimento e adaptação das medidas concluída, os
instrumentos foram submetidos aos procedimentos de validação por juízes e
semântica. A etapa de validação por juízes contou com o auxílio de especialistas de
cada curso da escola profissionalizante. Técnicos da área foram instruídos a avaliar
os instrumentos de transferência de aprendizagem em profundidade quanto à
clareza e a pertinência dos itens bem como do instrumento como um todo. Todos os
instrumentos foram submetidos a essa etapa e sofreram os devidos ajustes antes de
serem aplicados aos participantes.
Após os ajustes dos especialistas, foram selecionados alguns egressos do
próprio cadastro de concluintes para a realização da validação semântica. Foram
submetidos a essa etapa os instrumentos dos cursos de técnico em nutrição, auxiliar
em enfermagem e técnico em contabilidade. Devido à grande proximidade de
conteúdo, não se considerou necessária à validação semântica do instrumento do
técnico de enfermagem. Essa etapa também não foi realizada para os instrumentos
de operador de microcomputador e cozinheiro em virtude dos instrumentos
contemplarem itens considerados demasiadamente simples pelos elaboradores.
7
2.4 Procedimento de coleta de dados – localizando os egressos
Os egressos seriam localizados por meio do cadastro fornecido pela escola
profissionalizante, sendo, portanto, fundamental que os dados informados fossem
válidos. Os pesquisadores tinham ainda a incumbência de entrar em contato com o
egresso, encontra-lo no local e horário por ele estipulado. Embora o questionário
fosse auto-aplicável, o egresso recebia orientações necessárias para respondê-lo,
sempre relacionadas à forma, nunca ao conteúdo.
Nessa etapa apareceu a primeira grande dificuldade da pesquisa: a validação
dos contatos deixados pelos alunos no cadastro. Diversos dados estavam
incompletos, outros haviam sofrido alteração ou ainda se tratavam do contatos de
um emprego antigo do concluinte. O grande número de contatos inválidos dentro do
cadastro fornecido, principal motivo que acabou levando o curso de técnico em
contabilidade a ser desconsiderado da avaliação.
A segunda grande dificuldade dessa etapa foi encontrar as pessoas que
estavam trabalhando na área em que haviam concluído o curso, como foi o caso do
auxiliar em enfermagem. Por se tratar de um curso com grande número de
concluintes (641), a expectativa era de que só com este curso seria possível
encontrar a maior parte dos participantes. Todavia, foi crescente o número de
pessoas desse curso que apontou não estar trabalhando na área em decorrência da
falta do módulo do técnico em enfermagem.
3. Resultados da coleta em campo – quem foi localizado?
Pesquisadores previamente treinados e remunerados pelo projeto foram
encarregados de verificar a validade do contato fornecido no cadastro, contatar os
egressos com telefones válidos, verificar quais egressos estavam empregados e por
fim, convidar para participar da pesquisa aqueles que atendessem aos critérios da
pesquisa já relatados anteriormente. Durante quatro meses os pesquisadores
estiveram em campo para realizar a coleta dos dados. Apenas 15 respostas válidas
puderam ser efetivamente consideradas, conforme é apresentado na Figura 2.
8
Cozinheiro; 1
Técnico em nutrição;
2
Técnico em
enfermagem; 2
Operador de
microcomputador; 10
Figura 2 Participantes de acordo com os cursos selecionados (N = 15).
Considerando o total de pessoas dos cursos apresentados que puderam ser
contatadas pelos pesquisadores por terem cadastro válido (N = 235), 92 egressos
(39%) não participaram da pesquisa em virtude de não estarem trabalhando na área
em que concluíram seus cursos e 97 (41%) não participaram por estarem
desempregados. Estas e outras condições que não permitiram a participação dos
egressos na pesquisa são apresentadas na Figura 3.
Figura 3 Número de egressos segundo os motivos pelos quais não participaram da
pesquisa.
Diante deste panorama, dos recursos empregados (financeiros e humanos) e
do tempo da pesquisa em campo, optou-se por não esgotar o cadastro de egressos
e cerca de 28% dos egressos não foram pesquisados. Entretanto, os dados
coletados permitem observar que o maior problema de participação dos egressos
está na falta de contatos válidos (206 pessoas). Trata-se de um grupo grande de
9
pessoas que não deixou na escola profissionalizante qualquer tipo de contato
(telefone fixo ou celular, endereço eletrônico) atualizado para que fosse possível
localizá-las posteriormente.
Esses dados, empecilhos e dificuldades relatados nos convidam para uma
importante reflexão: como fazer acompanhamento dos egressos da educação
profissional?
4. Discussão: um convite a reflexão
Ao acompanhar o conteúdo relatado até o momento, o leitor atento pode
constatar que foi tomado todo cuidado metodológico que um estudo do tipo
correlacional requer. O delineamento foi de amostra por conveniência, em que já se
esperava contar com a disponibilidade dos sujeitos para participar da pesquisa.
Mesmo assim, causou surpresa o baixo número de participantes que puderam ser
encontrados e que atendiam ao perfil buscado na pesquisa.
Um grande esforço foi despendido para que os instrumentos de medidas a
serem utilizados pudessem ser adaptados para a avaliação em educação
profissional. Os instrumentos utilizados em outros contextos de trabalho passaram
por uma adaptação de conteúdo, foram validados por especialistas em educação
profissional e por fim passaram pela etapa de validação semântica. Todas essas
etapas foram laboriosas e contou com o envolvimento de muitos profissionais. Ainda
assim, fatores contingenciais acabaram impedindo o alcance dos objetivos
inicialmente previstos.
O elemento que mais contribuiu para essa situação foram os “contatos
inválidos” deixados pelos egressos. Esse fato acabou inviabilizando o contato com
quase 50% das pessoas do cadastro fornecido. Em virtude dos motivos expostos
inicialmente e que apontam a necessidade de retroalimentar os sistemas
instrucionais da educação profissional via egressos desses cursos, parece prudente
considerar formas de melhorar o vínculo entre a escola e o concluinte. Uma visão
estratégica nesse sentido levaria à coleta de informações mais fidedignas dos
egressos e ainda ao desenvolvimento de um sistema para manter a confiabilidade e
atualização de tais informações.
Outra maneira de viabilizar uma coleta com maior número de participantes
simultaneamente, seria o incentivo nas escolas para a abertura de e-mails gratuitos
10
por parte dos alunos de forma que os questionários pudessem ser enviados
eletronicamente. Todavia, essa alternativa trás consigo o fator limitador do baixo
acesso à internet que essas pessoas podem ter.
De qualquer maneira, o presente relato pretende levar à reflexão de que os
procedimentos metodológicos para coleta de dados precisam ser aprimorados para
viabilizar avaliações em estudos correlacionais. Muitos avanços já foram relatados
no âmbito da avaliação educacional em larga escala na educação básica (ver
resultados do Saeb de 1995 a 2009 e Prova Brasil de 2007 a 2009), no ensino
médio (ver resultados do Enem de 1998 a 2010) e ainda do ensino superior (ver
resultados do Exame Nacional de curso e Enade de 1998 a 2010). As ações de
educação em contexto de trabalho também foram muito investigadas e relatadas,
tanto na literatura internacional quanto nacional (ver, por exemplo, o volume de
publicações das Editoras SENAI e SENAC). Não obstante, resultados de avaliações
em educação profissional, especialmente as que levam em conta a inserção do
aluno após a conclusão do curso, configuram-se ainda uma grande lacuna na
literatura sobre avaliação.
5. Considerações finais
As dificuldades de coleta de dados descritas neste relato buscam provocar a
discussão e movimentar o campo da avaliação em educação profissional. É inegável
a relevância do papel que os cursos profissionalizantes exercem no mercado de
trabalho brasileiro. O fato da maior parte dos participantes dessa pesquisa revelar
que nunca tinha exercido uma profissão antes de concluir o curso na sua escola
profissionalizante fortalece essa premissa. Por outro lado, o elevado percentual de
pessoas que não participou da pesquisa, por estar desempregado ou não atuar na
área em que concluiu o curso, sugere a necessidade de se buscar formas de melhor
alinhar as exigências do mercado de trabalho com as diretrizes dos cursos
profissionalizantes. Também sugere a promoção de um melhor acompanhamento
dessas pessoas após a conclusão dos cursos.
Em um país em que os cursos superiores ainda são privilégios daqueles com
melhores condições socioeconômicas, os cursos profissionalizantes podem exercer
um papel importante na empregabilidade das pessoas. Essa importância também é
reconhecida pelo governo federal que nos últimos anos vem investindo na abertura
11
de escolas e cursos voltados para a educação profissional. Entretanto, para que um
sistema de ensino seja eficiente, é preciso ter dados empíricos sobre a sua eficácia
e eficiência. A condução de avaliações bem estruturadas podem auxiliar no
aprimoramento dos cursos se tiverem como base uma consulta ao contexto de
trabalho dos egressos.
Por isso, mais uma vez ressalta-se a urgência de se estruturar um sistema de
acompanhamento que permita a escola manter vínculo com seu aluno concluinte.
Eles serão sua principal fonte de melhoria da qualidade de ensino ofertada. Assim,
partindo do princípio que o conhecimento científico não se pauta nem evolui apenas
nas descrições de sucesso, espera-se que este relato seja visto como estímulo a
uma grande caminhada que deve ser percorrida.
6. Referências bibliográficas
ABBAD, G. (1999). Um modelo integrado de avaliação do impacto do
treinamento no trabalho - IMPACT. Brasília, 1999. Tese de doutorado Universidade de Brasília.
BASTOS, A. V. B. (2006). Trabalho e qualificação: questões conceituais e
desafios postos pelo cenário de reestruturação produtiva. Em: J. E. BorgesAndrade, G. S. Abbad e L. Mourão (Orgs) Treinamento, Desenvolvimento e
Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas
(pp. 23-40). Porto Alegre: Artmed.
BORGES-ANDRADE. J. E. (1997). Treinamento de pessoal: Em busca de
conhecimento e tecnologia relevantes para as organizações brasileiras. Em:
A. Tamayo, J. E. Borges-Andrade & W. Codo (Orgs.) Trabalho, Organizações e
Cultura (pp.129-149). São Paulo: Cooperativa de Autores Associados.
BRANDÃO, H. P. (2008). Gestão por competências: um estudo multinível sobre
relações entre aprendizagem, competência e desempenho. Tese de
Doutorado, Instituto de Psicologia, Universidade de Brasília.
CARNIELLI, B. L.; GOMES, C. A.; CAPANEMA, C. (2008). O magistério da
educação profissional: vencendo o dualismo histórico. Educação Profissional:
Ciência e Tecnologia, 2, 2, p. 221-229.
12
MOURÃO, L. (2004). Avaliação de Programas Públicos de Treinamento: um
Estudo sobre o Impacto no Trabalho e na Geração de Emprego. Tese de
doutorado. Instituto de Psicologia – UnB.
MOURÃO, L.; PUENTE-PALACIOS, K. E. (2006). Formação profissional. Em: J. E.
Borges-Andrade, G. S. Abbad e L. Mourão (Orgs) Treinamento, Desenvolvimento
e Educação em Organizações e Trabalho: fundamentos para a gestão de
pessoas (pp. 41-64). Porto Alegre: Artmed.
PILATI, R. (2004). Modelo de efetividade do treinamento no trabalho: aspectos
dos treinandos e moderação do tipo de treinamento. Tese de Doutorado.
Instituto de Psicologia, Universidade de Brasília.
RODRIGUES, J. (1997). O moderno príncipe industrial: o pensamento
pedagógico da Confederação Nacional da Indústria. Síntese da tese de
doutorado, Universidade Estadual de Campinas (UNICAMP).
ZERBINI, T. (2007). Avaliação da Transferência de Treinamento em Curso a
Distância. Tese de Doutorado. Instituto de Psicologia, Universidade de Brasília.