Regulação da Avaliação da Educação Superior Brasileira: A Questão dos Instrumentos
de Mensuração da Qualidade
Autoria: Amelia Silveira, Tarcita Cabral Ghizoni de Sousa, Leonel Cezar Rodrigues
RESUMO
O Instrumento de Avaliação Institucional Externa do SINAES (BRASIL, 2009, p. 127-142)
emana de documento regulatório e contém dimensões que refletem o significado de qualidade
da educação superior brasileira. Comparar este instrumento com os modelos HEdPERF
(FIRDAUS, 2005) e PESPERF (YILDIZ; KARA, 2009), quanto às semelhanças destas
dimensões, se constitui no objetivo de estudo. A pesquisa foi exploratória, qualitativa,
bibliográfica e documental. Os resultados mostram que algumas dimensões se assemelham
nos três modelos: Aspectos não acadêmicos; Aspectos acadêmicos; Reputação; Acesso;
Conteúdo Programático; Programas; Compreensão; Empatia. O estudo serve como suporte
inicial para discussão da assertividade das dimensões no Instrumento estudado.
Palavras-chave: Regulação. Educação Superior. Instrumentos de Mensuração da Qualidade.
1 1 INTRODUÇÃO
Ciente da necessidade de continuar assegurando qualidade na prestação de serviços na
educação superior brasileira, em 14 de abril de 2004, por meio da Lei nº 10.861, o governo
instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES), com o objetivo
de “assegurar o processo nacional de avaliação das instituições de educação superior, dos
cursos de graduação e do desempenho acadêmico de seus estudantes.” (BRASIL, 2004). Com
esta iniciativa reforça uma visão sistêmica da educação e regulamenta um processo de
avaliação institucional, no sentido de garantir padrões de qualidade da educação nacional.
Esta legislação traduz o entendimento do governo brasileiro de que é desejável que as
instituições de ensino superior (IES) avancem no sentido da garantia da qualidade dos
serviços prestados no ensino superior.
Cabe ressaltar que, ao longo do tempo, desde a promulgação da Constituição da
República Federativa do Brasil (BRASIL, 1988), as preocupações do governo brasileiro se
voltam para assegurar a "garantia de padrão de qualidade", conforme constam nesta
Constituição, no Art. 206, inciso VII, como um dos princípios educacionais vinculados à
cidadania. Nesta Constituição ainda, no Art. 209, o ensino superior ficou condicionado ao
atendimento das normas gerais da educação nacional, bem como ao processo de autorização e
de avaliação de qualidade, pelo poder público nacional. (BRASIL, 1988).
De forma breve se pode afirmar que, ao longo do tempo, os procedimentos relativos à
avaliação da qualidade institucional no ensino superior foram sendo objeto de instrumentos
legais, destacando-se dentre outros, a Lei 9.394/96, conhecida como a Lei de Diretrizes e
Bases da Educação Superior. (BRASIL, 1996). No sentido de garantir padrões de qualidade
do ensino superior, o governo brasileiro intensificou as iniciativas de regulamentação, tendo
promulgado a Lei 10.861, de 14 de abril de 2004, que instituiu o Sistema Nacional de
Avaliação da Educação Superior (SINAES). Esta legislacao buscou “assegurar o processo
nacional de avaliação das instituições de educação superior, dos cursos de graduação e do
desempenho acadêmico de seus estudantes” (BRASIL, 2011). A regulamentacao do SINAES
se deu por meio da Portaria no 2.051, de 9 de julho de 2004, do Ministerio da Educacao.
(BRASIL, 2004). Também o Decreto 5.773, 2006 (BRASIL, 2006), que dispõe sobre o
exercício das funções de regulação, supervisão e avaliação de instituições de educação
superior e cursos superiores de graduação e sequenciais no sistema federal de ensino, regulou
a avaliação da qualidade no capitulo IV, reforçando o que prevê a legislação que define o
SINAES (BRASIL, 2009).
Ao longo do tempo, também, tem havido preocupação por parte do governo com a
definição de instrumentos capazes de medir a qualidade do ensino superior. No documento
denominado Sistema de Avaliação da Educação Superior Brasileira, da concepção à
regulação, (BRASIL, 2009) o Instrumento de Avaliação Institucional Externa do SINAES
(BRASIL, 2009, p. 127-142) foi elaborado pela Comissão Nacional de Avaliação da
Educação Superior (Conaes) e pela Diretoria e Avaliação da Educação Superior (Daes), do
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Neste
documento consta que “a formulação do Instrumento de Avaliação Institucional Externa teve
como referência os princípios e diretrizes do Sinaes e os padrões de qualidade da educação
superior”. (BRASIL, 2009, p. 126).
Estudiosos têm se debruçado sobre este material, assim como têm analisado as várias
ênfases que o assunto da avaliação institucional na educação superior oportunizam.
(POLIDORI, MARINHO-ARAUJO, BARREYRO, 2006; BARREYRO, 2008; GIOLO,
2008; LIMANA,2008; ZAINKO, 2008; FIRME et al. 2009;
POLIDORI, 2009;
ZANDAVALLI, 2009; DIAS SOBRINHO, 2010).
2 Da mesma forma, na literatura internacional estudos têm se voltado para instrumentos
que se referem à mensuração da qualidade de serviços. Alguns merecem ser ccitados:
SERVQUAL - Qualidade dos Serviços e o SERVQUAL PONDERADO (PARAZURAMAN;
ZEITHAML; BERRY, 1985, 1988); o SERVPERF - Desempenho do Serviço (CRONIN;
TAYLOR, 1992); o SERVPERF Ponderado (TEAS 1993); e o INTQUAL - Desempenho de
Qualidade Interna (CARUANA; PITT, 1997). Destes modelos mais gerais, alguns deram
origem a modelos voltados para o ensino superior, a exemplo do HEdPERF - Desempenho da
Educação Superior (FIRDAUS, 2005, 2006); e do PESPERF - Qualidade de Serviço na
Escola de Educação Física e Ciências de Jogos Esportivos – PESS (YILDIZ; KARA, 2009).
Estes dois últimos, o HEdPERF (FIRDAUS, 2005, 2006); e o PESPERF (YILDIZ; KARA,
2009) foram propostos, respectivamente, como modelos que apresentam dimensões para
medir a qualidade de serviços educacionais, de forma macro e micro. Assim, de certa forma,
podem ser entendidos como complementares. Contudo, ainda são poucos os estudos voltados
para a comparação das dimensões propostas em cada um deles, buscando um consenso sobre
as que figuram de maneira mais constante, podendo ser entendidas como mais significativas
para aferição da qualidade de serviço no ensino superior.
O estudo de Sousa et al. (2010) comparou seis dos principais modelos de avaliação da
qualidade de serviços sendo estes: SERVQUAL, SERVQUAL Ponderado, SERVPERF,
INTQUAL, HEdPERF, e PESPERF, com o objetivo de verificar as dimensões que se
repetem e que podem servir de guia para a avaliação institucional em IES. Estas dimensões ou
atributos de qualidade de serviços foram identificados como sendo: Acesso; Comunicação;
Competência;
Cortesia;
Credibilidade;
Receptividade;
Segurança;
Tangível;
Compreender/Conhecer o Cliente/Empatia; Aspectos Acadêmicos; e Aspectos não
acadêmicos. A conclusão do estudo é que estas dimensões podem formar um elenco de
variáveis que suportem instrumentos de avaliação institucional no ensino superior.
De outra forma, Firdaus (2006) comparou a eficácia dos modelos HEdPERF e
SERVPERF no contexto de uma IES. O estudo revelou que o HEdPERF mostrou estimativas
mais confiáveis, com maior critério de validade do construto, com maior variância explicada,
e aparentemente desempenho superior ao modelo SERVPERF.
Brochado (2009) comparou os modelos SERVQUAL, SERVQUAL Ponderado,
SERVPERF, SERVPERF Ponderado e HEdPERF quanto ao desempenho, com a aplicação
destes instrumentos em uma IES. O estudo mostrou que o SERVPERF e o HEdPERF
apresentam a melhor capacidade de medição em relação aos demais modelos. Não foi
possível, entretanto, identificar qual dos dois modelos apresenta melhor resultados na prática
de mensuração da qualidade de serviços no ensino superior. Para tanto, há necessidade da
continuidade de estudos.
Os trabalhos de Deschamps (2007) e de Fortes et al. (2011) devem ser mencionados,
uma vez que também aplicaram os modelos HEDPERF e SERVPERF em IES.
Deschamps (2007) destacou que, de uma maneira geral, os dois modelos empregados,
HEDPERF e SERVPERF, atenderam às necessidades da instituição, devendo ser
considerados como forma de determinar a qualidade do ensino superior, e como parte do
processo de avaliação institucional, tendo em vista os resultados obtidos no estudo. Quanto
aos atributos de qualidade de serviços que se destacaram na investigação, as principais
deimensões foram: Segurança, Empatia, Responsividade e Tangíveis, no SERVPERF, e
Aspectos Acadêmicos, Reputação, Acesso e Conteúdos Programáticos, no HEDPERF. Coube
destaque para o corpo docente como responsável pelo bom desempenho da IES, tanto no
modelo SERVPERF (atributo Segurança), quanto no modelo HEDPERF (atributo Aspectos
Acadêmicos). O autor, ao finalizar a pesquisa, destacou que os resultados do trabalho
permitem afirmar que os dois modelos são adequados para mensurar os atributos da qualidade
3 no ensino superior, com melhor desempenho apresentado pelo HEdPERF. Recomendou a
continuidade dos estudos para assegurar maior compreensão sobre este tema de estudo.
Fortes et al. (2011) buscaram verificar o desempenho dos atributos da qualidade de
serviços em relação aos modelos HEdPERF e SERVPERF. Para tanto, com base nos
resultados obtidos, verificou a correlação de variáveis que mostraram alguma
interdependência forte no estudo, desenvolvido em uma IES do norte do Brasil. O estudo
mostrou que não houve correlação direta entre todas as dimensões ou atributos dos dois
modelos. Estas correlações foram formadas entre as dimensões estudadas, cabendo destaque
para: Acesso (HEdPERF) e Empatia (SERVPERF); Aspectos não acadêmicos (HEdPERF) e
Tangíveis (SERVPERF); Conteúdo programático (HEdPERF) e Confiabilidade
(SERVPERF). A pesquisa indicou ainda que os modelos SERVPERF e HEdPERF, de forma
individual ou em conjunto, contribuem para avaliar a qualidade de serviços do ensino superior
em IES. Ficou evidente que o modelo HEdPERF se mostrou como mais adequado para
avaliar a qualidade do ensino desta IES. A autora destaca, porém, que os resultados são
iniciais, recomendando a necessidade de aprofundamento e de continuidade dos estudos neste
tema. Destaca ainda que os modelos HEdPERF e PESPERF, principalmente, devem merecer
estudo mais especifico, visto estarem voltados para o ensino superior. (FORTES, 2011).
Com os resultados destes estudos houve certo avanço no entendimento de que o
modelo HEdPERF (FIRDAUS, 2005) se apresenta como um dos modelos mais adequados
para mensurar a qualidade de serviços no contexto de IES. Por sua vez, o PESPERF
(YILDIZ; KARA, 2009), que também se destina a medir a qualidade de serviços neste mesmo
contexto das IES, e mais recentemente proposto na literatura, ser considerado. Outro ponto a
destacar é que estes dois modelos se complementam, pois segundo sua concepção, e o
entendimento de seus autores, um se destina a medir a qualidade de serviços no nível macro,
de medição mais genérica em IES (HEdPERF), enquanto o outro (PESPERF) apresenta um
foco mais especifico, tendendo para o nível micro das IES. Desta forma, se defende que estes
dois modelos se complementam, de forma geral, e servem para amparar a mensuração da
qualidade de serviços nos aspectos macro e micro no ensino superior, servindo de referência
para uma comparação com o modelo de Instrumento de Avaliação institucional Externa
proposto pelo SINAES (BRASIL, 2009, p. 127-142).
Vale destacar que ainda são poucos os trabalhos que comparam instrumentos voltados
para a avaliação da qualidade no ensino superior, de forma teórica, ou mesmo na prática de
sua aplicação em IES, continuando esta a se constituir em uma área oportuna de estudo e que
merece atenção dos pesquisadores. Vale ainda lembrar que o governo brasileiro tem investido
no estudo da qualidade de serviços no ensino superior, ao longo do tempo, tendo como uma
de suas metas a excelência deste nível de ensino, principalmente no ensino da graduação.
Desta forma, se justifica a importância e o interesse na continuidade de estudos, nesta direção.
Argumenta-se, ainda, que havendo no Brasil uma legislação que regulamenta o
processo avaliativo no ensino de graduação, com a proposição de dimensões em um
Instrumento de Avaliação Institucional Externa (BRASIL, 2009, p. 127-142), parece oportuna
a realização de um estudo que compare as dimensões deste instrumento proposto pelo
governo brasileiro, e que faz parte da regulação da Avaliação institucional, com os dois
modelos considerados mais adequados para a mensuração da qualidade no ensino superior, o
HEdPERF (FIRDAUS, 2005) e o PESPERF (YILDIZ; KARA, 2009). Ou seja, convém
comparar as dimensões de qualidade de serviços apontadas no HEdPERF (FIRDAUS, 2005) e
no PESPERF (YILDIZ; KARA, 2009) com o que consta no Instrumento de Avaliação
Institucional Externa (BRASIL, 2009, p. 127-142), para que se possa compreender e ampliar
o entendimento sobre as dimensões consideradas importantes para medir a qualidade dos
serviços prestados no ensino superior de graduação, no Brasil.
Com esta visão, a questão de pesquisa que norteia este estudo é apresentada, a seguir:
4 Até que ponto é possível identificar semelhanças entre as dimensões propostas no
Instrumento de Avaliação institucional Externa, proposto pelo SINAES (BRASIL, 2009, p.
127-142) com os modelos HEdPERF (FIRDAUS, 2005) e PESPERF (YILDIZ; KARA,
2009), recomendados na literatura internacional?
Nesse contexto, a presente pesquisa tem objetivo geral sistematizar as dimensões do
Instrumento de Avaliação Institucional Externa do SINAES (BRASIL, 2009, p. 127-142) e
nos modelos HEdPERF (FIRDAUS, 2005) e PESPERF (YILDIZ; KARA, 2009) buscando
conhecer dimensões semelhantes ou conuns que possam se constituir em base para mensurar a
qualidade de serviços no ensino de graduação, no Brasil.
Para tanto, os objetivos especificos são: a) identificar as dimensões da qualidade de
serviços propostas no Instrumento de Avaliação Institucional Externa do SINAES (BRASIL,
2009, p. 127-142), no HEdPERF (FIRDAUS, 2005), e no PESPERF (YILDIZ; KARA,
2009);b) distinguir as dimensões da qualidade de serviços que apresentam semelhanças; c)
analisar as dimensões comuns aos três modelos; d) indicar as dimensões que podem ser
consideradas como frequentes nos três instrumentos analisados, para que seja, consideradas
como medida para a qualidade de serviços no ensino superior.
Este artigo apresenta a seguinte estrutura: a) Introdução, onde está sendo apresentado
o tema de estudo e a sua problemática, assim como as questões e os objetivos da pesquisa; b)
Fundamentação Teórica, onde se abordam os modelos HEdPERF (FIRDAUS, 2005),
PESPERF (YILDIZ; KARA, 2009) e o SINAES; c) Procedimentos Metodológicos, com o
delineamento da pesquisa; d) Resultados da Pesquisa quanto ao estudo das semelhanças entre
dimensões dos modelos para mensuração da qualidade de serviços e a proposição de um
Roteiro Básico; e) Conclusões principais sobre o estudo realizado; f) Referências do material
citado, que complementam o artigo.
2 REVISÃO DE LITERATURA: OS MODELOS DE QUALIDADE DE SERVIÇOS
NO ENSINO SUPERIOR
O Instrumento de Avaliação Institucional Externa do SINAES (BRASIL, 2009, p.
127-142), bem como os modelos HEdPERF (FIRDAUS, 2005) e PESPERF (YILDIZ;
KARA, 2009) são apresentados de forma sintética, evidenciando seu desenvolvimento,
objetivo, e as dimensões componentes, de interesse para o presente artigo.
2.1 SINAES - SISTEMA NACIONAL DE AVALIAÇÃO DO ENSINO SUPERIOR
Recordando cabe indicar que o governo brasileiro, por intermédio do Ministério da
Educação (MEC), regula a qualidade da Educação Superior brasileira. Para tanto, as IES que
oferecem cursos de graduação seguem estas regulamentações governamentais, por meio do
SINAES. (BRASIL, 2004). Este Sistema fundamenta-se na necessidade de promover a
melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o
aumento permanente da sua eficácia institucional, da sua efetividade acadêmica e social e,
especialmente, do aprofundamento dos compromissos e responsabilidades sociais. (BRASIL,
2004). Convém destacar que o SINAES é um instrumento único de avaliação para ser
utilizado em todos os tipos de instituições, sejam elas Faculdades, Centros Universitários, e
Universidades.
Conforme consta na quinta edição do documento do SINAES (BRASIL, 2009), o
Instrumento de Avaliação Institucional Externa, considerado como um roteiro básico comum
a todos as IES, visa assegurar uma educação superior de qualidade acadêmica e
compromissada socialmente com o desenvolvimento nacional. Para tanto, propõe que a
5 maneira de identificar os pontos negativos e positivos da IES seja realizada por meio de dez
dimensões de avaliação, consideradas no SINAES como sendo:
1: A missão e o plano de desenvolvimento institucional.
2: A política para o ensino, a pesquisa, a pós-graduação, a extensão e as respectivas
formas de operacionalização, incluídos os procedimentos para estímulo à produção
acadêmica, as bolsas de pesquisa, de monitoria e demais modalidades.
3: A responsabilidade social da instituição, considerada especialmente no que se
refere a sua contribuição em relação à inclusão social, ao desenvolvimento econômico
e social, à defesa do meio ambiente, da memória cultural, da produção artística e do
patrimônio cultural.
4: A comunicação com a sociedade.
5: As políticas de pessoal, as carreiras do corpo docente e do corpo técnicoadministrativo, seu aperfeiçoamento, seu desenvolvimento profissional e suas
condições de trabalho.
6: Organização e gestão da instituição, especialmente o funcionamento e
representatividade dos colegiados, sua independência e sua autonomia na relação com
a mantenedora, bem como a participação dos segmentos da comunidade universitária
nos processos decisórios.
7: Infraestrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos
de informação e comunicação.
8: Planejamento e avaliação, especialmente os processos, os resultados e a eficácia da
autoavaliação institucional.
9: Políticas de atendimento aos estudantes.
10: Sustentabilidade financeira tendo em vista o significado social da continuidade dos
compromissos na oferta da Educação Superior. (BRASIL, 2009, p. 127-142).
Cabe lembrar que todos estes elementos ou dimensões devem fornecer elementos para
a compreensão da IES de modo a permitir uma reflexão ampliada, tendo em vista o objetivo
do aprofundamento e da melhoria dos compromissos essenciais da IES no contexto da
educação superior. O resultado da avaliação por meio destas dimensões propostas pelo
SINAES consiste em um relatório detalhado, com críticas e sugestões, de modo que o gestor
possa embasar suas decisões, a fim de melhorar a gestão da IES.
2.2 HEDPERF – QUALIDADE NO ENSINO SUPERIOR
O modelo HEdPERF (FIRDAUS, 2005), foi desenvolvido na Malásia.
Tomou como referência para sua proposição, principalmente as escalas SERVQUAL e
SERVQUAL Ponderada, desenvolvidas por Parasuraman, Zeithaml e Berry (1985, 1988), o
modelo SERVPERF, desenvolvido por Cronin Júnior e Taylor (1992).
A consideração de que as pesquisas anteriores tinham sido demasiadamente estreitas
quanto à ênfase na qualidade dos serviços acadêmicos, e que pouca atenção havia sido
dispensada aos aspectos não-acadêmicos da experiência educacional motivou Firdaus (2005)
a desenvolver este modelo para medir a qualidade de serviços no ensino superior . Assim, o
objetivo do HEdPERF (FIRDAUS, 2005), especificamente concebido para o setor do Ensino
Superior, foi desenvolver e validar uma nova escala de medição da qualidade dos serviços,
utilizando técnicas quantitativas e qualitativas de mensuração da qualidade para o IES.
O HEdPERF (FIRDAUS, 2005) apresenta seis dimensões, denominadas de fatores,
sendo estas:
Fator 1: Aspectos não-acadêmicos - este fator consiste em itens que são essenciais
para permitir que os alunos preencham obrigações de seu estudo e refere-se às funções
desempenhadas por pessoal não-acadêmico.
6 Fator 2: Aspectos acadêmicos - os itens que descrevem este fator são de exclusiva
responsabilidade dos acadêmicos.
Fator 3: Reputação - este fator apresenta os itens que sugerem a importância das
instituições de Ensino Superior de projetar uma imagem profissional.
Fator 4: Acesso - este fator é composto por itens que dizem respeito a questões como
acessibilidade, facilidade de contato, disponibilidade e conveniência.
Fator 5: Questões programas - esse fator enfatiza a importância de oferecer amplo e
respeitável programa acadêmico com especializações, estrutura e currículo flexível.
Fator 6: Compreensão - trata-se de itens relacionados aos alunos os quais precisam ser
compreendidos como "específicos” em termos de aconselhamento e serviços de saúde.
A escala HEdPERF (FIRDAUS, 2005) apresenta 41 itens (Quadro 3), testados
empiricamente nos quesitos unidimensionalidade, confiabilidade e validade.
Firdaus (2006), em novo estudo, afirmou que a escala HEdPERF é válida e confiável.
O autor sugere, ainda, que as IES devem utilizá-la como ferramenta de gestão, com o objetivo
de melhorar o desempenho dos serviços prestados no ensino superior.
2.3 PESPERF – QUALIDADE DO SERVIÇO PRECEBIDO NO PESS
O PESPERF (YILDIZ; KARA, 2009), foi proposto nos Estados Unidos. Se baseou,
basicamente nos modelos SERVQUAL e SERVQUAL Ponderado, desenvolvidos por
Parasuraman, Zeithaml e Berry (1985, 1988), e na escala HEdPERF, desenvolvida por
Firdaus (2005).
O desenvolvimento do PESPERF tomou como referência o fato de que a medida
HEdPERF (FIRDAUS, 2005) foi projetada para medir a qualidade do serviço em um nível
macro, podendo ser considerada como um instrumento de medição mais genérico. Entretanto,
segundo Yildiz e Kara (2009), o Ensino Superior precisava ainda de uma nova escala, com
um foco mais especifico para o nível micro das IES, devido à natureza única de diferentes
unidades acadêmicas. O objetivo do PESPERF, desta forma, foi desenvolver um instrumento
de medição do desempenho da qualidade de serviço na Escola de Educação Física e Ciências
do Desporto (ou seja, Educação Física e Ciências do Desporto - PESS). Portanto, os fatores
determinantes da qualidade de serviço em PESS foram identificados em um instrumento
único: o PESPERF.
No ambiente acadêmico específico do PESS, foram determinadas três dimensões
rotuladas de fatores de qualidade:
Fator 1: Aspectos acadêmicos - delineia um conjunto de relações entre os 14 itens
relacionados às instalações, aos equipamentos esportivos, ao conteúdo acadêmico, aos
programas e às oportunidades, aos materiais do curso. É baseado no conhecimento e
tecnologia da informação. No cenário PESS, os aspectos acadêmicos incluem não apenas o
conteúdo do curso, materiais, conhecimento pessoal acadêmico, mas também instalações
físicas e ferramentas que são cruciais no processo de entrega de ensino e serviços.
Fator 2: Empatia - é composto por 12 itens relacionados a promessas mantidas,
qualidade e equidade, soluções oferecidas, comunicações e lidar com os problemas do
estudante de forma eficaz. Este fator também inclui itens relacionados ao conhecimento
apreendido e aparência do pessoal docente e administrativo. No entanto, é preciso avalia tais
itens dentro do contexto do estudo. É possível que essas declarações sejam consideradas como
dignas de confiança e credibilidade, portanto, tornou-se parte deste fator. Assim, a dimensão
da empatia em PESPERF pode ser definida como a Instituição compreende as necessidades e
desejos dos estudantes, oferecendo soluções concretas para as suas necessidades específicas
ao ser confiável e credível.
7 Fator 3: Acesso – que consiste em quatro itens relacionados à acessibilidade e à
disponibilidade de instalações, equipamentos e materiais. (YILDIZ; KARA, 2009).
A geração dos 30 itens da escala PESPERF foi desenvolvida com base em uma
revisão de literatura abrangente e em várias entrevistas, em profundidade, desenvolvida com
os alunos, bem como em amplo debate com especialistas (técnicos, professores, animadores
gestores de desporto), em estudo de campo. Também foram testados empiricamente, por suas
propriedades psicométricas (unidimensionalidade, confiabilidade e validade), utilizando
análise fatorial exploratória e de confirmação.
A escala projetada para medir a qualidade do serviço em PESS deve incluir perguntas
relativas a:
- imóveis e instalações (salas de aula, biblioteca, salas de leitura, sala de conferências,
laboratórios, banheiros, áreas de repouso, espaço social e parques),
- instalações desportivas (campos de desporto, duchas, vestiários e refeitório), material
didático (livros, revistas digitais e físicas, computadores, acesso à internet e presença na web),
- equipamentos desportivos e ferramentas (que são utilizadas em mais hands-on,
aplicação de cursos orientados),
- pessoal (acadêmico, administrativo e pessoal), atividades extracurriculares (sindicato
estudantil, social, cultural e de eventos desportivos),
- cursos (desporto, pedagogia e teórico/prático, cursos de educação geral),
- práticas (ensino, treinamento, gestão de esportes, recreação).
3 PROCEDIMENTOS METODOLÓGICOS
O delineamento metodológico deste trabalho foi exploratório, com método qualitativo,
de natureza bibliográfica e documental, uma vez que propõe a comparar as dimensões ou
atributos dos modelos e de instrumento de avaliação da qualidade de serviços educacionais de
ensino superior. Estes se constituem de um documento publicado pelo governo brasileiro
intitulado SINAES (BRASIL, 2009, p. 127-142) e de dois artigos científicos, sendo o
HEdPERF (FIRDAUS, 2005) e o PESPERF (YLDIZ; KARA, 2009). Este tipo de material se
constituiu em fontes documental e bibliográfica. Assim, a amostra se constituiu em um
universo de elementos que apresentam características em comum, a respeito do assunto a ser
investigado, sendo uma amostra que se caracteriza como intencional, de conveniência, e não
probabilística. Para coleta destes dados foi realizada uma pesquisa bibliográfica nas bases de
dados disponíveis, em linha, no Portal de Periódicos da Coordenação de Aperfeiçoamento de
Pessoal de Nível Superior (CAPES). Após a recuperação dos artigos científicos e do
documento de interesse, com texto completo, estes se constituíram em unidades de análise.
Para a realização da pesquisa realizaram-se ações de identificação das dimensões
constantes nestes materiais definidos como de interesse, segundo os objetivos do estudo. A
seleção e a análise dos dados das dimensões evidenciadas nos artigos científicos e no
documento selecionado se constituíram em procedimentos sistematizados.
As limitações da pesquisa se referiram ao aspecto de concentração de interesse nas
dimensões dos modelos de qualidade de serviços no ensino superior, sendo que este foco se
justifica em função de resultados anteriores de pesquisas revisadas para a justificativa de
interesse do tema e de fundamentação teórico-empírica, que mostraram haver concentração
nos modelos HEdPERF (FIRDAUS, 2005) e o PESPERF (YLDIZ; KARA, 2009) e no
documento publicado pelo governo brasileiro intitulado SINAES (BRASIL, 2009, p. 127142).
Para tanto, foi realizada a leitura inicial do texto integral destes artigos e do
documento do SINAES (BRASIL, 2009) buscando identificar as dimensões de qualidade de
serviço no ensino superior. Na continuidade da pesquisa estes materiais foram novamente
8 lidos, de forma minuciosa, sendo analisados de forma comparativa quanto ao aspecto de
semelhança. Para identificar as dimensões destes três textos foi utilizada a análise de conteúdo
(BARDIN, 2004), tomando como base para definição das categorias de análise das dimensões
e dos atributos que integram estas dimensões da qualidade de esnino superior, constantes
nesta literatura. Obteve-se, assim, um elenco de dimensões e atributos relevantes
considerando o todo indicado em cada modelo analisado, sendo que estas categorias serviram
de base de análise do conteúdo e foram incorporadas na proposição das dimensões que podem
se constituir em medida para a qualidade de serviços no ensino de graduação brasileiro.
Ao concluir esta etapa, para melhor visualização dos resultados, estes foram reunidos
na forma de quadros, e descritos, sucintamente.
4 RESULTADOS DA PESQUISA
Depois de concluída a fase de identificação das dimensões constantes nos artigos e
documento analisados, sendo estes o HEdPERF (FIRDAUS, 2005), o PESPERF (YILDIZ;
KARA, 2009) e o Instrumento de Avaliação Institucional Externa do SINAES (BRASIL,
2009, p. 127-142-142), foram distinguidas e analisadas as dimensões semelhantes e comuns
aos três modelos, sendo estas: Aspectos não acadêmicos; Aspectos acadêmicos; Reputação;
Acesso; Conteúdo Programático; Programas; Compreensão; Empatia.
De forma geral se pode afirmar que a dimensão Aspectos não acadêmicos do
HEdPERF não apresentou semelhança com nenhuma dimensão do PESPERF. Assemelhou-se
à dimensão 9. Políticas de atendimento aos estudantes do SINAES.
Por sua vez, a dimensão Aspectos acadêmicos do HEdPERF não apresentou
semelhança com nenhum dos instrumentos de avaliação PESPERF e SINAES, no que diz
respeito aos itens de exclusiva responsabilidade dos acadêmicos.
A dimensão Reputação do HEdPERF não apresentou semelhança com nenhuma
dimensão do PESPERF, mas assemelha-se às seguintes dimensões do SINAES: 1. A missão e
o plano de desenvolvimento institucional; 3. A responsabilidade social da instituição; 4. A
comunicação com a sociedade; 5. As políticas de pessoal, as carreiras do corpo docente e do
corpo técnico-administrativo, seu aperfeiçoamento, seu desenvolvimento profissional e suas
condições de trabalho; 6. Organização e gestão da instituição; 8. Planejamento e avaliação,
especialmente os processos, resultados e eficácia da auto avaliação institucional; 9. Políticas
de atendimento aos estudantes; 10. Sustentabilidade financeira.
A dimensão Acesso do HEdPERF foi semelhante à dimensão Acesso do PESPERF, no
que diz respeito aos itens relacionados à acessibilidade e à disponibilidade. Também está
presente no SINAES, por meio das dimensões: 4. A comunicação com a sociedade; 7.
Infraestrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos de
informação e comunicação; 9. Políticas de atendimento aos estudantes.
A dimensão Programas do HEdPERF é igual à dimensão Aspectos acadêmicos do
PESPERF, no que diz respeito aos itens relacionados ao conteúdo acadêmico. Também está
presente no SINAES, na dimensão: 2. A política para o ensino, a pesquisa, a pós-graduação, a
extensão e as respectivas formas de operacionalização, incluídos os procedimentos para
estímulo à produção acadêmica, as bolsas de pesquisa, de monitoria e demais modalidades da
educação superior.
A dimensão Compreensão do HEdPERF assemelha-se à dimensão Empatia do
PESPERF, no que diz respeito aos itens relacionados a lidar com os problemas do estudante,
de forma eficaz. Também está presente no SINAES por meio da dimensão: 9. Políticas de
atendimento aos estudantes.
Com base no que foi comparado, anteriormente, foram indicadas as dimensões que
podem se constituir em medida para a qualidade de serviços no ensino de graduação, se
9 constituindo em amparo para o processo de avaliação institucional do ensino superior
brasileiro.
Estas dimensões que se apresentam comuns em dois ou nos três modelos constam a
seguir, consolidadas, sendo que cada uma destas dimensões se apresenta em um quadro
sintético, para melhor visualização e compreensão do que aqui está sendo proposto. .
O conteúdo da dimensão Aspectos não acadêmicos do Modelo HEdPERF foi
comparado às dimensões dos instrumentos PESPERF e SINAES. As semelhanças são
apresentadas no Quadro 1.
HEdPERF
PESPERF
SINAES
Aspectos não acadêmicos: itens essenciais para
9. Políticas de atendimento aos
permitir que os alunos preencham obrigações de ---------------------estudantes.
seu estudo e refere-se às funções desempenhadas
por pessoal não acadêmico.
Quadro 1 – Semelhança da dimensão Aspectos não-acadêmicos do Modelo HEdPERF, PESPERF e
SINAES, 2012.
Por sua vez o conteúdo da dimensão Aspectos acadêmicos do Modelo HEdPERF foi
comparado às dimensões dos instrumentos PESPERF e SINAES. As semelhanças são
apresentadas no Quadro 2.
HEdPERF
PESPERF
SINAES
Aspectos acadêmicos: itens de exclusiva
responsabilidade dos acadêmicos.
---------------------------------------
------------------------------
Quadro 2 – Semelhança da dimensão Aspectos acadêmicos do Modelo HEdPERF, PESPERF e SINAES,
2012.
O conteúdo da dimensão Reputação do Modelo HEdPERF foi comparado às
dimensões dos instrumentos PESPERF e SINAES. As semelhanças são apresentadas no
Quadro 3.
HEdPERF
PESPERF
SINAES
1. A missão e o plano de desenvolvimento institucional.
Reputação:
3. A responsabilidade social da instituição.
itens
que ----------4. A comunicação com a sociedade.
sugerem
a
5. As políticas de pessoal, as carreiras do corpo docente e do corpo técnicoimportância
administrativo, seu aperfeiçoamento, seu desenvolvimento profissional e
das
suas condições de trabalho.
instituições de
6. Organização e gestão da instituição.
Ensino
8. Planejamento e avaliação, especialmente os processos, resultados e
Superior
de
eficácia da autoavaliação institucional.
projetar uma
9. Políticas de atendimento aos estudantes.
imagem
10. Sustentabilidade financeira.
profissional.
Quadro 3 – Semelhança da dimensão Reputação do Modelo HEdPERF, PESPERF e SINAES, 2012.
O conteúdo da dimensão Acesso do Modelo HEdPERF foi comparado às dimensões
dos instrumentos PESPERF e SINAES. As semelhanças são apresentadas no Quadro 4.
HEdPERF
PESPERF
SINAES
10 Acesso: itens que dizem Acesso: itens relacionados 4. Comunicação com a sociedade.
respeito a questões como a com a acessibilidade e a 7. Infraestrutura física, especialmente a de
acessibilidade, facilidade de disponibilidade
de ensino e de pesquisa, biblioteca, recursos de
contato, disponibilidade e instalações, equipamentos informação e comunicação;
e materiais.
9. Políticas de atendimento aos estudantes.
conveniência.
Quadro 4 – Semelhança da dimensão Reputação do Modelo HEdPERF, PESPERF e SINAES
A dimensão Conteúdo Programático do Modelo HEdPERF foi comparada às
dimensões dos instrumentos PESPERF e SINAES. As semelhanças são apresentadas no
Quadro 5.
HEdPERF
PESPERF
SINAES
Conteúdo
Programático:
oferecer amplo e
respeitável
programa
acadêmico
com
especializações,
estrutura e currículo
flexível.
Aspectos Acadêmicos: itens
relacionados às instalações, aos
equipamentos esportivos, ao
conteúdo
acadêmico,
aos
programas
e às oportunidades, aos materiais
do curso. É baseado no
conhecimento e tecnologia da
informação.
2. A política para o ensino, a pesquisa, a pósgraduação, a extensão e as respectivas formas de
operacionalização, incluídos os procedimentos
para estímulo à produção acadêmica, as bolsas de
pesquisa, de monitoria e demais modalidades.
Quadro 5 – Semelhança da dimensão Programas do Modelo HEdPERF, PESPERF e SINAES, 2012.
O conteúdo da dimensão Compreensão do HEdPERF foi comparado às dimensões dos
instrumentos PESPERF e SINAES. As semelhanças são apresentadas no quadro 6.
HEdPERF
PESPERF
SINAES
Empatia: itens relacionados às promessas mantidas, à 9. Políticas de atendimento
Compreensão:
itens
qualidade e à equidade, às soluções oferecidas, às aos estudantes.
“específicos” em comunicações, a lidar com os problemas do estudante de
termos
de forma eficaz. Itens relacionados ao conhecimento
aconselhamento
apreendido e aparência do pessoal docente e
de serviços e administrativo.
saúde.
Quadro 6 – Semelhança da dimensão Programas do Modelo HEdPERF, PESPERF e SINAES, 2012.
Após este estudo, que identificou a unidimensionalidade das dimensões da qualidade
de serviços, considerando o que foi fundamentado no SINAES, e ampliado com as dimensões
constantes nos modelos HEdPERF e PESPERF, os atributos Aspectos não acadêmicos,
Aspectos acadêmicos, Reputação, Acesso, Conteúdo Programático, Programas de Ensino,
Compreensão e Empatia.
Comparando ainda o que foi evidenciado neste trabalho, com os estudos brasileiros
anteriores, neste tema, se pode afirmar que o trabalho de Sousa (2010) destacou as dimensões:
Acesso, Empatia (Compreender/Conhecer o Cliente), Aspectos Acadêmicos e Aspectos não
acadêmicos. O de Fortes et al. (2011) evidenciou: Acesso, Aspectos não acadêmicos, e
Conteúdo Programático no estudo com o HEdPERF. A pesquisa de Deschamps (2007)
mostrou as dimensões: Aspectos Acadêmicos, Acesso e Conteúdo Programático na pesquisa
com o HEDPERF. Desta forma, há indicação de que podem ser considerados como
adequados para mensurar a qualidade do ensino superior, em cursos de graduação, nas IES
brasileiras, os seguintes atributos: Acesso, Aspectos Acadêmicos e Aspectos não acadêmicos,
Conteúdo Programático, e Empatia (Compreensão).
5 CONCLUSÃO
11 A primeira conclusão foi a de que a questão de pesquisa foi respondida: houve
possibilidade de identificar semelhanças entre as dimensões propostas nos modelos HEdPERF
(FIRDAUS, 2005) e PESPERF (YILDIZ; KARA, 2009), com o que consta no Instrumento
de Avaliação institucional Externa, proposto pelo SINAES (BRASIL, 2009, p. 127-142). As
dimensões semelhantes foram: os atributos Aspectos não acadêmicos, Aspectos acadêmicos,
Reputação, Acesso, Conteúdo Programático, Programas de Ensino, Compreensão e Empatia.
Assim, a questão de pesquisa foi respondida: há semelhança entre oito dimensões nos
instrumentos analisados.
Por consequencia o objetivo geral foi atingido. Foram sistematizadas as dimensões
semelhantes ou comuns nestes dois modelos no Instrumento de Avaliação Institucional
Externa constante no SINAES, podendo se constituir em base para mensurar a qualidade de
serviços prestados no ensino superior, de graduação, no Brasil, no processo de avaliação
institucional preconizado pelo SINAES (2009).
Quanto aos objetivos específicos definidos na pesquisa, os resultados também
lograram êxito, sendo possível, ainda, comparar as dimensões reveladas neste estudo com os
resultados dos estudos de Sousa (2011), Fortes (2011) e Deschamps (2007), e obtendo um
refinamento quanto aos atributos indicados: Acesso, Aspectos Acadêmicos e Aspectos não
acadêmicos, Conteúdo Programático, e Empatia (Compreensão).
O HEdPERF é o que apresentou maior numero de dimensões na comparação
realizada, sendo que apresenta todos os atributos que apresentam semelhanças no presente
estudo. Este conclusão reforça a evidencia anterior de que o modelo HEdPERF é mais
adequado para mensurar os atributos de qualidade em serviços educacionais.
Sendo este artigo um recorte de uma pesquisa mais ampla sobre os modelos de
qualidade no ensino superior, fica evidente que esta abordagem é inicial, devendo a mesma
ser aprofundada nos aspectos da fundamentação teórica e da aplicação prática, buscando
ampliar os conhecimentos obtidos neste estudo.
6 REFERÊNCIAS
BARDIN, L. Análise de conteúdo. Lisboa: Edições Setenta, 2004.
BARREYRO, Gladys Beatriz. De exames, rankings e mídia. Avaliação, Campinas, v.13, n. 3,
nov. 2008. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141440772008000300017&lang=pt. Acesso em: 28 jun. 2012.
BRASIL. Constituição da República Federativa do Brasil, 1988: texto constitucional de 5
de outubro de 1988 com as alterações adotadas pelas Emendas Constitucionais de n.1, de
1992, a 70, de 2012, e pelas Emendas Constitucionais de Revisão de n.1 a 6, de 1994. 20. ed.
atual.
Brasília:
Presidência
da
República.
Disponível
em:
http://www.planalto.gov.br/ccivil_03/constituicao/constitui%C3%A7ao.htm. Acesso em: 28
jun. 2012.
BRASIL. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da
Educação Superior – SINAES e dá outras providências. Disponível em:
http://portal.mec.gov.br/arquivos/pdf/leisinaes.pdf. Acesso em: 27 jan. 2012.
BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da
educação nacional. Diário Oficial [da] República Federativa do Brasil, v. 134, n. 248, 23
12 dez.
1996.
Seção
1,
p.
27833.
Disponível
em:
http://portal.mec.gov.br/seed/arquivos/pdf/tvescola/leis/lein9394.pdf. Acesso em: 27 jan.
2012.
BRASIL. Decreto Nº 5.773 de 09 de maio de 2006. Dispõe sobre o exercício das funções de
regulação, supervisão e avaliação de instituições de educação superior e cursos superiores de
graduação e sequenciais no sistema federal de ensino. Disponível em:
http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2006/decreto/d5773.htm. Acesso em: 28
jun. 2012.
BRASIL. Ministério da Educação. Secretaria de Ensino Superior. Comissão Especial da
Avaliação da Educação Superior. SINAES - Sistema Nacional de Avaliação da Educação
Superior: da concepção à regulação. 5. ed. rev. e ampl. Brasília: MEC/SESu/CEA, set. 2009.
Disponível em: <www.inep.gov.br>. Acesso em: 30 mar. 2012.
BRASIL. Portaria Nº 2.051, DE 9 DE JULHO DE 2004. Regulamenta os procedimentos de
avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na
Lei
no
10.861,
de
14
de
abril
de
2004.
Disponível
em:
www.inep.gov.br/.../2004/.../Portaria_2051_2004_SINAES_regulam...www.inep.gov.br/.../2
004/.../Portaria_2051_2004_SINAES_regulam...Acesso em: 28 jun. 2012. >
______. SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à
regulamentação / [Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira]. 2.
ed. ampl. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira,
2004. 155 p.
CRONIN JÚNIOR, J. Joseph; TAYLOR, Steven A. Measuring service quality: a
reexamination and extension. Journal of Marketing, v. 56, p.55-68, July 1992.
DIAS SOBRINHO, José. Avaliação e transformações da educação superior brasileira (19952009): do provão ao SINAES. Avaliação, Campinas, v. 15, n. 1, p.195-224, mar. 2010.
Disponível
em:
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141440772010000100011&lng=pt&nrm=iso. Acesso em: 28 jun. 2012.
FIRDAUS, Abdullah. HEdPERF versus SERVPERF: The quest for ideal measuring
instrument of service quality in higher education sector. Quality Assurance in Education,
[S.l.], v. 13, n. 4, p. 305-328, 2005.
______. Measuring service quality in higher education: HEdPERF versus SERVPERF.
Marketing Intelligence & Planning, [S.l.], v. 24, n. 1, p. 31-47, 2006.
FIRME, Thereza Penna; LETICHEVISKY, Ana Carolina; DANNEMANN; Ângela Cristina;
STONE, Vathsala. Cultura de avaliação e política de avaliação como guias para a sua prática:
reflexões a respeito da experiência brasileira. Ensaio: Avaliação Políticas Públicas
Educacional, Rio de Janeiro, v.17, n. 62, p. 169-180, mar. 2009. Disponível em:
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S010440362009000100009&lng=pt&nrm=iso&tlng=en. Acesso em: 28 jun. 2012.
FORTES, Victória Corrêa; SILVEIRA, Amelia; SOUSA, Tarcita Cabral Guisoni de;
DOMINGUES, Maria José Carvalho de Souza. Alternativas para a avaliação institucional em
13 instituição de ensino superior: modelos SERVPERF e HEdPERF. In: EnEPQ, 2011, João
Pessoa, PB. Anais... Rio de Janeiro, RJ: ANPAD, 2011. v. 1. p. 1-17. 1 CD-ROM.
GIOLO, Jaime. "SINAES" intermitentes. Avaliação, Campinas, v.13, n. 3, p. 851-856, nov.
2008. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141440772008000300015&lng=pt&nrm=iso. Acesso em: 28 jun. 2012.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS - INEP.
Divulgado o Censo da Educação Superior 2008. Disponível em: <http://www.inep.gov.br>.
Acesso em: 12 abr. 2010.
______. Divulgado o Censo da Educação Superior
<http://www.inep.gov.br>. Acesso em: 14 maio 2011.
2009.
Disponível
em:
LIMANA, Amir. Desfazendo mitos: o que estão fazendo com o SINAES?. Avaliação,
Campinas,
v.13,
n.3,
p.869-873,
nov.
2008.
Disponível
em:
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141440772008000300018&lng=pt&nrm=iso. Acesso em: 28 jun. 2012.
PARASURAMAN A.; BERRY, Leonard L.; ZEITHAML, Valarie A. A conceptual model of
service quality and its implications for future research. Journal of Marketing, [S.l.], p.4150, 1985.
________. SERVQUAL: a multi-item scale for measuring consumer perceptions of service
quality”. Journal of Retailing, [S.l.], v. 64, n. 1, p. 12-40, 1988.
POLIDORI, Marlis Morosini. Políticas de avaliação da educação superior brasileira: Provão,
SINAES, IDD, CPC, IGC e outros índices. Avaliação, Campinas, v.14, n.2, p.439-452, jul.
2009. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141440772009000200009&lng=pt&nrm=iso. Acesso em: 28 jun. 2012.
POLIDORI, Marlis Morosini; MARINHO-ARAUJO, Claisy M.; BARREYRO, Gladys
Beatriz. SINAES: perspectivas e desafios na avaliação da educação superior brasileira.
Ensaio: Aval. Pol. Públ. Educ., Rio de Janeiro, v.14, n.53, p. 425-436, dez. 2006. Disponível
em:
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S010440362006000400002&lng=pt&nrm=iso. Acesso em: 28 jun. 2012.
SOUSA, Tarcita Cabral Guisoni de; SILVEIRA, Amelia; FORTES, Victória Corrêa;
DOMINGUES, Maria José Carvalho de Souza. Comparação de modelos de qualidade de
serviços: proposição estratégica para instituições de ensino superior. In: SEMEAD, 14, 2011,
São Paulo, SP. SEMEAD - Ensino e Pesquisa em Administração. Anais...São Paulo, SP:
FEA/USP, 2011. v. 1. p. 1-17. 1 CD-ROM.
YILDIZ, Suleyman M., KARA, Ali. The Pesperf scale: Na instrument for measuring service
quality in the Shocool of Physical Education and Sports Sciences (PESS). Quality Assurance
in Education, v.17 n.4, p. 393-415, 2009.
ZAINKO, Maria Amelia Sabbag. Avaliação da educação superior no Brasil: processo de
construção histórica. Avaliação, Campinas, v.13, n. 3, p. 827-831, nov. 2008. Disponível em:
http://www.scielo.br/pdf/aval/v13n3/12.pdf. Acesso em: 28 jun. 2012.
14 ZANDAVALLI, Carla Busato. Avaliação da educação superior no Brasil: os antecedentes
históricos do SINAES. Avaliação, Campinas, v. 14, n. 2, p. 385-438, jul. 2009. Disponível
em:
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141440772009000200008&lng=pt&nrm=iso. Acesso em: 28 jun. 2012.
15