PRESIDÊNCIA DA REPÚBLICA
CONTROLADORIA-GERAL DA UNIÃO
SECRETARIA FEDERAL DE CONTROLE INTERNO
Unidade Auditada:
Município - UF:
Relatório nº:
UCI Executora:
FUND.COORD.DE APERF.DE PESSOAL NIVEL
SUPERIOR
Brasília - DF
201407745
SFC/DS/DSEDU - Coordenação-Geral de Auditoria da Área
de Educação
RELATÓRIO DE AUDITORIA
Senhor Coordenador-Geral,
Em atendimento à determinação contida na Ordem de Serviço nº 201407745, apresentamos
os resultados dos exames realizados sob atos e consequentes fatos de gestão, ocorridos na
supra-referida, no período de 01/01/2013 a 30/04/2014.
I – ESCOPO DO TRABALHO
Os trabalhos foram realizados na Sede da Coordenação de Aperfeiçoamento de Pessoal de
Nível Superior (CAPES) em Brasília/DF, no período de 05/05/2014 a 09/05/2014, em
estrita observância às normas de auditoria aplicáveis ao serviço público federal, com a
finalidade de atender à solicitação da Ouvidoria-Geral da União em face de possível
descumprimento de decisão exarada pelo Ministro-Chefe da Controladoria-Geral da União
no âmbito do processo de acesso à informação.
O objetivo do trabalho foi o de conhecer os procedimentos utilizados na avaliação de
periódicos, bem como os documentos produzidos pela Unidade ao final desse processo e
disponibilizados ao público pela Unidade.
Para tal, utilizou-se como estratégias de verificação, entrevista com a Diretoria de
Avaliação da CAPES, setor responsável pela avaliação da produção intelectual dos alunos
e professores que se expressam na forma de artigos publicados em periódicos (Qualis), e
análise de informações/documentações disponíveis no site do Qualis e das apresentadas
pela Unidade durante a auditoria.
Dentre as 48 áreas de avaliação definidas pela CAPES, a equipe restringiu-se a análise
apenas da área Interdisciplinar.
Nenhuma restrição foi imposta aos nossos exames.
II – RESULTADO DOS EXAMES
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
1
1 GESTÃO OPERACIONAL
1.1 AVALIAÇÃO DOS RESULTADOS
1.1.1 EFETIVIDADE DOS RESULTADOS OPERACIONAIS
1.1.1.1 INFORMAÇÃO
Avaliação da produção intelectual dos alunos e professores que se expressam na
forma de artigos publicados em periódicos (Qualis)
Fato
O “Qualis” é um conjunto de procedimentos utilizados pela CAPES para estratificação da
qualidade da produção intelectual expressa na forma de artigos publicados em periódicos.
Foi concebido para atender as necessidades específicas do sistema de avaliação e é baseado
nas informações fornecidas por meio do aplicativo Coleta de Dados. Como resultado,
disponibiliza uma lista com a classificação dos periódicos utilizados pelos programas de
pós-graduação para divulgação da sua produção.
A estratificação da qualidade dessa produção é realizada de forma direta e atualizada, em
geral, com periodicidade anual. Os processos e procedimentos denominados Qualis aferem
a qualidade exclusivamente de periódicos, que são enquadrados em estratos indicativos da
qualidade – A1, o mais elevado; A2; B1; B2; B3; B4; B5 e C.
Um mesmo periódico, ao ser classificado em duas ou mais áreas distintas, pode receber
diferentes avaliações, o que não constitui inconsistência, mas expressa o valor atribuído,
em cada área, à pertinência do conteúdo veiculado. O princípio é o de que cada área deve
expressar a relevância potencial da divulgação de trabalhos nos veículos a ela vinculada
por meio da atribuição de uma nota (estrato).
A avaliação é realizada em 48 áreas, número vigente em 2014, e segue uma mesma
sistemática e conjunto de quesitos básicos estabelecidos pelo Conselho Técnico Científico
da Educação Superior – CTC-ES.
A classificação dos veículos de divulgação da produção científica, bem como a divulgação
dos resultados dessa classificação para consulta pública é realizada por meio de aplicativo
externo ao sistema de coleta de dados, denominado WebQualis.
O Aplicativo WebQualis disponibiliza ao público, por meio de consulta, para cada área de
avaliação dois documentos: o primeiro trata dos critérios utilizados pela comissão para a
classificação dos veículos de divulgação e o segundo apresenta a classificação desses
veículos.
O primeiro documento apresenta as seguintes informações: I. Considerações gerais sobre o
estágio atual da área; II. Requisitos e orientações para proposta de cursos novos; III.
Considerações gerais sobre a avaliação trienal; IV. Considerações sobre Qualis Periódicos,
Roteiro para classificação de Livros/Eventos/Produtos Técnicos e os critérios de
estratificação e uso dos mesmos na avaliação; V. Fichas de avaliação para o triênio; VI.
Considerações e definições sobre internacionalização; e VII. Relação da comissão
responsável pela avaliação.
Para cada área de avaliação, há, portanto, um documento com a metodologia e os critérios
utilizados pela comissão para a classificação dos periódicos.
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
2
A comissão de avaliação aplica, para cada periódico analisado, a metodologia definida e os
critérios estabelecidos e conclui pela sua classificação.
O segundo documento apresenta a lista dos periódicos avaliados pela comissão com a
devida classificação indicativa da qualidade, sendo possível obter a lista completa de todos
os periódicos por título, por área e pelo ISSN – código numérico identificador para cada
título de publicação.
o#tF
a/
1.1.1.2 CONSTATAÇÃO
Ausência de transparência ocasionada pela não disponibilização de documentação
que demonstre a pontuação dos elementos que compõe a avaliação de cada periódico.
Fato
Considerando o escopo definido, realizou-se análise sobre os documentos referentes à área
Interdisciplinar atinentes ao triênio 2010-2012, que estão disponibilizados ao público em
geral por meio de consulta ao sistema WebQualis, localizado no sítio da CAPES, no
endereço eletrônico http://qualis.capes.gov.br/webqualis/principal.seam. São eles: o
documento de área 2013, que apresenta os critérios Qualis da área, e o documento de
classificação dos periódicos.
O documento de área 2013 apresenta em sua composição todos os itens citados na
informação 1.1.1.1 deste Relatório. O principal aspecto avaliado pela equipe no documento
refere-se à metodologia e aos critérios utilizados pela comissão para a classificação de
periódicos na área Interdisciplinar.
Na classificação Qualis do triênio 2010-2012 foram empregados 9 indicadores, sendo 3
destes quantitativos, obtidos por meio de fórmulas de cálculo, e os demais qualitativos,
categorizados por meio das bases de dados a que são indexados (JCR, SciElo, SCOPUS,
BIOSIS, CAB, ECONLIT, FSTA, GEOREF, INDEX-PSI, LILACS, MATHSCI,
PHILOSOPHER, MEDLINE, MLA, PSYCINFO, PUBMED, SPORT DISCUS,
LATINDEX, etc.)
Sobre esses indicadores, não se pressupõe nenhum grau de importância predeterminado,
nem há rigidez na ordem de sua aplicação. Conforme informação apresentada pela
Diretoria de Avaliação, não é possível se obter uma avaliação puramente objetiva dos
periódicos, por meio apenas da aplicação dos indicadores definidos, haja vista a
flexibilidade da comissão da área na condução dos procedimentos, podendo se estabelecer
cortes e graus de sobreposição dos indicadores, em razão das características da área
interdisciplinar, que envolve mais de uma área de conhecimento.
A comissão de avaliação aplica, para cada periódico analisado, a metodologia definida e os
critérios estabelecidos e conclui pela sua classificação, a qual é posteriormente
disponibilizada no sistema WebQualis, para consulta do público externo.
O segundo documento apresenta apenas a lista dos periódicos avaliados pela comissão com
a devida classificação indicativa da qualidade, sendo possível obter a lista completa de
todos os periódicos por título, por área e pelo ISSN – código numérico identificador para
cada título de publicação.
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
3
A Diretoria da CAPES responsável pelo “Qualis”, em reunião realizada no dia 07/05/2014,
informou que os citados documentos seriam os únicos produzidos e disponibilizados ao
público no âmbito da avaliação da área Interdisciplinar. Porém, em resposta ao relatório
preliminar, a CAPES informou, por meio do Memorando nº 93-09-2014 DAV/CAPES, de
01/10/2014, que é produzido material auxiliar para fins de classificação de periódicos,
“contudo, este material não é disponibilizado ao público”.
Considerando todos os aspectos objetivos e principalmente subjetivos referentes à
metodologia aplicada e aos critérios utilizados para a classificação de periódicos,
apresentados no primeiro documento, a equipe de auditoria concluiu pela impossibilidade,
baseado apenas no documento, de se obter as classificações aferidas aos periódicos
avaliados no triênio 2010-2012.
Assim, existe a necessidade de publicação de documentação suporte que demonstre de
forma detalhada a pontuação dos elementos que compõe a classificação dos periódicos.
o#tF
a/
Causa
A CAPES não dá transparência, nos procedimentos de Avaliação de Periódicos, à
documentação específica que demonstre todos os elementos da avaliação que contribuíram
para o resultado da classificação dos periódicos.
u#asC
/
Manifestação da Unidade Examinada
De modo a responder os questionamentos realizados por meio da Solicitação de Auditoria
n° 201407745/01, de 05/05/2014, a CAPES agendou reunião realizada no dia 07/05/2014,
entre a equipe de auditoria e a Diretoria de Avaliação da CAPES, unidade responsável pela
Qualis. Nesta, a Unidade respondeu aos questionamentos da CGU quanto à metodologia e
aos critérios utilizados na construção da classificação dos periódicos e enfatizou que não
há outros documentos referentes à avaliação de periódicos além daqueles já
disponibilizados no sítio da Qualis.
Ainda no Memorando nº 93-09-2014, a Unidade manifestou-se sobre a Recomendação
constante do Relatório Preliminar encaminhado pelo Ofício nº 22371/DSEDU
I/DS/SFC/CGU-PR, no dia 4 de setembro de 2014:
“A CAPES tem buscado continuamente aperfeiçoar os processos inerentes às ações
desenvolvidas em acordo com sua missão institucional, dentre outros aspectos aqueles
relacionados à transparência e confiabilidade dos resultados apresentados, sempre
adequado e necessário reiterar que o faz com ampla participação da comunidade
científica, que em nada pode ser caraterizada como servidores vinculados aos quadros da
agência.
Como exemplo desse propósito, pode-se citar o recente lançamento da Plataforma
Sucupira que tem como principal proposta integrar e disponibilizar dados e informações,
em tempo real, originários do Sistema Nacional de Pós-graduação – SNPG. Igualmente
adequado e necessário reiterar que os dados a serem inseridos na plataforma são, por
natureza do que se trata, ação a ser feita única e exclusivamente pelos programas de pósgraduação e que não existe, por parte da CAPES, instrumento ou dispositivo legal que os
obrigue a incluí-los a cada instante em tempo real. Assim, esse instrumento, que ainda se
encontra em fase de consolidação, talvez não venha necessariamente a alcançar neste
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
4
momento o objetivo para o qual foi concebido, qual seja, a busca de imediata e
permanente transparência, precisão e confiabilidade.
Com essa percepção, pode-se afirmar que as recomendações feitas pela CGU estão em
consonância com os objetivos desta Agência. No entanto, para viabilizar as proposições
feitas em relação aos procedimentos e metodologias hoje praticadas na classificação de
periódicos, é necessário contextualizar tais proposições.
Assim, relacionamos a seguir os pontos apresentados.
CGU: recomenda que a CAPES, para melhor atender ao aprimoramento da
transparência de resultados no contexto dos procedimentos de classificação de periódicos
inclua a construção e divulgação de um documento de suporte no qual fique demonstrado
como foi feita “a utilização dos indicadores previstos na metodologia (quantitativos e
qualitativos) de modo a deixar claro como a comissão chegou à classificação de cada
periódico.” (p.6, grifo nosso) [sic];
•
A DAV/CAPES considera inviável que, durante a etapa de classificação anual de
Periódicos das áreas, as comissões consigam produzir a listagem dos periódicos (mais de
30 mil títulos) complementada por documento para cada um dos periódicos especificando
os cálculos utilizados para classificação, bem como os aspectos que ensejaram
divergências no uso da metodologia classificatória. Considera-se, ainda, que dado o
volume de periódicos a ser examinado, o detalhamento do trabalho realizado por unidade
implicaria em atividade de caráter impraticável em termos temporais e desviaria o foco da
atividade avaliativa dos Programas de Pós-Graduação brasileiros, que examina 5 (cinco)
quesitos, entre estes a produção científica e nesta, a classificação de periódicos;
•
É oportuno, ainda, mencionar que se poderia considerar um eventual procedimento
de auditoria em cada uma das 48 áreas. Na hipótese que tal procedimento “possibilitasse
o adequado escrutínio público acerca da avaliação realizada quanto à classificação dos
periódicos em algumas áreas” e “não possibilitasse o adequado escrutínio público acerca
da avaliação realizada quanto à classificação dos periódicos em outras”, isto contribuiria
no entendimento e percepção que a CAPES, e de há muito, procura registrar/publicar “os
resultados da discussão acadêmica” tanto quanto a natureza e especificidade de uma ou
outra área assim o permite.
•
Os programas da área Interdisciplinar publicam em cerca de 1/3 de todos os
periódicos mencionados à Capes e, com isso, utiliza critérios e indicadores das demais
áreas de avaliação para a sua classificação. Cada área disponibiliza o próprio
Documento de Área, especificando mais detalhadamente estes critérios.
•
Por fim, a DAV continuará a orientar as áreas, quando da constituição de cada
uma das suas comissões com pares da comunidade de professores e pesquisadores, a
respeito de expressar o detalhamento e registro sobre processos e procedimentos relativos
aos indicadores estabelecidos no Documento de Área, para classificação de periódicos.”
•
oaU
c#ndM
xm
E
istfe/
Análise do Controle Interno
Segundo a Diretoria de Avaliação, há certa discricionariedade da comissão de avaliação da
área em estabelecer prioridade maior para um critério em detrimento de outro. Por
exemplo: é possível que se dê uma importância maior a um periódico que está na base
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
5
SciELO do que a outro que está na base SCOPUS e vice-versa. Porém, conforme foi
exposto à equipe de auditoria, esse critério não é aleatório. A indexação das publicações
em revistas em uma determinada base de dados pode ser mais importante para uma área do
conhecimento do que para outra a depender do assunto tratado.
Essa discricionariedade está exposta no Documento de Área quando se fala dos
“Indicadores Qualitativos”:
Indicadores qualitativos também são empregados além dos numéricos mencionados. Um
dos mais importantes é a classificação do periódico na área de avaliação onde a revista
tem o escopo melhor caracterizado, quando identificável, conforme citado.
Na área Interdisciplinar valorizam-se publicações em revistas indexadas no SciELO. Caso
a revista não seja melhor pontuada com os indicadores anteriores, a indexada no SciELO
é classificada como B1 ou B2 (autonomia dos consultores). Se o periódico não estiver
classificado em nenhuma área de avaliação e não estiver indexado no JCR ou no SciELO,
verifica-se sua inserção no SCOPUS e no SCImago, considerando o índice SJR, e em
outras bases como BIOSIS, CAB, ECONLIT, FSTA, GEOREF, INDEX-PSI, LILACS,
MATHSCI, PHILOSOPHER, MEDLINE, MLA, PSYCINFO, PUBMED, SPORT DISCUS e
LATINDEX, entre outras (autonomia dos consultores em valorizar uma base de dados em
detrimento de outra a depender do tipo de periódico a ser avaliado).
Dessa forma, nota-se que os consultores gozam de autonomia durante a avaliação para
sobrepor indicadores. Nesse sentido, o Documento de Área para a área interdisciplinar, em
que se define a “Ordem de aplicação dos critérios”, diz que: “Cada uma das 4 Câmaras da
Área, conforme suas características, aplica esses critérios estabelecendo seus cortes e
graus de sobreposição de indicadores.”
Nesse sentido, conclui-se que os 9 (nove) indicadores apresentados no documento de área
servem apenas como suporte e formam as diretrizes para avaliação final realizada pela
comissão, haja vista que os estratos indicativos da qualidade atribuídos para cada
indicador não vinculam as suas opiniões para atribuição da nota final.
Tendo em vista os aspectos acima tratados, esta equipe ressalta a complexidade de se
parametrizar a avaliação de periódicos que contemplam trabalhos intelectuais na área
interdisciplinar. O documento dessa área apresenta em seu teor a metodologia utilizada
para a avaliação dos periódicos abrangendo os indicadores utilizados, ordem de aplicação
desses e seus detalhamentos na forma de fórmulas de cálculo, e a categorização das bases
de dados. Entretanto, tais informações não possibilitam o adequado escrutínio público
acerca da avaliação realizada quanto à classificação dos periódicos, considerando que, não
obstante a descrição dos critérios a ser utilizado por meio dos indicadores, o documento
não apresenta em seu teor os resultados da discussão acadêmica, proveniente da
discricionariedade permitida à comissão para corte e sobreposição desses indicadores. O
resultado final da avaliação restringe-se, apenas, a uma lista divulgada no site da CAPES,
com a relação da classificação para cada periódico analisado durante os trabalhos da
comissão.
A equipe de auditoria na tentativa de aplicar a metodologia descrita no documento de área
não conseguiu estabelecer nenhuma das classificações definidas para os periódicos e,
quando solicitou documentos complementares, a unidade informou que não existiam
outros documentos que registrassem os resultados e entendimentos obtidos pelas comissões
durante os trabalhos de avaliação dos periódicos.
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
6
Diante disso, conclui-se pela necessidade de suporte documental aos já existentes que
demonstrem com clareza a aplicação da metodologia utilizada e de como a comissão
chegou à classificação dos periódicos. Tal documento deve apresentar os cortes e
sobreposições dos indicadores utilizados pela comissão, bem como as pontuações dos
indicadores quantitativos, as bases avaliadas e os resultados referentes aos indicadores
qualitativos.
A CAPES considera inviável que a classificação anual de Periódicos seja complementada
por documento para cada um dos periódicos especificando os aspectos que ensejaram
divergências no uso da metodologia classificatória. Considera, ainda, que dado o volume
de periódicos a ser examinado, o detalhamento do trabalho realizado por unidade
implicaria em atividade de caráter impraticável em termos temporais e desviaria o foco da
atividade avaliativa dos Programas de Pós-Graduação brasileiros, que examina 5 (cinco)
quesitos, entre estes a produção científica e nesta, a classificação de periódico.
Tendo em vista a manifestação acima e, considerando os aspectos de inviabilidade
temporal e de pessoal da Unidade, a equipe de auditoria, em reunião realizada com a
Diretoria de Avaliação da CAPES no dia 18 de setembro de 2014, sugeriu – como
alternativa à produção de um documento de avaliação para cada um dos periódicos
analisados – a discriminação dos critérios por “Blocos de Periódicos” que apresentassem a
mesma nota.
Dessa forma, o relato de critérios utilizados na classificação de um grupo de periódicos
reduziria o trabalho de se demonstrar para cada periódico, individualmente e de forma
detalhada, a utilização dos indicadores previstos na metodologia.
Assim, para o grupo de periódicos com notas A1, por exemplo, seriam indicados os
critérios que, em geral, foram sobrepostos para atribuição de tal nota. Critérios que foram
considerados importantes para a comissão no ano de avaliação para atribuição da nota A1
(fator de impacto, valorização de uma determinada base de dados em detrimento de outra)
seriam consolidados em um único documento. Eventuais avaliações que desviassem das
regras gerais estabelecidas para o estrato A1 teriam suas avaliações consolidadas em
documentos específicos.
Nesse sentido, conclui-se que é necessária publicação de documentos complementares que
registrem a avaliação discricionária permitida à comissão, de modo a permitir que, de
posse de tais documentos, seja possível a alguém que não tenha participado do processo de
avaliação chegue à conclusão do estrato a que um periódico foi qualificado, sem a
necessidade de consultar o resultado final do processo de avaliação. Visa-se, dessa
maneira, promover a transparência do processo de avaliação.
orInC
#estA
li/a
Recomendações:
Recomendação 1: Que a CAPES aprimore seus procedimentos de transparência no âmbito
do QUALIS, produzindo e divulgando em seu site documentos que demonstrem de forma
detalhada a utilização dos indicadores previstos na metodologia (quantitativos e
qualitativos) de modo a deixar claro como a comissão chegou à classificação dos
periódicos.
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
7
III – CONCLUSÃO
Em face dos exames realizados, somos de opinião que há ausência de transparência
ocasionada pela não disponibilização de documentação que demonstre a pontuação dos
elementos que compõe a avaliação de cada periódico e que a Unidade Gestora deve adotar
medidas corretivas com vistas a elidir o ponto ressalvado no item 1.1.1.2.
Brasília/DF, 17 de outubro de 2014.
Dinheiro público é da sua conta
www.portaldatransparencia.gov.br
8