NOVAS TECNOLOGIAS E NOVAS LINGUAGENS Critérios de qualidade para revistas científicas em Ciências da Comunicação: reflexões para a PORTCOM Sueli Mara Soares Pinto Ferreira1 1. REVCOM – uma proposta da PORTCOM A REVCOM – Coleção Eletrônica de Revistas em Ciências da Comunicação - inclui periódicos científicos, vinculados a instituições de países de língua portuguesa publicados na forma impressa e/ou eletrônica, que arrolem predominantemente artigos resultantes de pesquisa científica original e outras contribuições originais significativas para as Ciências da Comunicação. Coordenada pela PORTCOM/ INTERCOM2, esta coleção tem como objetivo geral: contribuir para o desenvolvimento da pesquisa científica nos países de língua portuguesa, por meio do aperfeiçoamento e da ampliação dos recursos de disseminação, publicação e avaliação dos seus resultados, fazendo uso intensivo da publicação eletrônica. Em síntese, pretende aumentar a visibilidade, a acessibilidade e a credibilidade nacional e internacional da publicação científica em ciências da comunicação dos países de língua portuguesa; bem como colaborar para o aumento do impacto a nível internacional da produção científica lusófona, atuando diretamente no processo de comunicação científica. A estratégia assumida para o desenvolvimento desta coleção REVCOM pode ser sintetizada em quatro fases: (1) Delineamento do projeto e seleção de metodologia para publicação eletrônica de periódicos científicos; Em relação a primeira fase, a PORTCOM conta com a parceria do Projeto SCIELO da BIREME – Centro Latino Americano e do Caribe de Informação em Ciências da Saúde, que cedeu a Metodologia SciELO para a preparação, armazenamento, disseminação e avaliação de periódicos científicos em formato eletrônico. Segundo Antonio e Parker (1998) esta metodologia “é formada por módulos integrados que possibilitam, ao mesmo tempo, a publicação de textos completos de artigos, seu armazenamento em bases de dados e sua recuperação eficiente e imediata. Inclui também um módulo para o controle e a medida de uso de periódicos na Internet, assim como de seu impacto mediante a produção de relatórios, a partir dos quais especialistas poderão analisar a literatura científica incluída na coleção. Esses relatórios são baseados em indicadores e critérios quantitativos e em técnicas e métodos bibliométricos”. Tem como princípios para seu desenvolvimento o compromisso com normas nacionais e internacionais, sincronização com os avanços internacionais no campo das publicações eletrônicas e uso intensivo de tecnologias de informação e comunicação adequadas a América Latina e Caribe (BIJONE, 1999). (2) Desenvolvimento do protótipo piloto com revistas representativas da área; Para a implementação do protótipo piloto - fase 2 - a REVCOM assumiu os critérios de qualidade definidos pelo Sistema QUALIS 2001 da Fundação CAPES, convidando para participar deste protótipo as seis revistas brasileiras consideradas Nível A Nacional. Foram estabelecidos documentos de parcerias, manuais de procedimentos para o envio dos textos pelas revistas parceiras e critérios e cronogramas de trabalho para a publicação eletrônica, pela equipe PORTCOM, dos fascículos das revistas parceiras de 2001 até 2003. (3) Definição de critérios de qualidade para as revistas da coleção; e Com este protótipo em desenvolvimento, passou-se para a fase 3 referente ao estabelecimento e incorporação de critérios de qualidade e normalização para revistas científicas seguindo padrões internacionais de primeira linha. Para o estabelecimento destes critérios várias atividades e estratégias estão sendo desenvolvidas, entre elas (a) a análise dos periódicos inseridos no protótipo, (b) 451 452 ACTAS DO III SOPCOM, VI LUSOCOM e II IBÉRICO – Volume I avaliação e adequação dos critérios internacionais à área de ciências da comunicação, (c) validação junto a representantes da comunidade e editores científicos da área e, finalmente, (d) homologação pelo Comitê Consultivo da REVCOM composto por representantes da área de publicações periódicas eletrônicas e de instituições fortemente comprometidas com o desenvolvimento do ensino, pesquisa e extensão na área de Ciências da Comunicação. (4) Implantação final da coleção com base nos critérios definidos. Corresponde a última fase do projeto quando se terá delineado os procedimentos finais da coleção, de modo a possibilitar a entrada, seleção e manutenção de todos os periódicos interessados em ingressar, garantindo a qualidade da coleção e da própria ferramenta de disponibilização on-line. No contexto da 3ª. Fase desse projeto REVCOM – “definição de critérios de qualidade para as revistas da coleção” – foi realizado um estudo com cinco revistas científicas em ciências da comunicação, de modo a identificar as características e comportamento das revistas da área e levantar algumas reflexões quanto à adequação dos padrões internacionais para a área de comunicação. A síntese desse estudo, objeto desse paper, será descrita em termos da metodologia adotada, definição da amostra, análise dos dados coletados das revistas da amostra, resultados e pontos para reflexão. 1.1. Metodologia adotada Os estudos de critérios de qualidade de periódicos identificados na literatura brasileira, de maneira geral, enfocam a avaliação quanto aos aspectos de forma dos periódicos e/ou de mérito das revistas conforme sugerido pelos próprios pares, associando-se pontuações e mensurações classificatórias para se chegar a tabelas de níveis de desempenho (modelo desenvolvido por Braga e Oberhofer em 1982, posteriormente, validado por outros estudos como Castro e Ferreira, 1995 e Krzyzanowski e Ferreira, 1998). Como o estudo, relatado nesse paper, não tem pretensão avaliativa e sim de análise da situação atual, ou seja, o levantamento de problemas, dificuldades, falta de normalização adequada à área e critérios para trabalho coordenado e cooperativo; optou-se por uma composição e adaptação do modelo mencionado com sistemáticas adotadas por institutos nacionais e internacionais especializados na temática (SCIELO/BIREME, 2002; ICSU, 1999; QUALIS/CAPES, 2001; CINDOC, 2001) e ainda respaldo nas várias normas nacionais como internacionais existentes 3. Deste modo, foram definidas como variáveis de estudo: - aspectos de forma - incluindo análise das partes da revistas, instruções aos autores, periodicidade, normalização, layout, difusão, regularidade de publicação, periodicidade etc; - tipologia de conteúdo e autoria - incluindo identificação dos tipos de trabalhos publicados nas revistas e procedimentos de apresentação e seleção (artigos originais/ revisão e/ou atualização, formatação dos trabalhos, padronização com base em normas científicas nacionais e internacionais, revisão pelos pares, comitê editorial) e critérios de endogenia (diversidade de pesquisadores, instituições e localidades vinculadas à autoria dos trabalhos publicados). 1.2. Definição da amostra A amostra selecionada visou abranger um conjunto de publicações produzidas por instituições de diferentes escopos (associação científica e universidade), de abrangência diversificada, de pelo menos dois países diferentes e que cobrissem tanto o formato impresso como o eletrônico. Assim, as revistas selecionadas foram: (1) Revista Brasileira de Ciências da Comunicação. INTERCOM => 03 fascículos – 2001: v.24, no. 2; 2002: v.25, nos 1 e 2. (2) Galáxia: revista transdisciplinar de comunicação, semiótica, cultura. Programa de Pós Graduação da Pontifícia Universidade Católica de São Paulo => 03 fascículos – 2001: no. 2; 2002: no.4 e 2003: no. 5. (3) Media & Jornalismo. Centro de Investigação Media & Jornalismo da Universidade do Minho, Portugal => 02 fascículos – 2002: vol.1, no. 1 e 2003: vol.2, no.2. (4) Studium. Laboratório de Media e Tecnologias de Comunicação da UNICAMP NOVAS TECNOLOGIAS E NOVAS LINGUAGENS (http://www.studium.iar.unicamp.br/) => 03 fascículos – 2002: nos. 10 e 11 e 2003: no. 12. (5) Contracampo. Programa de Pós Graduação em Comunicação da Universidade Federal Fluminense => 03 fascículos – 2000: vol.05, 2001: vol.06 e 2002: vol. 07. 2. Análise dos dados coletados das revistas da amostra A análise dos dados será apresentada conforme as variáveis de estudo definidas na metodologia acima descrita, ou seja, quanto aos aspectos de forma das revistas e tipos de conteúdo e autoria dos artigos incluídos nestas revistas. 2.1 Quanto aos aspectos de forma das revistas Os aspectos formais das revistas foram analisados segundo a normalização da publicação periódica no todo, a normalização dos fascículos, e as instruções ao autor, apresentados a seguir (quadros 1 a 3). 2.2 Quanto ao tipo de conteúdo e autoria No que tange à análise de endogenia, quantificação e qualificação de conteúdo foram observadas as variáveis: identificação de autoria e sua relação com tipologia de conteúdo (quadros 4 a 5). 3. Principais resultados De maneira geral, a análise dos títulos de periódicos sob o critério da forma como a revista está normalização e distribuída (do desempenho), possibilitou visualizar que: - boa parte das regras e normas prescritas em documentação da ABNT ou outras instituições normativas internacionais não estão sendo observadas pelas revistas brasileiras de maneira geral ou estão sendo absorvidas em partes e/ou de maneira diferente da convencional em outras áreas. Por exemplo: a maioria das revistas não utiliza a identificação cronológica corretamente, os títulos das revistas apresentam divergência em diferentes registros (CCN – Catálogo Coletivo Nacional - e ISSN – International Standardization Serial Number), a legenda bibliográ- fica de cada revista está apresentada de forma diferente, o endereço completo das revistas não aparece em três dos cinco títulos, etc.. - em várias situações as revistas não seguem as normas e regras que elas próprias estabeleceram, como por exemplo, as informações sobre forma de contato com o autor principal variam de fascículo para fascículo ou dentro do mesmo fascículo. - há uma adequação deficiente de palavras-chave, podendo ser ocasionada pela falta de vocabulário controlado ou tesauro na área de comunicação, o que respaldaria os autores e editores na seleção de termos mais adequados, consistentes e normalizados. - inexistência de uniformidade na elaboração das referências bibliográficas, que constam nas instruções aos autores mas que não são monitoradas pelos editores. Já quanto à tipologia de conteúdo e autoria, foi identificada: - ausência de consenso em relação à definição e caracterização do que seja, por exemplo, um artigo classificado como “inédito” para a área de comunicação e como deve ser sua estrutura de elaboração, organização e apresentação (resumo, objetivo, metodologia, resultados entre outros). - ausência de lógica na organização da linha editorial entre as revistas e em alguns casos, entre seus próprios fascículos. A lógica de organização das revistas, observada em outras áreas do conhecimento, é por tipos de documentos (artigos, resenhas, comunicados), o que não está presente na maioria das revistas da área de comunicação. Considerando que as normas internacionais preconizam que a caracterização de cientificidade de uma revista é medida com base no número mínimo de artigos inéditos publicados por fascículos, bem como a diversificação mínima da procedência institucional dos seus autores; a somatória das características apontadas acima não permitiu essa análise na amostra (quais e quantos artigos publicados nas revistas analisadas eram inéditos e procedência dos autores). 4. Considerações finais - pontos para reflexão Embora tendo as restrições apresentadas, o estudo feito e aqui apresentado, possibili- 453 454 ACTAS DO III SOPCOM, VI LUSOCOM e II IBÉRICO – Volume I 2.1.1 Normalização da publicação periódica no todo (capa, lombada, sumário, legenda, ISBN, periodicidade entre outros). Quadro 1 - Normalização da Publicação Periódica: (NBR6021 – Publicação periódica científica impressa – apresentação) NORMAS QUANTO A: SITUAÇÃO DAS REVISTAS Regras para composição das capas, lombada, folha de rosto, errata, sumário, editorial, índice, projeto gráfico, As revistas analisadas seguem pequena parcela das normas definidas por esta NBR. Identificação cronológica (ano, volumes, números, época, série, outras). Somente uma revista utiliza notações de volume e número. As demais utilizam ou volume ou fascículo/número. Os demais identificadores cronológicos mencionados como época, série etc., não são utilizados. Legenda bibliográfica Nenhuma das revistas observa a norma (ou o conteúdo está errado, ou a legenda está no local errado ou o conteúdo e o local estão errados e incompletos). Algumas têm legenda da revista no todo, mas não legenda dos artigos. ISSN Todos os títulos têm registro no ISSN. Mudança de título exige alteração junto ao órgão regulador e isto nem sempre tem sido feito. Uma das revistas utiliza a sigla ISBN e não ISSN. Endereço completo Em apenas duas revistas aparece o endereço completo, mas em lugares diferentes do recomendado. Alguns títulos colocam somente endereço dos editores, outros não colocam nada, outros colocam partes da informação em um ou outro fascículo. Periodicidade explícita Quatro das revistas apresentam esta informação, mas em distintos locais. Financiamento Apenas dois títulos comentam a existência de financiamento. Indexação em bases de dados nacionais ou internacionais Somente uma revista menciona a indexação na base PORTCOM/PORTDATA (Brasil), CENEDIC (México) e IFCA/Indicator (Canadá). Tempo de existência das revistas e regularidade na publicação dos fascículos. Três das revistas analisadas mantém regularidade na periodicidade de publicação (uma delas existe já há 25 anos, outra 3 anos e a terceira 2 anos). As demais, mantém publicidade irregular (tendo uma delas 06 anos de existência e a outra três). Presença em várias bibliotecas (CCN – Catálogo Coletivo Nacional de Publicações Periódicas). Somente duas revistas estão inseridas no CCN, sendo que apenas uma delas tem 75% de presença em bibliotecas brasileiras. Difusão (forma de distribuição) Apenas 03 revistas incluem informações e formulários apropriados para assinatura das revistas. NOVAS TECNOLOGIAS E NOVAS LINGUAGENS 2.1.2 Normalização dos fascículos (sumário, título abreviado, referência, publicidade, periodicidade). Quadro 2 - Normalização de Fascículos: (NBR6022 – Artigo em publicação periódica científica impressa – apresentação) NORMAS QUANTO A: SITUAÇÃO DAS REVISTAS Sumário (somente português e/ou bilíngüe) Todas as revistas apresentam sumário em português e apenas uma delas apresenta um sumário bilíngüe (português/inglês). Título abreviado da revista Nenhuma das revistas analisadas apresentam sua abreviatura seguindo a normalização internacional ou nacional (NBR6032). Referências bibliográficas Apenas uma revista apresenta as referências bibliográficas normalizadas segundo um padrão conhecido. Layout – alinhamento das colunas, diagramação fácil e identidade visual. Quatro das revistas analisadas tem um padrão quanto ao layout de seus fascículos. Impressão/Publicação eletrônica Todas apresentam encadernação ou publicação eletrônica e tratamento das imagens com qualidade. Publicidade (se existe, se interrompe artigos, se há Apenas uma revista possui publicidade, distinção entre conteúdo editorial e publicitário) sendo ela claramente diferenciada do conteúdo. Periodicidade (intervalo regular de publicação, número de fascículos por ano) A maioria das revistas analisadas é nova, apenas uma delas já existe há muitos anos. Mas todas mantêm periodicidade regular. 455 456 ACTAS DO III SOPCOM, VI LUSOCOM e II IBÉRICO – Volume I 2.1.3 Instruções ao autor (nome do autor, título, resumo, palavras-chave, endereço, filiação entre outros) Quadro 3 - Quanto as Instruções Oferecidas aos autores NORMAS QUANTO A: SITUAÇÃO DAS REVISTAS Título do artigo Apenas uma revista comenta algo visando padronizar a formatação (estilo de fonte). Instruções sobre a forma de apresentação dos nomes de cada autor Nenhum dos títulos apresenta esta instrução. Titulação acadêmica de cada autor Nenhum dos títulos apresenta esta instrução. Mas três títulos mencionam a necessidade de uma biografia resumida. Instituição de origem do autor Apenas um título solicita título e vinculação acadêmica. Departamento ou instituição que tem crédito pelo trabalho Nenhum dos títulos analisados traz instrução quando a este quesito. Responsabilidade autoral pelo conteúdo Nenhum dos títulos analisados traz instrução quando a este quesito. Nome e forma de contato com autor responsável Apenas um título solicita o envio de endereço, telefone e email para contato. Resumo estruturado (NBR-6028) e em diferentes idiomas. Quatro revistas solicitam resumo, mas as instruções de elaboração se restringem a sua forma, em termos de número de linhas e caracteres. Quanto ao idioma, duas revistas solicitam resumo trilíngue (português/ inglês/espanhol e português/inglês/francês), uma bilíngüe (português/inglês) e a última nada menciona. Norma para referencias Uma única revista indica a norma Harvard para elaboração das referências. Outra revista apresenta alguns modelos de referência padrão ABNT. Explicitação sobre critérios para seleção de trabalhos Quatro dos títulos analisados possuem um Conselho Editorial. Orientação para criar descritores / palavras-chave Quatro revistas orientam quanto ao número de palavras-chave a ser incluído nos trabalhos e também quanto ao idioma das mesmas. Mas nenhuma delas orienta quanto ao uso de algum vocabulário controlado ou tesauro. Orientação para indicar financiamento relacionado ao trabalho a ser publicado Não há menção em nenhuma das revistas analisadas. Indicação dos idiomas aceitos para publicação Apenas uma revista menciona o aceite de artigos em outro idioma que não o português. NOVAS TECNOLOGIAS E NOVAS LINGUAGENS 2.2.1 Identificação de autoria nos artigos das revistas (afiliação do primeiro autor, resumo estruturado, data de aceitação, data de edição, palavras-chave entre outros). Quadro 4 - Identificação de autoria nos artigos das revistas NORMAS QUANTO A: SITUAÇÃO DAS REVISTAS Afiliação do primeiro autor Quatro revistas da amostra indicam a afiliação do primeiro autor. Afiliação de todos autores Quatro revistas da amostra indicam a afiliação dos autores, mas curiosamente, todos os fascículos analisados de três revistas da amostra continham artigos de autoria única. Endereço do autor responsável Apenas duas revistas colocam tal informação. As outras três apresentam alguns artigos com identificação outros não. Resumos (estruturado, em diferentes idiomas) Quatro das revistas analisadas apresentam resumo, mas nenhum deles é estruturado. Descritores (se existe no idioma do texto pelo menos nos artigos originais, se existe em outros idiomas) Quatro revistas apresentam palavras chave no idioma português, uma revista tem palavras chave trilíngue (português/inglês/espanhol) e outra bilíngue (português/inglês). Apenas uma revista não inclui palavras chaves. Data de recebimento pelo editor Praticamente nenhuma revista apresenta esta informação. Apenas em um único fascículo de um dos títulos apareceu tal dado. Data de aceitação para publicação Praticamente nenhuma revista apresenta esta informação. Apenas em um único fascículo de um dos títulos apareceu tal dado. Data de revisão Nenhuma revista divulga esta informação. 2.2.2 Tipologia de conteúdo e de autoria (número de autores individuais, estrangeiros, número de artigos inéditos, total de autores, total de artigos dentre outros). Quadro 5 - Tipologia de Conteúdo e Autoria NORMAS QUANTO A: SITUAÇÃO DAS REVISTAS Número de artigos originais e de revisão que apresentam colaboração de autores estrangeiros Três das revistas apresentam em média um artigo com um colaborador estrangeiro. Número de autores de outras instituições do país Três das revistas apresentam praticamente autores de outras instituições. Total de artigos Total de autores Média de autores por artigo Média de artigos por fascículo Máximo de autores por artigo A impossibilidade de identificar o que exatamente é um artigo original, uma comunicação etc. tornou esta contagem impossível. No. de artigos originais No. artigos de revisão No. de artigos de atualização A impossibilidade de identificar o que exatamente é um artigo original, uma comunicação etc. tornou esta contagem impossível. Outros tipos de conteúdos Resenhas, comunicações e notas prévias, entrevistas, comentários (com notas e biografias), memórias, fórum, noticiário, diálogo, projeto, notícias, percursos, recensões, resumos, abstracts, mesas redondas 457 458 ACTAS DO III SOPCOM, VI LUSOCOM e II IBÉRICO – Volume I tou o levantamento de alguns pontos básicos e iniciais para se discutir a problemática das revistas científicas em ciências da comunicação sob duas perspectivas: A revista como um todo: • quais critérios seguir para a avaliação qualitativa dos conteúdos publicados na área? Se o objetivo da pesquisa é original e válido cientificamente? Se os procedimentos utilizados e o delineamento experimental são apropriados para responder às questões propostas? Se os dados experimentais possuem qualidade suficiente para serem interpretados dentro do contexto dos objetivos? Se os resultados justificam as conclusões indicadas pelos autores? Se os resultados e as conclusões são relevantes para questões importantes estudadas por outros investigadores da área? • as normas padronizadas pela comunidade científica nacional e internacional, no que se refere ao formato de apresentação das publicações periódicas não estão sendo seguidas porquê? Elas não contemplam as especificidades da área de ciências da comunicação? O conteúdo da revista: • do ponto de vista da tipologia dos trabalhos, como alcançar consenso na área sobre os conceitos: artigo inédito, artigo de acompanhamento, artigo de revisão etc? Faz sentido o uso desta terminologia para a área? Quais são os tipos de trabalhos mais adequados à área? • os parâmetros já existentes de organização e apresentação de conteúdos dos artigos científicos (resumo, introdução, objetivo, metodologia, resultados e conclusão) são adequados para a área de ciências da comunicação? Por exemplo: faz sentido a exigência de um resumo estruturado para a área? Análises complementares ao estudo de mérito devem ser feitas, buscando observar a representatividade e nível científico do editor e do comitê editorial, a percepção dos pesquisadores quanto ao caráter científico da revista, predominância de artigos frutos de pesquisa ou reflexão originais, exaustividade e atualidade nos artigos de revisão e debates, qualidade dos textos em relação à metodologia e estrutura, processo de arbitragem e importância da revista para o desenvolvimento da área. NOVAS TECNOLOGIAS E NOVAS LINGUAGENS Bibliografia ABEC/Associação Brasileira de Editores Científicos. Normas de Documentação Aplicáveis a Publicações Periódicas e a Artigos Científicos. Disponível em: http://www.abeceditores.com.br/normas.htm. Antonio, Irati; Packer, Abel. Seminário sobre Avaliação da Produção Científica: Relatório Final. Ciência da Informação [online]. 1998, vol. 27, no. 2. Disponível na World Wide Web:<http://www.scielo.br/ISSN 01001965. Biojone, Mariana Rocha. El Modelo SciELO. In Reunión de Coordinación Regional de la Biblioteca Virtual en Salud, 1 [online]. Washington, 1999. Disponível na World Wide Web: <http://www.bireme.br/bvs/ reuniao/E/public.htm>. Braga, G,M.; Obherhofer, A. Diretrizes para a avaliação de periódicos científicos e técnicos brasileiros. Rev. Lat., n.1, p.27-31, ene./jun.1982. Castro, R.C.F.; Ferreira, M.C.G. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ciência da Informação, Brasília, v.25, n.3, p.357-67, set./dez. 1996. ICSU Press. Consejo Internacional para la Ciencia. Committee on Dissemination of Scientific Information. Guia para Publicaciones Científicas. traduzido por Daniella Ávila. Francia: 1999. Disponível em: http://associnst.ox.ac.uk/~icsuinfo/ SpGuidelines.htm. [Acesso em 03.mar. 2003]. Krzyzanowski, R.F.; Ferreira, M.C.G. Avaliação de periódicos científicos e técni- cos brasileiros. Ciência da Informação, Brasília, v. 27, n. 2, p. 165-175, maio/ago. 1998. Macias-Chapula, C.A. The role of informetrics and scientometrics in the National and Internacional Perspective. Paper presented in Scientific Literature Evaluation Seminar, São Paulo, Mar 4-5, 1998. São Paulo: FAPESP/BIREME, 1998. Martín-Sempere, M.J. Papel de las revistas científicas em la transferência de conocimientos. In: Román, A.R., coord. La edición de revistas cientificas: guía de buenos usos. Madrid: Centro de Información y Documentación Científica CINDOC (CSIC), 2001. Russeell, J.M. Publication indicators in Latin America revisited. In: CRONIN, B. and BARSKY, H.; eds. The Web of Knowledgde: a festschrift in honor of Eugene Garfield. New Jersey:ASIS Monograph Series. Information TOday, Inc. Medford, 2000. p. 233-246. _______________________________ 1 Departamento de Biblioteconomia e Documentação da ECA/USP; Coordenadora da Portcom. 2 PORTCOM – Rede de Informação em Ciências da Comunicação dos Países de Língua Portuguesa. INTERCOM – Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. URL: http//www.portcom.intercom.org.br/revcom. 3 Demais normas no site da ABEC – Associação Brasileira de Editores Científicos –– “Normas de Documentação Aplicáveis a Publicações Periódicas e a Artigos Científicos” - http:/ /www.abec-editores.com.br/normas.htm. 459