1
ANÁLISE BIBLIOMÉTRICA DA
PRODUÇÃO CIENTÍFICA DA UNESP
ANA PAULA SANTULO CUSTÓDIO DE MEDEIROS
UNESP - Instituto de Biociências
Av. 24-A, 1515 – Bela Vista
13506-900 - Rio Claro – SP / Brasil
[email protected]
www.rc.unesp.br
LEANDRO INNOCENTINI LOPES DE FARIA
UFSCar – Universidade Federal de São Carlos
Rodovia Washington Luís (SP-310), km 235
13565-905 – São Carlos – SP / Brasil
[email protected]
www.ufscar.br
Eixo temático: As Bibliotecas Universitárias e a Produção do Conhecimento
Sub-tema: As redes e virtualidades da pesquisa acadêmica
Resumo
A Bibliometria tem a finalidade de medir por análises estatísticas a produção de
pesquisa científica e tecnológica na forma de artigos, publicações, citações,
patentes e outros indicadores mais complexos, possibilitando avaliar atividades de
pesquisa, laboratórios, cientistas, instituições, países, etc., auxiliando assim, nas
tomadas de decisões e no gerenciamento da pesquisa. A Bibliometria está sendo
aplicada cada vez mais em análises de produção científica, e portanto, foi
utilizada para analisar a Unesp, no período de 2000 a 2004, pois esta
Universidade possui campus em diversas cidades, abrangendo todo o Estado de
São Paulo, além de apresentar o maior crescimento em publicação científica entre
as universidades estaduais paulistas no período de 1998 a 2002. A principal fonte
de informações para a realização da pesquisa foi a base do Institute for Scientific
Information (ISI), a Web of Science. Por esta pesquisa, foi possível realizar
análises bibliométricas dos indicadores de publicação, tais como: a evolução e o
crescimento da produção científica nos últimos cinco anos, os periódicos mais
utilizados, as áreas do conhecimento em que mais se publicam e análises dos
indicadores de colaboração entre as cidades e os países.
Palavras-chave: Bibliometria; Produção Científica; Pesquisa Científica; Métodos
Estatísticos; Análises Estatísticas.
2
INTRODUÇÃO
A Bibliometria está sendo aplicada cada vez mais em análises de produção
científica. No Brasil, foram realizados alguns estudos recentes sobre a produção
científica nacional (LETA; CRUZ, 2003; MENEGHINI, 2005; GREGOLIN, 2005),
os quais mostraram que não há uma homogeneidade entre as regiões, pois a
produção científica se concentra principalmente na região sudeste, no Estado de
São Paulo. Assim sendo, as universidades que mais se destacam são a
Universidade de São Paulo (USP), a Universidade Estadual de Campinas
(Unicamp), a Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), a
Universidade Federal de São Paulo (UNIFESP) e a Universidade Federal de São
Carlos (UFSCar).
No entanto, há poucos estudos específicos detalhados sobre a produção
científica dessas universidades. Dessa forma, realizou-se uma pesquisa com a
Unesp, pois se destaca por seus campi localizados nas mais diferentes cidades
paulistas, abrangendo todo o estado de São Paulo, e ainda, conforme Gregolin
(2005), a que possui maior crescimento em publicação científica das
universidades estaduais paulistas no período de 1998 a 2002.
A principal fonte de informações para a realização da pesquisa foi a base
do Institute for Scientific Information (ISI), a Web of Science, que abrange três
bancos de dados: o Science Citation Index (SCI), o Social Science Citation Index
(SSCI), e o Arts and Humanities Citation Index (AHCI). Essa base foi escolhida
por ser a mais abrangente em termos de áreas do conhecimento, número de
periódicos e possuir informações sobre os endereços dos autores, possibilitando
identificar as co-autorias das publicações.
Os dados foram quantificados pelo software VantagePoint, que transformou
as informações textuais em dados numéricos para a realização das análises
estatísticas, gerando listas, tabelas e matrizes. Os resultados foram importados
para o Excel possibilitando melhor análise e representação gráfica das
informações adquiridas.
3
A pesquisa foi quantitativa, pois analisou o número de artigos publicados
pela universidade e que constam da base da Web of Science no período de 2000
a 2004.
O trabalho dividiu-se em três atividades principais:
•
Revisão bibliográfica;
•
Caracterização da Unesp; e
•
Análise bibliométrica.
REVISÃO BIBLIOGRÁFICA
A revisão bibliográfica foi realizada, principalmente, para melhor conhecer a
produção e o uso de indicadores de produção científica a partir de bases de
dados bibliográficas e da bibliometria.
A Bibliometria tem a finalidade de medir por análises estatísticas a
produção de pesquisa científica e tecnológica na forma de artigos, publicações,
citações, patentes e outros indicadores mais complexos, possibilitando avaliar
atividades de pesquisa, laboratórios, cientistas, instituições, países, etc.,
auxiliando assim, nas tomadas de decisões e no gerenciamento da pesquisa
(OKUBO, 1997).
Conforme, Okubo (1997), as técnicas de bibliometria estão evoluindo,
originando diversos tipos de indicadores, tais como: Indicadores de publicação;
Indicadores de citações; Indicadores de co-publicações; Indicadores de cocitaçõe; Indicadores de patente; Indicadores de citações de patentes.
Os dados para as análises bibliométricas são extraídos de bancos de
dados com informações sobre a literatura, que na maioria das vezes, estão
disponíveis on-line ou em CD-ROM.
4
As análises bibliométricas utilizam apenas as comunicações formais entre
os cientistas: artigos, livros, patentes, documentos. Todas as comunicações
informais (literatura cinzenta): oral, relatórios, conferências, comunicação
eletrônica, não são analisadas (OKUBO, 1997).
As diversas áreas do conhecimento diferem no tipo de publicação, na
quantidade de publicações de artigos, no número de periódicos e no tipo de
periódico: nacional ou internacional. Conseqüentemente, não se devem realizar
análises comparativas entre áreas diferentes do conhecimento. Portanto, é
necessária muita prudência na realização de análises bibliométricas, pois cada
indicador possui vantagens e limitações.
No entanto, “apesar de suas limitações, a bibliometria proporciona uma
medida quantitativa essencialmente objetiva da produção científica”. (OKUBO,
1997, p.23, tradução nossa). Além disso, ela auxilia as agências de fomento na
tomada de decisão, principalmente em distribuição de recursos destinados à
pesquisa e ao desenvolvimento.
De acordo com Okubo (1997, p.6, tradução nossa), “onde a ciência está
envolvida, os indicadores bibliométricos são indispensáveis”. A bibliometria pode
ser aplicada na avaliação da produção científica, pois os cientistas utilizam a
publicação para divulgarem seus trabalhos e mostrarem seus resultados. De
acordo com Okubo (1997), a publicação tem três objetivos: difundir as
descobertas científicas, proteger a propriedade intelectual e a fama.
As pesquisas desenvolvidas por Leta e Cruz (2003); Meneghini (2005) e
Targino e Garcia (2000) sobre a produção científica brasileira, revelaram grande
desigualdade entre as regiões: o Norte, o Nordeste e o Centro-Oeste são os
territórios com menor quantidade de publicações, enquanto o Sudeste e o Sul
apresentam o maior número de pesquisadores e de cursos de pós-graduação,
evidenciando o maior número de produção de artigos nessas regiões. Seguindo a
mesma tendência, a distribuição por estado se concentra principalmente em São
Paulo, seguido do Rio de Janeiro e Minas Gerais. Nas cidades, a maior produção
5
está em São Paulo, principalmente pela atuação da Universidade de São Paulo
(USP) que possui as melhores médias de avaliação da Capes e abriga quase a
metade dos cursos de doutorado de nível internacional. Dentre as instituições, se
destacam a Universidade Estadual de Campinas (Unicamp), a Universidade
Estadual Paulista “Júlio de Mesquita Filho” (Unesp), a Universidade Federal do
Rio de Janeiro (UFRJ), a Universidade Federal de Minas Gerais (UFMG) e a
Universidade Federal do Rio Grande do Sul (UFRGS).
Outro resultado das pesquisas foi sobre as publicações em co-autorias, o
que revelou maior parceria com os Estados Unidos, a França, a Inglaterra e a
Alemanha. Em relação aos países com produtividade menor, se destaca a
parceria com a Argentina e o Chile.
Em todas as pesquisas observou-se um crescimento da produção científica
brasileira, demonstrando, além de uma maior quantidade de artigos nas bases de
dados, uma maior representação da ciência nacional na produção científica
mundial.
Para a realização das análises bibliométricas, geralmente são utilizadas as
bases de dados nacionais ou internacionais como fontes de coleta dos dados.
Porém, os bancos de dados são diferentes no próprio conteúdo e critérios de
entrada, na quantidade de artigos que traz de cada assunto, tornando-se
indispensável a escolha do banco de dados que melhor se adapte na análise
bibliométrica que será realizada (OKUBO, 1997).
O Institute for Scientific Information (ISI), localizado na Philadelphia,
Estados Unidos da América do Norte (EUA), é uma companhia publicadora de
bases de dados que possui uma cobertura abrangente da mais importante e
influente pesquisa realizada em todo o mundo. Sua base de dados bibliográfica é
multidisciplinar e compreende: títulos de revistas, livros e anais de congressos
internacionais, nas áreas de ciências puras, ciências sociais, artes e
humanidades. O ISI foi criado em 1958 por Eugene Garfield, com o objetivo de
prover informações atualizadas e de qualidade aos pesquisadores de maneira
6
rápida e eficiente. No entanto, ele resolveu avaliar as referências através da
análise de citação, criando assim, o banco de dados SCI (TARGINO; GARCIA,
2000; TESTA, 1998).
Os dados da Web of Science têm sido muito utilizados para análises
bibliométricas em todo o mundo, trazendo informações sobre a literatura mundial
publicada desde 1945 (LETA; CRUZ, 2003; MENEGHINI, 2005). Ela é constituída
pelas três principais bases de dados do ISI: Science Citation Index – SCI; Social
Science Citation Index – SSCI e Arts & Humanities Citation Index – AHCI.
A Web of Science contém um grande volume de periódicos mundiais,
aproximadamente 8500 títulos. De acordo com Leta e Cruz (2003), os indicadores
mais usados da base do ISI em estudos bibliométricos são:
•
número de publicações: para análises da produção científica;
•
número de citações: para análises de impacto da atividade científica;
•
número de co-autorias: para análises de colaboração científica.
Segundo Leta e Cruz (2003) e Targino e Garcia (2000), a Web of Science é
uma ferramenta importante para o diagnóstico da produção científica, pois é a
mais abrangente base de dados de informações científicas do mundo. Dessa
forma, ela é a base mais utilizada atualmente por especialistas e pesquisadores
em estudos bibliométricos por sua maior abrangência de áreas, pelo grande
volume de periódicos e, principalmente, por compilar as citações que os artigos
da base recebem anualmente.
CARACTERIZAÇÃO DA UNESP1
A caracterização da Unesp foi realizada, por ser a entidade que teve sua
produção científica analisada. Primeiramente, fez-se um levantamento das
informações sobre essa universidade, com seu histórico, sua infra-estrutura, e em
seguida identificou-se a localização de seus 23 campi no estado de São Paulo, as
7
unidades que abrangem e os cursos de graduação e pós-graduação que
oferecem.
A Universidade Estadual Paulista “Júlio de Mesquita Filho” – UNESP foi
fundada em 1976 e é mantida pelo governo do Estado de São Paulo, assim como
a Universidade de São Paulo (USP) e a Universidade Estadual de Campinas
(Unicamp).
A UNESP é uma das maiores e mais importantes universidades brasileiras,
com destacada atuação no ensino, na pesquisa e na extensão. Ela possui uma
diferenciação entre as outras universidades paulistas por estar presente em
praticamente todo o território do estado de São Paulo.
Ela oferece cursos de graduação (bacharelado e licenciatura) e cursos de
pós-graduação stricto-sensu (Mestrado e Doutorado) e pós-graduação lato-Sensu
(Especialização e Aperfeiçoamento Profissional), nas três grandes áreas do
conhecimento: Humanidades, Biológicas e Exatas.
Para tanto, possui uma infra-estrutura de 60 milhões de m2, sendo
aproximadamente 562 mil m2 de área construída, incluindo museus, hortos,
biotérios, jardins botânicos, fazendas, 1900 laboratórios e 30 bibliotecas com
aproximadamente 700 mil livros e 2,3 milhões de consultas/empréstimos anuais,
para atender seus quase 35 mil alunos. A universidade conta com um importante
Hospital de Clínicas, com 450 leitos e administra o Hospital Estadual de Bauru,
com outros 380 leitos, e além disso, possui também hospitais veterinários e
clínicas de odontologia, psicologia, fonoaudiologia e fisioterapia.
A UNESP se destaca nas pesquisas científicas e tecnológicas que
desenvolve, e conta com recursos das principais agências de fomento à pesquisa
do país: Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP),
Coordenadoria de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES) e
Centro Nacional de Desenvolvimento Científico e Tecnológico (CNPQ).
1
Dados retirados do site: <http://www.unesp.br/perfil>
8
ANÁLISE BIBLIOMÉTRICA
Os dados, para a realização da análise bibliométrica, foram coletados nas
três principais bases de dados da Web of Science: Science Citation Index (SCI),
Social Science Citation Index (SSCI) e Arts & Humanities Citation Index (AHCI),
abrangendo o período de 2000 a 2004.
No levantamento da Web of Science, realizou-se inicialmente uma tentativa
de busca por cidade, pois a base não traz os nomes das instituições de forma
padronizada, podendo encontrar o nome da Unesp de diversas maneiras. Porém,
verificou-se que esse método era inviável, já que, em algumas cidades existem
outras entidades de pesquisas que são recuperadas por essa expressão de
busca, dificultando a organização e análises dos dados.
Portanto, resolveu-se buscar por Unesp e todos os outros nomes possíveis
dessa universidade. Para isso, elaborou-se primeiramente uma pesquisa no
campo de endereço da Web of Science, utilizando quatro maneiras diferentes de
escrever o nome dessa universidade. Em seguida, realizou-se uma pesquisa por
três cidades em que a Unesp é a mais representativa pesquisadora, e excluiu-se
o resultado da busca anterior, recuperando assim, os artigos com outros nomes
possíveis da Unesp. Após a verificação de alguns artigos, encontrou-se 13 nomes
diferentes para essa universidade que foram utilizados na expressão de busca
para a recuperação dos dados.
Dessa forma, realizou-se a coletas dos dados, conforme mostra a Tabela 1.
Por esse levantamento, verificou-se que existe um crescimento anual na
quantidade de artigos recuperados da Web of Science, exceto no ano de 2001.
9
Tabela 1 - Quantidade de artigos recuperados da Web of Science
ANOS
QUANTIDADE DE ARTIGOS
2000
2001
2002
2003
860
808
1228
1307
2004
1349
TOTAL
5552
Na análise bibliométrica da Unesp, foram englobados os resultados de
todos os seus institutos e analisados a soma de todos os seus artigos publicados
nas revistas que são indexadas pela Web of Science.
Através dos resultados, pode-se verificar que a Unesp obteve um aumento
de publicações científicas nas revistas indexadas pelo ISI entre os anos de 2000 a
2003, representando um crescimento de 41,33% de sua produção. Em 2000,
foram contabilizados 929 registros, e em 2003, 1313 (vide gráfico 1). No entanto,
em 2004, apesar de ter entrado na base 1349 artigos, apenas 976 foram
1400
1200
1000
800
600
400
200
0
30
20
10
0
-10
-20
-30
2000
2001
Total publicações
2002
2003
Taxa de crescimeto (%)
Nº de publicações
publicados neste ano, ocasionando uma queda de 25,67% em relação a 2003.
2004
Taxa de crescimento (acumulado)
Gráfico 1 - Evolução e taxa de crescimento anual do número de
publicações da UNESP
A base de dados do ISI classifica as áreas do conhecimento em 22
classes. Assim sendo, pode-se verificar que as publicações da Unesp se
10
concentram principalmente nas áreas de Medicina2 (23%), Botânica e Zoologia
(18%), Física (16%), Química (9%) e Biologia e Bioquímica (6%), conforme
mostra o gráfico 2. Além disso, ressalta-se o crescimento do número de
publicações nas áreas de Geociências (129%), Biologia e Bioquímica (119%),
Engenharia (104%) e Ciências Agrárias (83%) e um decréscimo nas áreas de
Medicina
(-49%),
Matemática
(-42%),
Ecologia
(-22%),
Biologia
150
25
125
20
100
15
75
10
50
5
25
0
0
% publicações
Outras
Geociências
Matemática
Ecologia
Neurociências/Comport.
Microbiologia
Farmacologia/Toxicol.
Biol.Molecular/Genética
Ciências Agrárias
Engenharia
Ciência Materiais
Biologia/Bioquímica
-50
Química
-10
Física
-25
Botânica/Zoologia
-5
Taxa de crescimento (%)
30
Medicina
Publicações (%)
Molecular/Genética e Física, ambas com –20%.
Taxa de crescimento (acumulado)
Gráfico 2 - Distribuição porcentual do número de publicações da Unesp e taxa de
crescimento, por áreas do conhecimento - 2000-2004 (acumulado).
2
A Medicina, termo utilizado por Gregolin (2005), engloba outras áreas da Ciência
Médica, tais como, a Odontologia.
11
Muitos artigos são publicados em conjunto, ou seja, a Unesp publica com
outros institutos, com outras universidades, com outras entidades, com outras
cidades e com outros países. Como a base de dados do ISI é americana e o
maior número de artigos pertencem aos Estados Unidos, ele aparece como o
maior colaborador internacional da Unesp, em torno de 25,53% de toda a
contribuição internacional (vide gráfico 3). Mas também, pode-se destacar a
colaboração com a França (7,85%), Inglaterra (6,22%), Canadá (5,94%) e
Espanha (5,87%), que juntos somam 25,88%, ultrapassando o percentual dos
Estados Unidos.
Estados Unidos
361
111
França
Inglaterra
88
Canadá
84
Espanha
83
Alemanha
71
Italia
70
Portugal
48
Russia
48
40
Japão
0
50
100
150
200
250
300
350
400
Gráfico 3 - Número de publicações dos 10 principais países que colaboram
com a Unesp
Através do próximo gráfico (4), que mostra as 10 cidades que mais
possuem artigos da Unesp, pode-se observar que São Paulo aparece com o
maior número de registros. Em seguida, destacam-se as cidades de Araraquara e
Botucatu, cada uma contendo quatro institutos da Universidade Estadual Paulista
“Júlio de Mesquita Filho”. Além delas, há mais quatro cidades que possuem
campus da Unesp: Jaboticabal, Rio Claro, São José do Rio Preto e São José dos
Campos. As cidades de São Carlos, Campinas e Ribeirão Preto, possuem grande
colaboração com a universidade pesquisada.
12
São Paulo
2222
Araraquara
1097
Botucatu
900
Jaboticabal
497
Rio Claro
481
São Carlos
452
Campinas
327
São José do Rio Preto
294
São José dos Campos
215
Ribeirão Preto
205
0
500
1000
1500
2000
2500
Gráfico 4 - Número de publicações das 20 principais cidades que publicam e
colaboram com a Unesp
O Instituto de Física Teórica de São Paulo foi o que obteve a maior
quantidade de artigos (vide gráfico 5), porém, houve um decréscimo de 20% em
suas publicações entre 2000 e 2004. Em seguida, tem-se o Instituto de Química
de Araraquara, a Faculdade de Ciências Agrárias e Veterinárias de Jaboticabal,
os Institutos de Biociências de Rio Claro e Botucatu, e somente em sexto lugar
aparece a Faculdade de Medicina de Botucatu, sendo que todos apresentaram
crescimento no número de publicações durante o período analisado, destacando
o Instituto de Biociências de Rio Claro com 70%.
A Faculdade de Arquitetura, Artes e Comunicação de Bauru e o Instituto de
Artes de São Paulo não publicaram nenhum artigo na Web of Science no período
analisado. Além desses, a Faculdade de História, Direito e Serviço Social de
Franca, a Faculdade de Filosofia e Ciências de Marília e as Faculdades de
Ciências e Letras de Assis e Araraquara, todas da área de Humanas, aparecem
13
nas últimas posições, confirmando que a publicação de artigos da Unesp em
periódicos indexados na base de dados do ISI nesta área é menor.
834
São Paulo-IFT
809
Araraquara-IQ
541
Jaboticabal-FCAV
392
Rio Claro-IB
Botucatu-IBB
376
Botucatu-FM
364
OUTROS
358
Araraquara-FOAR
310
São José do Rio Preto-IBLCE
309
239
Botucatu-FMVZ
210
São José dos Campos-FOSJC
173
Araçatuba-FOA
Botucatu-FCA
140
Araraquara-FCFAR
138
Guaratinguetá-FEG
136
Rio Claro-IGCE
129
Bauru-FC
119
98
Ilha Solteira-FEIS
63
Presidente Prudente-FCT
Araraquara-FCLAR
21
Assis-FCL
20
Bauru-FEB
11
Marília-FFC
6
Sorocaba/Registro-UD
6
São Vicente
4
Franca-FHDSS
1
0
100 200 300 400 500 600 700 800 900
Gráfico 5 - Número de publicações dos institutos da Unesp
14
CONCLUSÃO
A análise bibliométrica da produção científica da Unesp no período de 2000
a 2004 possibilitou identificar a sua evolução e seu crescimento anual, as áreas
em que mais se publicam, as cidades e os países que mais colaboram, além de
uma análise de seus institutos.
Dessa forma, comparando-se o número de artigos de 2000 a 2003 foi
possível verificar um aumento a cada ano, representando um crescimento de
41,33% neste período. No entanto, em 2004 a quantidade de publicações caiu
25,67% em relação a 2003.
No que se refere às áreas do conhecimento, as publicações da Unesp se
concentram principalmente em Medicina, Botânica e Zoologia, Física, Química e
Biologia/Bioquímica. Desta forma, verificou-se que a área de Ciências Biológicas
é a que possui maior número de artigos da Unesp indexados na Web of Science.
Analisando os países, os Estados Unidos aparece como o maior
colaborador da Unesp. Isso pode ser explicado por ele ser o país que possui o
maior número de registros indexados na Web of Science. Além dele, destacam-se
também a França, a Inglaterra, o Canadá e a Espanha.
Na análise das cidades, São Paulo aparece como principal publicadora,
seguida de Araraquara, Botucatu, Jaboticabal e Rio Claro. Nestas cidades estão
os institutos que mais publicam artigos pela Unesp: o Instituto de Física Teórica
de São Paulo, o Instituto de Química de Araraquara, a Faculdade de Ciências
Agrárias de Jaboticabal, o Instituto de Biociências de Rio Claro e Botucatu e a
Faculdade de Medicina de Botucatu. Também destacam-se as cidades de São
Carlos, Campinas e Ribeirão Preto, que possuem grande colaboração com as
publicações da Universidade Estadual Paulista “Júlio de Mesquita Filho.
15
REFERÊNCIAS
GREGOLIN, J. A. R. (Coord.). Análise da produção científica a partir de
Indicadores Bibliométricos. In: FUNDAÇÃO DE AMPARO À PESQUISA DO
ESTADO DE SÃO PAULO – FAPESP. Indicadores de ciência, tecnologia e
inovação em São Paulo – 2004. São Paulo: FAPESP, 2005. cap. 5, p.5-1 – 5-44.
LETA, J.; CRUZ, C. H. B. A produção científica brasileira. In: VIOTTI, E. B.;
MACEDO, M.M. (Org.). Indicadores de ciência, tecnologia e inovação no
Brasil. Campinas: Editora da Unicamp, 2003. cap. 3, p. 125-168.
MENEGHINI, R. (Coord.). Produção Científica. In: FUNDAÇÃO DE AMPARO À
PESQUISA DO ESTADO DE SÃO PAULO – FAPESP. Indicadores de ciência,
tecnologia e inovação em São Paulo – 2001. cap. 6, p.6.1-6.22. Disponível em:
<http://www.fapesp.br/indct/cap06/cap06.htm>. Acesso em: 25 mar. 2005.
OKUBO, Y. Bibliometric indicators and analysis of research systems:
methods and examples. Paris: OECD, 1997. 69 p. (STI Working Papers, 1997/1).
TARGINO, M. G.; GARCIA, J. C. R. Ciência brasileira na base de dados do
Institute for Scientific Information (ISI). Ciência da Informação, Brasília, v. 29, n.
1, p. 1-20, jan./abr. 2000.
TESTA, J. A base de dados ISI e seu processo de seleção de revistas. Ciência
da Informação, Brasília, v. 27, n. 2, p. 233-235, maio/ago. 1998.
UNIVERSIDADE ESTADUAL PAULISTA “JÚLIO DE MESQUITA FILHO” –
UNESP. Disponível em: <http://www.unesp.br>. Acesso em 12 mar. 2005.