Artigo Original
J. Health Inform. 2011 Julho-Setembro; 3(3): 118-22
Desenvolvimento de um sistema online de gerenciamento de um congresso
Development of an online system for management a congress
Desarrollo de un sistema on-line para la gestión de un congreso
Silvia Itzcovici Abensur1, Izabel Cristina Rios2, Regina Albanese Pose3, Arthur Hirschfeld Danila4,
Joaquim Edson Vieira5
RESUMO
Descritores:Informática
Médica; Resumos de
Reunião; Sistemas de
Informação
O presente trabalho descreve e apresenta a avaliação do funcionamento do sistema online de submissão de resumos,
bem como a avaliação, acompanhamento do processo e divulgação de informações criado especialmente para o 7º
Congresso Paulista de Educação Médica, realizado em São Paulo no período de 21 a 23 de Maio de 2010. O sistema
foi elaborado na linguagem de programação ASP e utilizou um banco de dados Access Microsoft®. A avaliação deste
sistema mostrou um alto grau de satisfação entre usuários principalmente nos itens: facilidade de utilização e ambiente
amigável. Além disso, facilitou no gerenciamento e recuperação das informações arquivadas.
ABSTRACT
Keywords: Medical
Informatics; Meeting
Abstract; Information
Systems
This paper describes and presents the evaluation of the functioning of the online abstract submission and evaluation,
monitoring the process and dissemination of information created especially for the 7th Paulista Congress of Medical
Education, held in São Paulo in the period from 21 to May 23, 2010. The system was developed in ASP programming
language and used a Microsoft Access database ®. The system evaluation showed a high degree of users’ satisfaction
mainly in the items: ease of use and friendly environment. It also facilitated the management and retrieval of archived
data.
RESUMEN
Descriptores: InformáticaEl presente trabajo describe y presenta la evaluación del funcionamiento del sistema “on-line” de gerenciamiento de
resúmenes, asi como: la evaluación, el seguimiento del proceso y la difusión de información, diseñado especialmente
Médica; Resúmenes de
para el 7º Congreso Paulista de Educación Médica, realizado en São Paulo en el período comprendido entre el 21 al
Reuniones; Sistemas de
23 de Mayo de 2010. El sistema fue desarrollado en lenguaje de programación ASP y utiliza una base de datos
Información
Microsoft Access ®. La evaluación de este sistema mostro un alto grado de satisfacción de los usuarios, especialmente
en los puntos: facilidad de uso y ambiente agradable. Además, facilita la gestión y recuperación de la información
archivada.
Pós-Doutor, Faculdade de Medicina da Universidade de São Paulo - USP, São Paulo (SP), Brasil.
Doutor, Faculdade de Medicina da Universidade de São Paulo - USP, São Paulo (SP), Brasil.
3
Mestre, Faculdade de Medicina da Universidade de São Paulo - USP, São Paulo (SP), Brasil.
4
Graduando, Faculdade de Medicina da Universidade de São Paulo - USP, São Paulo (SP), Brasil.
5
Livre Docente, Professor Associado do Centro de Desenvolvimento de Educação Médica da Faculdade de Medicina da Universidade de São Paulo - USP, São Paulo
(SP), Brasil.
1
2
Autor Coorespondente: Silvia Itzcovici Abensur
e-mail: [email protected]
Artigo recebido: 24/03/2011
Aprovado: 30/05/2011
www.jhi-sbis.saude.ws
Abensur SI, Rios IC, Pose RA, Danila AH, Vieira JE.
INTRODUÇÃO
A partir da década de 1970 o acesso à informação
tornou-se mais amplo e flexível devido ao desenvolvimento
das tecnologias de informática e teleprocessamento,
passando a informação a ser vista como um produto
comercializável e um bem social. A pesquisa em Ciência da
Informação visa desenvolver de técnicas e tecnologias para
organizar a informação gerando eficiente armazenagem,
recuperação e disseminação de dados(1).
Uma forma de contribuir para a difusão rápida de
informação científica é pela publicação em livros e revistas
além da literatura não convencional (literatura cinzenta)
como relatórios de pesquisa, dissertações, teses, preprints,
trabalhos apresentados em eventos, e outros de divulgação
restrita(2-5).
Os trabalhos apresentados em eventos estão sujeitos à
mesma avaliação metodológica de outros tipos de publicação(6)
e isso cria a necessidade uma dinâmica e padronização de
procedimentos para o funcionamento eficiente da submissão
dos textos aos congressos. Diversas experiências têm sido
desenvolvidas utilizando a linguagens de programação e de
modelagem de dados como PHP5(7-8), ASP(4) e UML(9). No
entanto, essa informatização ocorre apenas algumas etapas do
processo, ou então há falta de integração entre as várias etapas(9).
O objetivo deste trabalho é explicar e apresentar a
avaliação do sistema online de submissão de resumos, bem
como a avaliação, acompanhamento do processo e
divulgação de informações criado especialmente para o 7º
Congresso Paulista de Educação Médica (CPEM 2010)
realizado em São Paulo no período de 21 a 23 de Maio de
2010. A organização deste congresso optou por selecionar
apenas os resumos para análise preliminar dos trabalhos
encaminhados, entretanto, o sistema poderia arquivar os
trabalhos completos. Para minimizar os tempos de
processamento e custos da utilização de sistema comercial,
opção adotada por este congresso em anos anteriores,
decidiu-se pelo desenvolvimento do sistema no Centro de
Desenvolvimento de Educação Médica da Faculdade de
Medicina da Universidade de São Paulo, sede do congresso
em 2010.
MÉTODO
O sistema foi desenvolvido na linguagem ASP (Active
Server Pages) com recursos em Javascript e um banco de dados
Access Microsoft ® hospedados em um servidor web
baseado no sistema operacional Windows. A lógica de
programação com utilização de banco de dados é
semelhante em outras tecnologias. Não havendo nada em
contrário, por uma questão operacional, a escolha pela
linguagem ASP foi baseada no conhecimento prévio do
desenvolvedor. O processamento destas páginas dinâmicas
exige um servidor de hospedagem em sistema Windows o
que justifica a escolha do tipo do banco de dados.
Para o layout, houve preocupação na criação de páginas
com visual bem claro, sem excesso de informação,
procedimentos rápidos e fáceis num sistema intuitivo, autoexplicativo para uma pessoa de média habilidade em
informática(10).
119
Funcionamento do CPEM 2010: O portal do CPEM
2010 foi criado para a divulgação de eventos, inscrições
nas atividades; submissão e avaliações de resumos. Todo o
processo foi automatizado e personalizado (Quadro 1).
Quadro 1 - Fluxograma do completo do sistema criado
para o CPEM 2010
O site foi disponibilizado ao público em Fev/2010 no
endereço: http://www.cpem2010.com.br e após o
encerramento do evento foi migrado e está hospedado no
endereço: http://www.fm.usp.br/cedem/cpem2010.
Cadastro: A entrada à área restrita do site só era permitida
após o preenchimento e verificação do login e senha
cadastrado pelo próprio usuário a partir do seu e-mail pessoal.
A senha podia ser recuperada, em caso de esquecimento,
por meio de botão específico, no e-mail cadastrado. As
páginas contaram com uma sessão de segurança, expirando
se não fossem satisfeitos os critérios de segurança.
As categorias de usuários eram: Autor, Revisor, Revisor
de Desempate e Administrador. A categoria de revisor
poderia também ter acesso ao menu de autor no caso de
enviar um trabalho ao congresso. A categoria de revisor de
desempate teve acesso adicional ao menu de revisor. No
menu do autor estavam disponíveis as seguintes opções:
atualização do cadastro, troca de login e/ou senha, impressão
do boleto bancário para pagamento da inscrição e submissão
de trabalhos para apresentação no congresso.
Submissão de resumos: O fluxograma do sistema de
submissão e avaliação de resumos está apresentado no
Quadro 2.
O autor poderia editar seu trabalho com limite
estabelecido em 4000 caracteres (título, autores, introdução,
objetivos, metodologia, resultados, conclusões) por etapas
e por quantos acessos fossem necessários até decidir pela
submissão para avaliação, clicando no botão “Encerrar
Edição”. De maneira automática e imediatamente à
www.jhi-sbis.saude.ws
120
submissão, dois revisores, especialistas na mesma área do
trabalho, eram escolhidos aleatoriamente pelo sistema, de
acordo com o número de avaliações efetuadas e eram
avisados por mensagem eletrônica.
Avaliação dos Resumos: O revisor verificava os
protocolos a serem avaliados na página principal do seu
acesso restrito. O nome dos autores dos trabalhos era
mantido em sigilo para o revisor que efetuava sua
avaliação por meio de formulário com itens estabelecidos
pela organização do congresso:
Conflito de interesse: sim ou não. Se escolhido “sim”,
o sistema automaticamente escolhia e avisava por e-mail
outro revisor da mesma área do trabalho.
Pertinência ao Tema: sim ou não. Se escolhido “não”,
o trabalho era rejeitado.
Critérios Gerais (peso 2): Coerência (0 a 10) e Redação
(0 a 10).
Critérios Específicos (peso 8): Relevância frente ao
tema escolhido (0 a 10); Caráter inovador (0 a 10);
Resultados (0 a 10) e Aplicabilidade (0 a 10).
As notas foram utilizadas para classificação dos
trabalhos. A pontuação foi calculada pelo sistema e
gravada no banco de dados. Quando o segundo revisor
terminava sua avaliação, o sistema fazia o julgamento
eletrônico verificando se as avaliações eram iguais
(pertinência). A média da nota obtida era calculada e
gravada como resultado final.
No caso de avaliações discordantes, o sistema avisava
o revisor de desempate por e-mail para avaliar este
protocolo. Após a avaliação do revisor de desempate, o
J. Health Inform. 2011 Julho-Setembro; 3(3): 118-22
sistema aceitava a avaliação final, gravava a média da nota
obtida e o autor era notificado por e-mail sobre a
aprovação ou não do seu trabalho.
Acompanhamento do Processo: Foi criado um
ambiente para acompanhamento, pelo administrador, do
fluxo de trabalhos, da quantidade de avaliações efetuadas
e, quando necessário, para acionar a ferramenta de aviso,
por e-mail, para os revisores com avaliações próximas
do encerramento do prazo ou em atraso.
No menu administrativo foram criados itens para a
definição dos parâmetros estabelecidos pela organização
do congresso tais como: quantidade de temas por revisor;
quantidade de resumos por revisor, entre outros. Para
auxiliar o gerenciamento do sistema diversos relatórios
eram gerados, conforme a demanda da organização do
congresso: mailing list dos autores e revisores; listagem dos
revisores por tema; listagem dos revisores por protocolo;
entre outros .
Após o encerramento do congresso todos os
participantes receberam por e-mail, um link para
preenchimento de um formulário online, solicitando sua
opinião sobre a utilização do sistema.
RESULTADOS
O portal teve 9644 acessos à sua página inicial desde
22/01/2010 quando as informações estáticas de livre
acesso (programação, comissões, organização, etc.) foram
introduzidas (informação obtida em 18/05/2010 às 14:15
horas). Houve 804 acessos ao sistema pelos revisores e
4669 pelos autores desde 23/01/2010.
O número total de usuários cadastrados no sistema
Quadro 2 - Sistema de submissão e avaliação de resumos do CPEM 2010
www.jhi-sbis.saude.ws
121
Abensur SI, Rios IC, Pose RA, Danila AH, Vieira JE.
foi de 1268. Destes, 807 foram autores ou co-autores de
trabalho. Cada autor enviou de 1 a 8 trabalhos com uma
média de 1,5 trabalhos por autor. A média de autores
por trabalho foi de 5,4 (mínimo de 1 e máximo de 15).
O total de resumos do congresso foi de 224, sendo 208
aprovados e 16 rejeitados. Após o encerramento da
submissão restaram ainda 22 trabalhos incompletos ou
em branco que não foram submetidos ao sistema.
O total de 474 avaliações foi efetuado por um conjunto
de 34 revisores (7 a 19 avaliações; média de 13,9 avaliações
por revisor). Foram necessários 31 remanejamentos de
avaliações (9 por conflito de interesse e 22 por falta de
disponibilidade dos revisores). Em 26 avaliações foi
necessária a convocação automática de um terceiro revisor
devido à discordância entre os pares para avaliação de
desempate.
Ao final do congresso, o sistema foi avaliado por meio
eletrônico por 138 dos 688 dos participantes cadastrados
(20%). Os respondentes pertencem a 52 instituições, com
maior representatividade nos Estados de São Paulo (94)
e Rio de Janeiro (12). O perfil dos respondentes foi: 20 a
25 anos (41,3%) seguidos por 12,3% da faixa de menores
de 20 anos sendo 58,7% do sexo feminino. A maioria
dos respondentes (83,3%) considerou o sistema de
submissão online dos resumos amigável; 76,8% não tiveram
dificuldades para entender e utilizar o sistema com
limitação de caracteres no preenchimento dos resumos.
O Anexo 1 apresenta a distribuição de outros aspectos
investigados na avaliação online.
DISCUSSÃO
Para diminuir o custo da utilização de um sistema
comercial de divulgação e gerenciamento de eventos foi
construído um instrumento que permitiu agilidade ao
processo de submissão além do acompanhamento da
tramitação do resumo pelos revisores e autores.
As principais necessidades que o sistema deveria suprir
eram: divulgação das informações sobre inscrições para
o evento, submissão online de resumos, bem como
informar aos inscritos sobre o status do seu trabalho. O
sistema também deveria disponibilizar ao administrador
e organizadores relatórios sobre o andamento de todos
os processos. Deveria também permitir o controle dos
pagamentos já que a apresentação dos trabalhos estava
condicionada ao pagamento da inscrição de um autor.
O sistema demonstrou ser uma proposta viável e bem
sucedida que facilitou a atividade de submissão e avaliação
de resumos, não necessitando de um gerenciamento
dedicado, além disso, proporcionou baixo custo e rápido
retorno de informações às comissões de organização.
Outra ferramenta adicionada ao sistema foi o
encaminhamento de pedido de avaliação de um revisor
impossibilitado para outro revisor da mesma área para
evitar atrasos no fluxo de avaliações. Um futuro
aperfeiçoamento para este problema poderá ser o
Anexo 1 - Resultados de alguns aspectos da avaliação online
Caracter ística
Categoria
Di scente
Docente
Residente
Profissional
Pesqui sador
Sexo
Feminino
Masculino
O sistema para avaliar os resumos do congresso foi fácil de ser utilizado?
Sim
Não
Não utilizei
Em branco
Tempo de resposta para dúvidas e dificuldade
Muito insatisfeito
Insatisfeito
Indiferente
Satisfeito
Muito satisfeito
Não quer ou não pode responder
Em branco
Avaliação geral do site e do sistema online
Muito insatisfeito
Insatisfeito
Indiferente
Satisfeito
Muito satisfeito
Não quer ou não pode responder
Em branco
Quantidade
Absoluta Percentagem
81
50
0
4
3
58,7
36,2
0,0
2,9
2,2
81
57
58,7
41,3
53
4
71
10
38,4
2,9
51,4
7,2
7
8
9
59
26
16
13
5,1
5,8
6,5
42,8
18,8
11,6
9,4
8
4
7
83
23
3
10
5,8
2,9
5,1
60,1
16,7
2,2
7,2
www.jhi-sbis.saude.ws
122
J. Health Inform. 2011 Julho-Setembro; 3(3): 118-22
bloqueio e desbloqueio da chegada de resumos pelo
próprio revisor sem a atuação do administrador.
A plataforma para autores e revisores demonstrou
facilidade de uso e simplicidade, tornando desnecessária
a utilização de qualquer tipo de treinamento e orientação,
o que às vezes pode dificultar a adoção de um sistema de
gestão(11).
A concentração de envios de resumos nos últimos dias,
bem como nos momentos vespertino e noturno, não
sofreu limitações pelo sistema, mas é necessário atentar
para esta característica de sazonalidade. Em ambas as datas
limites houve concentrações e não seria estranho
ocorrerem tais características em eventos semelhantes.
A avaliação de resumos costuma ser questionada
quanto ao caráter subjetivo do olhar do revisor que
dificultaria a neutralidade e homogeneidade desejável em
um processo de seleção de resumos. A definição de
critérios de avaliação qualitativos com uma escala
quantitativa de valoração diminui, mas não elimina tal
problema. O recurso de submeter cada resumo a dois
revisores e, quando no caso de receber pareceres muito
discordantes, ser direcionado para uma revisão de
desempate, permite uma avaliação mais justa, mas reforça
a importância do problema. As muitas discrepâncias
observadas entre pareceres que foram para desempate
afirmam a utilidade de um sistema que, como este, busca
minimizar as grandes diferenças de interpretação, mas
também mostram a necessidade de construção de
consenso prévio entre os revisores sobre as possibilidades
interpretativas de cada critério de avaliação para relativizar
o peso da subjetividade do revisor.
Pode-se considerar este sistema inteligente e
autossuficiente, já que resolveu boa parte de todas as
situações com a integração automatizada de todas as
atividades: a partir da entrada de um novo resumo, cada
operação disparou a etapa seguinte de revisão,
minimizando o tempo de espera entre as atividades, e o
número de pessoas envolvidas. Funcionou como um
sistema workflow que propicia suporte a um grupo de
participantes que trabalham em conjunto para atingir um
objetivo comum (12). Outra vantagem do workflow é
eliminação, em parte, da necessidade do papel pela
manipulação eletrônica de documentos.
A flexibilidade do sistema permite à coordenação do
evento definir e revisar alguns parâmetros, tais como: data
limite de submissão, número de caracteres para os resumos,
quantidade de temas por revisor, quantidade de revisores
por resumos e tempo de resposta para o resumo. Esses me
parecem pontos críticos das submissões online, que procuram
facilitar e agilizar as decisões tanto dos participantes como
dos organizadores de reuniões científicas. O sistema auxiliou
também no controle financeiro do evento e na distribuição
de alojamentos para os estudantes participantes do congresso
pela ordem de inscrição.
O arquivamento no sistema favoreceu a recuperação
das informações e diminuiu a quantidade de papel utilizado
durante o processo. A listagem de todos os resumos dos
trabalhos de maneira organizada, disponível logo após o
encerramento do período de revisão, estava pronta para
a publicação nos anais do congresso cumprindo o
objetivo de divulgar os trabalhos aprovados e premiar
os melhores trabalhos.
CONCLUSÃO
A construção do sistema de inscrição e submissão
representou avanço por propiciar o gerenciamento do
processo de revisão de trabalhos com baixo custo e com
eficiência podendo ser utilizada em outros eventos. As
informações sobre o Congresso Paulista puderam ser
apresentadas rapidamente de acordo com as solicitações
da organização do evento.
REFERÊNCIAS
1.
2.
3.
4.
5.
6.
7.
Cianconi R. Banco de Dados de acesso público. Ci.
Inf.1987;16(1):53-9.
Poblacion DA, Noronha DP. Produção das literaturas
“branca” e “cinzenta” pelos docentes/doutores dos
programas de pós-graduação em ciência da informação no
Brasil. Ci. Inf.2002;31(2):98-106 [citado 2010 jun 16].
Disponível em: http://www.scielo.br/pdf/ci/v31n2/
12913.pdf
Luzi D. E-print archives: a new communication pattern for
grey literature. Interlending & Document Supply.
1998;26(3):130-9.
Sierra MJ, Arantes LF, Ribeiro RA, Caramori CA, Zornoff
DCM. Sistema on-line para avaliação de resumos submetidos
a congresso médico. [citado 2006 out 16]. Disponível em:
http://ww.sbis.org.br/cbis/arquivos/975.pdf
Marcondes CH, Sayão LF. Documentos digitais e novas
formas de cooperação entre sistemas de informação em C&T.
Ci. Inf. 2002;31(3):42-54.
Rowe BH, Strome TL, Spooner C, Blitz S, Grafstein E,
Worster A. Reviewer agreement trends from four years of
electronic submissions of conference abstract. BMC Med
Res Methodol. 2006; 6(14). [citado 2006 mar 19]. Disponível
em: http://www.bimedcentral.com/1471-2288/6/14
Schmidt AH, Vicentini CF, Vieira PP, Santos RCM, Charão
AS. Desenvolvimento de sistema de apoio à gestão de evento
de programa de educação tutorial. In: Anais do XXII
Congresso Regional de Iniciação Científica e tecnológica em
Engenharia (CRICTE). 2007 set. 29 – out 1; Passo Fundo,
Rio Grande do Sul: UPF; 2007.
8. Ferrari PG, Moraes ER. INIC on-line: sistema on-line de
Avaliações – INI e EPG. In: Anais do IX Encontro Latino
Americano de Iniciação Científica e V Encontro Latino
Americano de Pós-Graduação – Universidade do Vale do
Paraíba. 2005 [citado 2010 jun 16]. Disponível em: http://
www.inicepg.univap.br/cd/INIC_2005/inic/IC1%20anais/
IC1-4.pdf
9. Banon LC, Banon GJF. Ferramentas on-line associadas a
uma biblioteca digital para publicação em eventos: Projeto
XII SBSR. In: Anais do 3º Simpósio Internacional de
Bibliotecas Digitais. [citado 2005 set 23]. Disponível em:
http://mtc-18.sid.inpe.br/col/sid.inpe.br/ePrint@80/
2005/10.05.21.15/doc/v2.pdf
10. Krug S. Don’t make me think! A common sense approach
to web usability. 2nd. Ed. Berkeley: New Riders; 2006.
11. Romani LAS, Marin FR, Silva OAT. e-Publick – Um sistema
para publicação eletrônica de revistas. Comunicado Técnico.
79. Empresa Brasileira de Pesquisa Agropecuária
(EMBRAPA). [citado 2007 abr 16]; Disponível em: http://
www.cnptia.embrapa.br/files/ct79.pdf
12. Barbiero E, Gonzalez M, Ruiz D. Workflow para a
construção de acervo digital via web. In: Anais da International
Conference on Engineering and Computer Education; 2000
ago 27-30; São Paulo. Disponível em: http://
www.inf.pucrs.br/~gonzalez/docs/artigoicece.pdf
www.jhi-sbis.saude.ws