Avaliao de peridicos cientficos e a base Qualis: um debate sobre produtividade

FRUM DE EDITORES CIENTFICOS UFRGS PORTO ALEGRE/RS 11/11/2010

Prof. Mara Baumgarten (PPGS/UFRGS e ICHI/FURG)

Colaborao: Ana Gabriela Clipes Ferreira (BSE/UFRGS)

Vanessa Souza Pereira (bolsista IC)

Avaliao de peridicos cientficos e a base Qualis

Debater a avaliao de peridicos cientficos, tratando especificamente da classificao Qualis e da questo da produtividade/produtivismo

Apresentar uma viso geral dos critrios de classificao do Qualis por rea e das tendncias por rea (participao de Ana Gabriela Ferreira); Apresentar alguns resultados de pesquisa sobre a percepo que editores de peridicos cientficos brasileiros das reas de Cincias Humanas e Cincias da Vida tm sobre o processo de classificao na base de dados QUALIS e suas alteraes recentes de metodologia (participao de Vanesa Souza Pereira); Debater algumas das questes ligadas perspectiva da produtividade/produtivismo presentes nos processos de avaliao/classificao dos peridicos

Avaliao de peridicos cientficos e a base Qualis

O QUALIS UM DOS INSTRUMENTOS DA AVALIAO DA PS-GRADUAO

Qualis , portanto, uma lista de veculos utilizados para a divulgao da produo intelectual dos programas de psgraduao stricto sensu no Brasil.

O que classificado e qualificado?

1) Os peridicos em que os docentes e discentes dos programas de ps-graduao publicam no trinio de avaliao da capes
2) Os livros em que os docentes e discentes dos programas de ps-graduao publicam no trinio de avaliao da capes 3) Outros meios de divulgao da produo...

Avaliao de peridicos cientficos e a base Qualis

base de dados QUALIS,

aplicativo externo ao Sistema de Avaliao dos Programas de Ps-graduao cujo objetivo original era permitir a composio de indicadores de qualidade da produo dos programas de psgraduao.

A base QUALIS composta por ttulos dos peridicos utilizados pelos programas de ps-graduao para a divulgao de sua produo docente e discente e tem como fonte primria de informao os relatrios dos programas enviados para a Capes. Essa base foi implantada em 1998, estando, desde ento, em processo de construo (Capes, 2003). A concepo da base Qualis vem passando por processos de re-organizao, acompanhando mudanas no processo de avaliao da ps-graduao, o que tem suscitado controvrsias nas diferentes reas.

Avaliao de peridicos cientficos e a base Qualis

Perspectiva histrica do Qualis peridicos: O objetivo do Qualis quando criado era: qualificar os peridicos cientficos utilizados no mbito dos programas de PG para diferenciar a sua produo . Estratificao 3 nveis de qualidade 9 estratos

A, B e C Nacional, Local

3 nveis de circulao: Internacional,

As reas estabelecem os critrios e instrumentos de avaliao dos peridicos em que seus docentes e discentes publicam

Avaliao de peridicos cientficos e a base Qualis

Alguns problemas colocaram-se:

Falta de diferenciao entre os nveis de circulao: internacional de estrangeiro Peridicos tinham pontuao diferenciada em diferentes reas Inexistia um parmetro de equivalncia entre artigo e captulo de livro ou outra forma de produo igualmente aceita. Em um segundo momento alguns princpios foram definidos:

1. respeitar os critrios das reas 2. submeter os critrios das reas aprovao do CTC 3. preservar o conceito de estratos e os percentuais institudos pelo CTC

Avaliao de peridicos cientficos e a base Qualis

Crticas histricas

critrios utilizados na classificao dos peridicos e ao problema da insero internacional e da relao peridicos nacionais versus internacionais. Os critrios vm sendo vistos como pouco claros, bastante subjetivos e com variao muito freqente, tanto no mbito de uma mesma rea (quando se alteram as comisses), quanto entre as reas. Insero internacional - as crticas dirigem-se importncia exagerada que estaria sendo atribuda publicao em peridicos internacionais, apontam a existncia de conflitos na interpretao do que artigo internacional e a necessidade de serem consideradas as condies especficas de cada rea (Souza e Paula, 2002; Capes, 2003).

Essas crticas ainda so vlidas e h, atualmente, novos problemas decorrentes dos novos critrios.

Avaliao de peridicos cientficos e a base Qualis O Qualis peridicos da segunda fase:

Estratificao: 7 estratos
A1, A2 = EXCELNCIA B1, B2, B3, B4, B5 INTERVALO ENTRE OS ESTRATOS A1= 100 B1= 70 B3= 40 B5 = 10 A2= 85 B2= 60 B4= 30

Os peridicos qualificados pelas reas nos estratos mais elevados A1 e A2 - no deveriam ultrapassar o percentual de 26% do total dos peridicos qualificados pela rea.

Avaliao de peridicos cientficos e a base Qualis Na segunda fase

estabelecido 1 artigo em peridico A1 como unidade de Referncia. A1= 100

A classificao dos livros segue os mesmos estratos do Qualis peridicos

Os critrios de classificao do QUALIS por rea (Trinio 2007-2009) esto disponveis no Web Qualis. As reas so 48, divididas em 9 grandes reas.

reas Qualis
Administrao, Cincias Contbeis e Turismo Antropologia / Arqueologia Arquitetura e Urbanismo Artes / Msica Astronomia / Fsica Biotecnologia Cincia da Computao Cincia de Alimentos Cincia Poltica e Relaes Internacionais Cincias Agrrias I Cincias Biolgicas I Cincias Biolgicas II Cincias Biolgicas III Cincias Sociais Aplicadas I Direito Ecologia e Meio Ambiente Economia Educao Educao Fsica Fsica Enfermagem Engenharias I

Engenharias II Engenharias III Engenharias IV Ensino de Cincias e Matemtica Farmcia Filosofia / Teologia: subcomisso Filosofia Filosofia /Teologia: subcomisso Teologia Geocincias Geografia Histria Interdisciplinar Letras / Lingustica Matemtica / Probabilidade e Estatstica Materiais Medicina I Medicina II Medicina III Medicina veterinria Odontologia Planejamento Urbano e Regional / Demografia Psicologia Qumica Sade coletiva Servio social Sociologia Zootecnia / recursos pesqueiros

CRITRIOS DE CLASSIFICAO DO QUALIS POR REA (TRINIO 2007 - 2009)*

Estrutura dos documentos de rea Identificao: rea de avaliao: Coordenador de rea: Coordenador-adjunto de rea Modalidade: (acadmica) I Consideraes gerais sobre o estgio atual da rea II Consideraes gerais sobre a ficha de avaliao para o Trinio 2007-2009 _________________________________________________________________ III Consideraes gerais sobre o Qualis peridicos, roteiro para a classificao de livros e os critrios da rea para a estratificao e uso dos mesmos na avaliao
_____________________________________________________________________________________________________________

IV Ficha de avaliao para o Trinio 2007-2009 Quesitos/Itens Peso Definies e comentrios sobre o quesito/item 1 Proposta do programa 2 Corpo Docente 3 Corpo discente, teses e dissertaes 4 Produo Intelectual 5 Insero social V Consideraes e definies para atribuio de notas 6 e 7 insero internacional
* Pesquisa executada por Ana Gabriela Clipes Ferreira

CRITRIOS DE CLASSIFICAO DO QUALIS POR REA (TRINIO 2007 - 2009)

Para a anlise da documentao as reas dos 48 documentos foram divididas em grandes reas do conhecimento, de acordo com a Tabela do CNPQ. Aps a classificao, foram analisados os critrios de avaliao de cada rea com a finalidade de observar como so atribudos os estratos.

Para observar a tendncias das reas, o item III do documento (de rea) foi levado em considerao. Cada rea exemplifica o que avalia, sendo que todos os documentos so nicos, com explicaes que elucidam o processo de avaliao.

CRITRIOS DE CLASSIFICAO DO QUALIS POR REA (TRINIO 2007 - 2009)

Cincias Agrrias

Cincias Biolgicas

Cincias da Sade

Cincias Exatas e da Terra

Cincias Agrrias I Cincia de Alimentos Medicina veterinria Zootecnia / recursos pesqueiros Biotecnologia Cincias Biolgicas I Cincias Biolgicas II Cincias Biolgicas III Ecologia e Meio Ambiente Educao Fsica Enfermagem Farmcia Medicina I Medicina II Medicina III Odontologia Sade coletiva Astronomia / Fsica Cincia da Computao Fsica Ensino de Cincias e Matemtica Geocincias Geografia Matemtica / Probabilidade e Estatstica Qumica

Antropologia / Arqueologia
Cincia Poltica e Relaes Internacionais Educao

Cincias Humanas

Filosofia / Teologia: subcomisso Filosofia

Filosofia /Teologia: subcomisso Teologia Histria Psicologia Sociologia

Administrao, Cincias Contbeis e Turismo Arquitetura e Urbanismo Cincias Sociais Aplicadas I Direito Economia Planejamento Urbano e Regional / Demografia Servio social Engenharias I Engenharias II Engenharias III Engenharias IV Artes / Msica Letras / Lingustica Interdisciplinar Materiais

Cincias Sociais Aplicadas

Engenharias

Lingstica, Letras e Artes outras

Nota: A rea de Materiais poderia estar classificada tanto nas exatas, como engenharias. Por esse motivo optou-se por categorizar interdisciplinar.

CRITRIOS DE CLASSIFICAO DO QUALIS POR REA (TRINIO 2007 - 2009)

TENDNCIAS DAS REAS: critrios predominantes

Cincias Agrrias: o uso do JCR/Fator de Impacto* presente em todas as reas. Indicase bases de dados especficas para cada rea, internacionais e nacionais (SCIELO) Cincias Biolgicas: predominantemente, o JCR utilizado nestas reas. Cincias da Sade: Predomina o fator de impacto medido pelo JCR. Alm disso, o ndice H** (Scopus) tambm utilizado. As bases especficas da rea, a MedLine, por exemplo, um fator importante para as Medicinas e Sade Coletiva. A circulao e o impacto so os princpios gerais. Cincias Exatas e da Terra: nesta rea, a cincia da computao d nfase e reconhecimento para artigos publicados em eventos. Fontes de dados mais relevantes para a rea so: ISI, Scopus, mediana dos trs ndices de impacto (JCR, H-index Scopus - HS, H-index Google Scholar - HG)ACM, IEEE, SpringerLink, InterScience e Scielo; ndices (fatores de impacto como, por exemplo, JCR e H-index). Nas demais reas, o fator de impacto predomina e na Qumica a nica medida utilizada.
Notas:
*O fator de impacto publicado anualmente no Journal Citation Reports (JCR). Mede o nmero mdio de citaes de artigos de uma determinada revista. ** ndice h o nmero de artigos publicados por um pesquisador que obtenham um total de citaes igual ou superior a h. possvel calcular atravs do Web of Science, Scopus e Google Acadmico

CRITRIOS DE CLASSIFICAO DO QUALIS POR REA (TRINIO 2007 - 2009)

TENDNCIAS DAS REAS: critrios predominantes

Cincias Humanas: nas cincias humanas, os documentos enfatizam a importncia da exogenia dos autores dos artigos. No utilizam fator de impacto. So recomendadas bases nacionais e internacionais em nmeros: se a revista possui, por exemplo, indexao em 3 bases das que esto na documentao, recebe um estrato, em quatro bases de dados, outro estrato. Em diversas reas, o documento prioriza a explicao e os mtodos utilizados para minimizar as discrepncias entre as disciplinas. Cincias Sociais Aplicadas: apesar da rea tambm utilizar o JCR (Administrao, Cincias Contbeis e Turismo; Economia que ainda utiliza o ranking de Barrett, Olia e Bailey), no o principal critrio. A avaliao feita de maneira qualitativa e quantitativa e leva em conta as avaliaes anteriores. As discrepncias entre as subreas tambm so relatadas. H indicao de determinadas bases de dados e tambm quantidade delas e de artigos com autores com diversidade institucional, ou seja, exogenia. H avaliao de porcentagem de autores-Doutores. Presena em bases de dados tipo ISI ou SCOPUS ou SCIELO possibilitam estratificao mais alta. Bases do tipo Latindex pontuam tambm, embora no de maneira to significativa.

CRITRIOS DE CLASSIFICAO DO QUALIS POR REA (TRINIO 2007 - 2009)

TENDNCIAS DAS REAS: critrios predominantes Engenharias: predomnio do JCR para a estratificao. Para as revistas no presentes no ISI, considera-se a circulao internacional. Scopus e Scielo tambm indicadas como as principais base de dados para pontuar. Alm disso, a Engenharia IV tambm leva em considerao base de dados como: INDEX-PSI, BIOSIS, CAB, ECONLIT, FSTA, GEOREF, MATHSCI, MLA, PHILOSOPHER, PSYCINFO, SPORT DISCUS, Pubmed, LILACS, Medline, AGRIS, IEEEXplore e INSPEC. Lingstica, Letras e Artes: as duas reas salientam que a sua avaliao qualitativa, no possui tradio em bases de dados ou fator de impacto. O nmero de artigos por edio e a exogenia so fatores importantes, alm da circulao eletrnica e impressa, com aquisies realizadas em especial por permuta. Interdisciplinar: apenas duas reas. A documentao da rea de materiais baseada no Engenharias II, ou seja, o JCR. A rea interdisciplinar tambm considera o JCR e a presena nas bases de dados BIOSIS, CAB, ECONLIT, FSTA, GEOREF, INDEX-PSI, LILACS, MATHSCI, MEDLINE, MLA, PHILOSOPHER, PSYCINFO, PUBMED e SPORT DISCUS. A presena no Portal da CAPES pontua positivamente.

Percepes de editores de peridicos sobre o processo de classificao Qualis

A pesquisa:

Foram enviados mais de 300 questionrios por e-mail a editores de peridicos de duas grandes reas: Cincias Humanas e Cincias da Vida; O questionrio encontra-se hospedado na plataforma Google Docs; Foram sugeridas 13 questes, sendo 8 objetivas e 5 dissertativas; Foram obtidas 32 respostas at agora; Alguns editores ficaram muito interessados e enviaram outros materiais (artigos de opinio e cientficos) sobre o tema.

Percepes de editores de peridicos sobre o processo de classificao Qualis

O questionrio

Nome do peridico Local de publicao Instituio Estrato no qual a revista encontra-se classificada Como voc avalia o modelo de classificao Qualis aplicado ao trinio 2007-2009? Com relao ao modelo de classificao aplicado no trinio anterior (2004-2006), voc considera o modelo atual: Como voc avalia os critrios do Qualis para mensurao da qualidade de produo cientfica, baseada em nmeros? Voc considera o atual modelo de classificao adequado para a sua rea? Por qu? Que benefcios voc observa quanto aos critrios do Qualis? Voc pensa que alguns critrios do Qualis precisam ser revisados e/ou reformulados? Quais? Por qu? Voc considera que alguns critrios do Qualis e de Fator de Impacto influenciam a produo individual dos pesquisadores? Por qu? Voc acredita que o Qualis prejudica as publicaes nacionais com relao s internacionais? Por qu? Que reformas voc aplicaria no modelo de classificao adotado pelo Qualis a fim de melhor avaliar as publicaes brasileiras?

Percepes de editores de peridicos sobre o processo de classificao Qualis

Alguns resultados

Estratos
Estratos

A1 B3

A2 B4

B1 B5

B2 No informou

Percepes de editores de peridicos sobre o processo de classificao Qualis

As trs questes seguintes versavam sobre aspectos objetivos da percepo sobre a avaliao Qualis:
5. Como voc avalia o modelo de classificao Qualis aplicado ao trinio 2007-2009?

16
Bom Regular Ruim

Percepes de editores de peridicos sobre o processo de classificao Qualis

6. Com relao ao modelo de classificao aplicado no trinio anterior (2004-2006), voc considera o modelo atual:

12

12

Melhor

Mesmo efeito

Pior

Percepes de editores de peridicos sobre o processo de classificao Qualis 7. Como voc avalia os critrios do Qualis para mensurao da qualidade de produo cientfica, baseada em nmeros?

12

20

Adequados

Inadequados

Critrios de mensurao (geral)

Comparao por estratos

Critrios de mensurao (B2, B3, B4, B5)
20

12

24%

Adequados

Inadequados

Critrios de mensurao (A1, A2, B1)

76% Adequada
46% 54%

Inadequada

Adequada

Inadequada

Percepes de editores de peridicos sobre o processo de classificao Qualis

Sinteticamente as respostas s demais questes indicam:

Vrios editores sinalizaram justificativas semelhantes para avaliaes contrrias, por exemplo, para alguns, inflar o currculo ponto positivo, para outros, ponto negativo.

O mesmo ocorre com o relato de que os critrios Qualis levam os pesquisadores a procurar publicaes de visibilidade internacional, podendo ser considerada uma boa motivao ou um aspecto negativo para o trabalho do pesquisador.

Percepes de editores de peridicos sobre o processo de classificao Qualis Reformulaes sugeridas

Observar fatores como regularidade e abrangncia da publicao, nmero de autores por trabalho, e incluso de critrios qualitativos;

Benefcios
Motiva esforo para melhoria e aprimoramento da qualidade dos peridicos; Estabelece ndices comparativos entre as revistas; Serve como base de registro de publicaes; D visibilidade aos peridicos considerados de boa qualidade.

Valorizar peridicos temticas especficas;

com

Atender especificidades de publicaes interdisciplinares; Melhorar a definio das notas de corte;

Avaliao Qualis

Problemas

Estabelecer uma instncia reguladora do processo de avaliao;

Repensar os critrios e ampliar o debate sobre avaliao de peridicos.

Critrios de indexao pouco claros; Ainda no serve como mecanismo de aferimento de qualidade e comparao entre as revistas; Desestmulo publicao em peridicos menores, recentes e/ou em desenvolvimento; Falhas de iseno na avaliao entre os pares; Parmetros no to adequados realidade brasileira.

Percepes de editores de peridicos sobre o processo de classificao Qualis

Influncias do modelo Qualis na produo dos pesquisadores

Positivas Motiva esforo para melhoria e aprimoramento da qualidade dos peridicos;

Negativas Peridicos bem qualificados costumam apresentar mais restries, desestimulando inovaes e pesquisas locais; Para a rea de Histria, avaliar o volume de um peridico em quantidade de artigos no to bom pois textos so fruto de rduo trabalho intelectual e de pesquisa e demoram muito para chegarem fase de publicao. Cincias Humanas, A1, SP.

Incentivo competitividade. Cincias Humanas, B3, PB. Permite a valorizao do esforo dos pesquisadores. Cincias Humanas, B1, PR. Melhora a qualidade dos resultados, artigos e consequentemente das revistas. Cincias da Vida, B4, PR.

Na busca por publicar em peridicos estrangeiros, algumas pesquisas que teriam forte importncia local no so feitas, pois no haveria interesse de public-las por parte das revistas de maior fator de impacto. Cincias da Vida, B5, RS.

Percepes de editores de peridicos sobre o processo de classificao Qualis

O Qualis , ainda, visto como um instrumento que:

Permite a valorizao do esforo dos perquisadores. Estimula a procura por melhores veculos de divulgao, estando sujeitos a um processo de avaliao mais rigoroso. Para melhorar sua avaliao e se seu programa, os autores buscam publicar em revistas melhor classificadas.

H uma loucura cada vez maior por publicar qualquer coisa em peridicos considerados A1 e A2.

REFERNCIAS BAUMGARTEN, M. Conhecimento e Sustentabilidade. Polticas de cincia, tecnologia e inovao no Brasil contemporneo. Porto Alegre. Ed. UFRGS, 2008.

BAUMGARTEN, M. FAGUNDES, R.; MACIEL, E. Avaliao dos Peridicos

Cientficos: avanos e controvrsias. Porto Alegre, UFRGS, 2009

WEB QUALIS. Documentos de rea: trinio 2007-2009. Disponvel em: <http://qualis.capes.gov.br/webqualis/ConsultaCriterio2008.faces>. Acesso em: 01 out. 2010.