Repensando a Avaliação: Seminário de avaliação da produção intelectual de programas de pós-graduação

Introdução
A Diretoria de Avaliação da CAPES está promovendo seminários temáticos ao longo do ano de 2018, contando com especialistas e com a comunidade acadêmica. Nesse segundo seminário, vamos discutir a avaliação da produção científica originada nos programas de pós-graduação, que contabilizou quase quatro milhões de produtos no último ciclo de avaliação (2013-2016)

O sistema de avaliação da pós-graduação é um processo que vem sendo construído desde 1976 e passa naturalmente por ciclos de aprimoramento constantes. Após o fim da Avaliação Quadrienal de 2017, as comissões de consultores ad hoc e o Conselho Técnico-Científico da Educação Superior fizeram uma série de recomendações para o aperfeiçoamento do sistema, tanto no que diz respeito aos processos quanto a estruturação da informação. A própria comissão que elabora e acompanha o Plano Nacional de Pós-Graduação solicitou a sociedades acadêmicas, científicas e empresariais que elaborassem documentos sugestivos para a avaliação. Com o propósito de contribuir com esta discussão, a Diretoria de Avaliação está realizando seminários temáticos ao longo do ano de 2018, contando com especialistas e a comunidade acadêmica.

O primeiro seminário temático foi realizado em maio de 2018 (colocar link para o site acima), tendo como objetivo discutir o tema de Sistemas de Informação que apoiam a avaliação e a pós-graduação em geral. Aderente a este tema, estavam as questões de interoperabilidade, uso de identificadores únicos, qualidade de dados e sistemas eletrônicos de Ciência, Tecnologia e Informação.

Para o segundo seminário, a discussão se dará em torno da avaliação da produção científica originada nos programas de pós-graduação. Com quase quatro milhões de produtos no último ciclo de avaliação (2013-2016), faz-se necessária a contínua evolução dos processos avaliativos adotados pelas comissões das diferentes áreas de avaliação, tanto para produtos bibliográficos quanto para técnicos e artísticos. Estão em curso alguns Grupos de Trabalho discutindo o Qualis, avaliação de produção técnica, livros e produtos artísticos eos representantes estarão presentes mostrando o trabalho já feito até o momento. Haverá também representante internacional para falar a respeito do estado da arte da avaliação de artigos científicos no âmbito mundial. Isso nos dará uma referência internacional que poderá nos auxiliar na definição de critérios mais objetivos para avaliar a larga quantidade de produtos gerados na pós-graduação.

Particpantes 
Sônia Nair Báo Diretora de Avaliação da CAPES
Possui graduação em Licenciatura em Ciências Biológicas pela Universidade Regional do Noroeste do Estado do Rio Grande do Sul (1982), mestrado em Biologia Celular e Estrutural pela Universidade Estadual de Campinas (1987) e doutorado em Ciências Biológicas (Biofísica) pela Universidade Federal do Rio de Janeiro (1992). Realizou pós-doutorado junto a Università degli Studi di Siena, UNISI, Itália (1994). Atualmente, é Professora Titular da Universidade de Brasília e bolsista produtividade em pesquisa do Conselho Nacional de Desenvolvimento Científico e Tecnológico. Exerceu a tutoria do PET/Biologia no período de 1995-2002; coordenação institucional de PIBIC de 1999-2002; coordenação de apoio à pesquisa do Decanto de Pesquisa e Pós-graduação de 2001-2005; vice-direção do Instituto de Ciências Biológicas de 2002-2006, e direção de 2006-2012; Vice-reitoria da UnB de 2012-2016. É membro do comitê da área interdisciplinar da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, desde 2005; e já foi membro do comitê da área de morfologia do Conselho Nacional de Desenvolvimento Científico e Tecnológico (2011-2016). Tem experiência na área de Morfologia, com ênfase em Biologia Estrutural, atuando principalmente nos seguintes temas: reprodução, interação patógeno-hospedeiro e nanobiotecnologia.

André Luiz Brasil Varandas Pinto
Mestre em Políticas Públicas e Desenvolvimento pelo Instituto de Pesquisa Econômica Aplicada (IPEA), tem formação superior em Marketing e em Letras (Português / Espanhol), além de especializações em Inteligência Estratégica e em Docência do Ensino Superior. Profissional com atuação nas áreas empresarial e pública, atualmente exerce o cargo de Assessor da Diretoria de Avaliação, da CAPES / MEC (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior).

Antônia Pereira Bezerra
Atriz e dramaturga, graduada em Licenciatura em Artes Cênicas pela Universidade Federal da Bahia (1992); Mestre (DEA) em Litterature Française pela Université de Toulouse II, Le Mirail (1994); Doutora em Lettres Modernes pela Université de Toulouse II, Le Mirail (1999) e Pós-Doutora em Dramaturgia pela Université du Québec à Montréal ? UQAM (2006). Coordenou o Programa de Pós-Graduação em Artes Cênicas (PPGAC/UFBA) por duas gestões consecutivas - biênios 2007/2009 e 2009/2011.Também foi segunda secretária eleita para o biênio 2000/2002 da Associação Brasileira de Pesquisa e Pós Graduação Em Artes Cênicas. Atualmente é professora Associada III da Universidade Federal da Bahia, integra os Grupos de Pesquisa DRAMATIS e GIPE-CIT e Coordenou a Área de Artes/Música na CAPES. Tem experiência na área de Teatro e Dramaturgia, com ênfase em Literatura Comparada, atuando principalmente nos seguintes temas: drama, ator, pesquisa em artes e criação.

Ed Noyons
Everard Christiaan Marie Noyons é pesquisador do Centro de Estudos de Ciência e Tecnologia (CWTS) da Universidade de Leiden, na Holanda. Em 1999, Ed recebeu seu PhD em Estudos Quantitativos da Ciência em uma tese de "mapeamento bibliométrico como ferramenta de gestão de pesquisa e política científica". Ele já publicou e é co-autor de vários artigos em revistas internacionais de revisão por pares, ministra palestras em conferências internacionais e tem participado do programa em várias conferências cientométricas. Atualmente, os principais interesses de pesquisa de Ed envolvem estruturas, mapeamento da ciência e seu uso na política de ciência e gestão de pesquisa, delineamento de campo e multidimensional, em particular o impacto social da ciência.

Edson Norberto Caceres
Possui graduação em Licenciatura Em Matemática pela Faculdade de Filosofia Ciências e Letras Min Tarso Dutra (1975), mestrado em Matemática pela Universidade de Brasília (1980) e doutorado em Engenharia de Sistemas e Computação pela Universidade Federal do Rio de Janeiro (1992). Atualmente é professor titular da Universidade Federal de Mato Grosso do Sul. Tem experiência na área de Ciência da Computação, com ênfase em Análise de Algoritmos e Complexidade de Computação, atuando principalmente nos seguintes temas: mpi, cuda, algoritmos paralelos, bsp/cgm algorithms, parallel algorithms e algoritmos bsp/cgm

Eduardo Winter
Eduardo Winter possui graduação em Química Industrial pela Pontifícia Universidade Católica do Paraná (2001), mestrado em Química pela Universidade Estadual de Campinas (2003) e doutorado em Ciências pela Universidade Estadual de Campinas (2007). Atua na área de pesquisa relacionada com a Propriedade Intelectual, Inovação e Desenvolvimento, com foco em Prospecção tecnológica, Indicadores de Ciência, Tecnologia e Inovação e relação Universidade Empresa. Atualmente é coordenador adjunto de mestrados profissionais da área de avaliação interdisciplinar da CAPES e professor do Mestrado Profissional e Doutorado em Propriedade Intelectual e Inovação

Eliane Pereira Zamith Brito
Possui graduação (1985) e mestrado (1993) em Administração pela Fundação Getulio Vargas - SP e doutorado (1997) pela Manchester Business School - Inglaterra. Atualmente é professora da Fundação Getulio Vargas - SP e faz parte do núcleo de docentes permanentes do Programa de Pós-graduação em Administração de Empresas desta instituição. Atuou na Universidade Presbiteriana Mackenzie como professora do PPGA da universidade por 10 anos. Entre 2004 e 2008 coordenou o referido Programa de Pós-Graduação. Tem experiência profissional em empresas multinacionais e nacionais de grande e pequeno porte. Ficou como Editora Científica do periódico Administração: Ensino e Pesquisa - RAEP, editado pela ANGRAD entre 2009 e 2011. Coordenadora da Área de Administração, Ciências Contábeis e Turismo da CAPES nos triênios 2011-2013 e 2014-2016. Seus principais interesses de pesquisa são redes sociais, cooperação, consumo e mercado.

Germana Maria Araújo Sales
Possui Graduação em Letras pela Universidade Estadual do Ceará - UECE (1989), Mestrado em Letras: Teoria Literária pela Universidade Federal do Pará - UFPA (1997) e Doutorado em Teoria e História Literária pela Universidade Estadual de Campinas - UNICAMP (2003). Atualmente é professora Associado da Faculdade de Letras, do Instituto de Letras e Comunicação (ILC), da Universidade do Federal do Pará, com atividade docente na Graduação e Pós-Graduação. Foi Presidente da Associação Brasileira de Literatura Comparada (ABRALIC, gestão 2014-2015) e atualmente exerce a função de Diretora de pesquisa, na Pró-Reitoria de Pesquisa e Pós-Graduação (PROPESP) da UFPA, desde março/2015; Presidente da Associação Brasileira de Professores de Literatura Portuguesa (ABRAPLIP). É membro do Conselho Deliberativo da Associação Brasileira de Literatura Comparada (ABRALIC), do Conselho da Agência de Inovação Tecnológica da Universidade Federal do Pará (UFPA) e do Conselho gestor do sistema integrado de gestão de atividades acadêmicas (SIGAA).

Odir Dellagostin
Odir Dellagostin é formado em Medicina Veterinária pela UFPel (1989), tem doutorado em Biologia Molecular pela University of Surrey - Inglaterra (1995) e pós-doutorado pela mesma Universidade (1997). É professor da UFPel desde 1997 e pesquisador nível 1A do CNPq desde 2007. Tem experiência na área de Biologia Molecular, atuando principalmente no desenvolvimento de vacinas recombinantes, especialmente contra leptospirose. Já publicou mais de 200 artigos científicos e realizou o depósito de 28 patentes. Orientou mais de 45 teses e dissertações pelos programas de pós-graduação em Biotecnologia e em Veterinária. Foi coordenador do Centro de Biotecnologia, Pró-Reitor de Pesquisa e Pós-Graduação da UFPel e Diretor do Centro de Desenvolvimento Tecnológico também da UFPel. Foi membro da Comissão Técnica Nacional de Biossegurança do MCTIC, coordenador do Comitê Assessor de Ciências Biológicas da FAPERGS e membro do Comitê Assessor de Veterinária do CNPq. Foi Coordenador da área de Biotecnologia da CAPES de 2014 a março de 2018. Atualmente é Diretor Presidente da FAPERGS.

Paulo Jorge Parreira dos Santos
Paulo Jorge Parreira dos Santos concluiu doutorado em Oceanografia em 1995 pela Université de Bordeaux I (França). Professor Titular do Departamento de Zoologia da Universidade Federal de Pernambuco, é atualmente o Diretor de Pesquisa da Instituição. Desde 2013 é o Coordenador da Área de Biodiversidade e desde 2015 é membro titular do CTC-ES da CAPES. Tem experiência nas áreas de Oceanografia, Zoologia e Ecologia, atuando principalmente nos seguintes temas: meio- e macrobentos, Copepoda Harpacticoida, ecologia de manguezais, de recifes e de praias arenosas, monitoramento ambiental e impactos antrópicos. Já concluiu a orientação de mais de 30 Dissertações e Teses de pós-graduação e mais de 15 Monografias de Conclusão de Curso de graduação. Atua como revisor ad-hoc de periódicos nacionais e internacionais e para diversos órgãos de fomento. Já publicou mais de 60 artigos em periódicos científicos indexados no ISI tendo sua citação alcançado fator H=12 na base do ISI e 13 na do Scopus. De 2009 até à presente data publicou mais de 40 artigos em periódicos indexados no ISI.

Roberto Carlos dos Santos Pacheco 
Roberto Carlos dos Santos Pacheco é doutor em Engenharia de Produção (UFSC, 1996) e professor do departamento de Engenharia do Conhecimento da UFSC. Participou da criação e, posteriormente, coordenou o Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento (EGC/UFSC). É pesquisador nas áreas de governo eletrônico, gestão estratégica de informação e engenharia e gestão do conhecimento. Coordenou diversos projetos nessas áreas, incluindo Plataforma Lattes (CNPq, 1997-2004), Rede ScienTI (internacionalização da Plataforma Lattes, que a levou a 11 países, 2001-2003), Portal Inovação (CGEE/MCTI, 2004-atual); Portal SINAES (INEP/MEC, 2005-2007), Plataforma Aquarius (CGEE/MCTI, 2011-2013), Portal de competências em vigilância sanitária (DC-VISA - Anvisa, 2007), Portal de competências em educação ambiental (DC-SIBEA - MMA, 2007) e Sistema de indicadores para as FAPs (SIFAPS - CONFAP, 2009-atual) e Universidade Corporativa Pública e em Rede (MAPA/ENAGRO, 2016-atual). É fundador e pesquisador no Instituto Stela, onde atua em projetos em colaboração com o EGC/UFSC. É membro de comissões técnico-científicas (incluindo CAPES, FAPESC, FAPEMIG, IEL, SBGC). Atualmente participa como pesquisador do Núcleo de Engenharia da Integração e Governança do Conhecimento - ENGIN/EGC/UFSC.

Vera Beatriz Cordeiro Siqueira
Doutora em História Social pela Universidade Federal do Rio de Janeiro (1999), possui mestrado em História Social da Cultura pela Pontifícia Universidade Católica do Rio de Janeiro (1993) e graduou-se em História pela Pontifícia Universidade Católica do Rio de Janeiro (1983). É professora associada e pró-cientista da Universidade do Estado do Rio de Janeiro, onde atuou como vice-diretora do Instituto de Artes, coordenadora do Programa de Pós-graduação em Artes e do curso de Bacharelado em História da Arte. É membro do conselho editorial da revista 19&20 (revista online). Suas pesquisas em História da Arte privilegiam as relações entre arte e processos de institucionalização, com ênfase em arte moderna e contemporânea, especialmente no Brasil. É autora dos livros Wanda Pimentel (Silvia Roesler/Prefeitura do Rio, 2012), Cálculo da Expressão: Goeldi, Segall, Iberê (Imprensa Oficial SP/Fundação Iberê Camargo, 2010), Iberê Camargo (Cosac Naify, 2009), Burle Marx (Cosac Naify, 2001 e 2ª edição em 2009) e Milton Dacosta (S. Roesler Edições de Arte, 2005), entre outros, além de vários artigos em livros e revistas. Co-organizou os livros História da Arte: ensaios contemporâneos (EdUerj, 2011), História da Arte: Escutas (Art-Uerj, 2011) e História da Arte: Conexões (EdUerj, 2014). Atuou como curadora de exposições na Fundação Iberê Camargo (Porto Alegre), Museu Lasar Segall (São Paulo), Museus Castro Maya e Paço Imperial (Rio de Janeiro). Foi Jovem Cientista do Nosso Estado (Faperj) entre 2008 e 2011. É pesquisadora do CNPq desde 2008. De setembro a dezembro de 2012 foi pesquisadora visitante, em nível de pós-doutoramento, no Getty Research Institute, em Los Angeles, EUA. Entre 2016 e 2017 realizou estágio pós-doutoral no Programa de Pós-graduação em História Social da PUC-Rio

Programação
Programação 21/8
8h30 – 9h00 Recepção e Credenciamento
9h00 – 9h30 Boas vindas e Abertura
Sônia Nair Báo (CAPES)
9h30 – 11h00 Panorama da avaliação da produção da pós-graduação e seus desafios
Debatedora: Sônia Nair Báo (CAPES)
Produção da Pós-Graduação - Um panorama geral da producão científica do último quadriênio
Palestrante: André Brasil (CAPES)
Área de Administração Pública e de Empresas, Ciências Contábeis e Turismo. Capes - Quadrienal 2017
Palestrante: Eliane Pereira Zamith Brito (FGV-SP)
11h00 – 11h30 Coffee break
11h30 – 13h00 O Qualis e outras alternativas de avaliação de periódicos
Debatedora: Talita Moreira de Oliveira (CAPES)
Qualis Periódicos: panorama e perspectivas de evolução
Palestrante: Paulo Jorge dos Santos (UFPE)
Output, journals, quality and impact –considerations from CWTS
Palestrante: Ed Noyons (CWTS – Universidade de Leiden)
13h00 – 14h30 Almoço (por conta dos participantes)
14h30 – 16h00 Avaliando a produção técnica e tecnológica da pós-graduação
Debatedor: Roberto Carlos dos Santos Pacheco (UFSC)
Os desafios para avaliar a produção técnica e tecnológica na área de Biotecnologia
Palestrante: Odir Antônio Dellagostin (UFPEL)
Produção Técnica/Tecnológica: da concepção a uma futura proposta de avaliação
Palestrante: Eduardo Winter (INPI)
16h30 – 18h00 Valorizando particularidades das áreas: Qualis Artístico e Classificação de Eventos
Debatedora: Vera Beatriz Cordeiro Siqueira (UERJ)
Qualis Artístico - Critérios Quadriênio 2013/2016
Palestrante: Antônia Pereira Bezerra (UFBA)
Relevância e Caminhos para a Classificação de Eventos Científicos
Palestrante: Edson Norberto Cáceres (UFMS)

Programação 22/8
8h30 – 9h00 Recepção
9h00 – 10h30 Classificação de livros e Repositórios Institucionais
Debatedor: Manoel Brod Siqueira (CAPES)
A produção relevante em livros e as possibilidades para sua avaliação
Palestrante: Germana Maria Araújo Sales (UFPA)
Repositórios de produção científica e seu potencial na avaliação
Palestrante: Roberto Carlos dos Santos Pacheco (UFSC)
10h30 – 11h00 Coffee break
11h00 – 11h45 Advanced indicators for research assessment from different perspectives
Palestrante: Ed Noyons (CWTS – Universidade de Leiden)
11h45 – 12h30 Sessão de encerramento e discussão
Ed Noyons (CWTS – Universidade de Leiden)
Eduardo Winter (INPI)
Germana Maria Araújo Sales (UFPA)
Paulo Jorge dos Santos (UFPE)
Vera Beatriz Cordeiro Siqueira (UERJ)
12h30 – 14h00 Almoço (por conta dos participantes)
14h00 – 18h00 Reunião ampliada dos Grupos de Trabalho sobre avaliação da produção intelectual dos programas de pós-graduação (reuniões abertas para todos os participantes do seminário)

GT do Qualis Periódicos
Coordenador: Paulo Jorge dos Santos (UFPE)
GT da Produção Técnica/Tecnológica
Coordenador: Eduardo Winter (INPI)
GT da Classificação de Livros
Coordenadora: Germana Maria Araújo Sales (UFPA)
GT do Qualis Artístico e Classificação de Eventos
Coordenadora: Vera Beatriz Cordeiro Siqueira (UERJ)
16h00 – 16h30 Coffee break
16h30 – 18h00 Continuação da reunião ampliada dos Grupos de Trabalho sobre avaliação da produção intelectual dos programas de pós-graduação (reuniões abertas para todos os participantes do seminário)

Apresentações
Apresentações 21/8/2018
Produção da Pós-Graduação - Um panorama geral da producão científica do último quadriênio André Brasil (CAPES) Download
Área de Administração Pública e de Empresas, Ciências Contábeis e Turismo. Capes - Quadrienal 2017 Eliane Zamith (FGV-SP) Download
Qualis Periódicos: panorama e perspectivas de evolução Paulo Jorge (UFPE) Download
Output, journals, quality and impact –considerations from CWTS Ed Noyons (CWTS – Universidade de Leiden) Download
Os desafios para avaliar a produção técnica e tecnológica na área de Biotecnologia Odir Dellagostin (UFPel) Download
Produção Técnica/Tecnológica: da concepção a uma futura proposta de avaliação Eduardo Winter (INPI) Download
Qualis Artístico - Critérios Quadriênio 2013/2016 Antônia Bezerra (UFBA) Download
Relevância e Caminhos para a Classificação de Eventos Científicos Edson Cáceres (UFMS) Download

Apresentações 22/8/2018
A produção relevante em livros e as possibilidades para sua avaliação Germana Sales (UFPA) Download
Repositórios de produção científica e seu potencial na avaliação Roberto C. S. Pacheco (UFSC) Download
Advanced indicators for research assessment from different perspectives Ed Noyons (CWTS – Universidade de Leiden) Download

Informações Gerais
Data 21 e 22 de agosto de 2018
Local Setor Bancário Norte, Quadra 2, Bloco L, Lote 6