RELATÓRIO DE STATUS DE EXECUÇÃO (RSE) TEMA: TRANSPARÊNCIA EM CIÊNCIA: NOVOS MECANISMOS DE AVALIAÇÃO PARA O AVANÇO DA CIÊNCIA ABERTA   RESUMO DO COMPROMISSO DATA DO RELATÓRIO COMPROMISSO PREPARADO POR 10 de agosto de 2022 Compromisso 8 - Construir uma proposta de modelo de avaliação que fomente a Ciência Aberta Priscila Sena ÓRGÃO RESPONSÁVEL E ENTIDADES PARTICIPANTES Órgão coordenador INSTITUTO BRASILEIRO DE INFORMAÇÃO EM CIÊNCIA E TECNOLOGIA (IBICT)   Atores Envolvidos Governo * Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict)   * Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) * Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)   * Empresa Brasileira de Pesquisa Agropecuária (Embrapa)   * Fundação Oswaldo Cruz (Fiocruz) * Ministério da Ciência, Tecnologia e Inovações (MCTIC) Sociedade Civil * Academia Brasileira de Ciências (ABC) * Associação Brasileira de Editores Científicos (ABEC)   * Conselho Nacional das Fundações Estaduais de Amparo à Pesquisa (CONFAP)   * Scientific Electronic Library Online (SciELO)   * Universidade Estadual Paulista (UNESP) * Universidade Federal de Alagoas (UFAL) * Universidade Federal de Lavras (UFLA) * Universidade Federal de Santa Catarina (UFSC) * Universidade Federal do Paraná (UFPR) * Universidade Federal do Rio de Janeiro (UFRJ) VISÃO GERAL DO MARCO / PRAZOS MARCOS % CONCLUSÃO DATA DE INÍCIO DATA DE FIM RESPONSÁVEIS DETALHAMENTO (detalhar o que foi realizado e, se necessário, apresentar justificativa para atrasos, com descrição dos próximos passos) INDICADORES DE CONCLUSÃO (links de comprovação das entregas) Marco 1 - Levantamento dos critérios nacionais e internacionais de avaliação de pesquisadores e instituições de pesquisa, com enfoque nas práticas de ciência aberta   100% Prevista: Dezembro de 2021 Realizada:  Dezembro de 2021 Prevista: Março de 2022 Realizada:  Março de 2022 IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI Realizou-se levantamentos bibliográfico e documental, chegando ao resultado até a presente data da seleção e análise de 94 documentos científicos e técnicos. Acessar comprovação aqui! Marco 2 - Proposição de critérios de Qualificação de Repositórios de Dados, de Repositórios de Publicações   75% Prevista: Dezembro de 2021  Realizada: Prevista: Maio de 2022  Setembro de 2022  Realizada: IBICT*, EMBRAPA, FIOCRUZ, CNPQ, SCIELO, ABEC Realizou-se: Levantamento dos materiais bibliográficos sobre o tema e critérios já levantados e aplicados sobre o ARCA Fiocruz (ISO-16363 e critérios Trustworthy Repositories Audit and Certification: Criteria and Checklist - TRAC / TRUST / FAIR para Repositórios de Dados). Análise sobre os diferentes tipos de usuários dos repositórios. Análises automáticas sobre metadados para obtenção de critérios de visibilidade / uso. Levantamento de critérios da Matrix RDA de critérios para repositórios de dados. Tradução dos critérios da Matrix RDA (Inglês para Português).. Encaminhamento: * Concluir planilha com critérios. * Elaborar um guia com as recomendações. * Ofertar oficinas. Acessar comprovação aqui! Marco 3 - Proposição de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa   40% Prevista: Dezembro de 2021  Realizada: Prevista: Outubro de 2022  Realizada: CONFAP*, CNPQ, MCTI e (CAPES?) Realizou-se: * Levantamento das diretrizes nacionais vigentes para concessão de fomento e desenvolvimento de projetos de pesquisa. * Levantamento das diretrizes internacionais para concessão de fomento e desenvolvimento de projetos de pesquisa. * Análise das diretrizes nacionais e internacionais para concessão de fomento e desenvolvimento de projetos de pesquisa, no que concerne aos pontos que impedem e favorecem o avanço da Ciência Aberta. Encaminhamento: Elaborar a proposta de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa que contemple as práticas de Ciência Aberta.* Acessar comprovação aqui! Marco 4 - Proposição de Indicadores de Métricas Alternativas (alt metrics) para medição de Impacto de Pesquisas Científicas   50% Prevista: Dezembro de 2021  Realizada: Prevista: Outubro de 2022  Realizada: IBICT*, ABEC, SCIELO, ABC, UFAL Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 5 - Proposição de Indicadores para a Ciência Cidadã   75% Prevista: Dezembro de 2021  Realizada: Prevista: Outubro de 2022  Realizada: Fiocruz*, IBICT Realizou-se: * 2 Reuniões do Marco; * Finalização do diagnóstico com levantamento de documentos e análise do material coletado; * Desenvolvimento de proposta de matriz de indicadores; * Organização de 2 eventos em julho no II Workshop da Rede Brasileira de Ciência Cidadã: * Mesa temática 3 – “Políticas para Ciência Cidadã: questões e desafios” – 06/07 das 13h às 16h; * Oficina "Indicadores de Avaliação e Apoio à Ciência Cidadã" – 05/07 das 9h30 às 12h30. Este evento será a 1ª etapa de validação de indicadores; * Início da organização de evento para 2ª etapa de validação de indicadores na Fiocruz Brasília em 30/08, das 14h às 17h. Será um evento presencial, com transmissão e interação virtual Encaminhamento: Sensibilização, discussão e apresentação do relatório final com os critérios propostos.* . Acessar comprovação aqui! Marco 6 - Proposta de qualificação das revistas científicas e critérios alternativos nas dimensões de ciência aberta para enriquecer a estratificação do Qualis   50% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: ABEC*, IBICT, SCIELO, CAPES Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 7 - Levantamento de percepções, e promoção da sensibilização sobre os produtos do compromisso   60% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP Questionário para levantamento de percepções sobre os mecanismos de avaliação da ciência elaborado e submetido à validação pelos parceiros do Compromisso 8; planilha de registro das ações de sensibilização/comunicação atualizada periodicamente. Acessar comprovação aqui! Marco 8 - Proposição de Indicadores para a avaliação que contemple a Ciência Aberta   50% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 9 - Implantação de observatório para o progresso de práticas de ciência aberta no Brasil   40% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO Realizou-se: * Reuniões semanais entre ABEC e SCIELO para estabelecer critérios de avaliação para o estabelecimento do observatório (Marco 9). Os marcos 4, 6, 8 e 9 estão sendo trabalhados de forma unificada devido a semelhança e complementariedade dos temas. Tendo o marco 9 como marco inicial para o desenvolvimento das atividades dos outros marcos. Acessar comprovações: Marco 8, Marco 9 e Marco 10. Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produção dos programas de pós-graduação   35% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: SCIELO*, ABEC, CAPES, (ANDIFES, FOPROP) Metodologia definida. Encaminhamento: Atingir o estabelecido para 50% até o final de junho. Acessar comprovação aqui! Marco 11 - Proposição de critérios de qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta   25% Prevista: Dezembro de 2021  Realizada: Prevista: Dezembro de 2022  Realizada: CAPES*, CNPQ, CONFAP Realizou-se: * Repasse de relatório solicitado pelo CTC. * Início da análise dos produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta. * Reunião com CNPQ e CONFAP. Encaminhamento: Atingir o estabelecido para 50% até o final de agosto. Acessar comprovação aqui! * Órgão/entidade responsável por coordenar a execução do marco OBSERVAÇÕES ADICIONAIS (descrever outras informações relevantes sobre a implementação do compromisso, como: os desafios enfrentados, intercorrências, estratégias para solucionar impasses, etc.). * Desafio enfrentado: promoção da integração e participação democrática de todas as pessoas envolvidas, principalmente as/os representantes de sociedades científicas. * Estratégia: sensibilização para a importância do compromisso e acompanhamento periódico dos envolvidos nos marcos do compromisso. * Anexo consta a planilha de gestão dos marcos do compromisso. * Para acompanhar o desenvolvimento do compromisso basta acessar a wiki criada com todas as informações dos processos de execução. Ver link! COMPROMISSO: CONSTRUIR UMA PROPOSTA DE MODELO DE AVALIAÇÃO QUE FOMENTE A CIÊNCIA ABERTA MARCOS RESPONSÁVEIS PRAZO INICIAL Resultados esperados em 25% Resultados esperados em 50% Resultados esperados em 75% Resultados esperados em 100% PRAZO FINAL Marco 1 - Levantamento dos critérios nacionais e internacionais de avaliação de pesquisadores e instituições de pesquisa, com enfoque nas práticas de ciência aberta IBICT*, ABEC, CNPQ, SCIELO, EMBRAPA, MCTI dez./21 jan./22 - Seleção de publicações científicas. fev./22 - Seleção de publicações técnicas. mar.2 - Categorização dos critérios nacionais e internacionais de avaliação. mar./22 - Entrega do relatório final do marco. mar./22 Marco 2 - Proposição de critérios de Qualificação de Repositórios de Dados, de Repositórios de Publicações IBICT*, EMBRAPA, FIOCRUZ, CNPQ, SCIELO, ABEC dez./21 mar./22 - Levantamento dos critérios de qualificação internacionais. abr./22 - Proposta de critérios para a avaliação de repositório de publicações. maio/22 - Proposta de critérios para a avaliação de repositório de dados. maio/22 - Entrega do relatório final do marco. mai./22 Marco 3 - Proposição de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa CONFAP*, CNPQ, MCTI e (CAPES?) dez./21 abr./22 - Levantamento das diretrizes nacionais vigentes para concessão de fomento e desenvolvimento de projetos de pesquisa. jun./22 - Levantamento das diretrizes internacionais para concessão de fomento e desenvolvimento de projetos de pesquisa. ago./22 - Análise das diretrizes nacionais e internacionais para concessão de fomento e desenvolvimento de projetos de pesquisa, no que concerne aos pontos que impedem e favorecem o avanço da Ciência Aberta. out./22 - Proposta de diretrizes para concessão de fomento e desenvolvimento de projetos de pesquisa que contemple as práticas de Ciência Aberta. out./22 Marco 4 - Proposição de Indicadores de Métricas Alternativas (altmetrics) para medição de Impacto de Pesquisas Científicas ABEC*, IBICT, SCIELO, ABC, UFAL dez./21 abr./22 - Análise do material coletado para elaboração de diagnóstico. jun./22 - Estabelecer uma proposta inicial com sugestões. ago./22 - Apresentação e discussão dos resultados com pesquisadores e todos os profisisonais envolvidos no processo editorial de publicações científicas. out./22 - Sensibilização, discussão e apresentação do relatório final com os critérios propostos. out./22 Marco 5 - Proposição de Indicadores para a Ciência Cidadã Fiocruz*, IBICT dez./21 abr./22 - Análise do material coletado para elaboração de diagnóstico. jun./22 - Redação de relatório parcial com a proposta de diretrizes e metodologia utilizada. ago./22 - Apresentação e discussão dos resultados com a comunidade de pesquisa e ação em ciência cidadã. out./22 - Sensibilização da comunidade de pesquisa e público em geral, e entrega da proposta de indicadores para a ciência cidadã. out./22 Marco 6 - Proposta de qualificação das revistas científicas e critérios alternativos nas dimensões de ciência aberta para enriquecer a estratificação do Qualis ABEC*, IBICT, SCIELO, CAPES dez./21 abr./22 - Análise do material coletado sobre o qualis Capes para elaboração de diagnóstico. jun./22 - Estabelecer uma proposta inicial com sugestões de critérios de ciência aberta na avaliação da produção da pós-graduação. ago./22 - Apresentação e discussão dos resultados com a comunidade de pesquisadores, editores e profissionais envolvidos no processo editorial. out./22 - Sensibilização e discussão com a comunidade relacionada, por meio de eventos. dez./22 - Entrega do relatório final Marco 7 – Levantamento de percepções, e promoção da sensibilização sobre os produtos do compromisso EMBRAPA *, FIOCRUZ, IBICT, ABEC, CNPQ, SCIELO, CONFAP dez./21 abr./22 - Definição de framework de percepções de sensibilização sobre os produtos do compromisso. jun./22 - 50% de preenchimento do framework de percepções de sensibilização sobre os produtos do compromisso. out./22 - 75% de preenchimento do framework de percepções de sensibilização sobre os produtos do compromisso. dez./22 - 100% de preenchimento do framework de percepções de sensibilização sobre os produtos do compromisso. dez./22 Marco 8 - Proposição de Indicadores para a avaliação que contemple a Ciência Aberta SCIELO*, MCTI, CNPQ, CONFAP, CAPES, IBICT, ABEC dez./21 31 mar./22 - documento proposta finalizado. 30 jun./22 – versão 1 do layout do portal Indicadores do Estado da Ciência Aberta no Brasil. 30 set./22 – versão final da lista de indicadores com as respectivas definições e especificação dos procedimentos de cálculos. 15 dez./2022 – disseminação da proposta de indicadores, com envios especiais para os sistemas nacionais de avaliação. dez./22 Marco 9 – Implantação de observatório para o progresso de práticas de ciência aberta no Brasil CNPQ*, IBICT, EMBRAPA, FIOCRUZ, MCTI, SCIELO dez./21 fev./22 - Apresentação de documento norteador. abr./22 - Definição da estrutura de apresentação do observatório. set./22 - Implementação do piloto do observatório. dez./22 - Estabelecimento da operação do repositório em rede. dez./22 Marco 10 - Estudo comparativo do impacto esperado vs. impacto observado na produção dos programas de pós-graduação SCIELO*, ABEC, CAPES, ANDIFES, FOPROP dez./21 31 mar./22 – metodologia do estudo definida. 30 jun./22 – metodologia testada com um programa piloto. 30 set./22 – estudo finalizado com documento compartilhado com os programas selecionados. 15 dez.22 – divulgação realizada por meio de webinário e blogs. dez./22 Marco 11 - Proposição de critérios de qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta CAPES*, CNPQ, CONFAP dez./21 abr./22 - Proposta de metodologia de estudo. jun./22 - Estabelecer uma proposta inicial com sugestões de possíveis alterações para a reavaliação da qualificação de produtos técnicos, tecnológicos e artísticos que favoreçam a Ciência Aberta. ago./22 - Apresentação e discussão dos resultados com a comunidade de pesquisadores, editores e profissionais envolvidos no processo. out./22 - Sensibilização e discussão com a comunidade relacionada, por meio de eventos. dez./22 - Entrega do relatório final Página2 Controladoria-Geral da União Parceria para Governo Aberto – OGP Controladoria-Geral da União Parceria para Governo Aberto – OGP