SERVIÇO PÚBLICO FEDERAL
MSP - POLÍCIA FEDERAL
SERVIÇO DE SUPORTE TÉCNICO - SST/DINF/DTI/PF
NOTA TÉCNICA N° 8329183/2018-SST/DINF/DTI/PF
PROCESSO Nº 08206.300186/2016-75
Interessado: GRIAULE.
JOÃO PEDRO S. WEBER.
Caderno de Especificações ABIS - Nota Técnica nº 5899965-DTI /PF.
Processo Administrativo nº 08206.300186/2016-75.
E-mail Perguntas - Empresa Griaule Biometrics (SEI nº 6485810)
1. OBJETIVO
1.1. A presente Nota Técnica visa esclarecer os questionamentos apresentados pelo interessado, em relação às exigências e especificações contidas no Caderno de Especificações dos Requisitos Funcionais e Técnicos do ABIS - Nota Técnica nº 5899965-DTI/PF, e avaliar a conveniência da Administração em atender ou não a(s) sugestão(ões) de alteração(ões) da redação original, com o objetivo de manter ou incrementar, na seguinte ordem de priorização: a acurácia do sistema, a adequação das funcionalidades às atividades a serem desenvolvidas, a eficiência do sistema e ampliar o número de fornecedores possíveis.
2. QUESTIONAMENTOS E ANÁLISE
2.1. Conforme acordado na Audiência Pública nº 001/2018-DTI/PF, o interessado no certame, Sr. João Pedro S. Weber, representando a(s) empresa(s) GRIAULE, apresentou os seguintes questionamentos:
1. Item 3.1.10 - Acurácia
1. A Griaule se disponibiliza para a realização de uma POC prévia para demonstrar o atendimento aos índices de acurácia (TP/TP 99,8% - LT/TP 68%) propostos pela PF.
2.2. Considerando-se o diminuto lapso temporal entre o exaurimento dos recursos do AFIS em operação na PF e o prazo previsto para instalação do novo sistema, verifica-se inviável o procedimento de realização das Provas de Conceito (POC).
2.3. Na Audiência Pública nº 01/2018-DTI/PF, realizada no auditório da Diretoria Técnico-Científica (DITEC/PF), no dia 24/04/2018, a Polícia Federal comunicou às empresas participantes (AKIYAMA, BIOMÁTICA, IAFIS, IDEMIA, GEMALTO, GRIAULE, NEC, THOMAS GREG e VALID) que havia concluído o projeto do Teste de Precisão Relativa; que seus gabaritos não encontraram a imprescindível estabilidade no algoritmo testado; que as imagens que apresentaram variações em suas codificações não seriam substituídas e que as metodologias utilizadas não seriam alteradas. Isto posto, o projeto do Teste de Precisão Relativa fora cancelado.
2.4. Em virtude do cancelamento do Teste de Precisão Relativa, foi solicitado às empresas presentes na Audiência Pública que apresentassem metodologias competentes para aferição de acurácia de um sistema de identificação biométrica que contemplasse: papiloscopia e representação facial humana.
2.5. Em resposta à solicitação, a Polícia Federal recebeu, via e-mail, de duas das empresas participantes - NEC e IDEMIA - arquivos contendo sugestões acerca da aferição de acurácia de um sistema de identificação biométrica.
2.6. As duas sugestões continham características que foram avaliadas conforme apresentado a seguir:
2.6.1. Primeira sugestão – Empresa NEC:
2.6.1.1. Especificação de base de dados (ruído) de 500.000 decadactilares: práticas demonstram que para uma segura representação estatística das características da base de dados biométricos da PF, o volume da base de dados (ruído) deve ser superior a 1.500.000 decadactilares. Dessa forma, a característica é indesejável, porém, sanável.
2.6.1.2. Especificação de base de dados questionada em TP/TP de 100.000 decadactilares: em razão da política de segurança de dados e dos protocolos procedimentais, cada confronto TP/TP que faça parte de quaisquer mecanismos de teste de precisão biométrica deve ser, obrigatoriamente, submetido à análise de dois Papiloscopistas antes de compor o instrumento. O primeiro especialista a analisar o confronto TP/TP, fará em nível de verificação. O segundo em nível de validação. Este quantitativo de análise de confrontos, minimamente 200.000, torna a execução da tarefa inviável em razão do lapso temporal. Portanto, a característica é indesejável e insanável.
2.6.1.3. Pontuação de acurácia de latente: A metodologia proposta sugere a análise dos confrontos LT/TP até o candidato relacionado na ducentésima posição. Na prática, a avaliação da precisão em posições tão distantes mostra-se inócua sob o aspecto operacional. O sistema de atribuição de pontuação para as classificações nos confrontos LT/TP apresenta intervalos que podem distorcer a pontuação de sistemas menos precisos. Caso dois sistemas de identificação biométrica fossem submetidos à metodologia proposta seria possível observar: lançadas 100 pesquisas LT/TP, retornadas em primeiro lugar pelo sistema “A”, sua pontuação seria de 10.000; lançadas 100 pesquisas LT/TP, retornadas em décimo lugar pelo sistema “B”, sua pontuação também seria de 10.000. As distorções aumentam à medida que a classificação se aproxima da ducentésima. Essa característica é indesejável e insanável.
2.6.2. Ante o exposto, declina-se do conteúdo sugerido.
2.6.3. Segunda sugestão: - Empresa IDEMIA:
2.6.3.1. Propõe a adoção dos testes: ELFT-EFS e FpVTE: tratam-se de testes aplicados pelo National Institute of Standards & Technology (NIST), mundialmente reconhecido pela alta qualidade técnica e metodológica empregada em suas aferições. Sendo uma característica desejável.
2.6.3.2. Trata da impossibilidade dos fornecedores conhecerem os níveis de acurácia requeridos: considerando que as aferições dependem diretamente das condições operacionais dos testes, torna-se inviável que a PF determine e verifique todas as condições de funcionamento (por exemplo: taxas FRR – FALSE REJECT RATE e FAR - FALSE ACCEPT RATE), requeridas sem ter provado previamente os algoritmos dos participantes nas mesmas condições do teste. Trata-se de uma característica realista.
2.6.3.3. Dada a dificuldade de definição de parâmetro para aferição de acurácia LT/TP: o valor absoluto de acurácia LT/TP poderia variar, por exemplo, de 20% a 90%, considerando a qualidade do set test de latentes. Portanto, característica realista e indesejável.
2.6.4. Considerando-se: o cancelamento do projeto de Teste de Precisão Relativa desenvolvido pela PF; considerando-se que o mercado apresentou duas sugestões metodológicas para se aferir a acurácia; considerando-se que a primeira sugestão se mostrou operacionalmente inviável e tecnicamente inadequada aos requisitos da PF; e que a segunda sugestão, não obstante, não proponha a execução de um teste de acurácia, configura-se como a melhor das sugestões.
2.7. Acata-se, parcialmente, o conteúdo sugerido, passando os itens 3.1.10.1, 3.1.10.1.1 e 3.1.10.1.2 a vigorarem com as seguintes redações, respectivamente:
3.1.10.1. Resultados nos testes: Evaluation of Latent Fingerprint Technologies ¬Extended Feature Sets (ELFT-EFS) - Evaluation #2 - NISTIR 7859, realizados pelo National Institute of Standards and Technology (NIST) - https://www.nist.gov/node/583681, com as seguintes perfomances mínimas:
3.1.10.1.1. Para a Baseline-QA dataset, 418 latents — 100,000 rolled+plain 10-finger exemplar sets – soma dos resultados: LA (Image only), LB (Image+ROI), LC (Image +ROI +Quality map +Pattern class), LD (Image +ROI +Minutiae +Ridge counts), LE (Image +Full EFS (no Skeleton)), LF (Image +Full EFS with Skeleton) e LG (Minutiae +Ridge counts) superior a 300;
3.1.10.1.2. Para a Baseline dataset, 1066 latents — 100,000 rolled+plain 10-finger exemplar sets - soma dos resultados: LA(Image only), LE(Image +Full EFS (no Skeleton)) e LG (Minutiae +Ridge counts) superior a 150;
2. Item 6.1.15 - Licenciamento
1. Na audiência pública, a PF relatou o interesse por um modelo de licenciamento apenas por core de processamento do ABIS, com aplicações cliente ilimitadas. Sem limitação de tempo ou de número de cadastros na base.
2. A Griaule ressalta a importância e vantajosidade desse modelo para a PF, pois permite maior flexibilidade e evita o engessamento dos recursos de TI da PF. Gostaria de destacar que este modelo de licenciamento, inclusive, já é utilizado em diversos projetos de grande escala, como é o caso do Tribunal Superior Eleitoral e Polícia Civil do Distrito Federal. Desta forma, este modelo é eficaz e comprovadamente viável. Neste modelo as estações cliente são controladas pelo cliente em conjunto com o fornecedor. Com o aumento do número de estações cliente, existe uma redução natural da performance do servidor central, tornando necessária, dessa forma, o licenciamento de novos cores de processamento para manter a performance do sistema. Com isso, este modelo não gera qualquer brecha de segurança - existe controle das estações cliente; ou risco à empresa - o aumento do número estações cliente torna necessário o licenciamento de novos cores do servidor. Como citado acima, este modelo é comprovadamente viável e traz grande benefício à PF.
2.8. Esta manifestação do interessado sobre o modelo de licenciamento vai ao encontro do que a Administração almeja. O Acórdão 889/2007-TCU PLENÁRIO e seus monitoramentos posteriores já abordaram e criticaram o modelo de contratação em que estão agregados o licenciamento de software e hardware, bem como o engessamento da PF nas situações que são necessárias a expansão imediata da capacidade do sistema de identificação biométrica. No Acórdão foi determinado que a PF adotasse medidas para diminuir a dependência tecnológica do fornecedor da solução AFIS. Portanto, o Caderno de Especificações ABIS - Nota Técnica nº 5899965-DTI/PF reflete na sua construção o alinhamento com estas diretrizes emanadas no citado Acórdão e monitoramento posterior, Acórdão 2.166/2013-TCU PLENÁRIO.
2.9. Permite que a Gestão de TI decida quando e de que forma fará as futuras ampliações dos recursos computacionais, contribuindo para um planejamento mais abrangente dos recursos de TI, não se restringindo este exclusivamente a um único sistema e sim a uma visão macro de todos sistemas da PF. Dessa forma, o projeto de aquisição da uma solução ABIS não pode ser visto e calculado os custos por somente esta aquisição pretendida, e sim dentro de um contexto de integração com outros sistemas e recursos computacionais da Tecnologia da Informação da Polícia Federal.
3. CONCLUSÃO
3.1. Dado o exposto, os seguintes itens do Caderno de Especificações dos Requisitos Funcionais e Técnicos do ABIS serão alterados e acrescidos para a redação que segue:
3.1.10.1. Resultados nos testes: Evaluation of Latent Fingerprint Technologies ¬Extended Feature Sets (ELFT-EFS) - Evaluation #2 - NISTIR 7859, realizados pelo National Institute of Standards and Technology (NIST) - https://www.nist.gov/node/583681, com as seguintes perfomances mínimas:
3.1.10.1.1. Para a Baseline-QA dataset, 418 latents — 100,000 rolled+plain 10-finger exemplar sets – soma dos resultados: LA (Image only), LB (Image+ROI), LC (Image +ROI +Quality map +Pattern class), LD (Image +ROI +Minutiae +Ridge counts), LE (Image +Full EFS (no Skeleton)), LF(Image +Full EFS with Skeleton) e LG(Minutiae +Ridge counts) superior a 300;
3.1.10.1.2. Para a Baseline dataset, 1066 latents — 100,000 rolled+plain 10-finger exemplar sets - soma dos resultados: LA(Image only), LE(Image +Full EFS (no Skeleton)) e LG(Minutiae +Ridge counts) superior a 150.
3.2. Devidamente prestados os esclarecimentos e nada mais havendo a relatar encerra-se a presente Nota Técnica.
| Documento assinado eletronicamente por SERGIO RAMALHO REZENDE, Perito(a) Criminal Federal, em 20/09/2018, às 17:16, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015. |
| Documento assinado eletronicamente por CLAUBER FRANCO MIRANDA, Papiloscopista Policial Federal, em 24/09/2018, às 16:06, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015. |
| Documento assinado eletronicamente por ANDRE LUIZ DE ALMEIDA PORTO, Papiloscopista Policial Federal, em 24/09/2018, às 16:15, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015. |
| Documento assinado eletronicamente por ALESSANDRO ORTEGA AMARAL, Papiloscopista Policial Federal, em 25/09/2018, às 11:24, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015. |
| Documento assinado eletronicamente por EDUARDO ALEX PEIXOTO RUIZ, Perito(a) Criminal Federal, em 25/09/2018, às 17:32, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015. |
| Documento assinado eletronicamente por LUIZ CARLOS ALVES DE MORAIS, Agente Administrativo, em 26/09/2018, às 14:18, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015. |
| A autenticidade deste documento pode ser conferida no site http://sei.dpf.gov.br/sei/controlador_externo.php?acao=documento_conferir&id_orgao_acesso_externo=0, informando o código verificador 8329183 e o código CRC ECB0716D. |
Referência: Processo nº 08206.300186/2016-75 | SEI nº 8329183 |