Metodologia de Construção

Para a construção do Plano Nacional de Segurança Pública e Defesa Social 2021-2030, optou-se pela abordagem criteriosa e metodologicamente estruturada para o enfrentamento dos diversos problemas ligados à segurança pública. Para tanto, lançou-se mão de dois recursos complementares: de um lado a lógica da análise ex ante e por outro, mas consolidando visualmente a primeira, a utilização de modelos lógicos de políticas.

Objetivos da Análise Ex Ante

A análise ex ante se refere à etapa prévia de construção de um plano ou política. Visa à formulação do desenho destas, conferindo maior racionalização no processo inicial de implantação e otimizando a aplicação dos recursos públicos. Orienta a decisão da alta gestão para que ela se dirija às alternativas mais efetivas, eficazes e eficientes.

A experiência em avaliação de políticas demonstra que dois dos aspectos mais difíceis são: primeiro, definir com clareza os objetivos e as metas; e segundo, detalhar o passo a passo para que os objetivos sejam transformados em produtos, os produtos conduzam a resultados e esses resultados, a médio e longo prazo, se consolidem em impactos positivos para sociedade.

O que é um modelo lógico?

O modelo lógico é um instrumento de construção de políticas públicas que apresenta de forma simples e visual quais são as propostas, os resultados e os impactos esperados. Via de regra, modelos lógicos podem ser utilizados como ferramentas para se proceder à avaliação ex ante de um projeto; melhorar a consistência de sua formulação inicial; o aperfeiçoamento das políticas públicas e o aprimoramento da alocação de recursos; bem como a eficiência dos gastos públicos e efetividade na prestação de serviços à sociedade. Em suma, um modelo lógico é um artefato metodologicamente estruturado, de forma a demonstrar como recursos e atividades geram produtos, resultados e seus respectivos impactos.

Trata-se de uma ferramenta de avaliação de políticas públicas que parte da identificação de macroproblemas, para os quais são identificadas suas respectivas causas e traçadas estratégias para eliminá-las, visando assim mitigar a ocorrência desse problema e gerar um impacto positivo para a sociedade.

Por que construir um modelo lógico?

No processo de revisão do Plano Nacional de Segurança Pública e Defesa Social, a aplicação do modelo lógico (ML) visou facilitar o planejamento e a comunicação de suas proposições aos envolvidos. Entretanto, para melhor compreensão do funcionamento do modelo lógico é preciso partir das seguintes premissas:

I. Registro das mudanças: o modelo lógico pode e deve ser revisado na medida em que o plano sofre alterações. Desta forma, diferentes versões do modelo lógico formam um registro das mudanças ao longo do tempo;

II. Comunicação: o ML permite comunicar de forma visual e clara a lógica subjacente que estrutura um plano para agentes envolvidos;

III. Monitoramento: ao explicitar a teoria do plano e as suposições, o ML ressalta os principais aspectos a serem monitorados pela equipe de implementação;

IV. Avaliação: o modelo lógico subsidia pesquisadores no desenho e na realização de avaliações, além de propiciar aos gestores mais clareza acerca das perguntas que querem ver respondidas.

Etapas do modelo lógico

No contexto da avaliação ex ante a caracterização da política (objetivos, ações, resultados esperados e impactos) deve ser precedida de diagnóstico dos problemas e análise das respectivas causas, bem como busca por referências e evidências correspondentes.

Os elementos de um modelo lógico se encadeiam conforme apresenta a Figura:

Esse encadeamento precisa ser estruturado numa conexão razoável, de modo que exista uma linha de continuidade lógica, como o nome do método indica, entre o problema que se quer atacar ,os insumos a serem utilizados, as atividades a serem executadas e os produtos elaborados, de modo a se alcançar os resultados e impactos esperados.

Apresentamos o canvas de um modelo lógico. Optamos por apresentá-la como forma, visualmente orientada, de expor cada um dos conceitos envolvidos em sua construção:

Problema, causa, consequência e evidência:

Na formulação da proposta, o primeiro passo é delimitar qual o problema que se busca mitigar ou resolver com a intervenção da política proposta. Pode parecer óbvio, porém, é preciso afirmar a necessidade de que os problemas devem iniciar o processo. Isto é, deve-se partir deles para a busca por soluções, e não o contrário, não se deve utilizar soluções prontas sem a prévia identificação clara do problema a ser enfrentado como política pública.

Como foram identificados os problemas

A primeira etapa para a construção de modelos lógicos aplicados ao PNSP se deu com a identificação dos problemas e suas respectivas causas, consequências e evidências relacionadas ao contexto da segurança pública no País. Neste sentido, foi utilizado um questionário eletrônico com os dez temas associados aos objetivos expressos na Política Nacional de Segurança Pública e Defesa Social e no Plano Nacional de

Segurança Pública e Defesa Social então vigente, a saber: 1) Letalidade violenta; 2) Crime organizado e corrupção; 3) Direito das pessoas; 4) Ordem pública, fiscalização e prevenção; 5) Sistema prisional;6) Cooperação e articulação; 7) Gestão da Informação; 8) Financiamento, modernização e inovação;9) Monitoramento, avaliação e controles; e 10) Valorização profissional.

Consolidação das informações

Entre os dias 7 e 17 de junho de 2019, por meio de questionário eletrônico, os representantes de vários órgãos do Ministério da Justiça e Segurança Pública fizeram apontamentos sobre os macroproblemas, respectivas causas e consequências relacionadas à segurança pública. Uma vez eliminadas as duplicidades, reunidas as evidências correlatas e destacados os problemas com potencial de serem solucionados ou mitigados, foi procedida a consolidação em lista final para a construção da árvore de problemas.

Árvore de Problemas

A “árvore de problemas” é um construto visual, cujo objetivo é tornar mais inteligíveis as relações entre problemas, suas causas e consequências. Ele compõe um “mapa mental”, um diagrama que situa, no plano central, o principal problema identificado. Outros problemas ou causas mapeadas para este nó central se irradiam, graficamente, a partir dele, conforme exemplifica a Figura ao lado. Um diagrama de árvore de problemas pode ser construído de maneira artesanal, à mão livre, em dinâmicas grupais. Entretanto, para este trabalho optou-se por sua construção em formato digital, por ser capaz de apresentar os resultados numa interface gráfica dinâmica, facilitando o mapeamento de relacionamentos hierárquicos e conexões em rede a partir dos dados coletados pelo questionário eletrônico.

Oficina de modelos lógicos

A partir do trabalho conjunto realizado pela Controladoria Geral da União (CGU) e o Ministério da Justiça e Segurança Pública (MJSP), foram identificadas oportunidades de melhoria e aprimoramento do Plano Nacional de Segurança Pública e Defesa Social então em vigor. Para o ataque a estas oportunidades de melhoria, foi elaborada e realizada uma Oficina de Modelos Lógicos, conduzida pela equipe de consultoria da CGU com o auxílio da Secretaria Executiva do MJSP. Entre as entregas esperadas da Oficina de Modelos Lógicos encontravam-se os seguintes aspectos: Relacionamento com os objetivos da PNSPDS e do PNSP; Destaque de problemas com potencial de serem solucionados pelos objetivos da PNSPDS e PNSP; Eliminação de duplicidades(com contagem de frequência) e aglutinação de problemas similares; Reescrita; Consolidação de uma lista final de problemas; Consolidação dos problemas com evidências de existência documentadas.

Do ponto de vista do método, o desenrolar da Oficina se deu da seguinte forma:

Participantes

Dadas as particularidades das diferentes frentes (e instituições) no campo da segurança pública e defesa social, participaram do processo de elaboração dos modelos lógicos colaboradores dessas diversas instituições, num total de “42 representantes de todas as Unidades entrevistadas durante o diagnóstico”, segundo relatório da equipe da CGU.

Subdivisão em grupos

Os colaboradores foram subdivididos em grupos mistos de cinco participantes em média e se distribuíram, conforme a proximidade de atuação profissional, entre cada um dos dez temas associados aos objetivos expressos na PNSPDS e no PNSP. Com este arranjo, iniciou-se o processo de análise dos problemas, sua avaliação e estruturação na forma de modelo lógico.

Validação dos Macroproblemas

Partindo das contribuições colhidas durante o período de consulta aos setores do MJSP, foi elaborada, além da árvore de problemas, uma “nuvem de palavras” (Figura ao lado). Outro recurso visual de fácil apreensão, a nuvem de palavras expõe, em relação diretamente proporcional ao tamanho e posicionamento, os termos mais citados pelos participantes e, portanto, por desdobramento, considerados mais importantes por eles, numa lógica de análise de conteúdo lexical63. Essa nuvem de palavras serviu como balizador para que os participantes da Oficina hierarquizassem os problemas quanto à sua magnitude percebida, gerando uma relação validada de macroproblemas.

Seleção de causas críticas para a construção dos Modelos Lógicos

A atividade desenvolvida a seguir pelos participantes foi a seleção das causas críticas. Diante do volume de causas apontadas na etapa de consulta, somente algumas (aquelas consideradas críticas) poderiam ser enfrentadas imediatamente como passíveis de serem descritas em modelos lógicos. Para a seleção, foram utilizados critérios como a relação real de efetividade entre causa e problema; a possibilidade concreta de enfrentamento por parte dos órgãos componentes do Susp; a identificação da causa nas evidências elencadas; a possibilidade de gestão adequada por parte dos atores envolvidos e a existência de projetos e programas com possibilidade de otimizar o combate à causa. Uma vez selecionadas pelos grupos menores, as causas críticas foram apresentadas aos demais participantes da oficina, em plenário, para que tivessem a sua pertinência confirmada ou não. Uma vez elencadas as causas a serem atacadas, passou-se à elaboração individual de cada um dos respectivos modelos lógicos.

Construção dos modelos lógicos propriamente ditos

Uma vez explicitados os problemas a serem atacados, identificadas as suas causas e selecionadas aquelas consideradas mais críticas, é dado o momento de se organizar todas as informações na forma de um modelo lógico, conforme apresentado na figura ao lado. O primeiro passo para tanto é a identificação do público-alvo do modelo. Esses elementos juntos (Problema, Causa, Evidências e Público-Alvo) permitiram a construção dos modelos em si, que seguiu o fluxo desenhado pela Assessoria Estratégica de Evidências do Ministério da Educação. Sendo assim, a etapa inicial foi a definição dos Impactos esperados do programa. Impactos estão diretamente relacionados ao Problema, sendo, portanto, metas de caráter macro, intencionalmente amplas (em abrangência e tempo) e com efeito sobre a maioria da população.

A seguir, foram listados os Resultados, definidos como: “conquistas intermediárias em relação ao impacto do problema, e geralmente [...] relacionados às causas implícitas.” Os Resultados são ganhos esperados, mas de menor monta (em termos de alcance e tempo) do que os Impactos, mas implicarão diretamente na obtenção destes.

Cada etapa de produção realizada nos pequenos grupos era seguida de uma etapa de validação coletiva. Essa medida permitiu que erros de compreensão, interpretação ou formulação fossem mitigados com facilidade.

Estabelecidas as metas da proposta (seus Impactos e Resultados) iniciou-se o processo de construção dos Produtos capazes de conduzir àquelas metas. Produtos são os meios pelos quais se atingirão os Resultados, portanto, cada um destes deve decorrer de um ou mais Produtos. Após a validação desta etapa, passou-se à elaboração das Atividades os processos/projetos que, combinando apropriadamente os recursos adequados (insumos), produzem bens e serviços (Produtos) com os quais se procura mitigar/solucionar as Causas do Problema (gerando Resultados). Uma vez definidas as Atividades, a elaboração dos modelos lógicos foi concluída, ao menos numa primeira formatação.

Esse método de construção do modelo lógico, aparentemente contra intuitivo por começar dos objetivos de maior expressão em direção às ações propriamente ditas, seguiu a forma apresentada pelo Guia do Ministério da Educação, e teve por vantagem principal facilitar o processo cognitivo, uma vez que estabelece as metas em primeiro lugar, como norteadoras, e permite então o planejamento de ações e produtos que permitam alcançá-las. Em paralelo, o modelo de ciclos de elaboração (produção das propostas nos grupos menores, temáticos, exposição ao grupo maior, adequação e retorno ao grupo menor), além da redução de erros, já apontada, também fez com queo processo produtivo fosse contínuo e sistematicamente revisitado, cada vez que um novo elemento era elencado. Ao final do processo, ainda que houvesse pequenos ajustes a serem realizados, o volume deles e a sua profundidade foi bem menor do que se obteria em processos com menos revisões sistemáticas.

Elaboração de Indicadores

Os Indicadores são dados que possibilitam desde acompanhar o andamento até medir o cumprimento dos objetivos de uma política. É relevante para os indicadores a fonte dos dados, a periodicidade de medição, a viabilidade, os responsáveis pela coleta, pelo monitoramento, pelas análises e pela interpretação dos dados.

Para tanto, a etapa final da Oficina de Modelos Lógicos foi listar os indicadores possíveis e disponíveis para os modelos construídos bem como, seguindo a regra geral do trabalho, a identificação das evidências de sua existência e pertinência. Cumprida esta última etapa, o resultado foi a produção de quarenta e um modelos lógicos, abarcando as dez áreas temáticas definidas durante a fase de consulta.

Dos modelos lógicos às Metas, aos Indicadores e às Ações Estratégicas

Uma vez compilados os modelos lógicos, passou-se à estruturação formal deles de modo que suas propostas pudessem compor o PNSP 2021-2030. Foi organizado pela Secretaria-Executiva do MJSP um grupo de trabalho multi-institucional, que de princípio dedicou-se a conferir todos os modelos e adequá-los conforme o planejamento de seus órgãos de origem. Os modelos foram fragmentados em planilhas inter-relacionadas, divididas por conteúdo (Atividades, Produtos, Resultados e Impactos). Durante grande parte do mês de outubro de 2019, esses documentos estiveram sob o escrutínio das unidades internas ao MJSP, até serem devidamente validados.

Com isso, pôde ser desenhado um conjunto de Ações Estratégicas: postulados propositivos como intuito de nortear, em sentido amplo, as ações dos integrantes do Susp, devidamente alinhadas com os objetivos estabelecidos pela PNSPDS.

Num primeiro momento foram produzidas trinta e quatro Ações Estratégicas, cada uma delas decorrente de um ou mais Modelos Lógicos e igualmente vinculadas, de maneira direta, a um ou mais objetivos da Política Nacional de Segurança Pública e Defesa Social. Posteriormente, após a minutado PNSP ser submetida a duas etapas de consulta pública, o número de Ações Estratégicas chegou a quarenta e cinco proposições que, em momento subsequente, foram aglutinadas nas atuais doze ações e suas respectivas alíneas, a fim de propiciar uma relação mais imediata com as políticas e os planos orçamentários já existentes. Em paralelo, foram construídas as metas do Plano em cinco grandes grupos temáticos: mortes violentas (inclusas as ocorridas no trânsito); proteção dos agentes de segurança pública e defesa social; crimes patrimoniais; metas prisionais; atividades de prevenção de desastres e acidentes. Para essa elaboração, observou-se a convergência necessária de alguns elementos: a pertinência da meta quanto aos objetivos da Política; sua universalidade entre os entes federativos; confiabilidade suficiente dos dados disponíveis para a elaboração de indicadores sobre os fenômenos (baixa subnotificação, continuidade das informações disponíveis e estrutura de coleta já consolidada); e sua exequibilidade dentro do horizonte do plano (estimada através da análise de séries históricas de registro). As metas foram submetidas também à validação das unidades, que possibilitou o melhor atendimento dos critérios estabelecidos.

Vencidas as etapas de validação sucessivas dos elementos constituintes da minuta do Plano, teve início o processo de redação do texto em si. Simultaneamente, foram desenvolvidas as estratégicas de governança e de avaliação de riscos do PNSP 2021-2030.

Os processos de consulta ampla da proposta

Tendo sido elaborado todo o texto da minuta de revisão do Plano Nacional de Segurança Pública e Defesa Social, já composto de todos os seus elementos (as Metas e seus indicadores, as Ações Estratégicas, o Modelo de Governança e o resultado da análise de riscos), este foi submetido a dois processos de consulta aberta.

O primeiro deles, ocorrido entre 31 de janeiro e 14 de fevereiro de 2020, destinou-se apenas às unidades subordinadas ao Ministério da Justiça e Segurança Pública, e foi utilizada a plataforma Sei para a sua execução.

Recebidas as contribuições dos órgãos do Ministério, estas foram sistematizadas e, quando necessário, desencadearam alterações no corpo do texto por parte dos membros do Grupo de Trabalho.

O processo seguinte se dirigiu à sociedade como um todo, uma verdadeira consulta pública sobre a proposta de revisão do PNSP. Para sua realização, foi utilizado um recurso chamado Wikilegis, da plataforma e-Democracia 67 do Congresso Nacional. Esse processo se estendeu entre os dias 14de julho a 28 de agosto de 2020. Paralelamente, também foram recebidas contribuições de outros órgãos do Executivo federal, como Ministérios e Secretarias, recebidas diretamente por ofício ou documento semelhante.

A plataforma e-Democracia permitia dois módulos de contribuição: um para o público em geral e outro para as instituições de segurança pública dos entes federativos. Independente de seu enquadramento, o participante da consulta poderia fazer quatro tipos de contribuições –comentários; proposta de adição; proposta de remoção; proposta de alteração.

Encerrada a Consulta Pública, as contribuições foram todas tabuladas e submetidas à análise do grupo de trabalho, que as classificou conforme geravam alteração no projeto. Foram três classificações possíveis: Pertinente, que impactava diretamente no texto e gerava alterações; Não pertinente, que não gerava mudança no texto. Na maioria dos casos, as contribuições assinaladas como “Não pertinente” traziam comentários e manifestações de anuência com o texto proposto; por fim, a terceira classificação possível era como Não pertinente, mas aproveitável na execução das políticas da Pasta. Nesta categoria foram inseridas as contribuições que, apesar de não provocarem alterações no texto, poderiam ser utilizadas na execução das políticas do MJSP. Um exemplo das contribuições desse tipo foram aquelas que apresentavam sugestões operacionais para o alcance de metas ou execução de Ações Estratégicas, medidas não implantáveis no âmbito do PNSP, mas relacionadas à gestão da segurança pública e defesa social em sentido amplo.

Essa análise foi submetida à validação pela coordenação do grupo de trabalho. Desse esforço surgiram as doze Ações Estratégicas apresentadas neste documento, contendo cada uma várias alíneas (não havendo, portanto, perda de conteúdo), propiciando uma relação mais imediata comas políticas e os planos orçamentários já existentes. Adicionou-se ainda um novo grupo de metas, ligadas à prevenção de perdas patrimoniais e de vidas. Também foram realizadas adequações no modelo de Governança e atualizações de artefatos cuja redação se alterara entre o primeiro esboço da revisão e o presente. Ao final dessas validações, o texto com os ajustes foi inserido no formato para publicação, qual seja, o documento que agora se apresenta.