1. O Modelo de Avaliação
O modelo de avaliação para analisar os resultados da política de segurança do Estado de Mato Grosso constitui-se de um painel de monitoramento e avaliação, a exemplo do modelo já desenvolvido para as áreas de educação e saúde. Isso significa que o modelo está organizado sob a forma de um conjunto de indicadores de resultados, selecionados com a finalidade de mensurar o desempenho das ações de segurança. As unidades avaliadas são regionais, formadas a partir do agrupamento de municípios do Estado.
Além da multiplicidade de dimensões abordadas, os indicadores foram tratados de modo a permitir uma estratégia conjugada de comparação, isto é, cada regional é comparada com as demais regionais do Estado no ano de interesse assim como é comparada com sua própria situação em um ponto anterior no tempo. Desta forma, a comparação externa entre unidades de observação (regiões) é combinada à comparação interna (evolução da região no tempo).
A comparação externa é feita com base em um indicador padronizado (na escala de 0 a 1) no ano de avaliação, de modo a comparar o resultado de uma dada regional relativamente às outras regionais. Assim, os índices devem ser lidos do seguinte modo: “no ano de 2010, a regional X, cujo valor é o mais alto (portanto, igual a 1) apresentou os piores resultados no indicador A”. Este índice, contudo, não reflete o esforço empreendido nesta regional em relação a um período anterior no tempo (t -1). Neste caso, é possível que um pior desempenho em relação às demais regionais esteja combinado com um melhor desempenho daquela unidade de observação em relação a si mesma em um momento anterior no tempo. Para observar esta dimensão de desempenho das regionais, o modelo de avaliação inclui o indicador padronizado para a variação de um dado indicador em cada regional em relação ao ano anterior, a fim de observar o desempenho temporal da unidade de observação. Esta dimensão verifica, portanto, se ocorreu piora, melhoria ou estabilidade de desempenho em um determinado indicador de uma regional entre dois períodos de tempo.
Em suma, a presente avaliação permite captar duas dimensões da comparação: (i) em relação às demais unidades de observação, posto que condições adequadas de segurança devem ser encontradas em todas as jurisdições, e (ii) em relação à situação anterior, de modo a captar o efeito do legado recebido pelos gestores da política e seu esforço para melhorar uma situação encontrada.
Os indicadores incluídos no painel podem ser interpretados tanto individualmente quanto em conjunto. Adicionalmente, o desempenho de cada regional pode ser avaliado pelo conjunto dos indicadores selecionados no painel, sintetizado em dois indicadores: o Índice de Vitimização e Criminalidade (para os resultados das regionais em 2010) e o Índice de Variação (2009-2010).
Desse modo, o painel funciona como um sistema de “alarme” ou de monitoramento da segurança nas regiões, pois é possível acompanhar mudanças (positivas ou negativas) nos níveis de cada um dos indicadores e nos índices gerais.
Para tanto, os indicadores de resultados foram convertidos em medidas comparáveis, apresentadas sob a forma numérica, como mostra a Figura 1, obtidas a partir da soma do total de indicadores padronizados (escala de 0 a 1).
Essa conversão dos valores originais em medidas comparáveis permite avaliar o desempenho de cada regional em cada indicador do painel(*1). O desempenho de cada regional pode ser analisado também pelo índice final, que consiste na soma aritmética dos valores obtidos pela regional em cada indicador, com posterior recálculo para a escala de 0 a 10, conforme indica a última coluna da Figura 1. Portanto, cada indicador tem o mesmo peso no modelo de avaliação.
A expectativa normativa do comportamento do Índice de Vitimização e Criminalidade é que este seja o mais baixo possível (na comparação com outras regionais). De maneira similar, espera-se um baixo valor para o Índice de Variação, ou seja, que o indicador bruto diminua de um ano para outro. Desse modo, tanto o Índice de Vitimização e Criminalidade como o Índice da Variação apresentam um sentido “negativo ou invertido” de leitura: quanto mais próximo de zero (0), melhor a situação da regional com relação à vitimização e criminalidade (ou com relação à variação); quanto mais próximo de dez (10), pior a situação. Similarmente, as componentes padronizadas para ambos os índices apresentam o mesmo sentido de leitura: quanto mais próximo de zero (0), melhor a situação da regional com relação ao indicador ou com relação à variação do indicador; quanto mais próximo de um (1), pior a situação.
Os indicadores compõem duas matrizes de sinalização dispostas conforme as seguintes dimensões: (i) dimensão Externa - desempenho da regional no ano de avaliação (nível do indicador padronizado no ano) e (ii) dimensão Interna - desempenho da regional em relação ao ano anterior (variação do indicador bruto).
O resultado dos valores obtidos para os indicadores padronizados no ano, em cada uma das dimensões, é classificado em cinco categorias, em uma escala de cor vermelha de crescente intensidade, a saber: (i) quando a presença do fenômeno na regional no ano for de até 0,2 no indicador padronizado, será considerado ”baixo” e, portanto, seu desempenho será “bom”, recebendo a cor menos intensa da escala; (ii) quando a presença do fenômeno for de mais de 0,2 a 0,4 no indicador padronizado, será considerado “médio baixo” e, assim, seu desempenho será “bom-regular”, recebendo uma cor mais intensa em relação à classificação anterior; (iii) quando a presença do fenômeno for de mais de 0,4 a 0,6 no indicador padronizado, será considerado “médio” e, desta forma, seu desempenho será “regular”, recebendo uma cor mais intensa em relação à classificação anterior; (iv) quando a presença do fenômeno for de mais de 0,6 a 0,8 no indicador padronizado, será considerado “médio-alto” e, logo, seu desempenho será “ruim”, recebendo uma cor mais intensa em relação à classificação anterior; por fim (v) quando a presença do fenômeno for de mais de 0,8 a 1,0 no indicador padronizado, será considerado “alto” e, por consequência, seu desempenho será “muito ruim”, recebendo a cor mais intensa da escala em vermelho, representando a pior situação possível no modelo de avaliação. No caso do indicador padronizado para as variações dos indicadores brutos, a escala de cor utilizada é marrom, sendo mantida a mesma lógica de leitura. Portanto, as categorias são produzidas de modo a complementar-se. Assim, na matriz de sinalizações, cada regional também é representada por uma cor em seu Índice Final.
A Figura 2, a seguir, apresenta o modelo de leitura dos indicadores padronizados e índices finais.
Figura 2
Valores e categorias dos indicadores padronizados e índices finais
A análise dos resultados é evidenciada por meio de mapas, gráficos e tabelas, que sintetizam os resultados da avaliação. Além disso, apresentam-se, para a análise de cada indicador do painel, gráficos de dispersão, que são usados para representar simultaneamente os valores nas duas dimensões (interna e externa) da avaliação. A seguir, observa-se na Figura 3 uma abstração do gráfico de dispersão, em que não há dados, a fim de mostrar as informações fundamentais para sua análise e leitura.
Figura 3
Modelo geral do gráfico de dispersão dos indicadores
As Figuras 3 e 4 apresentam os modelos geral e de leitura, respectivamente, dos gráficos de dispersão dos indicadores. No eixo y, estão apresentados os índices padronizados, variando de 0 a 1, das regionais selecionadas para o estudo para o ano de 2010. No eixo X, está apresentada a variação relativa dos valores brutos do indicador entre 2009 e 2010.
Na leitura do eixo Y, do indicador padronizado no ano, quanto mais próximo a regional se encontrar do valor um (1), maior será o nível de ocorrência do fenômeno na região (por exemplo, altos índices de homicídios, roubos etc). Em sentido oposto, quanto mais próximo a regional se encontrar do valor zero (0), menor será o nível de ocorrência do fenômeno na região.
O gráfico de dispersão deve ser lido do seguinte modo, conforme apresentado na figura abaixo:
Figura 4
Modelo de leitura do gráfico de dispersão dos indicadores
Já para a leitura do eixo X, tem-se que uma regional disposta à direita do valor zero (0), ou seja, com variação relativa do indicador bruto maior do que zero (0), apresentou um desempenho ruim em relação ao ano anterior. Uma regional disposta à esquerda do valor zero (0), isto é, com variação relativa do indicador bruto menor do que zero (0), melhorou seu desempenho em relação ao ano anterior. Por fim, a regional que se encontra exatamente no valor zero (0) apresentou estabilidade no indicador analisado entre dois períodos de tempo.
(*1) Para uma descrição dos procedimentos estatísticos de padronização dos indicadores e dos valores para a composição dos índices sintéticos ver o Anexo Metodológico.
