|
|
Andrea Ruiz Molina, Economista y Contadora Pública de la Universidad de Antioquia. Magister en Gobierno y Políticas Públicas de la Universidad EAFIT. Docente investigadora en el área de Finanzas Públicas y Economía de la Salud de la Universidad de Antioquia y de Políticas Públicas de la Contraloría General de Medellín.ORCID: https://orcid.org/0000-0001-9230-6469
Diana Carolina Torres Garcia, Es abogada titulada, especialista en Derecho Comercial de la Universidad Pontificia Bolivariana y en Gerencia y Marketing de la Universidad Carlos III de Madrid - España. Es Magíster en Negocios Internacionales y Gobierno y Políticas Públicas, además, es candidata a Doctora en Educación en la Universidad Benito Juárez - México. Docente y experta en temáticas como control y responsabilidad fiscal ORCID: https://orcid.org/0000-0001-5025-3354
Wilber Alberto Montoya Atehortúa, Politólogo Universidad Nacional de Colombia sede Medellín, y Magíster en Administración Pública y Política pública del Instituto Tecnológico y de Estudios Superiores de Monterrey. ORCID: https://orcid.org/0000-0003-1762-6395
Eliana Valencia Medina, Administradora de empresas, Especialista en Gerencia de proyectos Certificaciones en Proyectos:PM4R - MGA y Candidata a Magister en Administración Pública.ORCID: https://orcid.org/0000-0003-2667-2000
Santiago Molina Valencia, Politólogo Universidad Pontificia Bolivariana con Especialización en Gestión Pública Municipal de EAFIT. Miembro de ACCPOL - Asociación Colombiana de Ciencia Política.ORCID: https://orcid.org/0000-0003-4512-8238
Maria Isabel Pérez Hincapié, Politóloga de la UdeA, docente e investigadora de la Facultad de Derecho y Ciencias Políticas y del Centro de Análisis en políticas públicas CEAPP de la misma facultad. Miembro del Secretariado Nacional de FIAPAM en Colombia. Magíster en Gobierno y Políticas públicas de EAFIT. ORCID: https://orcid.org/0000-0003-1887-1085
Janeth Catalina Navarrete Betancur, Abogada de la Universidad Cooperativa de Colombia y especialista en derecho administrativo de la Universidad de Medellin. ORCID: https://orcid.org/0000-0002-9526-5639
La Contraloría General de Medellín (CGM) en aras de cumplir sus propósitos misionales y estratégicos, se ha propuesto implementar una metodología concreta y útil para generar un sistema idóneo en evaluación integral de políticas públicas. Luego de una revisión y análisis previo, para asegurar calidad y pertinencia del instrumento, la metodología propuesta surge de una adaptación a la metodología denominada Reloj de Arena complementada con la guía Sinergia y el Ciclo de las Políticas Públicas. La metodología de Reloj de Arena se expone en la revista de Economía Colombiana de la Contraloría General de la República (CGR) y complementada con algunos elementos de la guía metodológica para el seguimiento y evaluación de políticas públicas, Sinergia, elaborada y propuesta por el Departamento Administrativo de Planeación (DNP) y con planteamientos sobre el ciclo de políticas, los procesos de análisis, seguimiento y evaluación de políticas expuestos en la literatura. De esta manera, la metodología propuesta consta de tres fases consecutivas e interdependientes entre ellas así: La primera fase de la metodología permite hacer una validación del rigor teórico y técnico de los acuerdos municipales para ser denominados “Política Pública”. La segunda fase es la que posibilita establecer si la política está siendo implementada o no, mediante qué acciones, recursos y bajo cuál de los tres modelos de implementación: Top Down, Botton Up, Mixto. Por último, se encuentra la fase tres, donde se realiza el control fiscal micro, es decir, la conjunción de estas tres fases gracias a lo cual es posible denominar este proceso como una auditoría transversal para finalmente, hacer pronunciamiento sobre la efectividad y la eficiencia de una política pública.
Palabras clave: metodología, política pública, implementación, evaluación y seguimiento.
La Contraloría General de Medellín (CGM), en concordancia con la nueva normativa que se tiene para el control fiscal, entre las que se destacan el Acto Legislativo 04 de 2019 y el Decreto 403 de 2020, y bajo la orientación de los postulados de la Contraloría General de la República de Colombia (CGR), viene fortaleciendo su rol en la evaluación de políticas públicas y en la información fiscal que se genera a partir de éstas, así pues y de manera estratégica actúa desde su objeto misional y se proyecta como“una entidad líder en la implementación de procesos para la evaluación de políticas públicas y en procesos de vigilancia ambiental, siendo reconocida por ejercer un control justo, eficiente y transparente, con una activa participación ciudadana”.(misión de la Contraloría General de Medellín, www.cmg.gov.co)
En este sentido, la CGM busca promover la eficacia, la eficiencia y la transparencia de la administración pública, generando valor público y contribuyendo al mejoramiento de la ciudad a través de un control justo y participativo; tarea que puede desarrollar a partir de la implementación de metodologías que permitan realizar evaluaciones y seguimiento a las políticas públicas como complemento al control fiscal. Todo ello dentro de las competencias que asigna la Constitución y la Ley. Para lograr esto se hizo una búsqueda exhaustiva de metodologías a partir de la bibliografía sobre formulación, implementación y evaluación de políticas públicas.
Sólo una guía metodológica satisfacía las demandas de la CGM respecto a los procesos de auditoría transversal, ya que implementar una metodología debe ser una estrategia que permita generar un sistema para la evaluación integral de las políticas públicas que haga hincapié en el control fiscal de las mismas.
En ese orden de ideas, la CGM recoge elementos de las metodologías INTOSAI, Sinergia y Reloj de Arena, descritas a continuación, para erigir una metodología propia que respondiera no sólo al objeto misional de la entidad, sino también que promueva la consolidación del Grupo de Seguimiento y Evaluación de Políticas Públicas y los instrumentos que allí se generen y así contribuir a una mejora sustancial en la gestión y gerencia pública1.
Aquí se presenta que la evaluación de las políticas públicas engloba conceptos más amplios que los de la auditoría de desempeño e incluye componentes no programáticos, como las iniciativas reguladoras, el derecho no vinculante, entre otros. La evaluación de las políticas públicas se centra en la pertinencia y utilidad de estas (INTOSAI, 2016).
La primera, la pertinencia de una política significa la adecuación de sus objetivos a las necesidades sociales, económicas o medioambientales a las que se dirige dicha política; y la utilidad política, procura dar respuesta a la pregunta de si la política mereció la pena, teniendo en cuenta todos sus efectos directos respecto de los resultados e indirectos, referido a los impactos, incluso los no previstos o los involuntarios, y también las necesidades que la política tenía por objeto satisfacer. En este sentido, el objeto principal de esta metodología debe ser la valoración de la utilidad de una política pública como la eficacia de sus instrumentos.
El Sistema Nacional de Evaluación de Gestión y Resultados (Sinergia), a partir de su guía metodológica para el seguimiento y evaluación a políticas públicas (Departamento Nacional de Planeación, 2014), promueve acciones de seguimiento a políticas públicas que permitan tomar decisiones con menor grado de incertidumbre y mayor nivel de evidencia, haciendo más efectivo el cambio socioeconómico producido por el accionar del Estado. En esta metodología se hace énfasis en los resultados, no solo a los procedimientos, y se dirige a los hacedores de políticas públicas y se constituyendo en un apoyo para las evaluaciones de las mismas.
Esta metodología se basa en el modelo de generación de valor público, utilizando la cadena de valor (véase la figura 1)2 como estructura fundamental para la representación de las intervenciones públicas y de la cual se desprende el marco con el que se evalúa el desempeño de estas últimas.
Sinergia busca medir específicamente las dimensiones de eficacia, efectividad y calidad de la gestión pública en la consecución de los objetivos priorizados por el gobierno, donde la cadena de valor se convierte en el eje estructurador del proceso de seguimiento, ya que permite analizar integralmente el desempeño de la política pública. Sinergia produce información que permite verificar el logro de objetivos en términos de entrega de bienes y servicios, resultados alcanzados e impactos atribuibles a la intervención pública. En particular, el proceso de seguimiento se enfoca en determinar el logro de las metas gubernamentales en los eslabones de producto y resultado (Departamento Nacional de Planeación, 2014).
Esta metodología, que se expone en la revista de Economía Colombiana de la Contraloría General de la República – CGR (Gaviria Santacruz, 2012), es una propuesta construída desde la auditoría sobre el componente de estabilización socioeconómica de la política pública para la atención de la población desplazada por la violencia; surge de la necesidad de organizar estructuradamente el trabajo dadas las complejidades de la temática y la demanda por un nuevo abordaje de las auditorías sobre el análisis de la política pública.
La denominación de esta metodología deriva en que es un “símil” que describe y permite explicar de manera completa el trabajo que se está realizando en el equipo y es orientadora de las fuentes de información primaria como marcos de referencia de una política pública. Las fuentes de información se vierten como la arena para ir analizando otros instrumentos más específicos de las instituciones ejecutoras de la política pública. Por último, los datos, la información y los instrumentos de cada institución permiten hacer una auditoría transversal que facilita el pronunciamiento integral de la CGR sobre el cumplimiento institucional de la política pública estudiada, ya que es posible observar cómo se enlazan las actuaciones de las entidades para cumplir con la política y si son sinérgicas o no.
A partir de la revisión de metodologías expuestas y, acorde a los objetivos planteados desde la Contraloría General de Medellín, en su interés de la evaluación de las políticas públicas con un énfasis en el control fiscal, se adapta esta metodología Reloj de Arena que, en el presente texto se complementa con elementos de la propuesta del Departamento Nacional de Planeación en la guía metodológica para el seguimiento y evaluación a políticas públicas, Sinergia, y con los planteamientos que se exponen desde la literatura de las políticas públicas en cuanto al ciclo de éstas, sus procesos de análisis y seguimiento, la implementación y la evaluación.
Se presenta entonces este instrumento metodológico en cuatro acápites: en primer lugar, los objetivos que constituyen este proceso, posterior a ello la población objeto del seguimiento y evaluación, describiendo allí cómo se hará el proceso de muestreo según los requerimientos e intereses de la CGM; tercero, la descripción de la estrategia metodológica, es decir, cómo se llevará a cabo el seguimiento y la evaluación de las políticas públicas, que se hará en tres fases interdependientes que contienen matrices de trabajo para llevar a cabo todo el proceso y, por último, las conclusiones sobre el concepto técnico de la política pública analizada.
Realizar evaluación y seguimiento a las Políticas Públicas de interés de la Contraloría General de Medellín, aprobadas mediante acuerdo municipal en Medellín, como elementos del control fiscal macro y micro que ejerce la entidad.
Objetivos específicos
Identificar los Acuerdos Municipales, de 2002 (primer año en encontrar un acuerdo con la denominación) a 2021 u otros de interés de la Contraloría General de Medellín, que crean o modifican una política pública.
Verificar que los Acuerdos Municipales de Medellín denominados políticas públicas, cumplan los criterios determinados por la teoría para catalogarse como política pública.
Identificar si la política pública ha sido o está en etapa de implementación según recursos definidos y procedencia de estos, y actividades desarrolladas.
Realizar seguimiento al cumplimiento de la política pública en atención al problema público haciendo énfasis en la gestión fiscal.
Evaluar el cumplimiento de la política pública en atención al problema público haciendo énfasis en la gestión fiscal.
Población objeto
Partiendo de la comprensión de que una política pública es el “conjunto encadenado de decisiones y acciones intencionales y causales resultado de las interacciones estructuradas y repetidas entre diferentes actores, públicos y privados, que por diversas razones están implicados en el surgimiento, la formulación y la resolución de un problema políticamente definido como público [o fenómeno social]”(Resolución 152, CGM, 2020), (es posible identificar políticas públicas en acciones públicas, privadas o sociales y así mismo plasmadas en programas, normativas o incluso en inacciones que permitan la atención de un problema público.
Bajo este panorama, es complejo plantear un análisis del universo de políticas públicas y se hace necesario definir una población objeto alcanzable dados los recursos disponibles y lo que puede constituir el núcleo central de atención de la Contraloría General de Medellín. Así, para los propósitos de la investigación, se hará un muestreo intencionado que se describe a continuación:
Acuerdos municipales aprobados entre el 1 de enero de 2002 y hasta la fecha (12 de mayo de 2020) cuyo objetivo tuviese definido la creación o modificación de una política pública municipal y que se haga explícita cualquiera de las dos siguientes denominaciones: 1. “Créese la Política Pública...” o, 2. “Modifíquese la Política Pública...”, las cuales se irán priorizando según un plan de trabajo anual que esté acorde al plan estratégico de la Contraloría General de Medellín y según la disponibilidad de recursos que se tenga.
Adicionalmente, por interés particular del equipo de la CGM, por una denuncia o coyuntura, se podrán evaluar Acuerdos Municipales de otras temporalidades u otro tipo de políticas o temáticas para las cuales se adaptará la propuesta metodológica de la fase III, que en este documento se describe.
La Contraloría General de Medellín –(CGM) está llamada a ejercer la vigilancia y el control de los recursos públicos del municipio ejecutados por diversas entidades públicas o privadas, esto es una aplicación clásica del control fiscal, ya que la Contraloría auditaría cada uno de los sujetos de control que desarrollan las políticas públicas, para finalmente pronunciarse si las entidades públicas y privadas que administran recursos públicos cumplieron o no con los compromisos establecidos y si los recursos se invirtieron bajo los principios de economía, eficiencia, eficacia, equidad y valoración de costos ambientales.
Hoy hay una necesidad de replantear los ejercicios de vigilancia y control fiscal teniendo en cuenta el dinamismo de los territorios y que las políticas públicas “canalizan un porcentaje cercano al 60% del presupuesto nacional a los más importantes proyectos para la sociedad colombiana, desde la infraestructura y la defensa nacional, hasta la superación de la pobreza extrema”(Gaviria Santacruz, 2012, p.138). En este sentido, es necesario que, junto al estilo de la Nueva Gerencia Pública se abran nuevas formas de ejercer el control fiscal, manteniendo los principios de la Auditoría de Desempeño, de tal modo que se amplíen los ámbitos y niveles de análisis y evaluación, más allá de los sujetos de control. De este modo las actuaciones de la CGM se encaminan a un interés transversal en la evaluación de las políticas públicas y adopta la metodología Reloj de Arena descrita a continuación y que hace parte de todo el proceso metodológico propuesto en este documento.
Esta metodología se compone de los procesos de control fiscal macro y micro, entendido el primero como aquel que se ejerce en cumplimiento del orden constitucional y legal frente al deber de rendir y presentar ante la Asamblea o Concejo los informes de Ley que la Contraloría Territorial produce. Los requerimientos del control fiscal macro contribuyen a la focalización y priorización del asunto a auditar. El control fiscal macro se basa en los diagnosticos sectoriales y en el analisis de la priorización de políticas públicas a evaluar. Los resultados del control fiscal macro serviran de insumos fundamentales en el desarrollo de los informes obligatorios y, el control fiscal micro, considerara el uso de variables de cobertura por sujetos y/o recursos de vigilancia y control fiscal. Con lo anterior se construye un listado para determinar la exposición a los riesgos en cada uno de los sjetos y recursos (Contraloría General de la República, 2019).
La estrategia metodológica propone el análisis y la evaluación de las políticas públicas del municipio de Medellín haciendo énfasis en la gestión fiscal de las mismas y para ello es necesario plantear auditorías transversales que no sólo comprometen el ejercicio de la CGM sino también el contraste de la información con los usuarios y beneficiarios de la política pública. Por ello, se plantean tres fases, dependientes y consecutivas (ver Figura 2) que posibilitan la identificación de la política pública según los criterios que proporciona la literatura y su correspondencia con el sector al que pertenezca, es decir el control fiscal macro (fase I). Posterior a ello se identificará si la política pública está siendo implementada o no (fase II) y, por último, recogiendo las fases anteriores se procede al control fiscal micro (fase III). Es decir, la conjunción de estas tres fases es lo que se denomina auditoría transversal.
Estas auditorías transversales en las tres fases son un proceso gradual que implica:
Análisis de indicadores generales relacionados con el objeto de la política a evaluar.
Análisis y evaluación del presupuesto para determinar su condición de sensibilidad a la política pública.
Medición de programas sociales dirigidos a promover la política pública.
Evaluar el estado del sistema de información sobre presupuesto, inversiones, recaudos, gastos, ejecuciones, indicadores,
beneficiarios, tipo de beneficio y seguimiento, de los programas existentes en la materia.
Contrastar la información proporcionada por los sujetos de control objeto de la auditoría con la entregada por usuarios o
beneficiarios de los programas.
Establecer los resultados cuantitativos, cualitativos y el impacto alcanzado por los programas.
En lo posible, trabajar bajo la modalidad de auditorías articuladas con organizaciones de la sociedad civil porque su aporte es valioso y no puede ser desestimado.
En esta fase se hace el procedimiento para la identificación de las políticas públicas objeto de esta metodología. En primer lugar, se ha optado por una definición estrecha3 del concepto de Política Pública, entendiendo por esta: todo Acuerdo Municipal cuyo objetivo estuviese definido por la creación o modificación de una política pública. Una vez realizado el inventario de todas aquellas Políticas Públicas aprobadas por acuerdo municipal, se aplicará la metodología de seguimiento y evaluación a partir del año 2012 independientemente del año de formulación de la política objeto de análisis. Lo anterior, en caso de una formulación posterior al 2012 permite identificar las acciones emprendidas para atender cierto problema público antes de que se formulara el acuerdo municipal que crea la respectiva política pública y de esta forma poder hacer un paralelo entre el antes y el después de su formulación.
En la realización del inventario de Políticas Públicas se considerarán todas aquellas aprobadas por Acuerdo Municipal (El Anexo A detalla el proceso inicial de selección) cuyo objetivo tuviese definido la creación o modificación de una política pública municipal y que se haga explícita cualquiera de las siguientes denominaciones:
La fuente principal para la realización de este inventario será el Sistema de Información Misional SIMI del Concejo de Medellín, el archivo del centro de documentación de esta misma entidad y el ASTREA de la Alcaldía de Medellín. Se podrán utilizar otras fuentes secundarias que faciliten la identificación de Políticas Públicas, siempre y cuando se verifique el estado de la misma en el SIMI o en el ASTREA
Posterior a esto, a cada uno de los acuerdos municipales definidos como Políticas Públicas que hagan parte del inventario serán agrupados por temáticas, y posteriormente será necesario aplicarles la siguiente matriz que contiene criterios básicos de exclusión construidos a partir de las teorías de políticas públicas (Roth, 2002) y, que advierten el control fiscal macro (Cuadro 1). Teniendo en cuenta que algunos acuerdos municipales, denominados política pública, nacen del interés particular de un burócrata o grupo de interés que presiona, es posible que algunas políticas públicas no cumplan con alguno o algunos de los criterios, por ende no se entienden como tales desde su concepción y no serán objeto de esta evaluación. En este sentido, éstas últimas se deben informar y remitir para que, desde la Contraloría General de Medellín se solicite al Concejo una revisión de la denominación de esta o se trasladará a la dependencia de auditoría especial.
Así, todos aquellos Acuerdos Municipales establecidos como políticas públicas que cumplan con los criterios para ser denominados como “política pública” pasan a constituir la tabla 1 y aquellas que no cumplen a la tabla 2.
Después de realizar el inventario de la fase I y definir si son o no políticas públicas según los criterios descritos en la Matriz A, se procede a identificar si la política pública está siendo implementada o no a partir de la matriz B (Cuadro 2). En este punto es de gran utilidad observar los documentos de seguimiento a los Planes de Acción, porque estos pueden brindar una idea de la forma como se está ejecutando la Política Pública. Este chequeo se aplicará sobre todas aquellas políticas que se enumeran en la tabla 1 ya que cumplen con todos los criterios antes descritos y son susceptibles de aplicación a las políticas que quedaron en la tabla 2, ya que posiblemente no cumplan los criterios, pero hayan sido implementadas mediante algún programa o proyecto y se le asignaron recursos.
Una vez diligenciada la Matriz B, aquellas políticas púbicas que no se encuentren aún en proceso de implementación se dejarán dispuestas en un segundo inventario (Tabla 1.2), teniendo en cuenta que en un período posterior son susceptibles de revisión. Por otro lado, las políticas públicas que se estén implementando o esté finalizado su proceso de implementación (Tabla 1.1) pasan a ser analizadas en la Matriz C, con criterios de coherencia horizontal (ver Cuadro 3).
Al diligenciar de la Matriz C de chequeo correspondiente a la Fase II: implementación de la Política Pública, se toma como documento base los seguimientos anuales a los Planes de Acción. De allí se extraen los programas y proyectos que directamente enuncian la relación con la Política Pública objeto de análisis o que en la descripción de la actividad tienen una relación no explícita con el problema público o los objetivos de la Política, posibilitando así, encontrar a detalle las actividades realizadas, los responsables, la implementación y sus respectivos avances con relación a las metas propuestas. Anexo a esto es necesario tener precaución ya que algún programa o proyecto puede estar relacionado con más de una política pública, lo que demanda una revisión meticulosa y el cruce de información que permita un análisis efectivo de estas iniciativas y, de este modo, lograr la relación más directa; no obstante, por esto hacemos el análisis por agrupaciones temáticas garantizando que allí se sea exhaustivo para el cálculo principalmente de la inversión.
La figura 3 muestra la forma como se estructura un Plan de Acción. Este documento es la principal fuente de consulta para completar la Matriz C de la Fase II. Por ejemplo: los proyectos representan actividades y la descripción de los avances (producto, bien o servicio) nos dice como se implementan. El responsable del proyecto (en este caso actividad) se encuentra por lo general en la parte inferior de cada página. El plan de monitoreo toma en cuenta la cantidad ejecutada, su respectiva unidad de medida y la eficacia de producto. Claro está que si se identifica otro plan utilizado para hacer seguimiento a la Política Publica en cuestión, también debe mencionarse.
La determinación de los montos de financiación se obtiene para una mayor precisión del cruce realizado con los proyectos de cada Política Publica identificados en los Planes de Acción y el documento anual de ejecución de gastos. Las fuentes de financiación se obtienen del mismo documento (ejecución de gastos), aunque en este caso el cruce realizado anteriormente no arroja el dato buscado, ya que la fuente de financiación puede ser la misma para muchos proyectos, por lo que no existe un identificador único. En este caso de forma manual se puede realizar la búsqueda ubicando el proyecto (cuantas veces aparezca) y desplazándose hacia la parte superior del documento con el objetivo de determinar su fuente, ya que la misma se encuentra como título mas no como variable. Es importante recordar que cuantas veces aparezca un proyecto en el año será el número de fuentes de financiación y que la suma de estas representa la financiación total del proyecto en la respectiva vigencia.
Para construir la Matriz C se ha diseñado una plantilla en Excel que facilita su diligenciamiento. En el Anexo B se explica su funcionamiento y el paso a paso para realizar el cruce con el documento de ejecución de gastos en caso de no utilizar la plantilla.
Por su parte, las políticas de la tabla 2 que se encuentran en implementación según la aplicación de la Matriz B serán analizadas en la Matriz D (ver Cuadro 4).
Para la matriz D también aplica la identificación de las fuentes de financiación y monto según el documento de Ejecución de Gastos del municipio de Medellín, tal como se aplica para la matriz C.
Advertencia:
Si una política pública, denominada así por el Concejo
de Medellín, no cumple con los criterios relacionados en la Matriz A de
chequeo Fase I, es decir, no cumple con los mínimos en el deber ser de las
políticas públicas, la CGM se ve obligada a comenzar un proceso de
remisión al Concejo de Medellín con los hallazgos allí encontrados, para
que esta corporación revise dicha política y, si sumado a esto, tal
política pública se encuentra en implementación, la Unidad de evaluación y
seguimiento de las Políticas Públicas de la CGM procede a trasladar a la
Contraloría Auxiliar de Auditoría Fiscal correspondiente quien evaluará si
encuentra méritos para desarrollar una auditoria a las entidades
ejecutoras de dichos recursos.
Dadas las complejidades temáticas de las políticas públicas, la CGM realiza un ejercicio transversal encaminado a la auditoría en el análisis de política pública desde el control fiscal macro y respecto al cumplimiento de los objetivos de política y la ejecución de los recursos públicos por parte de todas las entidades que intervienen (control fiscal micro).
De este modo, se adapta la metodología Reloj de Arena propuesta por la auditoría al componente de estabilización socioeconómica de la población desplazada, Contraloría General de la República (Gaviria Santacruz, 2012), ya que es una orientadora del camino a seguir, que parte del estudio y análisis de los temas más grandes y generales, es decir, de las fuentes de información primaria para el análisis auditor, basadas en los “deber ser”, como son normas constitucionales y acuerdos políticos, administrativos, financieros y jurídicos, entendidos como el marco de referencia sobre el cual se inserta y desarrolla la política pública (ver Figura 4 y Figura 5).
El “deber ser” es el punto de partida de esta fase y, a su vez, es el referente para la evaluación y análisis de la política pública (desde la estructura inicial, su concepción y su implementación). Dicho “deber ser”, definido en la parte superior del reloj (como se muestra en la figura 4), se vierte en el reloj, generando medidas institucionales sobre el planteamiento de la política, como parte de una agenda de gobierno y los mecanismos tanto sectoriales como institucionales para su desarrollo (planes, programas y proyectos específicos, con asignación presupuestal para su ejecución) (Gaviria Santacruz, 2012) y alineado con la lógica de cadena de valor con la que se diseña la política y se definen sus objetivos de generación de valor público.
La parte estrecha o pequeña del cuerpo del reloj es donde lo anterior se lleva a la realidad en cada institución ejecutora de la política pública, a través de su gestión institucional, contractual y financiera, y es desde allí donde el equipo de auditoría debe hacer el análisis de política pública en términos fiscales. Posterior a esto, la parte inferior del reloj representa a la auditoría trasversal a la política pública seleccionada, la cual comienza en las entidades formuladoras, ejecutoras y operadoras, estableciendo las responsabilidades que asumen frente a la puesta en marcha de la política pública y las medidas que utilizan para ejecutarla (Gaviria Santacruz, 2012).
El análisis se hace respecto a la formulación de unos planes, programas y proyectos y sobre la contratación, presupuestación y gestión administrativa sobre la política auditada, lo que permite a la CGM pronunciarse sobre la gestión y la eficiencia en el cumplimiento de objetivos por parte de una entidad específica. El proceso hecho en conjunto en las instituciones involucradas conlleva a que la CGM pueda emitir un pronunciamiento integral sobre el cumplimiento institucional de la política pública estudiada, ya que es posible observar cómo se enlazan las actuaciones de las entidades para cumplir con la política y si son sinérgicas o no (Gaviria Santacruz, 2012).
Aquí es necesario acotar que los denominados “sin embargo” son referentes del proceso auditor y parte esencial del análisis en esta metodología. Estos corresponden a todos aquellos pronunciamientos institucionales y sociales que puedan aportar sobre la política pública revisada (Gaviria Santacruz, 2012). Por ejemplo: pronunciamientos de la Corte Constitucional, autos de seguimiento, los informes de las comisiones, y demás información considerada pertinente para establecer matices e incluir otras apreciaciones de instituciones, personas o comunidades organizadas que han hecho seguimiento, control o veeduría frente a la política pública que se esté revisando.
Una vez terminado el proceso, las observaciones de nivel macro y micro son trasladadas a las instituciones involucradas, con el fin de respetar el debido proceso y valorar las respuestas entregadas. Posterior al análisis de respuestas de las entidades se procede a redactar el informe.
El informe de auditoría trasversal resultante da la vuelta al reloj de arena. A partir de este pronunciamiento de la CGM, respecto a la política pública analizada, se genera un proceso de ajuste institucional y de política como un aporte de la entidad fiscalizadora a la sociedad, en aras de contribuir a la mejora del bienestar social en el marco de la transparencia en la gestión fiscal estatal (Gaviria Santacruz, 2012). Los componentes de este informe deben responder a los siguientes criterios:
i) Identificar los indicadores definidos por la política pública o por los instrumentos de implementación de ésta (deben diferenciarse los indicadores de producto y los de resultado).
ii) Seleccionar (de los ya identificados) los indicadores a la luz de la cadena de valor para lo que se puede apoyar en la metodología CREMAS4, o buscar los más relevantes y factibles de medición.
iii) Una vez seleccionados los indicadores, se identifica la línea base y las metas establecidas para ellos (aquí se debe tener en cuenta que los indicadores de producto y los de resultado pueden ser de diferente tipología con criterios de medición diferentes).
iv) Identificar el informe donde se hace seguimiento y reporte de los indicadores de dicha política pública (revisar fuentes de información como los planes indicativos y los planes de acción).
v) Contrastar la información resultante del análisis y la evaluación de las actividades que lo permitan con la entregada por usuarios o beneficiarios de los programas.
vi) Para las políticas públicas que han finalizado su implementación es necesario realizar una revisión del impacto de la ejecución de las acciones sobre el objetivo planteado. No obstante, dificultades en el acceso a la información, podrán generar que algunas políticas que cumplen con criterios para mantener un seguimiento continuo tengan que ser evaluadas para un periodo determinado que se definirá en cada caso.
Adjunto a este informe transversal, y como resultado de los criterios anteriores, debe entregarse un cuadro de control que contraste los resultados encontrados en los informes de gestión del ejecutor de la política pública y la evidencia recolectada. El cuadro de control se expresa a continuación:
En el caso de evaluación de impacto es necesario considerar que medir resultados o impactos es un proceso mucho más amplio que medir la consecución de los objetivos propuestos. Más bien se busca valorar los efectos colaterales de la intervención, por esto se deben considerar diferentes factores asociados al presupuesto, la información disponible, los tiempos de entrega, el recurso humano, entre otros.
La posibilidad de medir los efectos e impactos de una política pública es fundamental para su respectiva evaluación. Esta etapa del proceso hace referencia a la utilidad de dicha política y los efectos logrados en su implementación, tales efectos pueden ser directos o indirectos y podrán evaluarse tanto cuantitativa como cualitativamente.
En este momento de la evaluación se hace referencia a los efectos como los impactos exclusivamente atribuibles a la intervención pública (Departamento Nacional de Planeación, 2014), estos pueden ser “efectos no previstos” y “efectos objetivos o planeados”: los primeros refieren a los demás efectos positivos o negativos que no estaban contemplados en la evaluación y que posibilitan un proceso de evaluación completa; los segundos, los efectos objetivos o planeados, son los establecidos en la política, siendo así analizables en tanto ya estaban formulados. Es así como en la evaluación de impacto de una política pública es importante considerar la participación de los actores responsables y los actores o sectores beneficiarios de ésta.
También es importante poder demostrar la causalidad entre la política pública implementada y los efectos medidos, a partir de la creación de escenarios contrafactuales. Estos escenarios son proyecciones hacia el futuro que evidencien lo que hubiera pasado si el programa no hubiera existido. Esto se logra al comparar a un grupo o sector beneficiario de la política pública (grupo de tratamiento) con un grupo equivalente de no-beneficiarios (grupo de control). Aquí es importante considerar que esto acarrea costos adicionales y sólo es posible en la medida que la CGM tenga los recursos humanos, físicos y económicos disponibles para desarrollarla con la rigurosidad para el cumplimiento de los objetivos propuestos. De este modo, en el caso de que se tome la decisión de realizar la evaluación de impacto, se debe partir de la guía del Banco Mundial:“seguimiento y evaluación: instrumentos, métodos y enfoques5”, de donde se adaptará el modelo de “evaluación rápida de los efectos”, en tanto la muestra objeto de evaluación de las políticas públicas hasta aquí descrita proporciona un segmento de políticas ya implementadas. De lo contrario, nos quedaremos con la evaluación propuesta y descrita anteriormente, haciendo énfasis en el control fiscal.
Cada una de las políticas públicas debe ser analizada en todas las fases descritas en esta metodología, de manera secuencial y dependiente como ya se expuso. Lo anterior permitirá la elaboración de un concepto técnico que posibilite verificar el cumplimiento de los objetivos de las políticas públicas, haciendo hincapié en el control fiscal, con estándares técnicos como robustez, calidad, coherencia, relevancia y pertinencia de los resultados obtenidos. Además, deben ser claros y explícitos los hallazgos y/o posibles irregularidades encontradas en la política pública, de tal manera que se dé un debido proceso en estos casos, entendiéndose como remisión a la Contraloría Auxiliar de Auditoría Fiscal, correspondiente al tipo de hallazgo; envío de concepto al actor o actores responsables de la política pública y al Concejo de Medellín, como ente de control político.
Contraloría General de la Respública. (2019). Guía de auditoria territorial - GAT, en el marco de las normas internacionales ISSAI. Retrieved from https://www.contraloria.gov.co/documents/20181/1680074/GUIA+DE+AUDITORIA+TERRITORIAL+-+GAT+26- 11-2019+FINAL.pdf/1ea22c2b-c737-4d22-b11d-04b4d7eafdbd
Departamento Nacional de Planeación. (2014). Guía metodológica para el seguimiento y la evaluación a políticas públicas. Retrieved from https://colaboracion.dnp.gov.co/CDT/Sinergia/Documentos/Cartilla Guia para Seguimiento y Evaluación Ago 13.pdf
Gaviria Santacruz, S. A. (2012). Auditorías a las políticas públicas: un reto institucional. Economía Colombiana, (337), 137–144. Retrieved from https://www.contraloria.gov.co/documents/20181/471748/REC337_final_web.pdf/7fc58342-7f29-4377-a932- 88a872032358
INTOSAI. (2016). Directrices para la Evaluación de las Políticas Públicas. Retrieved from https://www.intosaicommunity.net/ wgeppp/wp-content/uploads/2019/08/INTOSAI-GOV-9400_ES.pdf
Ordóñez-Matamoros, G. (2013). Manual de análisis y diseño de políticas públicas. Bogotá: U. Externado de Colombia.
Roth, A. (2002). Politicas públicas, Formulación implementación y evaluación. Bogotá: Ediciones Aurora.