Secretaría de Hacienda / Alcaldía de Armenia, Quindío
Derivada del documento "ARQUITECTURA DE DATOS SECRETARÍA DE HACIENDA - ACTIVIDAD: HACIENDA INTELIGENTE" (Vigencia 2026). Metodología Capacity WORKS (GIZ) + Modelo EFQM.
La presente arquitectura nace como requisito habilitante para la iniciativa "Hacienda Inteligente", alineada con el modelo de excelencia EFQM (gestión de calidad) y la metodología Capacity WORKS de la GIZ (gestión para el desarrollo sostenible). El objetivo es transformar la Secretaría de Hacienda (SH) en una entidad orientada a datos, con servicios proactivos, trazables y de alta calidad para el ciudadano.
| Dimensión | Definición en la Arquitectura |
|---|---|
| Objetivo Central | SH Inteligente: Decisiones basadas en datos, servicios digitales proactivos, recaudo eficiente, control interno robusto. |
| Alcance Funcional | Tributario (ICA, Predial), Catastro, Contratación, Talento Humano, Proyectos/Programas, Atención Ciudadana. |
| Principios Rectores | Unicidad (SSOT) Trazabilidad Privacidad (Ley 1581) Interoperabilidad (ENI) Gobernanza Activa |
| Metodología Base | Capacity WORKS (GIZ): Mapa de Actores → Grupos de Valor/Interés → Necesidades → Arquitectura de Datos. |
El mapa de actores (diagrama "Cebolla" Capacity WORKS) define la frontera de la arquitectura, los flujos de datos y los requisitos de seguridad/acceso.
| Categoría Capacity WORKS | Actores Representativos | Rol en Arquitectura de Datos |
|---|---|---|
| Clave (Centro) | Ciudadanos/Contribuyentes (PN/PJ), Propietarios Predios, Jefatura Inteligencia Tributaria | Fuentes y Consumidores principales de Master Data (Ciudadano, Predio, Empresa) y Transaccional (Pagos, Trámites). Definen requisitos de calidad. |
| Primarios | Dependencias Alcaldía, Empleados/Jubilados, Entidades Financieras, EPA, CRQ, Urbanizadores, Arrendatarios | Productores/Consumidores operacionales. Alimentan Transacciones (Contratos, Nóminas, Recaudos) y consumen Reportes/BI. |
| Secundarios | DIAN, Banco República, MinHacienda, Contralorías, Procuraduría, Juzgados, Financiadores Internacionales | Consumidores de Reportes Regulatorios y Fuentes de Reference Data (Listas restrictivas, CIIU, Normativa, Tasas). |
| Veto (Bloqueo) | Organismos de Control (Contraloría, Procuraduría), Concejo Municipal | Validadores de Cumplimiento. Exigen Auditoría total, Linaje, Retención documental (AGN), Seguridad y Privacidad. |
Separación de responsabilidades estilo Data Mesh / Layered Architecture para garantizar escalabilidad, gobernanza y evolución independiente de cada capa.
Se adopta un enfoque Lakehouse Moderno (Bronze → Silver → Gold) sobre almacenamiento objeto (S3/MinIO) con formatos abiertos (Delta Lake / Apache Iceberg). La Capa 3 (Metadatos) es transversal y gobierna todo el ciclo de vida. La Capa 2 incluye un MDM Hub activo para Master Data y un Reference Data Hub con APIs versionadas.
Establece la golden record para las entidades nucleares. Garantiza unicidad, calidad, seguridad, auditoría y versionamiento histórico (SCD Tipo 2).
| Entidad Maestra | Clave PK | Atributos Críticos / Reglas de Negocio | Reglas de Oro (Best Practices del Documento) |
|---|---|---|---|
| Ciudadano Eje Central |
id_ciudadano |
Tipo/Nro Doc (Validado Registraduría), Nombre, Fechas, Dirección, Contacto, Email | Unicidad: Match & Merge probabilístico (Nombre+Dir). Privacidad: Encriptación PII, RBAC estricto (Solo Gestión Humana/Secretaría General). Auditoría: SCD Tipo 2 (created_by, modified_by, vigencia). |
| Predio Núcleo Catastral |
id_predio |
Código Catastral (Único vs IGAC), Geometría (PostGIS), Área m², Uso Suelo, FK Ciudadano | Integridad Espacial: Validación topológica PostGIS. Código Único: Validación contra base IGAC. FK Obligatoria: A Ciudadano vigente y activo. Metadatos Uso Suelo: Clasificación oficial + fuente. |
| Empleado | id_empleado |
ID Interno (≠ Doc Personal), Cargo/Dep Histórico, Contacto Corporativo (@alcaldia.gov.co) | IAM Integration: Active Directory / Azure AD. Versionado: Histórico cargos/dependencias (cargo_actual vs cargos_previos). Seguridad: Permisos por rol. |
| Proveedor | id_proveedor |
Razón Social, NIT (Validado DIAN), Categoría CIIU 4.0, Score Desempeño | Validación NIT: Vigencia/Estado DIAN (activo, inhabilitado). Scorecards: KPIs cumplimiento (Tiempo, Calidad). Histórico: Contratos y cotizaciones (Auditoría relaciones). |
| Empresa Agente Económico |
id_empresa |
NIT, Tipo (Comercial/Industrial/ONG), Rep. Legal (Versionado), Certificaciones CamComercio | Deduplicación vs Proveedor: Mapear NIT/RUT único. Compliance: RUT actualizado obligatorio. Rep. Legal: Versionar cambios y periodos vigencia. |
| Programa Plan Gobierno |
id_programa |
Objetivos SMART, KPIs, Dependencia Responsable (FK), Cronograma Versionado | KPIs Documentados: En diccionario de datos. Versionado: Alcance y presupuesto con ajustes. Riesgos: Alertas desviación (Plazo/Costo) embebidas. |
| Proyecto | id_proyecto |
Fases (Iniciación-Cierre), Presupuesto (Original vs Ejecutado), Estado Estandarizado | Governance: Comité Seguimiento, Roles Aprobación (RACI). Earned Value: % Avance Físico vs Financiero. Estados: Planeado, En Curso, En Riesgo, Cerrado. |
Desplegar MDM Hub en modo "Coexistence" o "Centralized" (ej. Semarchy, Reltio, Informatica, o Open Source: Apache Atlas + Reglas Custom). Sincronización bidireccional con sistemas transaccionales vía CDC (Change Data Capture). APIs de consulta unificada (GET /api/v1/ciudadanos/{id}) para consumidores internos/externos.
Catálogos estandarizados, versionados y gobernados que sirven como dominios de valor (Value Domains) y claves foráneas en toda la arquitectura. Aseguran consistencia semántica y operacional.
| Dominio / Catálogo | Tabla Ejemplo | Atributos Clave | Fuente / Gobernanza |
|---|---|---|---|
| Ubicación Geográfica | Departamento, Municipio, Barrio, Comuna, Vereda | id_ubicación, código_DANE, nivel, geometría | Oficial: IGAC / DANE. Actualización Anual. Comité Geo. |
| Tipos de Trámite | Tipo_Tramite | id_tipo_tramite, nombre, descripción, vigencia | Comité Trámites (Ley 1755/2015). Versionado por decreto. |
| Clasificación Presupuestal | Clase_Gasto, Rubro_Presupuestal | id_clase, id_rubro, nombre, fuente_normativa | Alineado Ley 358/1997, DNP, CHIP. Gobernanza: Secretaría Hacienda. |
| Métodos de Pago | Metodo_Pago | id_metodo_pago, nombre, detalle, activo | Sincronizado con Entidades Financieras / Pasarelas Pago. |
| Dependencias Internas | Dependencia | id_dependencia, nombre, nivel (Sec/Unidad) | Maestría: Secretaría General / Talento Humano. Jerarquía orgánica. |
| Actividad Económica | Codigo_CIIU | id_ciiu, código, descripción, nivel (1-4 dígitos) | Estándar Obligatorio: CIIU 4.0 (DANE). |
| Estados Proy/Programa | Estado_Entidad | id_estado, dominio (Proyecto/Programa), nombre | Valores fijos controlados: Planeado, En Curso, En Riesgo, Cerrado, Suspendido. |
| KPIs / Métricas | KPI_Definicion | id_kpi, nombre, unidad, fórmula, frecuencia, owner | Definición técnica + Negocio (Data Dictionary). Aprobación Data Council. |
| Categorías Servicio | Categoria_Servicio | id_categoria, nombre, descripción | Clasificación servicios municipales (Recolección, Infraestructura, etc.). |
valid_from, valid_to) para historial.Captura de eventos de negocio (OLTP) que alimentan tanto la operación diaria como los sistemas analíticos (Data Warehouse, BI). Modelo normalizado (3FN) en origen; dimensional (Kimball) en analítica.
| Área Funcional | Entidades / Tablas Core | Granularidad / Clave Natural | Reglas Críticas / SLAs |
|---|---|---|---|
| Pagos y Recaudos | Pago_Impuesto, Pago_Servicio, Recaudo_Patrimonio |
id_pago (PK Surrogate) + recibo_número (Natural) |
Latencia BI: < 15 min (Near Real Time). CDC Obligatorio. Particionado por fecha_pago. |
| Trámites y Solicitudes | Trámite, Solicitud, Registro_Ciudadano |
id_trámite + radicado |
SLA Estados: Radicado → En Trámite → Resuelto. Trazabilidad completa (Ley 1755). |
| Contratación | Contrato, Adición_Presupuestal, Acta_Vinculación |
id_contrato + numero_proceso (SECOP) |
Integridad: FK Proveedor/Empleado vigentes. Audit Trail completo (Ley 80/93). |
| Servicios Ciudadanos | Solicitud_Servicio, Atención_Servicio, Cierre_Servicio |
id_solicitud |
Canales: Web, Presencial, Móvil. Métricas: TAT, NPS, FCR (First Contact Resolution). |
| Gestión Proyectos | Avance_Proyecto, Hito_Proyecto, Desembolso_Proyecto |
id_avance (FK Proyecto + Fecha) |
Earned Value: % Avance Físico vs Financiero. Alertas automáticas desviación > 10%. |
| Ejecución Programas | Desembolso_Programa, Informe_KPI_Programa, Registro_Actividad |
id_desembolso, id_kpi (FK RefData) |
Resultados: Indicadores de Producto / Efecto / Impacto (Marco Lógico). |
| Auditoría Transaccional | Log_Transacción (Tabla Unificada) |
id_log (BigSerial) |
Captura: Tabla Origen, Operación (I/U/D), Usuario, Timestamp, Before/After Image (JSONB). Inmutable. |
id_dependencia/id_comuna.Habilita auto-servicio, confianza, cumplimiento normativo (Ley 1712 Transparencia, Ley 1581 Protección Datos) y gestión del conocimiento organizacional.
| Categoría Metadato | Herramienta / Artefacto | Alcance en Armenia |
|---|---|---|
| Diccionario Datos Físico/Lógico | Data Catalog (OpenMetadata / DataHub / Amundsen / Comercial) | Definición técnica: Tipo, Longitud, Nulabilidad, Dominio (FK a RefData), Descripción Negocio. |
| Linaje de Datos (End-to-End) | Lineage Viewer (Automatizado via parsers ETL/DBT/Airflow) | Origen (Formulario Web / API Banco) → ETL → Staging → MDM/Ref → DW → Dashboard. Impact Analysis. |
| Políticas de Retención | Tabla Retention_Policy + Jobs Purge/Archive (Airflow) | Ej: Expedientes Civiles 20 años, Logs Transaccionales 5 años, Datos Analíticos Indefinido. Cumple AGN (Res 090/2018). |
| Catálogo Calidad (DQ Rules) | Great Expectations / Soda Core / Deequ / Elementary | Reglas: Completitud (Email válido > 95%), Unicidad (NIT Proveedor), Validez (Código Catastral formato IGAC), Consistencia (Saldos). |
| Configuración ETL/ELT (Data Contracts) | Orquestador (Airflow / Prefect / Dagster) + Repo Git (DBT) | Jobs versionados: ETL_PREDIOS_DIARIO, CDC_PAGOS_STREAM. Parámetros, Alertas, Owners, Tests. |
| Modelos Físicos (DDL) / Migraciones | Repo Git (Flyway / Liquibase / DBT) + Data Catalog | Esquemas: raw, stg, mdm, ref, dw, audit. Migraciones controladas, revisionables. |
| Versionamiento Catálogos RefData | Historial en Reference_Data_History + Data Catalog | Auditoría: ¿Quién cambió el estrato del barrio X? ¿Cuándo? ¿Por qué decreto/acto administrativo? |
| Glosario de Negocio | Business Glossary (Catálogo) | Definiciones acordadas: "Programa", "Predio Mejorado", "Contribuyente Activo", "Recaudo Efectivo". Alineación Semántica. |
Modelo unificado derivado de las 4 capas. Muestra entidades núcleo (Master Data), sus relaciones transaccionales y vinculación a Reference Data. Notación Crow's Foot.
Secretaría de Hacienda - Alcaldía de Armenia, Quindío | Derivado de "Hacienda Inteligente 2026"
Enfoque iterativo e incremental: Fundación → Quick Wins → Plataforma → Valor Analítico.
Objetivo: Establecer mandato, roles y catálogos base.
Objetivo: Resolver duplicidad Ciudadano/Predio (Core Tributario). Habilitar "Ventanilla Única".
GET /ciudadanos/{id}, GET /predios/{codigo_catastral} para consumidores.Objetivo: Lakehouse moderno. Ingesta unificada (Batch + CDC). Modelos dimensionales certificados.
Objetivo: Observabilidad total, confianza en datos, contratos entre productores/consumidores.
Objetivo: Valor analítico avanzado: Predictivo, Prescriptivo, Generativo.
| Riesgo | Impacto | Prob. | Mitigación Arquitectónica |
|---|---|---|---|
| Duplicidad Ciudadano/Predio (Fuentes dispares sin clave única confiable) | Crítico | Alta | MDM Hub con Match/Merge probabilístico + Reglas determinísticas (Nro Doc, Cod Catastral). Validación Registraduría/IGAC en tiempo real (API). Steward dueño de "Golden Record". |
| Calidad Referencia desactualizada (CIIU, DANE, Tarifas, Estructuras orgánicas) | Alto | Media | Automatización ingesta RefData (Web Services DANE/DIAN/IGAC/Secretaría General). Data Contracts con owners. Alertas automáticas caducidad versión. Comité Datos aprueba cambios. |
| Latencia Recaudo → BI > 24h (Cierres contables tardíos, decisiones reactivas) | Crítico | Media | Arquitectura CDC (Debezium) + Streaming (Kafka) → Lakehouse (Merge/Update). SLA 15 min medido y alertado. Particionamiento óptimo. Índices en claves de consulta frecuente. |
| Fuga datos sensibles (PII Ciudadano/Empleado/Proveedor) | Crítico | Media-Baja | Privacy by Design: Pseudonimización en Capa Analítica (Silver/Gold). Tokenización reversible solo para roles autorizados. RLS estricto por Dependencia/Rol. Auditoría acceso completa (Log_Transacción). DPIA obligatorio nuevos proyectos. |
| Deuda técnica sistemas legado (FoxPro, VB6, Access, BD sin API, esquemas cerrados) | Crítico | Alta | Patrón Strangler Fig: APIs Anti-Corruption Layer sobre legado. Ingesta por archivos planos/CSV validados (con checksum y metadatos) si no hay API. Priorizar migración fuentes críticas (Tributario, Catastro, Contratación). Documentación ingeniería inversa. |
| Falta adopción cultura de datos (Catálogo vacío, Calidad baja, "Excel culture", Resistencia cambio) | Alto | Alta | Data Literacy Program obligatorio. Data Champions por dependencia. Métricas uso Catálogo/Calidad en Evaluación Desempeño. Quick Wins visibles (ej. Dashboard Recaudo Diario automático). Comunicación constante logros. |
| Cambio normativo frecuente (Reformas tributarias, Leyes transparencia, Estándares DANE/MinTIC) | Medio | Media | Capa Reference Data versionada con vigencias. Data Contracts versionados (SemVer). Arquitectura modular: cambios en RefData no rompen Transaccional/Analítica. Monitoreo fuentes oficiales (Diario Oficial, DANE, MinTIC). |
La arquitectura cumple y habilita el cumplimiento del marco legal colombiano vigente.
| Norma / Estándar | Aplicación Concreta en la Arquitectura |
|---|---|
| Ley 1712/2014 (Transparencia y Acceso Información Pública) | Metadatos abiertos (DCAT-AP.co), API Datos Abiertos, Catálogo Publicable, Retención documental automatizada, Log_Transacción inmutable. |
| Ley 1581/2012 + Dec. 1377/2013 (Protección Datos Personales - Habeas Data) | Privacy by Design, Consentimiento gestionado en Master Data, Derechos ARCO (APIs Acceso/Rectificación/Supresión/Oposición), DPIA obligatorio, Pseudonimización en capa analítica, Roles de Custodio/Encargado. |
| Decreto 1081/2015 (Art 2.2.3.5.1) - MECI (Modelo Estándar Control Interno) | Trazabilidad completa (Linaje), Auditoría técnica (Log_Transacción), Segregación funciones (RLS/RBAC), Plan Continuidad (Backups/DR documentados en Metadatos), Gestión Riesgos (Matriz integrada). |
| Resolución 0090/2018 (AGN) - Tablas Retención Documental (TRD) | Tablas Retention_Policy mapeadas a TRD. Disposición final documentada y auditable. Jobs de purga/archivo automáticos con certificación. |
| Estándares DANE (CIIU 4.0, División Político-Administrativa, Clasificaciones estadísticas) | Reference Data Obligatorio. Sincronización automática programada. Mapeo local → Estándar Nacional. Validación en origen (FK a catálogos DANE). |
| Esquema Nacional Interoperabilidad (ENI - MinTIC) | APIs REST/JSON, OAuth2/OpenID Connect, Metadatos DCAT-AP.co para Portal Datos Abiertos, Formatos abiertos (CSV, JSON, XML, Parquet), Servicios web documentados (OpenAPI/Swagger). |
| CONPES 3918/2018 (Política Gobierno Digital) | Ciudadano en el centro (Master Data Ciudadano único), Interoperabilidad por defecto, Datos Abiertos proactivos, Analítica para decisiones basadas en evidencia, Arquitectura empresarial alineada. |
| Ley 1755/2015 (Código de Trámites) | Catálogo Tipo_Tramite versionado, SLA por trámite en metadatos, Trazabilidad completa ciclo de vida (Radicado → Respuesta), Canales digitales habilitados. |
| Ley 80/1993 & Ley 1150/2007 (Régimen Contractual Estatal) | Modelo Contratación alineado SECOP II, Trazabilidad Adiciones/Prórrogas/Suspensiones, Publicación obligatoria (SECOP), Control presupuestal (RP/CP) en transaccional. |
Esta arquitectura representa la Especificación Base (Baseline) validada técnicamente. Requiere aprobación directiva y asignación de recursos para ejecución.
| Dimensión | Estado Actual (Implícito en Doc Fuente) | Estado Objetivo (Arquitectura Propuesta) | Gap Principal / Acción Requerida |
|---|---|---|---|
| Gobernanza | Incipiente (Liderada solo por Jefatura Inteligencia Tributaria) | Data Governance Board transversal (Alcaldía) + Stewards por dominio (Tributario, Catastro, Contratación, Talento Humano, Proyectos) | Formalizar Decreto/Resolución creando Consejo de Datos. Asignar presupuesto y tiempo (20% Stewards). |
| Master Data | Silos funcionales (Catastro, Tributario, Talento Humano, Contratación, Planeación separados, datos inconsistentes) | MDM Hub Unificado (Ciudadano, Predio, Proveedor, Empresa, Empleado, Programa, Proyecto). Golden Records certificados. | Proyecto de Integración/Migración datos históricos. Definición reglas Match/Merge. Limpieza masiva inicial. |
| Reference Data | Hojas de cálculo / Tablas sueltas en cada BD / Versiones obsoletas / Sin APIs | Reference Data Hub centralizado, versionado (SemVer + Fechas), API-first (REST/OData), FK enforcadas en toda la plataforma. | Limpieza catálogos actuales + Automatización ingesta fuentes oficiales (DANE, DIAN, IGAC, MinHacienda). |
| Transactional / Analítica | Sistemas operacionales desconectados. Volcado manual a Excel para reportes. Sin histórico confiable. Cierres lentos. | Lakehouse/DW Moderno con CDC Near Real Time. Modelo Dimensional Certificado (Kimball). Self-Service BI gobernado. | Implementar CDC en motores legacy / Middleware de extracción. Definir modelos dimensionales (Workshops negocio). |
| Metadatos | Documentación dispersa (Word/Excel) o inexistente. Desconocimiento linaje. Sin métricas calidad. | Data Catalog Activo con Linaje automático, Calidad (Data Contracts), Glosario Negocio, Políticas Retención, Diccionario Técnico. | Selección herramienta (OpenMetadata/DataHub/Comercial) + Población inicial (Ingeniería Metadatos 2-3 meses). |
| Analítica Avanzada / IA | Reportes estáticos, reactivos, baja confianza, sin capacidad predictiva. | Self-Service BI + Data Science/ML (Predictivo: Evasión, Riesgo, Demanda; Prescriptivo: Next Best Action; Generativo: Chatbot Ciudadano). | Cultura de datos + Plataforma MLOps + Casos de uso priorizados con ROI claro (Ej: Modelo Evasión Predial = $$ Recaudo). |