OPERACIÓN Y OBSERVABILIDAD DE CARGAS DE DATOS
AlmIA
Gobierna, lanza y vigila tus cargas de datos
EL RETO Cada mañana, la misma pregunta: ¿cómo ha ido el batch?
El problema: errores que se detectan tarde, informes con datos de ayer y credenciales repartidas por el equipo.
LA SOLUCIÓN
AlmIA
AlmIA vigila las cargas de datos sobre Microsoft Fabric, traduce cada ejecución a un estado de negocio, diagnostica los errores y permite relanzar sin entrar en Fabric. Todo pasa por un gateway instalado en tu red, que guarda tus credenciales y tus datos.
Warning: 1 h 45 min, un 135 % sobre su percentil 90 histórico de 44 min.
AlmIA responde a cuatro preguntas
¿Cómo ha ido el batch de hoy?
Cuadro del día con indicadores, eje de 24 horas y estado de cada pipeline.
¿Qué ha fallado y a quién afecta?
Diagnóstico de cada error, solución propuesta e impacto aguas abajo.
¿Puedo relanzarlo ahora?
Ejecutar, abortar y planificar pipelines desde el portal, con sus parámetros.
¿Quién ve y opera cada carga?
Permisos de lectura o escritura por proyecto o por pipeline.
CÓMO FUNCIONA
Del gateway al portal, cada día y sin altas manuales
- 1Conecta
El gateway se instala en tu red y es el único que habla con Fabric.
- 2Descubre
Sincroniza workspaces, pipelines y actividades cada día y bajo demanda.
- 3Ordena
Asigna cada pipeline a su capa (bronce, plata u oro) y a sus proyectos.
- 4Diagnostica
Clasifica cada ejecución, propone la causa del error y calcula su impacto aguas abajo.
- 5Actúa
Lanza, aborta y planifica pipelines a través del Airflow del gateway.
Sin abrir puertos. El gateway inicia siempre la conexión con el portal y funciona detrás de tu cortafuegos.
LOS ESTADOS
Estados que entiende negocio
Cada ejecución de Fabric se traduce a un estado de negocio. Si aplican varios, manda el más grave.
KO
Falló o se canceló.
Warning
Terminó, pero con un aviso.
En curso
En marcha o pendiente de su hora.
OK
Terminó sin incidencias.
LOS AVISOS
Un warning avisa antes de que el dato llegue mal
Reintentos o fallo gestionado
Terminó, pero tras reintentar o tras pasar por una rama de error del pipeline.
Más lento de lo habitual
Tardó más que el percentil 90 de su propio histórico de ejecuciones.
Cero filas escritas
No escribió datos en un pipeline que normalmente sí los escribe.
Fuera de SLA
Terminó después de la hora comprometida con negocio para ese dato.
EL MONITOR
El cuadro del día responde cómo ha ido el batch
Indicadores
Ejecuciones totales y cuántas están OK, con warning, en error, en curso o pendientes.
Eje de 24 horas
Pipelines activos por hora y marcas de errores, warnings, en curso y programados.
Detalle por workspace
Pipelines ordenados por capa, hora programada, últimas actividades y enlace a Fabric.
Filtros
Fecha, tecnología, workspace, capa y estado, con refresco automático.
INCIDENCIAS
Cada error llega con su causa probable y su impacto
Diagnóstico
Motivo probable del error o del warning y solución propuesta.
Impacto aguas abajo
Qué pipelines y capas se ven afectados, a partir de las dependencias.
Seguimiento
El equipo marca cada incidencia como abierta, en revisión o corregida, con comentario.
Ejecuciones
La lista completa de todos los pipelines, con filtro por workspace y estado.
EJECUCIONES Y PLANIFICACIONES
Lanza, cancela y programa pipelines sin entrar en Fabric
Ejecutar ahora
Lanza un pipeline desde su tarjeta. Si tiene parámetros, el portal los pide en un formulario y la ejecución aparece en curso hasta que termina en Fabric.
Planificaciones
Ejecuciones recurrentes con expresión cron o en una fecha concreta, con sus parámetros. El gateway las dispara cuando vencen.
Histórico y volumetría
Por pipeline: duración de cada ejecución, filas leídas y escritas, detalle de actividades y su evolución en el tiempo.
Abortar y recuperar: una ejecución en marcha se cancela desde el histórico y, si el portal o el gateway se reinician, el gateway reconcilia su estado con Airflow.
CATÁLOGO Y METADATOS
Un inventario vivo de Fabric, sin altas manuales
Descubrimiento automático
Lista los workspaces que ve la identidad de servicio, para asignarlos al cliente.
Catálogo sincronizado
Workspaces, pipelines, actividades y parámetros, cada día y bajo demanda.
Linaje y volumetría
Tablas de origen y destino, filas leídas y escritas, estadísticas Delta y Spark.
Capacidad de Fabric
El gateway comprueba cada 5 minutos si está activa; el portal lo muestra en Inicio.
PROYECTOS
Organiza las cargas por proyecto de negocio, con sus capas
Estructura, histórico y monitor propios
Cada proyecto agrupa workspaces y pipelines, aunque sean de tecnologías distintas, con su lienzo de dependencias.
Permisos por proyecto
El administrador decide quién ve cada proyecto, con lectura o escritura, e incluso qué pipelines dentro de él.
ADMINISTRACIÓN
Tres roles: cada uno ve y hace solo lo suyo
Superadmin
Da de alta clientes, rota el secreto de su gateway y les asigna sus workspaces. No opera datos de clientes.
Admin
Gestiona proyectos, planificaciones, etiquetas y usuarios de su cliente, y entra al panel de su gateway.
Usuario
Consulta y, con permiso de escritura, ejecuta los pipelines de los proyectos que se le asignen.
Identidad gestionada con Keycloak: alta y bloqueo de usuarios, cambio y reseteo de contraseña, y sesión con caducidad y renovación automática.
SEGURIDAD
Tus datos y tus credenciales no salen de casa
Un gateway por cliente
Con su propio Airflow, su base de datos y sus credenciales. No comparte nada con otros clientes.
Credenciales en tu red
Las claves de Fabric se configuran en el panel del gateway y nunca llegan al portal central.
Conexión saliente
El gateway abre la conexión con su propio secreto. No hay que abrir puertos de entrada.
Solo hechos, nunca datos
Al portal llega un latido y un resumen de ejecuciones, nunca filas de datos ni parámetros.
Permisos denegados por defecto: un usuario nuevo no ve ningún proyecto hasta que su administrador se lo asigna, y el portal descarta los datos de workspaces no asignados.
HOJA DE RUTA
Después de Fabric llegan Databricks y Snowflake
Databricks y Snowflake
El monitor ya separa la vista por tecnología; falta el conector de cada plataforma en el gateway.
Diagnóstico con IA
Hoy el diagnóstico usa reglas sobre el mensaje de error; está preparado para un modelo de lenguaje.
Más integración con Fabric
Ver las planificaciones creadas en Fabric y enlazar con cada ejecución en el Monitoring hub.
Pensado para: Equipos de datos y de operación que trabajan con Microsoft Fabric, responsables de plataforma, gobierno del dato e IT.
PREGUNTAS FRECUENTES
Preguntas frecuentes
Respuestas directas a lo que más nos preguntan.
¿Con qué plataformas funciona AlmIA?
Hoy con Microsoft Fabric. Databricks y Snowflake están en la hoja de ruta: el monitor ya separa la vista por tecnología y falta el conector de cada plataforma en el gateway.
¿AlmIA copia mis datos fuera de mi red?
No. El gateway se instala en tu red, guarda las credenciales de Fabric y abre siempre la conexión hacia el portal. Al portal solo llega un latido y un resumen de ejecuciones, nunca filas de datos ni parámetros.
¿Hay que abrir puertos en el cortafuegos?
No. La conexión es siempre saliente, desde el gateway hacia el portal, con su propio secreto.
¿Qué es un warning en AlmIA?
Una ejecución que terminó pero merece atención: tras reintentos, más lenta que su percentil 90 histórico, sin filas escritas cuando normalmente las escribe o fuera del SLA comprometido con negocio.
¿Cómo se diagnostican los errores?
Hoy con reglas sobre el mensaje de error, que proponen el motivo probable y la solución y calculan el impacto aguas abajo. El diagnóstico está preparado para incorporar un modelo de lenguaje.
¿Quieres ver AlmIA con tus datos?
Te lo enseñamos con un caso como el tuyo.