OPERACIÓ I OBSERVABILITAT DE CÀRREGUES DE DADES
AlmIA
Governa, llança i vigila les teves càrregues de dades
EL REPTE Cada matí, la mateixa pregunta: com ha anat el batch?
El problema: errors que es detecten tard, informes amb dades d'ahir i credencials repartides per l'equip.
LA SOLUCIÓ
AlmIA
AlmIA vigila les càrregues de dades sobre Microsoft Fabric, tradueix cada execució a un estat de negoci, diagnostica els errors i permet rellançar sense entrar a Fabric. Tot passa per un gateway instal·lat a la teva xarxa, que guarda les teves credencials i les teves dades.
Warning: 1 h 45 min, un 135 % per sobre del seu percentil 90 històric de 44 min.
AlmIA respon a quatre preguntes
Com ha anat el batch d'avui?
Quadre del dia amb indicadors, eix de 24 hores i estat de cada pipeline.
Què ha fallat i a qui afecta?
Diagnòstic de cada error, solució proposada i impacte aigües avall.
El puc rellançar ara?
Executar, avortar i planificar pipelines des del portal, amb els seus paràmetres.
Qui veu i opera cada càrrega?
Permisos de lectura o escriptura per projecte o per pipeline.
COM FUNCIONA
Del gateway al portal, cada dia i sense altes manuals
- 1Connecta
El gateway s'instal·la a la teva xarxa i és l'únic que parla amb Fabric.
- 2Descobreix
Sincronitza workspaces, pipelines i activitats cada dia i sota demanda.
- 3Ordena
Assigna cada pipeline a la seva capa (bronze, plata o or) i als seus projectes.
- 4Diagnostica
Classifica cada execució, proposa la causa de l'error i calcula el seu impacte aigües avall.
- 5Actua
Llança, avorta i planifica pipelines a través de l'Airflow del gateway.
Sense obrir ports. El gateway inicia sempre la connexió amb el portal i funciona darrere del teu tallafoc.
ELS ESTATS
Estats que entén negoci
Cada execució de Fabric es tradueix a un estat de negoci. Si n'hi apliquen diversos, mana el més greu.
KO
Ha fallat o s'ha cancel·lat.
Warning
Ha acabat, però amb un avís.
En curs
En marxa o pendent de la seva hora.
OK
Ha acabat sense incidències.
ELS AVISOS
Un warning avisa abans que la dada arribi malament
Reintents o fallada gestionada
Ha acabat, però després de reintentar o de passar per una branca d'error del pipeline.
Més lent del que és habitual
Ha trigat més que el percentil 90 del seu propi històric d'execucions.
Zero files escrites
No ha escrit dades en un pipeline que normalment sí que n'escriu.
Fora d'SLA
Ha acabat després de l'hora compromesa amb negoci per a aquella dada.
EL MONITOR
El quadre del dia respon com ha anat el batch
Indicadors
Execucions totals i quantes estan OK, amb warning, en error, en curs o pendents.
Eix de 24 hores
Pipelines actius per hora i marques d'errors, warnings, en curs i programats.
Detall per workspace
Pipelines ordenats per capa, hora programada, últimes activitats i enllaç a Fabric.
Filtres
Data, tecnologia, workspace, capa i estat, amb refresc automàtic.
INCIDÈNCIES
Cada error arriba amb la seva causa probable i el seu impacte
Diagnòstic
Motiu probable de l'error o del warning i solució proposada.
Impacte aigües avall
Quins pipelines i capes es veuen afectats, a partir de les dependències.
Seguiment
L'equip marca cada incidència com a oberta, en revisió o corregida, amb comentari.
Execucions
La llista completa de tots els pipelines, amb filtre per workspace i estat.
EXECUCIONS I PLANIFICACIONS
Llança, cancel·la i programa pipelines sense entrar a Fabric
Executar ara
Llança un pipeline des de la seva targeta. Si té paràmetres, el portal te'ls demana en un formulari i l'execució apareix en curs fins que acaba a Fabric.
Planificacions
Execucions recurrents amb expressió cron o en una data concreta, amb els seus paràmetres. El gateway les dispara quan vencen.
Històric i volumetria
Per pipeline: durada de cada execució, files llegides i escrites, detall d'activitats i la seva evolució en el temps.
Avortar i recuperar: una execució en marxa es cancel·la des de l'històric i, si el portal o el gateway es reinicien, el gateway reconcilia el seu estat amb Airflow.
CATÀLEG I METADADES
Un inventari viu de Fabric, sense altes manuals
Descobriment automàtic
Llista els workspaces que veu la identitat de servei, per assignar-los al client.
Catàleg sincronitzat
Workspaces, pipelines, activitats i paràmetres, cada dia i sota demanda.
Llinatge i volumetria
Taules d'origen i destinació, files llegides i escrites, estadístiques Delta i Spark.
Capacitat de Fabric
El gateway comprova cada 5 minuts si està activa; el portal ho mostra a Inici.
PROJECTES
Organitza les càrregues per projecte de negoci, amb les seves capes
Estructura, històric i monitor propis
Cada projecte agrupa workspaces i pipelines, encara que siguin de tecnologies diferents, amb el seu llenç de dependències.
Permisos per projecte
L'administrador decideix qui veu cada projecte, amb lectura o escriptura, i fins i tot quins pipelines dins seu.
ADMINISTRACIÓ
Tres rols: cadascun veu i fa només el que li toca
Superadmin
Dona d'alta clients, rota el secret del seu gateway i els assigna els seus workspaces. No opera dades de clients.
Admin
Gestiona projectes, planificacions, etiquetes i usuaris del seu client, i entra al panell del seu gateway.
Usuari
Consulta i, amb permís d'escriptura, executa els pipelines dels projectes que se li assignin.
Identitat gestionada amb Keycloak: alta i bloqueig d'usuaris, canvi i restabliment de contrasenya, i sessió amb caducitat i renovació automàtica.
SEGURETAT
Les teves dades i les teves credencials no surten de casa
Un gateway per client
Amb el seu propi Airflow, la seva base de dades i les seves credencials. No comparteix res amb altres clients.
Credencials a la teva xarxa
Les claus de Fabric es configuren al panell del gateway i mai no arriben al portal central.
Connexió sortint
El gateway obre la connexió amb el seu propi secret. No cal obrir ports d'entrada.
Només fets, mai dades
Al portal hi arriba un batec i un resum d'execucions, mai files de dades ni paràmetres.
Permisos denegats per defecte: un usuari nou no veu cap projecte fins que el seu administrador l'hi assigna, i el portal descarta les dades de workspaces no assignats.
FULL DE RUTA
Després de Fabric arriben Databricks i Snowflake
Databricks i Snowflake
El monitor ja separa la vista per tecnologia; falta el connector de cada plataforma al gateway.
Diagnòstic amb IA
Avui el diagnòstic fa servir regles sobre el missatge d'error; està preparat per a un model de llenguatge.
Més integració amb Fabric
Veure les planificacions creades a Fabric i enllaçar amb cada execució al Monitoring hub.
Pensat per a: Equips de dades i d'operació que treballen amb Microsoft Fabric, responsables de plataforma, govern de les dades i TI.
PREGUNTES FREQÜENTS
Preguntes freqüents
Respostes directes al que més ens pregunten.
Amb quines plataformes funciona AlmIA?
Avui amb Microsoft Fabric. Databricks i Snowflake són al full de ruta: el monitor ja separa la vista per tecnologia i falta el connector de cada plataforma al gateway.
AlmIA copia les meves dades fora de la meva xarxa?
No. El gateway s'instal·la a la teva xarxa, guarda les credencials de Fabric i obre sempre la connexió cap al portal. Al portal només hi arriba un batec i un resum d'execucions, mai files de dades ni paràmetres.
Cal obrir ports al tallafoc?
No. La connexió és sempre sortint, des del gateway cap al portal, amb el seu propi secret.
Què és un warning a AlmIA?
Una execució que ha acabat però mereix atenció: després de reintents, més lenta que el seu percentil 90 històric, sense files escrites quan normalment n'escriu o fora de l'SLA compromès amb negoci.
Com es diagnostiquen els errors?
Avui amb regles sobre el missatge d'error, que proposen el motiu probable i la solució i calculen l'impacte aigües avall. El diagnòstic està preparat per incorporar un model de llenguatge.
Vols veure AlmIA amb les teves dades?
T'ho ensenyem amb un cas com el teu.