Gestió de metadades: què cal documentar de cada actiu de dades i com mantenir viu el catàleg

Sense metadades, un actiu de dades és un fitxer més. Amb elles, és un actiu governat: se sap què significa, d'on ve, qui en respon, qui l'utilitza i quines restriccions té, i s'hi poden aplicar polítiques de qualitat, seguretat i traçabilitat. El catàleg de dades és l'eina on viuen aquestes metadades; la gestió de metadades és la disciplina que fa que el catàleg reflecteixi la realitat.

Els quatre tipus de metadades

Seguint DAMA-DMBOK, amb una quarta categoria per al que és propi del model de govern de cada organització:

Tipus	Què descriu	Exemples
De negoci	El significat funcional	Definició, termes del glossari, regles, propietari, finalitat
Tècniques	L'estructura i la construcció	Esquema, tipus de dada, sistema d'origen, processos de càrrega, dependències
Operatives	El comportament en explotació	Freqüència d'actualització, estat, qualitat, incidències, ús
De govern	Atributs propis del model	Classificació, dades personals, criticitat, font d'autoritat, ús per sistemes d'IA

Metadades obligatòries: el mínim per publicar

L'error habitual és voler-ho documentar tot des del primer dia. Funciona millor un conjunt curt de metadades obligatòries l'absència de les quals bloqueja la posada en servei:

• Nom de l'actiu, llegible per persones.
• Descripció funcional.
• Domini funcional i producte de dades al qual pertany.
• Propietari de la dada.
• Sistema d'origen.
• Termes del glossari vinculats.
• Freqüència d'actualització.
• Classificació de la informació i presència de dades personals.

Amb això es respon a l'essencial: què és, qui en respon i com es tracta.

Atributs estesos: el que l'eina no porta de sèrie

Eines com Microsoft Purview o OpenMetadata cobreixen bé les metadades tècniques, però no les pròpies de cada organització. S'afegeixen com a camps personalitzats, amb valors controlats:

Atribut	Valors	Caràcter
Classificació de la informació	Pública / Ús intern / Confidencial / Restringida	Obligatori
Dades personals	Sense dades personals / Ordinàries / Categories especials / Pseudonimitzades	Obligatori quan escaigui
Tipus de dada	Mestra / Referència / Transaccional / Analítica	Obligatori
Font d'autoritat	Sí (amb data d'aprovació) / No	Quan escaigui
Tipus de font	Aplicació de gestió / Fitxer / SharePoint / Servei web / Sensors	Obligatori en fonts integrades
Criticitat	Crítica / Alta / Mitjana / Baixa	Recomanat
Ús per sistemes d'IA	Llista de sistemes	Obligatori quan escaigui

Dues idees importants. La classificació automàtica de les eines (DNI, IBAN, correu…) és un complement, no un substitut: la classificació oficial és la que aprova l'administrador de la dada. I l'atribut «Ús per sistemes d'IA» és cada vegada més necessari: permet saber quines dades alimenten cada assistent o model i prioritzar-ne la qualitat.

El cicle de vida de les metadades

La regla d'or: les metadades es creen en lliurar l'actiu, no després. Cada producte de dades incorpora les seves metadades com a requisit del desenvolupament; així no s'acumula deute documental.

1. Creació, durant el desenvolupament, a partir dels lliurables: especificació de requisits, disseny funcional (glossari i usuaris amb accés), disseny tècnic (taules i camps) i inventari de processos (fluxos i dependències).
2. Validació per part de l'administrador de la dada abans de la posada en servei.
3. Publicació al catàleg per part del custodi, com a part de la llista de comprovació de publicació.
4. Manteniment a cada canvi rellevant: esquema, propietari, usos o sensibilitat.
5. Revisió anual, sobretot de les metadades de govern (propietari, classificació, criticitat), que es desactualitzen sense que ningú se n'adoni.

Llinatge: d'on ve cada dada

Cap actiu no està realment governat si no se'n coneix l'origen, les transformacions i els usos. Les eines generen llinatge automàtic només per a algunes fonts; les transformacions en codi (scripts o quaderns en Python) solen requerir un procediment manual:

1. Inventariar el flux complet, des dels sistemes d'origen fins als informes, models, API o sistemes d'IA que l'utilitzen.
2. Reunir les evidències tècniques: codi, esquemes i una fitxa per procés que indiqui de quines columnes surt cada resultat.
3. Traduir-ho a parells origen-destinació, per actiu i, si és viable, per columna.
4. Donar d'alta al catàleg el que no detecti l'escaneig i crear les relacions de llinatge manuals.
5. Descriure en llenguatge clar la finalitat del flux i les seves regles.
6. Validar-lo funcionalment i aprovar-ne la cobertura abans de publicar.
7. Mantenir-lo a cada canvi.

Qui fa què

Rol	Què fa amb les metadades
Propietari de la dada	Coneix les definicions del seu domini, aporta criteri i escala les discrepàncies
Administrador de la dada	Valida definicions, descripcions i glossari, i aporta el context del sistema d'origen
Custodi de la dada	Carrega i actualitza les metadades al catàleg, inclosos el llinatge i els atributs estesos
Arquitecte de dades	Defineix els estàndards de catalogació, els atributs estesos i les llistes controlades
Responsable de govern de les dades	Garanteix el marc, supervisa els mínims i elabora els informes

Com escriure bones descripcions

Taules. Descriure la finalitat i el contingut sense repetir el nom. Malament: «Conté les vies». Bé: «Carrerer oficial del municipi, amb el codi INE de cada via i el seu tram de numeració». Millor no citar taules d'origen, que canvien i deixen la descripció obsoleta.

Camps. Una descripció explicativa, si forma part de la clau primària i un tipus de dada coherent amb el contingut: un codi postal és text, no un nombre, o perdrà el zero inicial.

Indicadors. Tota descripció respon a cinc preguntes:

Element	Exemple: temps mitjà de concessió de llicències d'obra menor
Què es mesura	Dies des de la sol·licitud completa fins a la notificació de la resolució. Indica l'agilitat del servei
Com es mesura	Suma de dies naturals entre totes dues dates dividida entre les llicències resoltes en el període
Unitat	Dies naturals
Llindars	Objectiu: 30 dies o menys. Més de 45 dies: alerta
Interpretació	Com més baix, millor. Un augment sostingut indica manca de recursos o un coll d'ampolla

Com saber si funciona

Quatre indicadors de cobertura, que es poden obtenir de la mateixa eina de catàleg mitjançant la seva API i revisar al comitè de govern de les dades:

• Percentatge d'actius amb les metadades obligatòries completes.
• Percentatge amb classificació i dades personals identificades.
• Percentatge amb termes del glossari vinculats.
• Percentatge amb propietari formalment assignat.

Un exemple de fitxa completa

Així quedaria la fitxa d'un dataset al catàleg:

Metadada	Valor
Nom	Carrerer oficial
Descripció	Vies del municipi amb el seu codi INE, tipus de via, trams de numeració i districte. És la referència per validar adreces en tots els sistemes
Domini / producte	Població i territori / Dades de referència territorials
Propietari	Responsable de l'àrea d'estadística
Administrador	Tècnic de cartografia
Sistema d'origen	Aplicació de gestió territorial
Termes del glossari	Via pública, Districte, Tram
Freqüència	Setmanal
Classificació	Pública
Dades personals	Sense dades personals
Tipus de dada	Referència
Font d'autoritat	Sí (aprovada pel comitè de govern de les dades)
Criticitat	Alta
Ús per sistemes d'IA	Assistent d'atenció (validació d'adreces)

Amb aquesta fitxa, qualsevol persona sap què és, si el pot utilitzar, a qui preguntar i quins sistemes es veurien afectats si canvia.

El glossari de negoci: l'altra meitat del catàleg

El catàleg descriu actius; el glossari defineix conceptes. Sense glossari, dues àrees poden anomenar «client actiu» coses diferents i els seus informes no quadraran mai. Per construir-lo:

1. Començar pels conceptes que generen més discussions: client, contracte, expedient, empleat actiu, data d'alta.
2. Una definició per terme, en llenguatge clar, validada per tots els dominis que l'utilitzen.
3. Enllaçar cada terme amb els datasets que l'implementen: així es veu quines taules responen a cada concepte.
4. Termes propis per subdomini quan calgui, heretant els comuns del domini.
5. Un responsable per terme, normalment el propietari del domini, que n'aprova els canvis.

Classificació de la informació: els nivells

La classificació és obligatòria i es tradueix en controls reals; no és un exercici documental:

Nivell	Exemples	Tractament
Pública	Dades obertes, indicadors publicats, normativa	Sense restriccions
Ús intern	Documentació operativa, indicadors interns	Només personal de l'organització
Confidencial	Dades de clients o ciutadans concrets, contractes en licitació	Accés per rol i necessitat de conèixer, amb registre d'accessos
Restringida	Salut, menors, víctimes, configuracions de seguretat	Accés mínim, controls reforçats i auditoria

El xifratge no és un nivell, sinó un control que s'aplica als actius confidencials o restringits segons l'anàlisi de riscos. I cada dataset indica, a més, si conté dades personals i de quin tipus, perquè això condiciona la base jurídica, la conservació i la necessitat d'una avaluació d'impacte.

Metadades i fonts integrades

Quan s'incorpora una font nova a la plataforma de dades, el catàleg també ha de recollir:

• el tipus de font (aplicació de gestió, fitxer, gestor documental, servei web, sensors);
• el patró d'integració (càrrega per lots, flux d'esdeveniments, consulta sota demanda, replicació de canvis);
• l'acord d'accés a la dada amb el responsable del sistema d'origen: quines dades, amb quina freqüència, quin esquema, quina sensibilitat i què passa quan canvia la font;
• el llinatge complet fins als productes que la utilitzen.

Així, quan un sistema d'origen canvia, se sap en minuts quins informes i models es veuran afectats.

Metadades per a la intel·ligència artificial

Els sistemes d'IA, sobretot els que cerquen en documents propis (RAG), depenen de metadades que abans eren opcionals:

• Vigència del document: un assistent que cita una normativa derogada dona respostes errònies amb tota seguretat.
• Classificació i permisos: determinen què pot veure l'assistent i per a qui respon.
• Font d'autoritat: quin document mana quan dos diuen coses diferents.
• Ús per sistemes d'IA: per prioritzar la qualitat d'aquests actius i avaluar l'impacte dels canvis.

Com implantar-ho per fases

1. Fase 1: el mínim en el que és crític. Metadades obligatòries i classificació en els datasets més utilitzats i en els que alimenten sistemes d'IA.
2. Fase 2: glossari i llinatge. Termes clau del negoci i llinatge dels productes de dades principals, inclòs el manual on no arriba l'automàtic.
3. Fase 3: atributs estesos i automatització. Criticitat, fonts d'autoritat, indicadors de cobertura obtinguts per API i revisió anual.

Cada fase es tanca amb els indicadors de cobertura, no amb l'eina instal·lada.

Errors freqüents

• Documentar després: la documentació posterior no arriba mai o arriba desactualitzada.
• Copiar el nom tècnic com a descripció: «TB_CLI_001: taula de clients» no ajuda ningú.
• Confiar només en l'escaneig automàtic: detecta taules, no significats.
• Catàleg sense amo: si ningú no revisa les metadades de govern, d'aquí a un any el propietari de la meitat dels actius ja no hi treballarà.
• Voler catalogar-ho tot alhora: és millor un 100 % del que és crític que un 30 % de tot.

A Bidatia implantem catàlegs de dades amb Microsoft Purview i OpenMetadata, i dissenyem el model de metadades que els fa útils. Per al marc de rols i òrgans, consulta govern de les dades: perfils i organització.