Qualitat de les dades: dimensions, mètriques i per on començar

La qualitat de les dades és el grau en què una dada compleix els requisits per al seu ús. No és un ideal abstracte: és la diferència entre un quadre de comandament en què confia la direcció i un altre que ningú no mira, o entre un assistent d'IA que l'encerta i un altre que s'inventa les respostes.

Un model de qualitat, no una neteja puntual

Netejar les dades una vegada no serveix de res si l'origen continua generant errors. Un model de qualitat reuneix polítiques, processos i responsables:

• Qui defineix les regles: l'equip de govern de les dades; el responsable de govern de les dades les defineix i els custodis les implementen.
• Qui valida: propietaris i administradors reben els indicadors, validen funcionalment i comuniquen impactes.
• Com es detecten els problemes: alertes automàtiques de les eines més el contrast funcional de qui coneix la dada.
• Com es resolen: el responsable de govern prioritza la incidència i en fa el seguiment; el custodi la corregeix; l'administrador confirma que està resolta.
• Com es millora: un full de ruta prioritzat de millores, executat per cicles.

Les dimensions de qualitat

Dimensió	Pregunta	Exemple de control	Tipus de regla
Exactitud	El valor reflecteix la realitat?	Coincideix amb una font de veritat	Personalitzada
Completesa	Hi són els valors obligatoris?	Camps obligatoris no buits, comptant els nuls disfressats	Camps buits
Consistència	Són coherents entre si i entre sistemes?	La data de baixa és posterior a la d'alta	Tipus de dada o personalitzada
Actualitat	Està al dia?	El dataset s'actualitza amb la periodicitat prevista	Actualització
Unicitat	Cada cosa apareix una sola vegada?	Clau primària sense duplicats	Valors únics o files duplicades
Validesa	Compleix el format?	Format de correu, DNI o codi postal	Coincidència de format
Integritat	Se sostenen les relacions?	La clau existeix a la taula mestra	Cerca en taula

Mètriques: de les regles als indicadors

Els resultats de les regles es converteixen en indicadors de qualitat (KQI) de cada dataset:

• Percentatge de valors buits en camps obligatoris.
• Percentatge de duplicats.
• Percentatge de registres amb format vàlid.
• Percentatge d'integritat referencial.
• Percentatge de compliment: regles complertes sobre el total.

Es publiquen al quadre de comandament del govern de les dades i es revisen al comitè, amb llindars que disparen alertes.

El que poden i no poden fer les eines

Les eines de catàleg amb funcions de qualitat, com Microsoft Purview Data Quality, permeten definir regles, executar-les, generar alertes i assignar accions. Però les seves regles són sobretot validacions senzilles sobre un dataset: buits, rangs, llistes, recomptes o duplicats. Els controls amb lògica de negoci complexa, o que comparen diversos sistemes, s'implementen en els mateixos processos de dades o amb eines específiques com Great Expectations o Pandera.

Per on començar

L'error habitual és voler-ho mesurar tot. Funciona millor començar amb quatre controls que l'eina configura directament:

1. Duplicats per clau, per garantir la unicitat.
2. Actualització, per comprovar que els datasets arriben quan toca.
3. Camps obligatoris, per detectar buits.
4. Formats bàsics, per a la validesa.

I aplicar-los primer a dos tipus de dades: les que utilitzen els sistemes d'IA i les fonts d'autoritat (la dada única de cada entitat). La resta s'amplia a mesura que el model madura.

Una regla d'exemple per dimensió

Per a un dataset de clients, així es traduirien les dimensions en regles concretes:

Dimensió	Regla	Severitat
Completesa	El NIF no pot estar buit, ni contenir «0», «000000000» o «SIN NIF»	Bloquejant
Unicitat	No hi pot haver dos clients actius amb el mateix NIF	Greu
Validesa	El correu electrònic compleix el format; el codi postal té cinc dígits	Avís
Consistència	La data de baixa és posterior a la d'alta	Greu
Integritat	El codi de municipi existeix a la taula de municipis	Greu
Actualitat	El dataset s'ha carregat en les darreres 24 hores	Bloquejant
Exactitud	El total de clients actius coincideix amb el del sistema d'origen (±0,5 %)	Avís

La severitat decideix la resposta: una regla bloquejant atura la càrrega i avisa el propietari de la dada; una de greu només deixa continuar amb aprovació expressa; un avís es registra i el procés continua.

El circuit d'una incidència de qualitat

1. Detecció: salta una regla, o un administrador de la dada veu alguna cosa que no quadra en un informe.
2. Registre: la incidència entra per l'eina de peticions amb el seu dataset, la dimensió afectada, l'impacte i la urgència.
3. Anàlisi: l'administrador ajuda a valorar l'impacte funcional; el custodi cerca la causa tècnica.
4. Correcció: a l'origen sempre que sigui possible. Corregir només a la plataforma de dades és un pedaç que es repetirà en la càrrega següent.
5. Validació: l'administrador confirma que el problema està resolt.
6. Prevenció: si no existia, es crea la regla que l'hauria detectat.
7. Informació: els propietaris reben periòdicament l'estat i les tendències.

Com descriure un indicador de qualitat

Igual que qualsevol altre indicador, un KQI necessita una fitxa clara:

Element	Exemple: completesa del NIF de clients
Què es mesura	Percentatge de clients actius amb un NIF informat i vàlid
Com es mesura	Clients actius amb NIF vàlid entre el total de clients actius
Unitat	Percentatge
Llindars	Objectiu ≥ 99,5 %; alerta per sota del 98 %
Interpretació	Una caiguda sol indicar un canvi en el formulari d'alta o en la càrrega

Qualitat i maduresa

En l'avaluació de maduresa del govern de les dades (UNE 0080), la gestió de la qualitat és un dels processos que més pesen. Un recorregut realista:

• Nivell 2: primeres regles en les dades crítiques i responsables identificats.
• Nivell 3: model corporatiu de qualitat, amb dimensions i processos definits per a tota l'organització.
• Nivell 4: indicadors amb objectius i llindars, quadre de comandament i anàlisi de causes.
• Nivell 5: millora contínua i qualitat gestionada per obtenir el màxim valor de les dades.

Eines a cada capa

• Al catàleg (Microsoft Purview Data Quality, OpenMetadata): regles senzilles, alertes i seguiment visible per al negoci.
• Als processos de càrrega (Great Expectations, Pandera, validacions en notebooks o pipelines de Fabric): regles complexes, comparacions entre sistemes i bloqueig de càrregues.
• Al quadre de comandament del govern de les dades (Power BI): l'evolució dels indicadors per domini i producte.

Errors freqüents

• Mesurar sense amo: una alerta que no rep ningú no serveix de res.
• Corregir sempre a la destinació i mai al sistema d'origen.
• Regles que no compten els nuls disfressats: un «999» o un «01/01/1900» passen qualsevol control de camp buit.
• Cent regles el primer mes i cap de mantinguda al sisè.
• Un percentatge global de qualitat que amaga que una dada crítica és incorrecta.

La qualitat comença en el desenvolupament

Cada producte de dades ha d'incloure des de la seva construcció controls de format i valors, completesa, duplicats i coherència entre datasets. I cada problema que es trobi s'ha de convertir en una regla automàtica, amb responsable i severitat, perquè no torni a aparèixer. Ho expliquem amb més detall a biaixos i problemes de dades que fan fallar la IA.

Equilibri amb la protecció de dades

L'AEPD recorda que la qualitat tècnica no ha de portar a una exigència desproporcionada que xoqui amb la minimització: no es tracta de recollir més dades perquè siguin «més completes», sinó que les necessàries siguin correctes.

A Bidatia implantem models de qualitat de les dades amb Microsoft Purview, OpenMetadata i validacions automatitzades, alineats amb DAMA i la UNE 0079. Per al marc complet, consulta govern de les dades: perfils i organització i dades mestres i fonts d'autoritat.