ARTÍCULO

Calidad del dato: dimensiones, métricas y por dónde empezar

Las dimensiones de calidad de DAMA, cómo controlarlas con reglas en herramientas como Microsoft Purview, qué métricas seguir y los cuatro controles con los que empezar sin complicarse.

· Por Santos Vicente

Lupa que detecta bloques de datos defectuosos

La calidad del dato es el grado en que un dato cumple los requisitos para su uso. No es un ideal abstracto: es la diferencia entre un cuadro de mando en el que confía la dirección y otro que nadie mira, o entre un asistente de IA que acierta y otro que inventa.

Un modelo de calidad, no una limpieza puntual

Limpiar los datos una vez no sirve si el origen sigue generando errores. Un modelo de calidad reúne políticas, procesos y responsables:

  • Quién define las reglas: el equipo de gobierno del dato; el responsable de gobierno del dato las define y los custodios las implementan.
  • Quién valida: propietarios y administradores reciben los indicadores, validan funcionalmente y comunican impactos.
  • Cómo se detectan los problemas: alertas automáticas de las herramientas más el contraste funcional de quien conoce el dato.
  • Cómo se resuelven: el responsable de gobierno prioriza y sigue la incidencia; el custodio la corrige; el administrador confirma que está resuelta.
  • Cómo se mejora: una hoja de ruta priorizada de mejoras, ejecutada por ciclos.

Las dimensiones de calidad

Dimensión Pregunta Ejemplo de control Tipo de regla
Exactitud ¿El valor refleja la realidad? Coincide con una fuente de verdad Personalizada
Completitud ¿Están los valores obligatorios? Campos obligatorios no vacíos, contando los nulos disfrazados Campos vacíos
Consistencia ¿Son coherentes entre sí y entre sistemas? La fecha de baja es posterior a la de alta Tipo de dato o personalizada
Actualidad ¿Está al día? El dataset se actualiza con la periodicidad prevista Actualización
Unicidad ¿Cada cosa aparece una vez? Clave primaria sin duplicados Valores únicos o filas duplicadas
Validez ¿Cumple el formato? Formato de correo, DNI o código postal Coincidencia de formato
Integridad ¿Se sostienen las relaciones? La clave existe en la tabla maestra Búsqueda en tabla

Métricas: de las reglas a los indicadores

Los resultados de las reglas se convierten en indicadores de calidad (KQI) de cada dataset:

  • Porcentaje de valores vacíos en campos obligatorios.
  • Porcentaje de duplicados.
  • Porcentaje de registros con formato válido.
  • Porcentaje de integridad referencial.
  • Porcentaje de cumplimiento: reglas cumplidas sobre el total.

Se publican en el cuadro de mando del gobierno del dato y se revisan en el comité, con umbrales que disparan alertas.

Lo que pueden y no pueden hacer las herramientas

Herramientas de catálogo con funciones de calidad, como Microsoft Purview Data Quality, permiten definir reglas, ejecutarlas, generar alertas y asignar acciones. Pero sus reglas son sobre todo validaciones sencillas sobre un dataset: vacíos, rangos, listas, recuentos o duplicados. Los controles con lógica de negocio compleja, o que comparan varios sistemas, se implementan en los propios procesos de datos o con herramientas específicas como Great Expectations o Pandera.

Por dónde empezar

El error habitual es querer medirlo todo. Funciona mejor empezar con cuatro controles que la herramienta configura directamente:

  1. Duplicados por clave, para garantizar la unicidad.
  2. Actualización, para comprobar que los datasets llegan cuando deben.
  3. Campos obligatorios, para detectar vacíos.
  4. Formatos básicos, para la validez.

Y aplicarlos primero a dos tipos de datos: los que usan los sistemas de IA y las fuentes de autoridad (el dato único de cada entidad). El resto se amplía a medida que el modelo madura.

Una regla de ejemplo por dimensión

Para un dataset de clientes, así se traducirían las dimensiones en reglas concretas:

Dimensión Regla Severidad
Completitud El NIF no puede estar vacío, ni contener «0», «000000000» o «SIN NIF» Bloqueante
Unicidad No puede haber dos clientes activos con el mismo NIF Grave
Validez El correo electrónico cumple el formato; el código postal tiene cinco dígitos Aviso
Consistencia La fecha de baja es posterior a la de alta Grave
Integridad El código de municipio existe en la tabla de municipios Grave
Actualidad El dataset se ha cargado en las últimas 24 horas Bloqueante
Exactitud El total de clientes activos coincide con el del sistema de origen (±0,5 %) Aviso

La severidad decide la respuesta: una regla bloqueante detiene la carga y avisa al propietario del dato; una grave solo deja continuar con aprobación expresa; un aviso se registra y sigue.

El circuito de una incidencia de calidad

  1. Detección: salta una regla, o un administrador del dato ve algo que no cuadra en un informe.
  2. Registro: la incidencia entra por la herramienta de peticiones con su dataset, dimensión afectada, impacto y urgencia.
  3. Análisis: el administrador ayuda a valorar el impacto funcional; el custodio busca la causa técnica.
  4. Corrección: en el origen siempre que sea posible. Corregir solo en la plataforma de datos es un parche que se repetirá en la siguiente carga.
  5. Validación: el administrador confirma que el problema está resuelto.
  6. Prevención: si no existía, se crea la regla que lo habría detectado.
  7. Información: los propietarios reciben periódicamente el estado y las tendencias.

Cómo describir un indicador de calidad

Igual que cualquier otro indicador, un KQI necesita una ficha clara:

Elemento Ejemplo: completitud del NIF de clientes
Qué se mide Porcentaje de clientes activos con un NIF informado y válido
Cómo se mide Clientes activos con NIF válido entre clientes activos totales
Unidad Porcentaje
Umbrales Objetivo ≥ 99,5 %; alerta por debajo del 98 %
Interpretación Una caída suele indicar un cambio en el formulario de alta o en la carga

Calidad y madurez

En la evaluación de madurez del gobierno del dato (UNE 0080), la gestión de la calidad es de los procesos que más pesan. Un recorrido realista:

  • Nivel 2: primeras reglas en los datos críticos y responsables identificados.
  • Nivel 3: modelo corporativo de calidad, dimensiones y procesos definidos para toda la organización.
  • Nivel 4: indicadores con objetivos y umbrales, cuadro de mando y análisis de causas.
  • Nivel 5: mejora continua y calidad gestionada para obtener el máximo valor del dato.

Herramientas en cada capa

  • En el catálogo (Microsoft Purview Data Quality, OpenMetadata): reglas sencillas, alertas y seguimiento visible para el negocio.
  • En los procesos de carga (Great Expectations, Pandera, validaciones en notebooks o pipelines de Fabric): reglas complejas, comparaciones entre sistemas y bloqueo de cargas.
  • En el cuadro de mando del gobierno del dato (Power BI): la evolución de los indicadores por dominio y producto.

Errores frecuentes

  • Medir sin dueño: una alerta que no recibe nadie no sirve de nada.
  • Corregir siempre en destino y nunca en el sistema de origen.
  • Reglas que no cuentan los nulos disfrazados: un «999» o un «01/01/1900» pasan cualquier control de campo vacío.
  • Cien reglas el primer mes y ninguna mantenida al sexto.
  • Un porcentaje global de calidad que oculta que un dato crítico está mal.

La calidad empieza en el desarrollo

Cada producto de datos debe incluir desde su construcción controles de formato y valores, completitud, duplicados y coherencia entre datasets. Y cada problema que se encuentre debe convertirse en una regla automática, con responsable y severidad, para que no vuelva a aparecer. Lo explicamos con más detalle en sesgos y problemas de datos que hacen fallar a la IA.

Equilibrio con la protección de datos

La AEPD recuerda que la calidad técnica no debe llevar a una exigencia desproporcionada que choque con la minimización: no se trata de recoger más datos para que estén «más completos», sino de que los necesarios sean correctos.

En Bidatia implantamos modelos de calidad del dato con Microsoft Purview, OpenMetadata y validaciones automatizadas, alineados con DAMA y la UNE 0079. Para el marco completo, consulta gobierno del dato: perfiles y organización y datos maestros y fuentes de autoridad.

Preguntas frecuentes

¿Cuáles son las dimensiones de calidad del dato?

Las más usadas, según DAMA, son exactitud, completitud, consistencia, actualidad, unicidad, validez e integridad referencial.

¿Qué es un KQI?

Un indicador clave de calidad: mide el cumplimiento de las reglas de calidad de un dataset o producto de datos en una o varias dimensiones.

¿Microsoft Purview sirve para controlar la calidad del dato?

Sí, para validaciones sencillas sobre datasets: vacíos, duplicados, formatos, rangos y actualización. Las reglas de negocio complejas o entre sistemas se implementan en los procesos de datos o con herramientas específicas.

¿Por qué controles empiezo?

Por cuatro: duplicados por clave, actualización, campos obligatorios y formatos básicos, aplicados primero a los datos que usan los sistemas de IA y a las fuentes de autoridad.

¿Qué norma cubre la gestión de la calidad del dato?

La especificación UNE 0079, junto con la UNE 0077 (gobierno) y la UNE 0078 (gestión). La UNE 0080 permite evaluar la madurez de esos procesos.

Volver a Nuestras ideas