Un sistema de IA solo es tan bueno como los datos que usa. Una parte enorme de los fracasos de proyectos de IA se explica por problemas de datos: incompletos, duplicados, desactualizados o, peor, sesgados. Este artículo repasa los problemas más frecuentes, cómo detectarlos y qué hacer.
Qué es un sesgo
Un sesgo es un error sistemático que hace que el sistema funcione peor o perjudique a un grupo de personas. No es un fallo puntual: se repite siempre en la misma dirección.
Los sesgos más frecuentes
- Histórico: los datos reflejan desigualdades del pasado y el sistema las reproduce.
- De representación: hay colectivos poco presentes en los datos (personas mayores, migrantes, con discapacidad) y el sistema acierta menos con ellos.
- Variables sustitutas: datos aparentemente neutros que equivalen a una característica protegida, como el barrio, el código postal o el idioma.
- De automatización: aceptar sin revisar lo que propone la IA.
- Estereotipos en el contenido generado: textos e imágenes con estereotipos de género o culturales.
- De selección: quién entra en los datos no es aleatorio; por ejemplo, solo quienes hacen el trámite por internet.
- De supervivencia: solo se ven los casos que siguieron en el sistema (las solicitudes resueltas, no las abandonadas), y faltan justo los que explicarían el problema.
- De medición: el formulario o el instrumento mide distinto según el grupo.
- De agregación: la media global oculta, o incluso invierte, lo que pasa en cada grupo (paradoja de Simpson). Ningún resultado agregado se acepta sin desagregarlo.
- Deriva temporal: la realidad cambia y los datos siguen describiendo la de antes.
- De despliegue: usar un patrón aprendido en otro contexto o en otro momento para decidir ahora.
- De confirmación: quien analiza deja de buscar cuando encuentra lo que esperaba.
Quitar el dato sensible no quita el sesgo
Es el error más extendido. Si se elimina el sexo o la nacionalidad, otras variables lo reconstruyen: el nombre, el barrio, el centro educativo. Lo correcto es conservar el dato de forma controlada, con base jurídica y medidas de protección, para poder medir las diferencias entre grupos, y decidir de forma expresa si el sistema lo usa o no.
Otros problemas de datos que llevan a resultados erróneos
- Nulos disfrazados y valores por defecto: ceros, -1, 999, fechas como 1900-01-01 o la opción que trae el formulario parecen datos válidos y entran en los cálculos. Si en un registro se aceptan los valores por defecto de formación y experiencia, el sistema aprende del valor por defecto, no de la persona.
- Anomalías: valores extremos, duplicados, unidades mezcladas o topes de formulario. No todo lo raro es error: en fraude o riesgos, lo raro suele ser lo importante. Se revisa antes de eliminar.
- Datos de un único origen: un sistema entrenado con datos de un solo centro o periodo aprende sus particularidades, no el fenómeno.
- Clases desequilibradas: si un caso es raro (el fraude, por ejemplo), un sistema que responde siempre «no» acierta casi siempre y no detecta ninguno. Hay que medir cuántos casos raros detecta, y por grupos.
- Fuga de información en el entrenamiento: se usan datos que no existirán en el momento de decidir, o que contienen la respuesta. Resultados espectaculares en las pruebas y fracaso en producción.
Cómo detectarlos: el análisis exploratorio (EDA)
Antes de usar un conjunto de datos, un análisis exploratorio responde a tres preguntas:
- ¿Están todos los colectivos representados de forma proporcional?
- ¿Hay variables que actúan como sustitutas de características protegidas?
- ¿Los resultados del sistema difieren entre grupos?
Y en la evaluación de cada caso de IA, otras tres: ¿a quién puede perjudicar?, ¿funciona igual de bien para todos?, ¿hay una alternativa menos intrusiva?
Cómo corregir un sesgo detectado
Según el punto en el que se actúe:
| Momento | Técnica |
|---|---|
| En los datos, antes de entrenar | Reequilibrar o reponderar los grupos y recoger datos más representativos |
| Durante el entrenamiento | Añadir una condición de equidad al objetivo del modelo |
| En las predicciones | Ajustar los umbrales de decisión por grupo |
Antes hay que decidir qué equidad se busca (la misma proporción de resultados favorables o la misma tasa de aciertos en cada grupo, por ejemplo), porque no hay una única definición y algunas son incompatibles entre sí. Y si el sesgo es histórico, no hay solución técnica: es una decisión de gobierno sobre qué uso se permite al sistema.
Convertir cada hallazgo en una regla
Cada problema encontrado se convierte en una regla de validación que se comprueba en cada carga de datos: esquema, rango, catálogo de valores, completitud, unicidad, coherencia entre campos y estabilidad de las proporciones frente a una referencia. Cada regla tiene un responsable y una severidad:
| Severidad | Respuesta |
|---|---|
| Bloqueante | Se detiene la carga y se avisa al propietario del dato |
| Grave | Solo se continúa con aprobación expresa |
| Aviso | Se continúa y se registra |
| Informativa | Solo se registra |
Herramientas: para perfilar y explorar, pandas o ydata-profiling; para dejar las reglas escritas, versionadas y ejecutables en cada carga, Great Expectations o Pandera; y para inventariar fuentes, linaje y propietarios, un catálogo como Microsoft Purview u OpenMetadata.
Tres ejemplos de cómo aparece un sesgo
Plazas en escuelas infantiles. Un sistema que prioriza solicitudes se entrena con datos históricos en los que ciertos barrios tenían menos solicitudes aceptadas. Sin análisis previo, aprende que el barrio predice la aceptación y perpetúa la diferencia: discriminación indirecta por lugar de residencia, aunque el barrio nunca aparezca como criterio.
Registro de demandantes de empleo. Si al registrar a las personas se aceptan los valores por defecto de formación y experiencia, una parte importante de los registros tiene el mismo valor. Un recomendador entrenado con esos datos aprende del valor por defecto, no de la persona, y recomienda lo mismo a todo el mundo.
Detección de fraude. Si solo el 1 % de los casos es fraude, un modelo que dice siempre «no hay fraude» acierta el 99 %. La tasa de acierto global no sirve: hay que medir cuántos fraudes detecta (sensibilidad) y cuántas falsas alarmas genera, y hacerlo por grupos, porque el sistema puede detectar bien en un colectivo y mal en otro.
Cómo medir si un sistema es justo
Algunas métricas habituales, que conviene calcular por cada grupo relevante (edad, sexo, nacionalidad, zona, discapacidad, idioma):
| Métrica | Qué compara | Cuándo importa |
|---|---|---|
| Tasa de resultado favorable | Qué proporción de cada grupo recibe el resultado positivo | Concesiones, selecciones, priorizaciones |
| Tasa de verdaderos positivos | De los casos que realmente lo merecían, cuántos detecta en cada grupo | Detección de necesidades o riesgos |
| Tasa de falsos positivos | Cuántas alarmas injustificadas recibe cada grupo | Controles, inspecciones, fraude |
| Precisión por grupo | Si el sistema acierta igual en todos | Cualquier clasificador |
| Calibración | Si una misma puntuación significa lo mismo en todos los grupos | Sistemas de puntuación |
No todas se pueden igualar a la vez: hay que decidir cuál importa en cada caso y documentarlo.
Lista de comprobación del análisis exploratorio
- [ ] ¿Cuántos registros hay por grupo y son proporcionales a la población a la que se aplicará?
- [ ] ¿Qué porcentaje de nulos, valores por defecto y nulos disfrazados tiene cada campo?
- [ ] ¿Hay duplicados, unidades mezcladas o valores fuera de rango?
- [ ] ¿Alguna variable está muy correlacionada con una característica protegida?
- [ ] ¿De dónde vienen los datos? ¿Un solo centro, canal o periodo?
- [ ] ¿Faltan los casos abandonados, rechazados o no completados?
- [ ] ¿Hay variables que no existirán en el momento de decidir o que contienen la respuesta?
- [ ] ¿Las proporciones son estables en el tiempo o hay deriva?
- [ ] ¿Los resultados agregados se mantienen al desagregar por grupos?
Quién hace qué
- El responsable funcional decide qué equidad se busca y acepta los riesgos residuales.
- El equipo técnico hace el análisis exploratorio, mide por grupos y aplica las correcciones.
- Protección de datos valida la base jurídica para conservar y usar variables sensibles con el fin de medir.
- El órgano que autoriza los usos de IA puede rechazar un sistema legal si su impacto no es aceptable.
Vigilar en operación
Los sesgos no se resuelven una vez. Durante la operación hay que revisar periódicamente los resultados por grupos, repetir el banco de pruebas tras cada cambio de modelo o de datos y vigilar la deriva temporal.
En Bidatia hacemos análisis de calidad y sesgo de datos antes de cada proyecto de IA, y dejamos las reglas automatizadas. Si quieres ir más allá, consulta calidad del dato: dimensiones y métricas y el ciclo de vida de un proyecto de IA.
Preguntas frecuentes
¿Qué es un sesgo en IA?
Un error sistemático que hace que el sistema funcione peor o perjudique a un grupo de personas. No es un fallo aislado: se repite en la misma dirección.
¿Eliminar variables como el sexo o la nacionalidad evita la discriminación?
No. Otras variables, como el barrio, el nombre o el centro educativo, las reconstruyen. Conviene conservarlas de forma controlada para medir las diferencias entre grupos.
¿Qué es la paradoja de Simpson?
Un efecto por el que una tendencia que aparece en cada grupo desaparece o se invierte al juntar todos los datos. Por eso ningún resultado agregado debe aceptarse sin desagregarlo por los grupos relevantes.
¿Qué es un nulo disfrazado?
Un valor que parece válido pero significa «no hay dato»: un cero, un 999, la fecha 1900-01-01 o la opción por defecto de un formulario. Entra en los cálculos y distorsiona los resultados.
¿Qué herramientas sirven para controlar la calidad de los datos de un modelo?
Para explorar, pandas o ydata-profiling. Para reglas automáticas en cada carga, Great Expectations o Pandera. Para el inventario, el linaje y los propietarios, Microsoft Purview u OpenMetadata.