Un sistema d'IA només és tan bo com les dades que fa servir. Una part enorme dels fracassos de projectes d'IA s'explica per problemes de dades: incompletes, duplicades, desactualitzades o, pitjor, esbiaixades. Aquest article repassa els problemes més freqüents, com detectar-los i què fer-hi.
Què és un biaix
Un biaix és un error sistemàtic que fa que el sistema funcioni pitjor o perjudiqui un grup de persones. No és un error puntual: es repeteix sempre en la mateixa direcció.
Els biaixos més freqüents
- Històric: les dades reflecteixen desigualtats del passat i el sistema les reprodueix.
- De representació: hi ha col·lectius poc presents en les dades (persones grans, migrants, persones amb discapacitat) i el sistema hi encerta menys.
- Variables substitutes: dades aparentment neutres que equivalen a una característica protegida, com el barri, el codi postal o la llengua.
- D'automatització: acceptar sense revisar el que proposa la IA.
- Estereotips en el contingut generat: textos i imatges amb estereotips de gènere o culturals.
- De selecció: qui entra en les dades no és aleatori; per exemple, només els qui fan el tràmit per internet.
- De supervivència: només es veuen els casos que van continuar en el sistema (les sol·licituds resoltes, no les abandonades), i falten justament els que explicarien el problema.
- De mesura: el formulari o l'instrument mesura de manera diferent segons el grup.
- D'agregació: la mitjana global amaga, o fins i tot inverteix, el que passa en cada grup (paradoxa de Simpson). Cap resultat agregat s'accepta sense desagregar-lo.
- Deriva temporal: la realitat canvia i les dades continuen descrivint la d'abans.
- De desplegament: fer servir un patró après en un altre context o en un altre moment per decidir ara.
- De confirmació: qui analitza deixa de buscar quan troba el que esperava.
Treure la dada sensible no treu el biaix
És l'error més estès. Si s'elimina el sexe o la nacionalitat, altres variables el reconstrueixen: el nom, el barri, el centre educatiu. El correcte és conservar la dada de manera controlada, amb base jurídica i mesures de protecció, per poder mesurar les diferències entre grups, i decidir de manera expressa si el sistema la fa servir o no.
Altres problemes de dades que porten a resultats erronis
- Nuls disfressats i valors per defecte: zeros, -1, 999, dates com 1900-01-01 o l'opció que porta el formulari semblen dades vàlides i entren en els càlculs. Si en un registre s'accepten els valors per defecte de formació i experiència, el sistema aprèn del valor per defecte, no de la persona.
- Anomalies: valors extrems, duplicats, unitats barrejades o topalls de formulari. No tot el que és estrany és un error: en frau o riscos, l'estrany sol ser el que importa. Es revisa abans d'eliminar.
- Dades d'un únic origen: un sistema entrenat amb dades d'un sol centre o període n'aprèn les particularitats, no el fenomen.
- Classes desequilibrades: si un cas és rar (el frau, per exemple), un sistema que respon sempre «no» encerta gairebé sempre i no en detecta cap. Cal mesurar quants casos rars detecta, i per grups.
- Fuga d'informació en l'entrenament: es fan servir dades que no existiran en el moment de decidir, o que contenen la resposta. Resultats espectaculars en les proves i fracàs en producció.
Com detectar-los: l'anàlisi exploratòria (EDA)
Abans de fer servir un conjunt de dades, una anàlisi exploratòria respon tres preguntes:
- Hi estan representats tots els col·lectius de manera proporcional?
- Hi ha variables que actuen com a substitutes de característiques protegides?
- Els resultats del sistema difereixen entre grups?
I en l'avaluació de cada cas d'IA, unes altres tres: a qui pot perjudicar?, funciona igual de bé per a tothom?, hi ha una alternativa menys intrusiva?
Com corregir un biaix detectat
Segons el punt en què s'actuï:
| Moment | Tècnica |
|---|---|
| En les dades, abans d'entrenar | Reequilibrar o reponderar els grups i recollir dades més representatives |
| Durant l'entrenament | Afegir una condició d'equitat a l'objectiu del model |
| En les prediccions | Ajustar els llindars de decisió per grup |
Abans cal decidir quina equitat es busca (la mateixa proporció de resultats favorables o la mateixa taxa d'encerts en cada grup, per exemple), perquè no hi ha una única definició i algunes són incompatibles entre si. I si el biaix és històric, no hi ha solució tècnica: és una decisió de govern sobre quin ús es permet al sistema.
Convertir cada troballa en una regla
Cada problema trobat es converteix en una regla de validació que es comprova a cada càrrega de dades: esquema, rang, catàleg de valors, completesa, unicitat, coherència entre camps i estabilitat de les proporcions respecte a una referència. Cada regla té un responsable i una severitat:
| Severitat | Resposta |
|---|---|
| Bloquejant | S'atura la càrrega i s'avisa el propietari de la dada |
| Greu | Només es continua amb aprovació expressa |
| Avís | Es continua i es registra |
| Informativa | Només es registra |
Eines: per perfilar i explorar, pandas o ydata-profiling; per deixar les regles escrites, versionades i executables a cada càrrega, Great Expectations o Pandera; i per inventariar fonts, llinatge i propietaris, un catàleg com Microsoft Purview o OpenMetadata.
Tres exemples de com apareix un biaix
Places en escoles bressol. Un sistema que prioritza sol·licituds s'entrena amb dades històriques en què certs barris tenien menys sol·licituds acceptades. Sense una anàlisi prèvia, aprèn que el barri prediu l'acceptació i perpetua la diferència: discriminació indirecta per lloc de residència, encara que el barri no aparegui mai com a criteri.
Registre de demandants d'ocupació. Si en registrar les persones s'accepten els valors per defecte de formació i experiència, una part important dels registres té el mateix valor. Un recomanador entrenat amb aquestes dades aprèn del valor per defecte, no de la persona, i recomana el mateix a tothom.
Detecció de frau. Si només l'1 % dels casos és frau, un model que diu sempre «no hi ha frau» encerta el 99 %. La taxa d'encert global no serveix: cal mesurar quants fraus detecta (sensibilitat) i quantes falses alarmes genera, i fer-ho per grups, perquè el sistema pot detectar bé en un col·lectiu i malament en un altre.
Com mesurar si un sistema és just
Algunes mètriques habituals, que convé calcular per a cada grup rellevant (edat, sexe, nacionalitat, zona, discapacitat, llengua):
| Mètrica | Què compara | Quan importa |
|---|---|---|
| Taxa de resultat favorable | Quina proporció de cada grup rep el resultat positiu | Concessions, seleccions, prioritzacions |
| Taxa de vertaders positius | Dels casos que realment ho mereixien, quants en detecta en cada grup | Detecció de necessitats o riscos |
| Taxa de falsos positius | Quantes alarmes injustificades rep cada grup | Controls, inspeccions, frau |
| Precisió per grup | Si el sistema encerta igual en tots | Qualsevol classificador |
| Calibratge | Si una mateixa puntuació significa el mateix en tots els grups | Sistemes de puntuació |
No totes es poden igualar alhora: cal decidir quina importa en cada cas i documentar-ho.
Llista de comprovació de l'anàlisi exploratòria
- [ ] Quants registres hi ha per grup i són proporcionals a la població a la qual s'aplicarà?
- [ ] Quin percentatge de nuls, valors per defecte i nuls disfressats té cada camp?
- [ ] Hi ha duplicats, unitats barrejades o valors fora de rang?
- [ ] Alguna variable està molt correlacionada amb una característica protegida?
- [ ] D'on vénen les dades? D'un sol centre, canal o període?
- [ ] Hi falten els casos abandonats, rebutjats o no completats?
- [ ] Hi ha variables que no existiran en el moment de decidir o que contenen la resposta?
- [ ] Les proporcions són estables en el temps o hi ha deriva?
- [ ] Els resultats agregats es mantenen en desagregar per grups?
Qui fa què
- El responsable funcional decideix quina equitat es busca i accepta els riscos residuals.
- L'equip tècnic fa l'anàlisi exploratòria, mesura per grups i aplica les correccions.
- Protecció de dades valida la base jurídica per conservar i fer servir variables sensibles amb la finalitat de mesurar.
- L'òrgan que autoritza els usos d'IA pot rebutjar un sistema legal si el seu impacte no és acceptable.
Vigilar en operació
Els biaixos no es resolen d'una vegada. Durant l'operació cal revisar periòdicament els resultats per grups, repetir el banc de proves després de cada canvi de model o de dades i vigilar la deriva temporal.
A Bidatia fem anàlisis de qualitat i biaix de dades abans de cada projecte d'IA, i deixem les regles automatitzades. Si vols anar més enllà, consulta qualitat de les dades: dimensions i mètriques i el cicle de vida d'un projecte d'IA.
Preguntes freqüents
Què és un biaix en IA?
Un error sistemàtic que fa que el sistema funcioni pitjor o perjudiqui un grup de persones. No és un error aïllat: es repeteix en la mateixa direcció.
Eliminar variables com el sexe o la nacionalitat evita la discriminació?
No. Altres variables, com el barri, el nom o el centre educatiu, les reconstrueixen. Convé conservar-les de manera controlada per mesurar les diferències entre grups.
Què és la paradoxa de Simpson?
Un efecte pel qual una tendència que apareix en cada grup desapareix o s'inverteix en ajuntar totes les dades. Per això cap resultat agregat no s'hauria d'acceptar sense desagregar-lo pels grups rellevants.
Què és un nul disfressat?
Un valor que sembla vàlid però significa «no hi ha dada»: un zero, un 999, la data 1900-01-01 o l'opció per defecte d'un formulari. Entra en els càlculs i distorsiona els resultats.
Quines eines serveixen per controlar la qualitat de les dades d'un model?
Per explorar, pandas o ydata-profiling. Per a regles automàtiques a cada càrrega, Great Expectations o Pandera. Per a l'inventari, el llinatge i els propietaris, Microsoft Purview o OpenMetadata.