Qui respon quan decideix un algoritme?
"La intel·ligència artificial pot ser útil, però convé no demanar-li el que no pot donar, que és criteri, prudència i la consciència que una resolució, per rutinària que sembli, pot pesar força en la vida d'algú"
Hi ha decisions que no fan soroll. Arriben en un correu. En una notificació. A vegades amb una frase impecablement redactada i, precisament per això, demolidora: "La seva sol·licitud no compleix els requisits". Un llegeix. Torna a llegir. Busca el motiu. I es pregunta qui ha dit que no.
Podria explicar anècdotes. En tinc unes quantes amb la meva asseguradora o amb entitats bancàries que farien empal·lidir més d'un expedient administratiu. A tots ens ha passat amb empreses privades que exigeixen documents que elles mateixes han emès o que et remeten a un telèfon que remet a un altre telèfon o que apliquen criteris opacs amb una naturalitat colpidora. Però no aniré per aquí.
Avui parlo del que és públic, que és on la decisió automatitzada té conseqüències que van més enllà d'una pòlissa o d'una comissió.
Fins fa poc imaginàvem algú a l'altra banda. Un empleat públic, una persona amb pressa, amb experiència, potser amb massa expedients sobre la taula. Algú que havia mirat els papers, contrastat una dada, aplicat una norma i, finalment, pres una decisió. Es podia equivocar. Però hi havia una persona. I les persones, almenys en teoria, poden explicar el que han fet.
Ara l'escena comença a canviar. No perquè la intel·ligència artificial ens hagi de substituir demà al matí. Això és una fantasia massa còmoda, gairebé de guió. El que està passant és més silenciós. Els sistemes ordenen informació, detecten incoherències, classifiquen sol·licituds, proposen respostes. Estalvien temps. I el temps, no és poca cosa.
Hi ha procediments que semblen dissenyats per posar a prova la paciència de tothom, del ciutadà que espera, del professional que presenta documents i de qui ha de revisar expedients que arriben incomplets, repetits o fora de termini.
Si una eina permet descarregar de feina mecànica aquells que han d'atendre, comprovar i resoldre, benvinguda sigui. El problema comença quan ningú sap ja on acaba l'eina i on comença la decisió. Perquè una cosa és que un sistema assenyali que falta un document. Una altra, molt diferent, és que converteixi una circumstància humana en una casella vermella. Que interpreti una excepció. Que descarti una sol·licitud. Que determini, encara que sigui de manera indirecta, qui rep una subvenció, qui queda fora d'una convocatòria o qui haurà d'esperar sis mesos més.
Així que torno a la pregunta. Si un algoritme s'equivoca, a qui es reclama? No serveix dir que "ho ha dit el sistema".
Un sistema no dona la cara. No escolta. No entén que darrere d'una dada aparentment contradictòria pot haver-hi un divorci, una malaltia, un canvi de domicili. Una vida que no cap en un formulari. Tampoc es tracta d'idealitzar el passat. L'Administració no era perfecta abans dels algoritmes. Els expedients es traspassaven, els criteris variaven segons qui et toqués, l'excés de feina existia i existeix.
La tecnologia pot ajudar a reduir errors i a tractar de manera més homogènia situacions similars. Fins i tot pot treure a la llum desigualtats que, a simple vista, passen desapercebudes. Però no pot convertir-se en una coartada.
Precisament, basant-me en que tot ha d'estar motivat, vaig fer un informe intern a la meva administració sobre la necessitat que el control i la supervisió de les decisions de la IA sigui obligatori.
La decisió pública no és una recomanació de compra ni una llista de reproducció. Afecta drets. Oportunitats. Expectatives legítimes. Per això hauria de poder entendre's. Encara que sigui difícil. Encara que requereixi explicacions. Encara que obligui a aturar-se uns minuts més.
Potser estem davant d'una vella discussió amb vocabulari nou. No parlem només de màquines. Parlem de responsabilitat. D'aquesta obligació incòmoda de posar nom a qui decideix i de permetre que el ciutadà discuteixi la decisió quan considera que no és justa.
La intel·ligència artificial pot ser útil. Molt. Però convé no demanar-li el que no pot donar, que és criteri, prudència i la consciència que una resolució, per rutinària que sembli, pot pesar força en la vida d'algú.
Que una màquina ajudi, sí. Que ningú respongui, no.
