Una xifra pot ser útil i, tanmateix, orientar una decisió cap al lloc equivocat. El temps mitjà de resposta, el percentatge de casos tancats o la proporció de persones que accepten una recomanació automàtica permeten veure una part del servei. Per si sols no diuen si la resposta era comprensible, si resolia el problema pertinent o si empenyia algú a abandonar una alternativa necessària. En la intel·ligència artificial quotidiana, la facilitat per comptar no s'ha de confondre amb la importància d'allò comptat. Una resposta automàtica produeix rastres mesurables; l'experiència de qui la rep, els seus dubtes i les conseqüències posteriors demanen una altra atenció.

Quan la xifra simplifica una decisió#

Una organització pot observar que un assistent redueix de vuit minuts a dos el temps d'una consulta. La millora pot ser real. Però la mitjana barreja preguntes senzilles amb situacions que no encaixen al formulari, persones amb bona connexió amb d'altres que no poden continuar, i respostes útils amb respostes dites amb seguretat sense base suficient. Si l'únic objectiu és reduir minuts, el sistema aprendrà a acabar converses, no necessàriament a ajudar. La mètrica es converteix en una instrucció de disseny: premia allò que registra i deixa sense protecció allò que no apareix al tauler.

Una organització pot observar que un assistent redueix de vuit minuts a dos el temps d'una consulta.

Cal preguntar per a quina decisió s'emprarà cada número i quin comportament pot induir. Una taxa alta de tancament pot significar que s'ha trobat una solució; també pot indicar que no se sap com demanar una revisió. Una taxa baixa d'escalat a una persona pot reflectir autonomia; també pot mostrar que la via humana està amagada o té espera. La xifra necessita context, denominador, període i grups afectats. S'ha d'acompanyar d'exemples revisats, queixes, correccions i observació de recorreguts complets. No es tracta de rebutjar les dades, sinó d'impedir que una mesura parcial ocupi el lloc del judici.

Cas 1: rapidesa en l'atenció municipal#

Un ajuntament va incorporar un assistent per orientar sobre ajuts d'habitatge. El tauler setmanal celebrava que el 86 per cent de les converses acabava sense derivació i que el temps mitjà havia baixat. A primera vista, tots dos indicadors justificaven ampliar el sistema. Tanmateix, l'equip d'atenció va detectar diverses consultes repetides de persones que havien rebut respostes breus sobre documents. No constaven com a incidència perquè cada conversa individual es marcava com a tancada. En revisar les seqüències, es va comprovar que l'assistent donava llistes correctes per als casos habituals, però no explicava què calia fer quan faltava un justificant o s'acostava un termini.

La revisió va canviar el quadre de comandament. Al costat del temps i el tancament s'hi va afegir la proporció de persones que resolien el tràmit sense tornar a preguntar en trenta dies, el nombre d'expedients rebutjats per informació incompleta i el temps fins a una resposta humana quan es demanava. També es va llegir una mostra de converses de perfils diferents. La velocitat va deixar de ser una victòria automàtica i es va convertir en una condició que havia de conviure amb comprensió i accés. L'assistent va incorporar preguntes d'aclariment, avisos sobre terminis i una derivació visible. La mitjana va empitjorar una mica; els errors posteriors van baixar de manera rellevant.

Cas 2: una predicció escolar convertida en destí#

Una plataforma de suport a l'aprenentatge calculava la probabilitat que cada estudiant necessités reforç. El centre observava un indicador senzill: quantes recomanacions coincidien amb la qualificació final. La coincidència semblava alta i es feia servir per assignar places limitades de tutoria. El problema era que la qualificació final ja estava influïda pels suports rebuts, les absències i les oportunitats de recuperació. A més, qui no tenia un dispositiu estable apareixia menys als registres de pràctica i obtenia una predicció menys favorable. La xifra deia alguna cosa sobre una relació estadística, però s'emprava com si expressés una necessitat individual fixa.

La direcció va suspendre l'ús de la predicció com a criteri únic. Va conservar el senyal com una font entre diverses, amb l'observació docent, la petició de l'alumnat i una entrevista breu. Es van avaluar errors per curs, disponibilitat de connexió i matèria, no només l'exactitud global. També es va obrir una via per demanar revisió sense haver de demostrar un error tècnic. El canvi reconeix una diferència essencial: una mètrica de rendiment del model no és una mesura de justícia de la decisió. Quan una resposta automàtica afecta oportunitats, cal mirar a qui beneficia, a qui exclou i quina possibilitat real hi ha de corregir el resultat.

Cas 3: satisfacció que amagava una sortida difícil#

Un servei sanitari digital enviava una enquesta després de cada orientació automàtica. La satisfacció era elevada i el proveïdor la presentava com a prova de qualitat. Les preguntes apareixien just després d'un missatge amable i abans que la persona provés d'aconseguir visita o seguir una recomanació. Moltes respostes valoraven el to, no la utilitat clínica ni la possibilitat d'accedir a atenció. Una associació de pacients va comunicar que algunes persones amb símptomes persistents havien seguit l'orientació d'esperar perquè no entenien que podien tornar a consultar. Aquesta conseqüència quedava fora de l'enquesta i de l'indicador mensual.

El servei va redissenyar la mesura amb pacients i professionals. Va separar la claredat del missatge, la facilitat per arribar a atenció humana, la comprensió dels senyals d'alarma i el resultat declarat uns dies després. Les respostes voluntàries no es van tractar com una representació completa: es van comparar amb trucades, reclamacions i abandonament del recorregut. Es va crear una revisió específica de respostes que aconsellaven esperar i de casos en què la persona tornava amb més urgència. La satisfacció va continuar sent una dada útil, però va deixar de ser un veredicte. En un àmbit sensible, una cara somrient o una puntuació alta no pot substituir la comprovació que l'ajuda era segura i practicable.

Mètriques que ajuden a respondre millor#

Una mesura responsable comença formulant el propòsit en llenguatge corrent. Si una eina pretén orientar sobre un tràmit, el resultat cercat no és només una conversa curta, sinó que la persona pugui completar el pas correcte amb informació suficient. A partir d'aquí es poden triar mesures complementàries: resolució verificada, temps d'espera, correccions demanades, abandonament, derivació humana, diferències entre grups i danys detectats. Cap no té valor aïllada. Un conjunt petit, publicat amb definicions clares, permet veure tensions que una sola xifra amaga. El temps pot millorar mentre augmenten les correccions; l'acceptació pot pujar perquè l'alternativa empitjora.

Les mètriques també necessiten límits d'ús. No haurien de servir per castigar qui atén una excepció ni per decidir automàticament que una resposta és correcta. Un objectiu rígid de converses tancades pot empènyer a evitar preguntes complexes. Una meta de reducció de costos pot desincentivar la revisió humana. Abans de fixar incentius convé fer una prova d'impacte: què es mesurarà, qui queda fora, quin error seria greu, com es detectarà i qui podrà aturar el sistema. Les dades han de conservar prou traçabilitat per revisar una decisió, sense recollir informació innecessària. La proporcionalitat importa tant en la recollida com en la interpretació.

La supervisió no consisteix a mirar un tauler un cop al mes. Demana responsables identificats, mostres de casos, un canal per a les persones afectades i capacitat per modificar el procés. Les alertes han d'incloure canvis sobtats, però també danys petits repetits que una mitjana dilueix. És útil fixar revisions abans de desplegar, durant una prova limitada i després de canvis de model, proveïdor o finalitat. Quan una mesura empitjora, la resposta no ha de ser defensar l'eina. Pot ser reduir-ne l'abast, afegir una explicació, obrir una alternativa o retirar-la. La capacitat de corregir és una mètrica pràctica de responsabilitat.

Les referències públiques ofereixen criteris per a aquesta feina. El marc de gestió de riscos d'IA de NIST proposa governar, mapar, mesurar i gestionar riscos durant el cicle de vida. El Reglament General de Protecció de Dades de la Unió Europea exigeix transparència, minimització i garanties en determinades decisions automatitzades. La Recomanació de la UNESCO sobre ètica de la IA destaca proporcionalitat, supervisió humana i avaluació d'impactes. La Comissió Europea assenyala la importància de l'agència humana, la diversitat i la rendició de comptes per a una IA fiable. Aquestes fonts no lliuren un indicador únic, precisament perquè una xifra no pot reemplaçar l'examen de cada context.

Una resposta automàtica pot estalviar temps i millorar un servei quan es mesura amb honestedat. El punt decisiu és no permetre que la xifra més còmoda defineixi tota sola l'èxit. Cal examinar les persones que no acaben, els casos que tornen, les correccions, les alternatives i les conseqüències que apareixen després del clic. Mesurar és triar què es torna visible; governar bé consisteix a mantenir visibles també les parts incòmodes. Així, la mètrica deixa de dirigir a cegues i es converteix en una ajuda per respondre amb més cura.

Fonts oficials. NIST AI Risk Management Framework; Reglament General de Protecció de Dades de la UE; UNESCO, Recomanació sobre l'ètica de la IA; Comissió Europea, directrius per a una IA fiable.