En la mesa de la biblioteca municipal hay una lista de libros para comprar y un presupuesto que no alcanza para todos. La nueva herramienta de recomendación ordena las peticiones por una puntuación de “interés previsto”. A primera vista, parece una ayuda imparcial: no conoce personalmente a las lectoras, no tiene preferencias literarias y ofrece un número para cada título. Pero el número tiene una historia. Da más peso a los préstamos anteriores, a las reseñas disponibles en ciertas plataformas y a patrones de consulta recogidos por una aplicación. Cuando la lista sube a la pantalla, los libros solicitados por clubes de lectura que no usan esa aplicación quedan abajo. La herramienta no ha dicho que sus intereses valgan menos; simplemente ha convertido una forma de dejar rastro en la forma principal de ser visto.
Llamar neutral a ese resultado no aclara nada. Puede dar tranquilidad, porque parece desplazar la responsabilidad a una operación técnica. Sin embargo, un sistema no aparece sin elecciones: alguien decide qué datos entran, qué cuenta como éxito, cuánto se tolera un error y cuándo una sugerencia pasa a ordenar recursos reales. La neutralidad es un mito no porque toda tecnología esconda una intención maliciosa, sino porque una decisión humana puede permanecer dentro de una regla y dejar de parecer una decisión. Nombrar esa presencia es el comienzo de una conversación más honesta.
Una puntuación no llega sola#
La puntuación de la biblioteca podría estar bien calculada según su diseño. Quizá prediga correctamente qué títulos recibirán más clics en el catálogo digital. El problema es que “más clics” no responde por sí solo a la pregunta de qué debe comprar una biblioteca pública. También podría importar la diversidad del fondo, el acceso de quienes no dejan huella digital, las necesidades de grupos pequeños o la oportunidad de descubrir autores que todavía no figuran en los registros. Ninguna de esas prioridades es matemática por naturaleza. Hay que elegirlas, discutirlas y convertirlas en criterios.
La puntuación de la biblioteca podría estar bien calculada según su diseño. Quizá prediga correctamente qué títulos recibirán más clics en el catálogo digital.
Esa diferencia importa porque las palabras cambian la conducta. Si decimos que la herramienta es neutral, una trabajadora puede sentir que cuestionar el orden equivale a introducir su opinión personal en un proceso objetivo. Si decimos que la herramienta aplica un conjunto de prioridades configuradas, se abre otra posibilidad: preguntar si esas prioridades son adecuadas y si las personas afectadas pueden aportar información que el sistema no ve. La segunda formulación no hace el trabajo más fácil, pero lo sitúa donde corresponde: en una decisión pública que necesita razones y responsables.
También hay una elección en el momento de usar el resultado. La misma puntuación puede servir como una pista entre varias o como una barrera que elimina títulos antes de que nadie los lea. Puede ayudar a preparar una reunión o sustituirla. Puede marcar una propuesta como incierta o presentarla con una precisión que nadie ha comprobado. No basta con auditar el cálculo; hay que observar la práctica que se crea a su alrededor. Una recomendación adquiere poder cuando otros procesos, calendarios y objetivos se organizan para obedecerla sin fricción.
Los datos recuerdan unas vidas mejor que otras#
Los datos no son un retrato uniforme de la realidad. Son rastros producidos por servicios, dispositivos, formularios y reglas de registro. Una persona que renueva libros por internet deja una señal distinta de quien visita el mostrador, comparte un ejemplar en casa o pide un título a una asociación del barrio. Si la herramienta trata la señal digital más visible como sinónimo de interés, transforma una diferencia de acceso en una diferencia de valor. No tiene que nombrar a nadie para que la desigualdad aparezca en el resultado.
Esta observación no obliga a abandonar los registros disponibles. Sería absurdo negar que los préstamos y las búsquedas pueden ofrecer información útil. Obliga, en cambio, a describir sus límites. La biblioteca debería poder explicar de qué fuentes procede cada recomendación, a quién representa peor cada fuente y qué vías existen para corregir esa ausencia. Una ficha legible podría indicar que la puntuación mide actividad registrada, no necesidad cultural; que ciertas peticiones se revisan fuera del modelo; y que los grupos pueden presentar razones que se incorporen a la decisión. La explicación no es un añadido comunicativo. Es una forma de impedir que la salida automática convierta sus silencios en verdades.
Mirar los datos por grupos también ayuda a detectar problemas que una media esconde. Quizá la herramienta acierte con las novelas más demandadas y reduzca sistemáticamente la presencia de obras en lenguas minoritarias, materiales accesibles o temas solicitados por pocas personas. Una media de acierto elevada puede convivir con una pérdida concentrada. Por eso el equipo no debería preguntarse solo si el modelo “funciona”, sino para quién funciona, en qué condiciones y qué consecuencias tiene equivocarse en cada caso. No todos los errores pesan igual: recomendar un libro menos popular no es lo mismo que negar el acceso a un recurso educativo necesario.
La objetividad necesita procedimiento, no una etiqueta#
Reconocer que no hay neutralidad automática no significa aceptar decisiones arbitrarias. Al contrario, permite construir una objetividad más exigente: una que muestre criterios, contraste pruebas y se deje corregir. Para la biblioteca, el primer paso podría ser acordar públicamente qué objetivos persigue la compra anual y cómo se equilibran cuando chocan. Después, la herramienta debería documentar qué papel tiene en ese equilibrio y cuáles son sus límites. No se trata de pedir a cada visitante que entienda un modelo complejo, sino de ofrecer razones comprensibles para una decisión que afecta a su comunidad.
Un comité pequeño y diverso puede revisar una muestra de recomendaciones antes de cada compra. Su función no sería validar cada título por intuición, sino comprobar si el sistema está desplazando de forma persistente algún tipo de necesidad. Debería incluir a personal de biblioteca, representantes de grupos lectores y alguien con capacidad de modificar el procedimiento. Las reuniones deben dejar un registro sencillo: qué patrón se observó, qué cambio se acordó, quién lo aplicará y cuándo se comprobará de nuevo. Sin autoridad y fecha, la revisión se reduce a una conversación amable que no altera nada.
La posibilidad de impugnar es igual de importante. Si un club detecta que sus solicitudes nunca aparecen, necesita una vía clara para pedir explicación y revisión sin tener que dominar la jerga técnica. La respuesta debe decir qué información influyó, qué datos faltaban y qué persona puede reconsiderar el caso. Una organización puede proteger detalles que permitirían manipular el sistema, pero no debería usar esa protección para ocultar toda razón. Dar una explicación parcial pero útil reconoce que las personas no son ruido alrededor de un modelo; son quienes soportan sus efectos.
Cambiar una prioridad también es parte del diseño#
La herramienta de la biblioteca puede seguir siendo útil después de esta revisión. Tal vez ahorre tiempo al reunir señales dispersas o ayude a detectar peticiones recurrentes. La cuestión no es expulsarla para demostrar independencia, sino impedir que convierta sus supuestos en una norma eterna. Los registros cambian, las comunidades cambian y una prioridad razonable un año puede ser insuficiente al siguiente. Toda configuración necesita una fecha de revisión y una forma de saber si está provocando resultados que no se querían.
Una prueba responsable puede empezar con un periodo corto. Durante dos meses, el equipo podría comparar las recomendaciones automáticas con una lista que incorpora peticiones presenciales, propuestas de asociaciones y una reserva de presupuesto para fondos poco representados. Luego evaluaría no solo cuántos préstamos hubo, sino quién pudo acceder a materiales que antes quedaban fuera y qué trabajo adicional exigió el cambio. Si la medida falla, debe poder detenerse o corregirse sin castigar a quien señaló el problema. Aprender de una discrepancia es más valioso que esconderla bajo una cifra de precisión.
La misma lógica vale fuera de una biblioteca. Un filtro de currículos, una ruta de reparto o una alerta sanitaria siempre priorizan algo: tiempo, costo, frecuencia, seguridad, beneficio. La pregunta democrática no es si contienen valores, porque los contienen desde el momento en que definen qué medir. La pregunta es quién eligió esos valores, con qué evidencia, quién puede discutirlos y cómo se repara el daño cuando no funcionan. Responderla no vuelve a la IA menos útil. La vuelve visible en el único sentido que importa: como una decisión humana que sigue pudiendo ser revisada.
La neutralidad promete descanso, como si la puntuación nos liberara de justificar una elección difícil. Pero el descanso dura poco para quienes quedan mal representados por la regla. Una tecnología responsable no se esconde detrás de su apariencia objetiva. Declara sus prioridades, conserva caminos para escuchar lo que no mide y acepta que una comunidad puede modificar el rumbo. Ese es un estándar más laborioso que decir “el sistema lo decidió”, pero también es la forma de mantener el juicio, la responsabilidad y la autonomía en manos de quienes viven con la decisión.
