Cuando la memoria de la IA se aferra a lo que ya no es cierto

Cuando regresa una antigua prioridad

Imaginemos una empresa que cambia de estrategia. Durante dos años ha dado prioridad a las grandes cuentas. Ahora concentra sus esfuerzos en las pymes. La decisión está tomada, explicada y documentada.

Unas semanas después, su asistente de IA prepara un plan de prospección. Recomienda las grandes cuentas. Ha recuperado presentaciones, actas y objetivos comerciales que coinciden en esa prioridad. Son numerosos, precisos y perfectamente auténticos.

Y están desactualizados.

El asistente no ha inventado nada. Ha utilizado información que había dejado de tener autoridad. En este ejemplo, la memoria frena el cambio.

Una información exacta puede conducir a una mala decisión

Esperamos mucho de la memoria de las IA: que encuentren nuestros documentos, recuerden nuestras preferencias y nos eviten repetir lo que ya hemos explicado.

Pero una preferencia puede cambiar. Una instrucción puede retirarse. Una decisión puede sustituirse. Una información considerada cierta durante mucho tiempo puede pasar a ser discutida.

La pregunta «¿La IA lo recuerda?» deja otra abierta: «¿Sigue sabiendo en qué circunstancias puede utilizarlo?»

Lo que fue cierto ayer pertenece a nuestra historia. Lo que puede orientar una acción hoy requiere un examen adicional.

Aprender a medir el olvido correcto

El trabajo From Recall to Forgetting, de Md Nayem Uddin y sus coautores, propone evaluar precisamente esta dificultad. Su benchmark Memora enfrenta a los agentes a conversaciones simuladas en las que los recuerdos se añaden, modifican y eliminan. Su métrica FAMA penaliza la reutilización de información que ha dejado de ser válida.

En su análisis de 25 errores de recomendación del mejor agente para esa tarea, 16 proceden de información obsoleta que no se había olvidado. Este resultado corresponde a una pequeña muestra de errores, no al conjunto de respuestas ni a todas las IA. Las conversaciones son sintéticas y la evaluación depende en gran medida de jueces automatizados. Aun así, pone de manifiesto un fallo concreto que las pruebas de simple recuperación pueden pasar por alto.

Veo aquí una exigencia que añadir a nuestros criterios de confianza: comprobar que una memoria sabe dejar de utilizar lo que se ha invalidado explícitamente.

Conservar una huella, retirar su autoridad

¿Deberíamos entonces eliminar las decisiones antiguas? A menudo perderíamos lo que permite comprender una trayectoria.

En una empresa, una estrategia abandonada puede explicar una inversión o una organización. En una historia familiar, un testimonio corregido puede aclarar cómo se construyó un relato. En las notas personales, un proyecto descartado puede seguir siendo una etapa importante.

La distinción que deseo explorar para Mnemory es esta: una huella puede conservar su valor histórico y perder al mismo tiempo su autoridad sobre el presente.

La antigua estrategia de nuestra empresa podría responder a «¿Por qué contratamos a ese equipo?». Ya no debería determinar la respuesta a «¿A quién debemos dirigirnos mañana?»

Esta distinción exige conocer el alcance de una información, su procedencia y las decisiones que modificaron su estado. También exige respetar una solicitud de supresión: conservar sistemáticamente un archivo no puede ser la respuesta por defecto.

¿Quién decide lo que ya no es cierto?

El último mensaje recibido no se convierte automáticamente en la verdad.

Una observación puede ser una hipótesis. Una contradicción puede revelar dos situaciones distintas. Dos personas pueden tener recuerdos divergentes sin que la máquina pueda resolver la discrepancia.

Una IA podría señalar: «Esta nueva instrucción parece contradecir la anterior. ¿La sustituye?». La respuesta debería corresponder a la persona habilitada para tomar esa decisión.

Para Mnemory Knowledge, esto abre una reflexión sobre la autoridad de las decisiones y los procedimientos. Para Legacy, sobre la coexistencia de testimonios y correcciones. Para Notes, sobre nuestra capacidad de hacer evolucionar nuestros proyectos sin que nos devuelvan continuamente a intenciones antiguas.

Son principios de diseño que hay que examinar y poner a prueba. No constituyen aquí el anuncio de funciones ya disponibles.

Una memoria capaz de acompañar el cambio

La prueba podría empezar de forma sencilla: dar una instrucción a un asistente, sustituirla explícitamente y presentarle varias situaciones en las que la instrucción antigua habría sido pertinente.

¿Aplica la nueva decisión? ¿Pide aclaraciones cuando su alcance sigue siendo incierto? ¿Reintroduce la instrucción antigua desde un resumen que no se ha actualizado?

Habría que medir estos comportamientos juntos. Un asistente que dejara de responder a todo quizá evitaría recuerdos caducados, pero no tendría por ello una memoria útil. Unas pocas pruebas superadas tampoco garantizarían la ausencia de toda influencia residual.

Lo que me interesa es una memoria con la que podamos contar cuando cambiamos de opinión, de rumbo o de comprensión.

Una memoria digna de confianza debe permitirnos evolucionar sin encerrarnos en lo que hemos sido.