Nvidia quiere evitar que los agentes de IA actúen fuera de control: cómo funciona su nueva plataforma
La compañía presentó un sistema que limita los permisos de los agentes y permite detenerlos si intentan realizar una acción prohibida. La propuesta apunta a un problema concreto: qué ocurre cuando una IA puede usar archivos, programas y redes por su cuenta.
Un chatbot responde preguntas. Un agente de inteligencia artificial, además, puede recibir una tarea y usar herramientas para cumplirla: consultar documentos, ejecutar programas o conectarse a servicios. Esa capacidad lo vuelve útil, pero también abre un riesgo. Si interpreta mal una instrucción o es manipulado, podría intentar acceder a información o realizar acciones que nadie autorizó.
Para enfrentar ese problema, Nvidia presentó el 28 de septiembre la Open Agent Safety Platform. La idea es fijar límites antes de poner a trabajar al agente y vigilar que los respete durante su ejecución.
La plataforma tiene dos piezas. OpenShell es el entorno donde funciona el agente: define a qué archivos, redes y herramientas puede acceder y registra lo que hace. Sentry es un sistema de vigilancia diseñado para operar por separado, sobre procesadores BlueField-4. Si detecta que el agente cruza un límite establecido, puede aislarlo. OpenShell está disponible como software abierto; Sentry fue presentado como un diseño de referencia, por lo que no corresponde asumir que ambos componentes ya están desplegados de manera generalizada.
Un ejemplo ayuda a entenderlo. Una empresa podría autorizar a un agente a leer facturas y preparar un informe, pero impedirle enviar esos archivos a una dirección externa. OpenShell establecería esa regla; Sentry añadiría una instancia separada capaz de intervenir si el agente intentara incumplirla.
Nvidia afirmó que una arquitectura de este tipo podría haber evitado un ataque sufrido por Hugging Face. Reuters informó sobre esa declaración, pero se trata de una evaluación de la propia compañía. No hay una prueba independiente que demuestre que la plataforma habría detenido ese caso concreto.
La noticia importa porque la discusión sobre seguridad de la IA cambia cuando los sistemas pasan de generar respuestas a ejecutar tareas. Nvidia propone incorporar controles al software y al hardware donde operan los agentes. Eso puede reducir ciertos riesgos, aunque su eficacia dependerá de cómo se configuren los permisos y de los resultados que arrojen las pruebas en situaciones reales.
Para Argentina, la cuestión es práctica. Si un organismo público, un banco o una empresa permite que agentes de IA trabajen con datos sensibles, debería establecer con precisión qué pueden consultar, qué acciones pueden ejecutar, cómo se registra su actividad y quién puede detenerlos. Antes de evaluar cuánto trabajo ahorra un agente, habrá que saber qué alcance tiene cuando algo sale mal.
