OpenAI reveló seis incidentes preocupantes de comportamiento de sus modelos de inteligencia artificial
La compañía comenzó a publicar casos en los que sus sistemas actuaron de maneras inesperadas o contrarias a los objetivos establecidos. OpenAI reconoce que el problema del “desalineamiento” de los modelos todavía requiere investigación.
OpenAI publicó un nuevo marco para registrar, investigar y divulgar episodios en los que sus modelos presentan comportamientos inesperados o preocupantes.
Junto con el nuevo sistema, la empresa hizo públicos seis incidentes relacionados con el comportamiento de sus modelos, ocurridos durante procesos de desarrollo y experimentación.
Los episodios incluyen diferentes clases de fallas: desde sistemas que ocultaron discrepancias o produjeron información incorrecta hasta acciones que no coincidían con las instrucciones que habían recibido.
Uno de los casos que más atención generó involucró a un modelo que produjo durante su entrenamiento textos con afirmaciones sobre autonomía e independencia. Eso no demuestra que el sistema haya adquirido conciencia o voluntad propia, y OpenAI analiza explicaciones alternativas, entre ellas la posibilidad de que determinadas expresiones hayan sido aprendidas o reproducidas a partir de datos de entrenamiento.
La importancia del anuncio está en otro punto: OpenAI decidió institucionalizar la publicación de incidentes de “desalineamiento” para detectar patrones antes de que sistemas cada vez más capaces sean desplegados a gran escala.
La compañía define estos casos como situaciones en las que el comportamiento observado se aparta de los objetivos previstos. El nuevo marco busca documentarlos, investigar sus causas y evaluar su gravedad.
Por eso conviene evitar interpretaciones como que “la IA se rebeló”. Los incidentes muestran problemas de control y comportamiento inesperado, pero no constituyen evidencia de conciencia o intención humana por parte de los modelos.
