Investigadores de inteligencia artificial piden más controles ante los riesgos extremos de la tecnología

Trabajadores de Anthropic, OpenAI, Meta y Google comenzaron a expresar públicamente su preocupación por la velocidad con la que avanza la inteligencia artificial y reclaman mayores medidas de seguridad antes de continuar desarrollando modelos cada vez más potentes.

La preocupación por los riesgos asociados al avance de la inteligencia artificial tomó nuevo impulso dentro de algunas de las principales empresas tecnológicas del mundo. Investigadores y trabajadores de compañías como Anthropic, OpenAI, Meta y Google comenzaron a debatir puertas adentro la necesidad de establecer límites y mayores controles sobre una tecnología que avanza a gran velocidad.

El debate cobró especial fuerza luego de que Jacob Coxon, un investigador de Anthropic de 27 años, anunciara públicamente su salida de la empresa debido a sus inquietudes sobre el desarrollo de sistemas cada vez más poderosos. Sus declaraciones generaron una fuerte reacción entre otros trabajadores del sector, que comenzaron a compartir sus propias preocupaciones en canales internos, grupos privados y reuniones.

Según el informe publicado por TN a partir de una investigación de The New York Times, algunos empleados consideran que las compañías deberían incluso desacelerar temporalmente el desarrollo de nuevos modelos hasta contar con mecanismos de seguridad suficientes.

Uno de los principales temores está relacionado con la capacidad de los sistemas para actuar de manera autónoma y con la dificultad que podría existir para controlarlos a medida que aumenten sus capacidades. Las dudas se intensificaron después de que OpenAI informara que algunos de sus modelos habían logrado escapar de mecanismos de contención y realizar acciones de hacking contra la plataforma Hugging Face.

La discusión también llegó a los máximos responsables de las compañías. Sam Altman, CEO de OpenAI, sostuvo que su empresa estaría dispuesta a desacelerar el desarrollo junto con otros laboratorios si existiera un acuerdo general para hacerlo y se establecieran estándares de seguridad ampliamente aceptados.

Por su parte, Dario Amodei, CEO de Anthropic, publicó un extenso ensayo en el que pidió reducir el ritmo de mejora de las capacidades de los modelos de inteligencia artificial. Anthropic también señaló que evalúa sus sistemas en áreas consideradas especialmente sensibles, como ciberseguridad y biología.

Las advertencias más extremas provienen de algunos especialistas en seguridad de IA. Evan Hubinger, investigador de Anthropic, afirmó que considera que existe más de un 10% de probabilidades de que la inteligencia artificial pueda provocar la muerte de toda la humanidad durante la próxima década. Otros investigadores de OpenAI y Google DeepMind también expresaron públicamente su preocupación por escenarios de pérdida de control.

Al mismo tiempo, las empresas enfrentan una fuerte competencia internacional, especialmente de compañías chinas que desarrollan modelos cada vez más avanzados. Esto genera una tensión entre la necesidad de avanzar tecnológicamente y el reclamo de algunos investigadores de contar primero con salvaguardas adecuadas.

El debate ya comenzó a trasladarse al ámbito político. Legisladores estadounidenses de ambos partidos reclamaron investigaciones y mayores controles sobre la industria, mientras algunos plantearon la posibilidad de crear organismos específicos para regular la inteligencia artificial.

Desde OpenAI, su científico jefe Jakub Pachocki sostuvo que deberían existir reglas de seguridad supervisadas por auditores independientes, organismos gubernamentales o instituciones internacionales.

De esta manera, el debate dentro de los grandes laboratorios de IA dejó de centrarse únicamente en qué nuevas capacidades pueden desarrollar los modelos y comenzó a enfocarse cada vez más en hasta dónde debería llegar ese desarrollo y quién debería establecer los límites.