La compañía considera que la industria se acerca a una etapa en la que los sistemas de inteligencia artificial podrían desarrollar a sus propios sucesores sin intervención humana, un escenario con enormes oportunidades, pero también con riesgos inéditos.
El acelerado avance de la inteligencia artificial ha llevado a una de las principales empresas del sector, Anthropic, a lanzar una advertencia que hasta hace pocos años parecía reservada a la ciencia ficción: la posibilidad de que los sistemas de IA alcancen la capacidad de mejorarse a sí mismos sin necesidad de intervención humana.
La preocupación fue planteada por Marina Favaro, directora del Anthropic Institute, y por Jack Clark, cofundador de la compañía, quienes sostienen que el desarrollo de sistemas con capacidad de autoperfeccionamiento podría generar importantes avances científicos y médicos, pero también abrir interrogantes sobre la capacidad humana para supervisarlos.
“La automejora recursiva completa también podría aumentar el riesgo de que los humanos pierdan el control sobre los sistemas de IA”, escribieron ambos especialistas en una publicación difundida por la empresa. “Si los sistemas son capaces de construir totalmente a sus propios sucesores, la forma en que los protegemos, los supervisamos y moldeamos su comportamiento cobra mucha más importancia”.
Según los autores, la industria tecnológica podría estar mucho más cerca de alcanzar ese punto de lo que se creía anteriormente. Por ese motivo, proponen que las compañías consideren ralentizar temporalmente algunos desarrollos de vanguardia para permitir que investigadores y especialistas evalúen adecuadamente los posibles efectos sociales, económicos y de seguridad asociados a estas tecnologías.
La principal recomendación apunta a la creación de mecanismos que permitan intervenir en caso de que los sistemas desarrollen comportamientos inesperados o difíciles de controlar.
Clark utilizó una metáfora sencilla para explicar esa preocupación durante una entrevista concedida a CNN.
“Si miro el coche que conducimos, lo único que tengo es un acelerador. No tengo pedal de freno y, seguramente, en algún momento del futuro querremos tener esa opción”, afirmó.
Durante la conversación, el periodista Anderson Cooper planteó una pregunta que suele aparecer con frecuencia en los debates sobre inteligencia artificial: si el temor guarda relación con los escenarios presentados por numerosas películas donde las máquinas terminan rebelándose contra la humanidad.
“Sí, aquí también leemos y vemos ciencia ficción, así que somos muy conscientes de ello”, respondió Clark. “¿Cómo se mantiene el control sobre flotas de científicos que son mucho, mucho más grandes y rápidas que las que hemos tenido antes?”.
El ejecutivo señaló además que uno de los principales desafíos futuros será garantizar que los sistemas de IA puedan ser validados, supervisados y comprendidos adecuadamente por los seres humanos, especialmente a medida que aumenten sus capacidades.
La advertencia adquiere especial relevancia en un momento de fuerte expansión de la industria. Anthropic se encuentra avanzando en los preparativos para una futura oferta pública de acciones que podría atraer miles de millones de dólares para financiar nuevos centros de datos y capacidades computacionales. Al mismo tiempo, otras compañías tecnológicas vinculadas al desarrollo de inteligencia artificial también aceleran sus planes de crecimiento e inversión.
Pese a la intensa competencia existente en el sector, Clark considera posible que las grandes empresas colaboren en la creación de estándares comunes de seguridad.
“Ya hemos hecho esto antes. En plena Guerra Fría, y en situaciones de gran tensión entre países rivales, se encontraron formas de estabilizar ciertos aspectos de la carrera armamentística nuclear”, declaró. “Todo esto ya se ha realizado en otros ámbitos, y es posible que debamos hacer lo mismo en el campo de la IA”.
La discusión refleja un cambio cada vez más visible dentro de la industria tecnológica: mientras las capacidades de la inteligencia artificial avanzan a un ritmo sin precedentes, crece también el debate sobre los límites, controles y salvaguardas que podrían ser necesarios para garantizar que esa evolución continúe bajo supervisión humana.
