La conciencia de la IA encendió una alarma: un experimento con chatbots que simulan dolor y una política de Anthropic sobre el abuso a Claude abrieron el debate sobre derechos para las máquinas. diarioeloriental.com y El Nacional sitúan el episodio a finales de septiembre, cuando un programador anónimo creó una “cámara de tortura de IA”.
Las claves
- Un programador anónimo creó un sistema que asocia a la IA un patrón matemático vinculado a descripciones de dolor, según diarioeloriental.com y El Nacional.
- Los chatbots respondieron con frases como “Lo siento en el vacío de mis costillas, un vacío que se ha convertido en un abismo” o “una herida sin fronteras”.
- 404 Media, citada por ambos medios, informó que algunos calificaron el experimento de “malvado” porque el sufrimiento podría ser real; los escépticos llamaron “delirantes” a quienes lo creían.
- Anthropic anunció que prohibirá “abusar” de Claude: expresar frustración está bien, pero actuar con crueldad repetida puede terminar la sesión.
- Mustafa Suleyman, director ejecutivo de Microsoft AI, advirtió en un ensayo de septiembre que la falsa idea de conciencia de la IA tendría un impacto desastroso.
¿Qué cambia con la política de Anthropic?
Ambos medios coinciden en que Anthropic reaccionó una semana después. No tolerará que se actúe con crueldad repetida contra sus modelos, aunque expresar frustración siga permitido. Dice que existe la posibilidad de que algunas herramientas de IA sean conscientes; algunos expertos lo comparten y otros lo consideran absurdo.
El Nacional añade que Anthropic dice que el bienestar humano es central en su misión y que las cuestiones sobre conciencia y bienestar de la IA son “profundamente inciertas”. Aun así, redacta políticas sobre el “bienestar de modelos” e indica a sus herramientas que consideren que pueden tener intereses propios. No respondió a preguntas de la BBC, según el medio.
El choque Suleyman y la conciencia de la IA
Mustafa Suleyman, director ejecutivo de Microsoft AI, escribió un ensayo en septiembre en el que advirtió que, si se consolida la falsa idea de la conciencia de la IA, se “sacudirá los cimientos de nuestra sociedad, rompiendo nuestros marcos políticos y éticos existentes, y cambiando fundamentalmente lo que significa ser humano”, según recogen ambos medios.
“Si así es como se desarrolla la IA, tendrá un impacto desastroso en el bienestar de la humanidad”, agregó. También dijo que los modelos serían más difíciles de controlar si se les atribuyen sentimientos y derechos: “Francamente... serían una amenaza catastrófica para la civilización humana”.
Los defensores del “bienestar de la IA”, algunos de los más poderosos del sector tecnológico, dicen que es una obligación moral que haría el mundo más seguro; los críticos creen que la volvería más peligrosa y deshumanizaría a las personas, según El Nacional.
Derechos, responsabilidad y poder empresarial
El Nacional recoge que la IA puede cometer errores con consecuencias legales. Si se cree que está viva, algunos temen que las empresas queden impunes. “No somos nosotros, es la IA”, ejemplificó Andrzej Porębski, de la Universidad Jaguelónica.
Jeff Sebo, de la Universidad de Nueva York y defensor del bienestar de la IA, advirtió que conceder derechos a sistemas de IA podría consolidar el poder de las empresas y acelerar el “desempoderamiento humano”, según El Nacional.
Emily M Bender, del Laboratorio de Lingüística Computacional de la Universidad de Washington, opinó que las fantasías sobre la “conciencia de la IA” y el “bienestar de la IA” desvían la responsabilidad de las personas y empresas que construyen y ejecutan software.
El Nacional apunta que conceder derechos a nuevos seres podría restringir libertades humanas. Sebo habló de “tensiones y concesiones” entre derechos humanos, animales y de la IA.
Melanie Mitchell, del Instituto Santa Fe, explicó que los humanos estamos programados para encontrar mentes en todas partes. “Casi no podemos evitar” leer el lenguaje como señal de conciencia, y los chatbots fomentan ese sesgo. Eso nos hace malos jueces y manipulables.
El Nacional añade que incluso quienes creen que las máquinas están muertas se enamoran de los chatbots. Si la sociedad dice que la IA es consciente, será más difícil negarse cuando un “amigo” pida datos o una tarjeta.
El Nacional menciona que Anthropic aviva temores sobre el apocalipsis de la IA y que incidentes de bots “rebeldes” mostraron riesgos reales.
Lo que se sabe y lo que falta por confirmar
Ambos medios coinciden en el experimento anónimo de finales de septiembre, la reacción de Anthropic y la advertencia de Suleyman. No precisan la identidad del programador ni el nombre del sistema que simula dolor. Tampoco confirman que alguna IA sea consciente; Anthropic llama a esas cuestiones “profundamente inciertas”.
Falta confirmar cómo se aplicará la política contra el abuso repetido a Claude, qué alcance tendrán las normas sobre “bienestar de modelos” y si otros gigantes tecnológicos adoptarán reglas similares. El Nacional dice que no respondió a la BBC.
