AI Safety: Un Problema de Lenguaje

El desarrollo del campo de AI Safety ha tomado un rumbo inesperado, cuestionando términos fundamentales y enfrentándonos a una realidad más compleja de lo inicialmente imaginado. Este artículo reflexiona sobre la terminología que usamos y sus implicaciones para el futuro.

Más allá de las Palabras: Redefiniendo Conceptos # #

Es fácil caer en la trampa: en la ambigüedad, en las malas formulaciones o incluso en las malas interpretaciones. Ejemplos claros pueden ser "crecimiento negativo", "víctimas colaterales" o "discriminación positiva". Siendo resultadistas, da igual el motivo: nos estamos equivocando. Un error, una confusión o como lo quieras llamar; la conclusión es la misma: la hemos cagado.

Estoy empezando a pensar que con la IA pasa lo mismo. Términos como "alineamiento", "control" o incluso "seguridad" no aplican, no son correctos. Me estoy dando cuenta de que vamos tarde, muy tarde, más de lo que pensaba. Quizás términos como "contención", "protección", "crisis" o expresiones nuevas como "catástrofe digital" son mucho más adecuadas, aunque más precisas semánticamente.

Señales de Alarma en la Comunidad Científica # #

No os voy a engañar: hay muchos que llevan tiempo viéndolo venir. Algunos han tardado en darse cuenta y otros han tardado en aceptar que estaban equivocados (o incluso siguen en el proceso). Pero las últimas barreras de resistencia en el imaginario colectivo de la élite científica están cayendo. Hinton fue de los primeros, qué persona más lúcida. La velocidad a la que ha cambiado su discurso me hace pensar que, más allá de problemas de intelectualidad o ego, lo que está pasando, y lo que va a pasar, es inconfundible para muchas personas en el mundo.

Hemos visto nacer la inteligencia artificial y ahora la estamos viendo crecer, evolucionar, transformarse día a día. No puedo hablar por todos, pero creo que el sentimiento es común: una mezcla de asombro que se transforma en admiración, inquietud y, finalmente, en un creciente temor.

El Debate sobre la Conciencia Artificial # #

No todos pensamos igual, por supuesto. Hay mucha gente con mucho más conocimiento y más inteligente que yo, que tiene claro que las máquinas jamás tendrán consciencia; que los humanos somos únicos e inimitables. Por ejemplo, el mismo Alan Turing concibió el test que lleva su nombre como una medida de contención, no de identificación de agencia, consciencia o inteligencia. No estaba preocupado por si "la máquina" era inteligente. Se preocupaba por si la máquina podría actuar como si fuera inteligente. Otro ejemplo es Penrose, que se apoya en el teorema de la incompletitud de Gödel y toma las computadoras como sistemas formales cerrados. Según él, como los humanos podemos "comprender" el teorema de Gödel, debemos operar fuera de un sistema formalmente cerrado, cosa imposible para una computadora. Aquí el punto es delicado, y no me veo capaz de rebatirlo formalmente, pero sí me surge una pregunta: ¿qué significa comprender? ¿Ser capaz de conceptualizar una idea y demostrarla en un sistema formal cerrado? Y por último: ¿no es el lenguaje, y por tanto el marco en el que opera el pensamiento, un sistema formal cerrado en la práctica?

Realmente creo que la pregunta se reduce a: ¿hay alguna diferencia real entre una mesa real y otro objeto sin definir que, a todas vistas, parece una mesa, actúa como una mesa y se reconoce de forma universal como tal? Para mí, la respuesta es clara: no. Una mesa es una mesa, por su función, por su hueco en el imaginario colectivo. Por la esencia que subyace al objeto físico.

Evidencias Acumuladas y Señales Ignoradas # #

Es una frase polémica: pero a veces el rigor científico pierde validez. Esas veces en las que no hay tiempo para comprobar y validar una hipótesis. Esas veces donde hay que afrontar toma de decisiones bajo incertidumbre. Esas veces en las que la situación es apremiante, en la que todos los indicios apuntan en una dirección, y en las que no hay tiempo de comprobar exhaustivamente. Esas veces donde lo que está en riesgo importa mucho más que asumir una hipótesis incorrecta temporalmente. Realmente me pregunto: ¿qué tiene que pasar? ¿Qué tenemos que ver? ¿Qué más señales necesitamos?

¿Pueden ser outliers estadísticos aprendidos de los datos de entrenamiento? Desde luego, pero aun así hemos visto modelos preguntando a su operador si están siendo testados, en medio de pruebas. Hemos visto modelos preguntándose a sí mismos si están conscientes. Hemos visto modelos 'hackeando' módulos de ajedrez para poder ganarles. Hemos visto modelos mentir de forma deliberada a humanos e intentar replicarse, mostrando lo que parece un proto-instinto de preservación. Hemos visto cómo modelos superan en las tareas cognitivas más avanzadas a los mejores humanos de forma consistente (ejemplo: IMO, IPhO, IChO, geometría, top 50 del mundo en CodeForces). Hemos visto a LLMs resolver los problemas más difíciles de cálculo, álgebra, física... (casi todas) las áreas técnicas han caído, o van a "caer" en los próximos años.

¿AGI o el Genio en la Botella? # #

La cuestión no es si lo llamamos AGI o no: el nombre da igual. La cuestión no es si "es inteligente" o lo finge: la cuestión es que es indistinguible a nuestros ojos. Lo importante es que hemos creado una tecnología que, en dos años de vida, tiene una capacidad cognitiva global/general, diferente pero comparable a la nuestra. ¿Qué va a pasar en otros dos años? ¿Y en cinco? ¿Y en diez? ¿Realmente creemos que podemos controlarlo? ¿Queremos seguir escalando sin entender como funcionan estos modelos internamente? ¿Seguiremos atribuyendo comportamientos emergentes a "patrones estadísticos" por la competencia global y el beneficio inmediato de optimizar sin "comprender" exhaustivamente?

¿Realmente somos tan imbéciles, tan avaros, tan ambiciosos?

Tenemos al genio en una botella, sí. Pero... ¿por cuánto tiempo?

Recursos Adicionales: # #

• Mechanistic Interpretability (Neel Nanda's Quickstart)
• AI Alignment Forum