XAI en 2025: Más Allá de las Explicaciones

XAI en LLMs (Mayo 2025): Hacia la Interpretabilidad Mecanicista de los Transformers # #

<img src="/images/vanilla-transformer-detail.png" alt="Diagrama detallado de la arquitectura Transformer" style={{ maxWidth: '600px', margin: '1em 0' }} loading="lazy" />

ℹ️ Estado de la investigación
Este trabajo está en progreso y busca sintetizar los avances más recientes en la interpretabilidad mecanicista de LLMs, principalmente basándose en el trabajo de grupos de investigación líderes como Anthropic.

Objetivo Principal del Artículo/Investigación (En Progreso): Este trabajo explora el estado del arte (SOTA) en Interpretabilidad Mecanicista (MI) aplicada a Modelos de Lenguaje Grandes (LLMs), con un foco especial en la arquitectura Transformer. El objetivo es entender cómo estos modelos, a menudo vistos como "cajas negras", representan y procesan internamente la información para generar sus salidas. Se busca "ingeniería inversa" de las redes neuronales para identificar componentes y circuitos humanamente interpretables.

Motivación / El Problema Central: "No podemos controlar lo que no entendemos". A medida que los LLMs se integran en sistemas críticos, desde finanzas hasta salud, la necesidad de comprender su funcionamiento interno se vuelve imperativa. La MI busca responder: ¿Cómo contribuye cada peso o activación al comportamiento del modelo? ¿Qué "piensan" realmente estas redes? Fenómenos como la polisemanticidad (neuronas que se activan para múltiples conceptos no relacionados) y la escala masiva de los modelos hacen de esto un desafío monumental.

Tecnologías y Conceptos Clave # #

Tecnologías y conceptos principales:

• Sparse Autoencoders
• Transcoders
• Attribution Graphs
• Transformers
• Circuit Tracing
• Álgebra Lineal
• Polisemanticidad

Conceptos Clave y Enfoques Explorados:

• Características (Features) y Circuitos: La idea de que los LLMs aprenden "características" fundamentales (direcciones en el espacio de activación) que se conectan en "circuitos" para realizar tareas específicas. Se investiga la universalidad de estas características y circuitos entre diferentes modelos y tareas.
• Grokking: El fenómeno donde los modelos, tras un largo entrenamiento memorizando datos, súbitamente "entienden" y generalizan. La MI ayuda a identificar las fases de este proceso: memorización, formación de circuitos y "limpieza".
• Evolución de las Técnicas de XAI en Transformers:
  • Enfoques Clásicos:
    • Visualización de pesos de atención (heatmaps), análisis de "heads semánticos" en BERT.
    • Limitaciones: escala, polisemia, baja fidelidad local de métodos como LIME/SHAP puros.
  • Avances Recientes (Tabla Resumen en el Artículo):
    • Toy Models of Superposition: Demostración de superposición de características.
    • Language Models Explaining Neurons: Automatización de la explicación de neuronas.
    • Dictionary Learning / Sparse Autoencoders (SAEs): Extracción de características monosemánticas mediante autoencoders sobrecompletos con regularización L1. El ejemplo del "Golden Gate Bridge" de Anthropic.
    • Scaling Monosemanticity: Aplicación de SAEs a modelos grandes como Claude 3.
    • Cross-Layer Transcoders (CLT): Seguimiento de características a través del residual stream entre capas.
    • Model Diffing: Comparación de características y circuitos entre diferentes modelos o versiones.
• Desafíos: Polisemanticidad, escala de parámetros (miles de millones, con VRAM en TBs), y la necesidad de métricas de interpretabilidad robustas.

Tecnologías y Herramientas:

• Fundamentos Teóricos: Álgebra lineal, cálculo, teoría de la información, aprendizaje profundo.
• Arquitecturas de Modelos: Transformers (Encoder-Decoder, Decoder-only).
• Técnicas de XAI: Sparse Autoencoders (SAEs), Transcoders, Attribution Graphs.
• Métricas: Grado de monosemanticidad, fidelidad de reconstrucción, coherencia semántica.
• Herramientas de Visualización: BERTviz.

Preguntas frecuentes sobre Interpretabilidad Mecanicista # #

¿Por qué es importante la interpretabilidad mecanicista frente a otros enfoques de XAI? La interpretabilidad mecanicista busca entender cómo funcionan internamente los modelos, no solo qué hacen. Esto permite identificar problemas fundamentales, mejorar el diseño de modelos, y eventualmente 'alinear' modelos avanzados con valores humanos.

¿Qué son los Sparse Autoencoders (SAEs) y por qué son relevantes para XAI? Los SAEs son redes neuronales que aprenden a reconstruir activaciones internas del modelo con una capa intermedia grande y regularizada para ser dispersa. Esto permite 'descomponer' representaciones polisemánticas en características monosemánticas más interpretables.

¿Es posible aplicar estas técnicas a modelos realmente grandes como GPT-4? Es un desafío debido a la escala, pero hay progresos. Anthropic ha aplicado SAEs a modelos de tamaño considerable como Claude. El enfoque actual es escalar métodos como SAEs y aplicarlos selectivamente a componentes críticos de modelos más grandes.

Estado Actual del Artículo/Investigación: Este es un trabajo en progreso que busca sintetizar los avances más recientes en la interpretabilidad mecanicista de LLMs, principalmente basándose en el trabajo de grupos de investigación líderes como Anthropic. Se está estructurando la información sobre SAEs, CLTs y la evolución hacia el "circuit tracing".

¿Qué se espera lograr con este artículo completo?:

• Ofrecer un panorama claro y actualizado del SOTA en MI para Transformers.
• Explicar en detalle técnicas prometedoras como los Sparse Autoencoders (SAEs) y los Cross-Layer Transcoders (CLT).
• Discutir los desafíos abiertos y las posibles direcciones futuras de la investigación en XAI para LLMs.
• Proponer una visión donde la interpretabilidad no solo diagnostica, sino que también guía el desarrollo de modelos más robustos, controlables y alineados.

⚠️ Desafíos de implementación
La aplicación de técnicas de interpretabilidad mecanicista a LLMs de gran escala requiere recursos computacionales significativos. Los experimentos con SAEs en modelos de miles de millones de parámetros pueden requerir múltiples GPUs y optimizaciones específicas.

Enlaces (Cuando Estén Disponibles):

• [Borrador del Artículo/Whitepaper]
• [Presentación Relacionada]
• Referencias Clave:
  • Transformer Circuits (Anthropic/Distill)
  • Grokking via Mechanistic Interpretability (Nanda et al.)