Desentrañando Decisiones Óptimas: CFR y Aprendizaje por Refuerzo en el Póker # #

• Ver el trabajo completo (PDF)

Situación / Problema # #

Tomar decisiones bajo incertidumbre es fundamental en la vida real y, especialmente, en escenarios competitivos como los juegos. El póker, con su información incompleta (no conoces las cartas del rival) y la aleatoriedad, es un campo de pruebas perfecto. ¿Cómo podemos aprender a tomar la "mejor" decisión cuando el resultado no depende solo de nosotros y hay un componente de azar? La intuición no siempre basta, y las "buenas" decisiones no siempre llevan a "buenos" resultados a corto plazo.

Mi Rol y Objetivo (Proyecto de Investigación/Desarrollo) # #

Este proyecto explora cómo el algoritmo Counterfactual Regret Minimization (CFR), una técnica clave en aprendizaje por refuerzo y teoría de juegos, permite encontrar estrategias óptimas (cercanas al Equilibrio de Nash) en juegos de información incompleta. Me centré en entender e implementar CFR y sus variantes, utilizando el póker (específicamente la variante "Push or Fold" de No-Limit Hold'em) como caso de estudio. El objetivo era ver cómo una máquina puede "aprender" a jugar de forma experta a través de la minimización del "arrepentimiento" de sus acciones pasadas.

Tecnologías y Metodología (Con Foco Python/ML/XAI) # #

Fundamentos Teóricos # #

• Teoría de Juegos: Conceptos como juegos de información incompleta, forma extensiva (árboles de decisión), conjuntos de información (information sets), estrategias puras y mixtas, y Equilibrio de Nash.
• Aprendizaje por Refuerzo (RL): El agente aprende interactuando con el entorno (el juego) y recibiendo recompensas/penalizaciones.

Algoritmo Principal: Counterfactual Regret Minimization (CFR) # #

• El CFR es un algoritmo iterativo que calcula el "arrepentimiento" de no haber tomado una acción diferente en el pasado para cada situación (information set).
• Al minimizar este arrepentimiento acumulado, la estrategia del agente converge hacia una política óptima.
• Implementé y estudié variantes como:
  • Vanilla CFR: Recorrido exhaustivo.
  • Chance-Sampled CFR (CS-CFR): Muestrea eventos aleatorios (reparto de cartas) para reducir la carga computacional, esencial en póker.
  • Exploré la transición de enfoques tabulares (donde cada information set se almacena explícitamente) a enfoques basados en Redes Neuronales (Deep CFR), donde una red aprende a generalizar y predecir valores o estrategias, reduciendo la necesidad de abstracciones manuales.

Implementación y Entorno (Python) # #

• Utilicé Python para toda la lógica del algoritmo CFR, la simulación del juego de póker y el manejo de estructuras de datos (árboles, tablas de regret, estrategias).
• La librería poker de PyPI fue útil para la representación de manos y rangos en el póker.
• Abstracción del Juego: Simplifiqué el juego ("Push or Fold", stacks fijos) para hacerlo tratable computacionalmente, agrupando manos (AKs, 72o) y codificando el historial de acciones ('x' para reparto, 'r' para raise, 'f' para fold) para definir los information sets.

Componente "XAI-like" (Interpretabilidad de la Estrategia) # #

• Aunque el CFR es un algoritmo, la estrategia resultante (una tabla o una red neuronal que dicta qué hacer en cada situación) puede ser analizada. Por ejemplo, se puede visualizar la probabilidad de "push" o "fold" para diferentes manos y situaciones. Esto ayuda a entender cómo la IA ha aprendido a jugar y si sus decisiones son intuitivas o contraintuitivas para un humano.

Solución y Resultados Clave # #

• Implementación Funcional de CFR: Desarrollé un agente capaz de aprender estrategias para la variante "Push or Fold" de póker.
• Convergencia de Estrategias: Observé cómo, a través de miles/millones de iteraciones, la estrategia del agente CFR mejoraba, minimizando su explotabilidad. La estrategia media a lo largo de las iteraciones tendía a un equilibrio.
• Análisis de Estrategias Aprendidas: Pude extraer y analizar las estrategias generadas, por ejemplo, qué rangos de manos el agente decidía jugar agresivamente ("push") o de forma conservadora ("fold") desde diferentes posiciones y contra diferentes historiales de acciones.
• Desafíos Computacionales: Confirmé que incluso con abstracciones, el CFR es computacionalmente intensivo. La variante Chance-Sampled CFR fue crucial para manejar la aleatoriedad del reparto de cartas sin explorar todo el árbol de posibilidades en cada iteración. La transición a Deep CFR (usando redes neuronales) se presenta como la evolución natural para juegos más complejos, aunque introduce sus propios desafíos de entrenamiento y estabilidad.

Impacto y Aprendizajes # #

• Comprensión Profunda de RL en Juegos: Este proyecto me dio una visión muy práctica de cómo los algoritmos de aprendizaje por refuerzo pueden resolver problemas complejos de toma de decisiones estratégicas.
• Valor de la Teoría de Juegos: Reforzó la idea de que los conceptos de la Teoría de Juegos son fundamentales para diseñar agentes inteligentes en entornos multiagente.
• Retos de la Escalabilidad: Me enfrenté directamente a los desafíos de la "maldición de la dimensionalidad" en juegos grandes y cómo técnicas como el muestreo o el aprendizaje profundo (redes neuronales) son necesarias para abordarlos.
• El núcleo del trabajo se realizó en Python, manejando la lógica del juego, las estructuras de datos del CFR (arrepentimientos, estrategias) y las simulaciones.

Palabras Clave: Counterfactual Regret Minimization (CFR), Aprendizaje por Refuerzo, Teoría de Juegos, Póker, Python, Información Incompleta, Equilibrio de Nash, Redes Neuronales en Juegos, Toma de Decisiones, Algoritmos.

Enlaces adicionales # #

• Leer el paper completo (PDF) {/* * Leer más sobre mi implementación de CFR /} {/ * Código del proyecto en GitHub */}

---