Inteligencia artificial adaptativa en videojuegos con procesos estocásticos

Abstract

RESÚMEN El combate meleé es un término que aplica específicamente el combate con armas de mano, comúnmente implementado en los videojuegos en el género Hack n' Slash y en contraste a las armas de rango como el arco o las armas de fuego; en los videojuegos, el género puede incluir arqueros o especialistas de artes marciales. Los videojuegos son un área amplia en la aplicación de la Inteligencia Artificial, cuyos géneros más populares incluye los juegos de disparos (Shooters), Juegos de Rol (RPG) o de Estrategia en tiempo real (RTS). El Hack n' Slash, como parte del género de Rol brinda una experiencia única en jugabilidad debido a los parámetros que ofrecen un juego igualado entre el jugador humano y los NPCs (Non-Player characters). En la práctica, es muy poco común ver una escalada de dificultad que sea fiable, y es que incluso los juegos de última generación no los aplican en sus rutinas de Inteligencia Artificial, es decir, al comportamiento de oponentes controlados por computadora en un juego. Los procesos estocásticos son una parte de la teoría de la probabilidad que consisten en conceptos matemáticos que sirven para caracterizar una sucesión de variables aleatorias (estocásticas) que evolucionan en función de otra variable, comúnmente en el tiempo. En general, un juego puede ser representado como un proceso estocástico que evoluciona en el tiempo y, si es posible realizar una estimación de situaciones posteriores al instante actual, puede lograrse una estimación del comportamiento del contrincante en un entorno controlado. La ventaja que ofrecen los procesos estocásticos aplicados a un juego es que es posible crear una escalada automática de la dificultad para adaptar el reto que ofrece un juego hacia el jugador humano, (es decir, un juego justo) lo que da como resultado una experiencia de entretenimiento más rica frente a un juego demasiado fácil o demasiado difícil. Este trabajo propone una técnica de aprendizaje en línea que permite identificar ciertas rutinas repetitivas en el comportamiento del jugador humano y enriquecer la Inteligencia Artificial del juego. Con ayuda del teorema de Bayes y las Cadenas de Márkov se logró identificar ciertos patrones de repetición que logran satisfactoriamente estimar el movimiento siguiente que realizará el jugador. Los resultados de los experimentos indican que es posible obtener distintos intervalos de éxito en base al tamaño de la muestra capturada para el análisis. Se concluye que los procesos estocásticos en un ambiente de juego controlado, como en los juegos de combate cuerpo a cuerpo, pueden mejorar el valor de entretenimiento de un juego logrando un balance entre la complejidad de la Inteligencia Artificial del juego y la habilidad del jugador humano.

ABSTRACT The melee combat is a term applied specifically to the weapons used in hand-to-hand combat, commonly introduced in the Hack n’ Slash videogame genre and in contrast to the ranged weapons as the bow or guns; in videogames, the genre may include archers or martial artists. Videogames is a wide area for applying Artificial Intelligence, whose most popular genres are the Shooting games (shooters), Role-Playing Games (RPG) or Real-Time Strategy (RTS). Hack n’ Slash, as part of the RPG genre, brings a unique experience in gameplay by the characteristics offered in a matched combat between the human player and a Non-Player Character (NPC). In practice, it’s very hard to find a trustworthy Difficulty Scaling Method, and even the State-of-the-art games don’t use these methods in their Artificial Intelligence routines, i.e., the behavior of the NPCs in a game. The Stochastic processes, part of the probability theory, consist in mathematical concepts to represent a sequence of random variables (stochastic) that evolve based in another variable, commonly in time. Generally, a game can be represented as a stochastic process that evolves in time and, if it is possible to estimate subsequent situations to the actual moment, the enemy behavior can be estimated in a controlled environment. The advantage of Stochastic processes applied in a game is that is possible to create an Automatic Difficulty Scaling to adapt the game challenge to the human player, (a fair game) that results in a richer game experience against a very easy or a very difficult game. This work proposes an Online Learning Technique that allows to identify certain repetitive routines in the human player behavior and improve the Game Artificial Intelligence (Game AI). Using the Bayes Theorem and Markov Chains, certain repeat patterns were identified to successfully estimate the next movement of the human player. The experiments results show that it is possible to obtain different success intervals based in the sample size for analysis. In conclusion, Stochastic processes, in a controlled game environment like the ones found in melee combat fighting games, can improve the replay valuegetting balance between the Game AI and the Human Player skills.