Modelo de evaluación de experiencia de aprendizaje basado en Eye Tracking, señales electroencefalográficas (EEG) y ciencia de datos

Abstract

Resumen: La evaluación de UX es primordial para conocer la aceptación e interacción que un usuario tiene con un sistema, si las técnicas tradicionales de UX se trasladan al campo de la enseñanza – aprendizaje, su aplicación puede tener aún más impacto, pues puede incidir en la calidad de los Objetos de Aprendizaje con los que un estudiante interactúa. Sin embargo, con métodos tradicionales no puede más que obtenerse información subjetiva del usuario, por lo que luego de una Revisión Sistemática de la Literatura y aplicando tecnologías ya bien adaptadas a este campo como el EEG, y otras emergentes como el Eye Tracking, en este trabajo se desarrolla un modelo (o framework), llamado UXEEGET, que incorpora también la Ciencia de Datos para obtener una mejor comprensión de la Experiencia de Aprendizaje, es decir, la experiencia derivada a partir de la interacción con un Objeto de Aprendizaje. Para lograr este objetivo, se recabaron datos de EEG, Eye Tracking y respuestas de un formulario sobre UX relativas a un video sobre Programación Orientada a Objetos (POO), de un grupo de 35 estudiantes de Ingeniería en Computación de semestre iniciales. Con los datos obtenidos se entrenaron varios modelos de Aprendizaje Automático (Regresión Logística, KNN y SVM) en un dataset con y sin biométricos (es decir, con y sin datos de EEG y Eye Tracking) para predecir la experiencia de aprendizaje, comparándola con la respuesta subjetiva dada por el usuario en el formulario de UX. Los resultados sugieren, a partir de una prueba de Wilcoxon en el contexto específico de la investigación, que la incorporación de EEG y Eye Tracking sí permite conocer de más precisa la experiencia de aprendizaje, comparado con el sólo uso de un instrumento simple y tradicional de UX (como lo es el formulario).

Abstract: UX evaluation is essential to know the acceptance and interaction that a user has with a system, if traditional UX techniques are transferred to the field of teaching - learning, its application can have even more impact, because it can affect the quality of the Learning Objects a student interacts with. However, traditional methods can only obtain subjective information from the user, so after a systematic review of the literature and applying technologies already well adapted to this field such as EEG, and other emerging technologies such as Eye Tracking, this paper develops a model (or framework), called UXEEGET, which also incorporates Data Science to obtain a better understanding of the Learning Experience, that is, the experience derived from the interaction with a Learning Object. To achieve this objective, EEG data, Eye Tracking and answers to a UX form related to a video on Object Oriented Programming (OOP) were collected from a group of 35 first semester Computer Engineering students. With the gathered data, several Machine Learning models (Logistic Regression, KNN and SVM) were trained on a dataset with and without biometrics (i.e. with and without EEG and Eye Tracking data) to predict the learning experience, comparing it with the subjective response given by the user on the UX form. The results suggest, based on a Wilcoxon test in the specific context of the research, that the incorporation of EEG and Eye Tracking does allow us to know more accurately the learning experience, compared to the use of a simple and traditional UX instrument (such as the form).