Agile Data Science - Analytics Methodology (AgileDSAM)

Abstract

RESUMEN: En la actualidad, el aprovechamiento de los datos se ha vuelto un componente esencial para las organizaciones que buscan obtener ventajas competitivas y optimizar sus procesos de toma de decisiones. El auge de tecnologías relacionadas con Big Data ha motivado a muchas empresas a implementar Sistemas de Análisis de Big Data (BDAS). En las últimas décadas, se ha observado un incremento notable en la diversidad de los datos, tanto en su origen como en su formato y modalidad, lo que permite emplear una amplia gama de técnicas para su análisis, tales como el aprendizaje automático, la gestión de datos, la visualización de información, la inferencia causal, entre otras. Diversos casos exitosos de grandes compañías que han implementado proyectos BDAS evidencian la necesidad de que las organizaciones comprendan cómo gestionar eficazmente este tipo de iniciativas. En este contexto, la adopción de metodologías bien estructuradas se vuelve fundamental para el desarrollo eficiente de proyectos BDAS. Es común que el proceso de desarrollo de software enfrente dificultades, particularmente por la variabilidad de los requerimientos, lo cual subraya aún más la necesidad de contar con un marco metodológico sólido. Una característica distintiva de los sistemas BDAS es su capacidad para procesar y analizar grandes volúmenes de datos en tiempos muy reducidos, lo que implica una elevada demanda tanto tecnológica como metodológica. Por ello, esta investigación se orientó al diseño y desarrollo de una metodología adaptada a proyectos BDAS, con el objetivo de apoyar a pequeñas y medianas empresas en la generación de valor mediante el uso de la ciencia de datos. La propuesta metodológica se basa en marcos ágiles ampliamente reconocidos, como SCRUM y XP, así como en metodologías especialmente desarrolladas para proyectos BDAS. Los resultados obtenidos mediante la Guía Electrónica de Procesos (EPG) desarrollada revelaron métricas favorables en aspectos como agilidad, utilidad, facilidad de uso, compatibilidad, valor y actitud, superando incluso las expectativas planteadas para la metodología propuesta.

ABSTRACT: Currently, data utilization has become an essential component for organizations seeking to gain competitive advantages and optimize their decision-making processes. The rise of Big Data-related technologies has prompted many companies to implement Big Data Analytics Systems (BDAS). In recent decades, there has been a significant increase in data diversity—in terms of origin, format, and modality— which enables the use of a wide range of techniques for analysis, such as machine learning, data management, data visualization, and causal inference, among others. Several successful cases of major corporations that have implemented BDAS projects highlight the need for organizations to understand how to effectively manage these types of initiatives. In this context, the adoption of well-structured methodologies becomes fundamental for the efficient development of BDAS projects. It is common for the software development process to face challenges, particularly due to changing requirements, which further emphasizes the need for a solid methodological framework. A distinctive feature of BDAS is its ability to process and analyze large volumes of data in very short time frames, which entails high technological and methodological demands. For this reason, this research focused on the design and development of a methodology tailored to BDAS projects, with the goal of supporting small and medium-sized enterprises in generating value using data science. The proposed methodology is based on widely recognized agile frameworks, such as SCRUM and XP, as well as on methods specifically developed for BDAS projects. The results obtained through the developed Electronic Process Guide (EPG) revealed favorable metrics in aspects such as agility, usefulness, ease of use, compatibility, value, and attitude, even exceeding the initial expectations for the proposed methodology.