Light Data Science - Analytics Methodology (LDSAM)

Abstract

ABSTRACT: The development of Data Science and Analytics projects has become a strategic practice for organizations aiming to transform data into value. However, such practices are typically associated with large corporations that possess advanced technological infrastructure and specialized teams. Very Small Entities (VSEs), which represent over 95% of organizations in many countries, face significant challenges when attempting to adopt formal software development and data analytics methodologies, such as agile models or traditional standardsbased approaches. This limitation not only prevents VSEs from leveraging advanced analytics, but also compromises the quality, sustainability, and success of their technological projects. To address this issue, this doctoral thesis proposes a lightweight development methodology called Light Data Science - Analytics Methodology (LDSAM), specifically designed for Big Data Science projects within the context of VSEs. LDSAM is aligned with the ISO/IEC 29110 – Basic Profile international standard, a framework specifically created for very small entities, which provides structured processes for project management and software implementation. The research follows the Design Science Research (DSR) paradigm and addresses four key research questions, ranging from the analysis of the state of the art in methodologies and platforms, to the design, development, documentation, and evaluation of the proposed artifact. LDSAM was conceptualized through a theoretical integration of software engineering standards (such as ISO/IEC 29110), data analytics methodologies such as CRISP-DM, TDSP, and DDSL, and lightweight approaches that balance the benefits of both agile and rigorous models, yet with lower complexity, cost, and learning curve. The methodology was systematically documented through an Electronic Process Guide (EPG), designed to facilitate adoption and practical application. LDSAM was validated in two stages: a conceptual evaluation by a panel of experts, and an empirical usability perception assessment by a pilot group of academics and practitioners in Data Science and software development. The results indicate that LDSAM is perceived as more useful, compatible, easy to use, and valuable compared to alternative unstructured methodologies, reinforcing its suitability for small-scale environments. The research demonstrates that it is feasible to design and validate lightweight methodologies that comply with international standards while meeting the specific needs and constraints of VSEs. Finally, further empirical studies are recommended to expand the use of LDSAM in diverse contexts and to strengthen the integration of standards in analytics projects, aiming to improve the quality and sustainability of software systems developed by small organizations

RESUMEN: El desarrollo de proyectos de Ciencia de Datos y Analítica se ha posicionado como una práctica estratégica para organizaciones que buscan transformar sus datos en valor. No obstante, estas prácticas suelen estar asociadas a grandes corporativos que disponen de infraestructura tecnológica avanzada y equipos de trabajo especializados. Las pequeñas y muy pequeñas empresas (VSEs), que representan más del 95% de las organizaciones en muchos países, enfrentan barreras importantes para adoptar metodologías formales de desarrollo de software y analítica de datos, como los modelos ágiles o los enfoques rigurosos basados en estándares tradicionales. Esta limitación no solo excluye a las VSEs del aprovechamiento de la analítica avanzada, sino que además compromete la calidad, sostenibilidad y éxito de sus proyectos tecnológicos. Ante esta problemática, la presente tesis doctoral propone una metodología de desarrollo ligera, denominada Light Data Science - Analytics Methodology (LDSAM), especialmente diseñada para proyectos de Ciencia de Datos de tipo Big Data dentro del contexto de VSEs. LDSAM está alineada con el estándar internacional ISO/IEC 29110 – Perfil Básico, un estándar específicamente desarrollado para entidades muy pequeñas, que proporciona un marco estructurado de procesos para la gestión de proyectos e implementación de software. La investigación se enmarca en el paradigma de Design Science Research (DSR) y responde a cuatro preguntas de investigación, que abarcan desde el análisis del estado del arte de las metodologías y plataformas existentes, hasta el diseño, desarrollo, documentación y evaluación del artefacto propuesto. LDSAM fue conceptualizada a partir de una integración teórica entre estándares de ingeniería de software (como ISO/IEC 29110), metodologías de analítica como CRISP-DM, TDSP y DDSL, y enfoques ligeros que equilibran los beneficios de los modelos ágiles y rigurosos, pero con menor complejidad, costo y curva de aprendizaje. El diseño de la metodología fue sistematizado mediante una guía electrónica de procesos (EPG), la cual facilita su adopción y uso en entornos reales. La validación de LDSAM se llevó a cabo en dos fases: una conceptual, mediante un panel de expertos, y otra empírica, mediante una evaluación de percepción de usabilidad por parte de un grupo piloto de académicos y profesionales en Ciencia de Datos y desarrollo de software. Los resultados obtenidos indican que LDSAM es percibida como más útil, compatible, fácil de usar y valiosa en comparación con metodologías alternativas no estructuradas, lo cual refuerza su pertinencia para entornos de pequeña escala. La investigación demuestra que es viable diseñar y validar metodologías ligeras que cumplan con estándares internacionales, y que al mismo tiempo respondan a las condiciones y capacidades de las VSEs. Finalmente, se recomienda impulsar nuevas investigaciones que amplíen el uso de LDSAM a otros contextos y que fortalezcan la incorporación de estándares en proyectos de analítica, con el fin de mejorar la calidad y sostenibilidad de los sistemas desarrollados por organizaciones pequeñas.