Sistemas de recomendación en Apache Spark

Abstract

Actualmente, los sistemas de recomendación juegan un papel fundamental en el comercio electrónico. Estos sistemas proponen sugerencias de productos a los usuarios, basadas en diferentes fuentes de información, con el objetivo de que los usuarios continúen visitando el sitio y aumente la probabilidad de que efectúen compras. Para conseguir estas recomendaciones se utilizan algoritmos para el cálculo de predicciones. Estas predicciones representan la posibilidad de que un cierto usuario vaya a acceder o valorar un determinado ítem. Dado el gran volumen de usuarios e ítems en un sistema, hacen falta herramientas adecuadas que permitan obtener las recomendaciones en un tiempo razonable, además de garantizar que el sistema de recomendación esté siempre disponible. En este trabajo se estudian las distintas técnicas para proporcionar recomendaciones y se programan dos algoritmos sobre el sistema Hadoop, empleando el mecanismo de MapReduce que proporciona el subsistema Spark. Por una parte, la técnica de MapReduce permite ofrecer, con ciertas limitaciones, una forma de ejecutar en paralelo ciertas tareas sobre el gran volumen de datos a procesar. Por otro lado, al ejecutar las tareas de MapReduce sobre el sistema ofrecido por Hadoop se consigue el requisito de tolerancia a fallos que es necesario en un sistema que debe mantenerse disponible en todo momento.