ITAINNOVA presenta en Dublín una plataforma que integra el diseño, desarrollo y despliegue de modelos de datos analíticos

Del 24 al 26 de octubre se ha celebrado en Dublín  (Irlanda) el XI Spark Summit Europe que, junto con el celebrado en Estados Unidos, representa uno de los encuentros más importantes entre investigadores, empresas y expertos de Spark.  Se trata de un conjunto de tecnologías open source que permiten el desarrollo y despliegue de aplicaciones Big Data utilizando sus capacidades de computación distribuida.

El equipo de Sistemas Cognitivos de ITAINNOVA  ha asistido a este evento en el que, bajo el título Hiding Apache Spark Complexity for Fast Prototyping of Big Data Applications,  Rosa Montañés y Francisco José Lacueva, han presentado  Moriarty, una plataforma que integra el diseño, desarrollo y despliegue de modelos de datos analíticos.  En concreto,  han hablado de everisMoriarty (eM), una versión desarrollada junto con la empresa  everis dentro del marco de colaboración establecido entre el Instituto y la consultora con sede y raíces en Zaragoza.

eM es el resultado de más de 10 años de trabajo en ITAINNOVA cuyo objetivo inicial fue facilitar la reutilización de componentes software desarrollados en proyectos concretos.  En la actualidad, eM favorece el desarrollo ágil de aplicaciones de Inteligencia Artificial en entornos multidisciplinares, facilitando la comunicación entre los desarrolladores software y los científicos de datos en el desarrollo de aplicaciones de Big Data.

eM provee un interfaz web que facilita el desarrollo de modelos de datos analíticos.  El interfaz facilita la integración de los más de 100 WorkItems(WI), las unidades básicas de computación, en Workflows(WF) que implementan los modelos analíticos creados por los científicos de datos.  Los WIs pueden desarrollarse en Java (preferido por los desarrolladores) o Python (preferido por los científicos de datos) e implementan funcionalidades que abstraen las dificultades técnicas de acceder a los datos, el uso de funcionalidades de terceros, los detalles de bajo nivel requeridos para la implementación de algoritmos de IA, como algoritmos de Machine Learning, Deep Learning o Procesado del Lenguaje Natural entre otros, e incluso el uso de streaming de datos.

eM puede desplegarse en infraestructuras físicas, los servidores de un cliente, o virtuales, en infraestructuras en la nube (como las provistas por el Bifi, Amazon o Azure).  Esto permite que eM pueda escalar verticalmente para cubrir sus necesidades de cálculo.  Sin embargo, esta escalabilidad es limitada, y en un momento dado no permitió cubrir las necesidades de cálculo requeridas en algunos proyectos.  Para solventarlo, se desarrollaron una serie de funcionalidades que permiten integrar y desplegar Moriarty en entornos Apache Spark permitiendo aprovechar las capacidades de distribución de computación y de escalado horizontal que este tipo de herramientas proveen, mejorando sustancialmente la prestaciones y resultados obtenidos.

Para ilustrar la integración de everisMoriarty y Apache Spark, se presentarán 3 casos de uso reales. Los dos primeros están siendo desarrollados en la actualidad en dos proyectos financiados por el programa H2020 de la Comisión Europea:  Transforming Transport (TT) y Worker Centric Workplaces in Smart Factories (FACTS4WORKERS). En el proyecto TT, Moriarty se integra con Kajal, otra herramienta de ITAINNOVA para la optimización de procesos logísticos, que permite optimizar la planificación y previsión de rutas de reparto.  En FACTS4WORKERS, se utilizarán funcionalidades de Moriarty tomando como base la información recogida en los logs generados por los distintos sistemas, para monitorizar la calidad del software desarrollado en las plantas y determinar si estas tienen el impacto deseado en la satisfacción de los trabajadores, su capacidad de resolver problemas y en la eficiencia de las tareas que desarrollan.  El tercero de los casos de uso, desarrollado en un proyecto privado, everisMoriarty se utiliza para monitorizar en tiempo real dispositivos móviles y en base a los datos obtenidos perfilar distintos grupos de usuarios de interés.