Pipeline para la ingesta de datos desde un UNS a una plataforma de datos en la nube

Abstract

En el panorama tecnológico actual, la información se ha convertido en un recurso central, impulsando la necesidad de organizarla, transportarla y usarla eficientemente desde su origen: los datos. Bajo esta necesidad cobra relevancia el concepto de “Pipeline de datos”, un proceso mediante el cual se define y estructura el flujo de datos, incluyendo su generación, organización, transformación, y transporte. Un pipeline puede ser tan simple como una ruta directa entre una fuente y un destino, o tan sofisticado como para incluir lógica condicional o procesamiento en función del contenido. En una primera instancia, se hace necesario garantizar la organización y el acceso a datos industriales, para esto existen múltiples estrategias; una de ellas es el Unified Namespace (UNS). El UNS es una capa centralizada que unifica los datos producidos desde distintos puntos de la organización, convirtiéndose en un “hub de datos” donde cada dispositivo y sistema puede publicar o consumir información de forma desacoplada. Además, el UNS con- lleva un modelado de datos que permite a los consumidores comprender su origen y propósito dentro de un contexto operativo. Para este modelado, una alternativa popular es la norma ISA-95, la cual permite representar la jerarquía física de una empresa, asociando cada pro- ductor de datos con un nivel en ella. Este proyecto aprovecha una implementación operativa de UNS para construir un pipeline que envía datos hacia Snowflake, una plataforma de datos en la nube. La propuesta tiene como objetivo agregar valor a la información generada haciendo uso de las capacidades de análisis, procesamiento y consulta de las plataformas en la nube. Durante el desarrollo se contemplan los desafíos de la interoperabilidad y escalabilidad de la Industria 4.0, contribu- yendo a la transformación digital en el sector industrial colombiano.