Modelo de arquitectura para la ingestión, procesamiento y análisis de datos a gran escala

Simple item page
dc.contributor.advisorMeneses Mendoza, Jathinson
dc.contributor.advisorJiménez Herrera, Henry Andrés
dc.contributor.authorRojas Pedraza, Cristian Eduardo
dc.contributor.evaluatorBarrios Hernández, Carlos Jaime
dc.contributor.evaluatorCamacho Velasco, Ariolfo
dc.date.accessioned2024-02-22T13:17:34Z
dc.date.available2024-02-22T13:17:34Z
dc.date.created2024-02-21
dc.date.issued2024-02-21
dc.description.abstractEsta tesis investiga el campo del big data, explorando soluciones para su gestión y aprovechamiento óptimo. En un mundo donde la acumulación de datos es imparable, las empresas encuentran oportunidades invaluables. Herramientas como Hadoop y Elasticsearch, diseñadas para superar los desafíos del procesamiento convencional, permiten la eficaz manipulación de vastos volúmenes de datos distribuidos. Esta investigación también ofrece un panorama completo de las herramientas disponibles para construir soluciones integrales. El núcleo de esta tesis reside en la exploración profunda de los fundamentos de los Data Lakes y su integración en la gestión del big data. Se desglosan arquitecturas esenciales y se examinan tecnologías clave que posibilitan la construcción de entornos de almacenamiento y procesamiento de datos altamente adaptables. Un caso de estudio concreto en la industria petrolera de Texas sirve de ejemplo ilustrativo. Se detalla la recolección y análisis de datos relevantes provenientes de diversas fuentes, como la Energy Information Administration y el Servicio Geológico de Estados Unidos. Este estudio demuestra cómo las herramientas de procesamiento de big data y la implementación de Data Lakes pueden generar valor y simplificar la toma de decisiones estratégicas en un sector industrial altamente competitivo. En resumen, esta tesis aborda el universo del big data, enfocándose en cómo los Data Lakes se han convertido en una solución esencial para gestionar la avalancha de información en nuestros días. Con un enfoque particular en la industria petrolera de Texas, esta investigación explora cómo estas tecnologías innovadoras pueden revolucionar el tratamiento de datos, facilitando análisis profundos y decisiones fundamentadas.
dc.description.abstractenglishThis thesis investigates the broad field of big data, exploring solutions for its management and optimal use. In a world where data accumulation is unstoppable, companies are finding invaluable opportunities. Tools such as Hadoop and Elasticsearch, designed to overcome the challenges of conventional processing, enable the efficient manipulation of vast volumes of distributed data. This research also provides a comprehensive overview of the tools available to build end-to-end solutions. The core of this thesis lies in the in-depth exploration of the fundamentals of Data Lakes and their integration into big data management. It breaks down essential architectures and examines key technologies that make it possible to build highly adaptive data storage and processing environments. A specific case study in the Texas oil industry serves as an illustrative example. The collection and analysis of relevant data from a variety of sources, such as the Energy Information Administration and the U.S. Geological Survey, is detailed. This study demonstrates how big data processing tools, and the implementation of Data Lakes can generate value and simplify strategic decision making in a highly competitive industry sector. In summary, this thesis addresses the universe of big data, focusing on how Data Lakes have become an essential solution for managing today's flood of information. With a particular focus on the Texas oil industry, this research explores how these innovative technologies can revolutionize data processing, facilitating deep analysis and informed decisions.
dc.description.degreelevelPregrado
dc.description.degreenameIngeniero de Sistemas
dc.format.mimetypeapplication/pdf
dc.identifier.instnameUniversidad Industrial de Santander
dc.identifier.reponameUniversidad Industrial de Santander
dc.identifier.repourlhttps://noesis.uis.edu.co
dc.identifier.urihttps://noesis.uis.edu.co/handle/20.500.14071/15781
dc.language.isospa
dc.publisherUniversidad Industrial de Santander
dc.publisher.facultyFacultad de Ingeníerias Fisicomecánicas
dc.publisher.programIngeniería de Sistemas
dc.publisher.schoolEscuela de Ingeniería de Sistemas e Informática
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)
dc.rights.licenseAtribución-NoComercial-SinDerivadas 2.5 Colombia (CC BY-NC-ND 2.5 CO)
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subjectLago de datos
dc.subjectArquitectura lagos de datos
dc.subjectDatos a gran escala
dc.subjectProcesamiento de datos
dc.subject.keywordData lake
dc.subject.keywordData Lake architecture
dc.subject.keywordLarge scale data
dc.subject.keywordData processing
dc.titleModelo de arquitectura para la ingestión, procesamiento y análisis de datos a gran escala
dc.title.englishArchitecture model for large-scale data ingestion, processing and analysis
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.hasversionhttp://purl.org/coar/version/c_b1a7d7d4d402bcce
dc.type.localTesis/Trabajo de grado - Monografía - Pregrado
Files
Original bundle
Now showing 1 - 3 of 3
No Thumbnail Available
Name:
Carta de autorización.pdf
Size:
92.37 KB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Documento.pdf
Size:
1.19 MB
Format:
Adobe Portable Document Format
Download
No Thumbnail Available
Name:
Nota de proyecto.pdf
Size:
271.46 KB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
2.18 KB
Format:
Item-specific license agreed to upon submission
Description:
Download
Collections
Ingeniería de Sistemas