Rethink by ESIC | #Big data

La introducción del big data en el fútbol ha revolucionado toda la industria potenciando las capacidades de los jugadores y ayudándoles a mejorar su rendimiento, y proporcionando al personal técnico la oportunidad de predecir y tomar decisiones relevantes con respecto a su alineación. También es innegable que su aplicación ha repercutido en la gestión de la información permitiendo a los equipos realizar evaluaciones exhaustivas como nunca antes habían hecho y ayudando a prevenir lesiones y enfermedades. 

La figura del data scientist se ha ido haciendo cada vez más imprescindible conforme se populariza el uso de las tecnologías de big data. Para conocer mejor su papel y sus competencias, Ramón Pin, data engineer en Orange y profesor del Máster en Big Data Management de ESIC, nos explica los conocimientos y la tecnología que debe dominar un profesional de estas características, además del contexto en el que trabaja. 

La revolución digital que estamos viviendo hace que muchos procesos y compañías vean acelerarse su adaptación al nuevo entorno. Según McKinsey, la revolución que nos ha tocado vivir está siendo diez veces más rápida que la que generó el uso del vapor y está afectando a una base de población 300 veces superior. Este contexto tecnológico e histórico nos sitúa frente a los líderes de este inicio del siglo XXI.

Estamos invadidos y en algunos casos aturdidos e incluso confundidos con tanta y tan variada terminología analítica: Business Intelligence, Business Analytics, Advanced Analytics, Big Data, Big Data Analytics …

Existen tantas definiciones de data engineer como profesionales que se dedican a esta rama del desarrollo de aplicaciones. A diferencia de sus primos los data scientists, el de data engineer es un rol que no aparece con grandes rótulos de neón. Se trata de una tarea silenciosa pero fundamental para el desarrollo de sistemas de información complejos, en particular aquellos que hacen uso de las tecnologías big data.

Hablar de Big Data, Digitalización y Marketing digital es hablar de tres conceptos de rabiosa actualidad e íntimamente relacionados entre sí. Entre todos ellos existe un estrecho vínculo que los hace inseparables. Podríamos incluso añadir un cuarto concepto: La Inteligencia Artificial. Los medios digitales sin ningún lugar a dudas se han convertido en los canales principales de Marketing y también de comunicación e incluso de venta. La digitalización empresarial es imparable y los profesionales del marketing digital no dejan de crecer.

Cuando hablamos de procesamiento de datos en Big Data existen en la actualidad dos grandes frameworks, Apache Hadoop y Apache Spark, ambos con menos de diez años en el mercado pero con mucho peso en grandes empresas a lo largo del mundo. Ante estos dos gigantes de Apache es común la pregunta, Spark vs Hadoop ¿Cuál es mejor? Antes de elegir uno u otro framework es importante que conozcamos un poco de ambos.

Existen multitud de empresas que han decidido comprometerse con la cultura data-driven, e implementar todos los recursos para que sus decisiones estén vinculadas a información lo más veraz posible. Pero, ¿Qué es lo que realmente se necesita para alcanzar una buena dinámica de análisis del dato? Luis Hidalgo, profesor del Máster en Big Data y Business Analytics [MBDA] nos lo desvela.

Apache Spark es un framework de programación para procesamiento de datos distribuidos diseñado para ser rápido y de propósito general. Como su propio nombre indica, ha sido desarrollada en el marco del proyecto Apache, lo que garantiza su licencia Open Source. Además, podremos contar con que su mantenimiento y evolución se llevarán a cabo por grupos de trabajo de gran prestigio, y existirá una gran flexibilidad e interconexión con otros módulos de Apache como Hadoop, Hive o Kafka.

A estas alturas y con la variable velocidad de adopción como aspecto clave en el mundo tecnológico en el que nos movemos, no merece la pena dedicar una palabra más, adicional a lo ya escrito, a la importancia de los datos en los proyectos. Sin embargo, hay figuras que es conveniente explorar, como la del Data Manager.