- Fecha de publicación
- Julio 2019
- Tecnology
- Artículo
_ESIC Business & Marketing School
ESIC Business & Marketing School.
Cuando hablamos de procesamiento de datos en Big Data existen en la actualidad dos grandes frameworks, Apache Hadoop y Apache Spark, ambos con menos de diez años en el mercado pero con mucho peso en grandes empresas a lo largo del mundo. Ante estos dos gigantes de Apache es común la pregunta, Spark vs Hadoop ¿Cuál es mejor?
Antes de elegir uno u otro framework es importante que conozcamos un poco de ambos.
Apache Hadoop
Hadoop es un proyecto de código abierto de la fundación Apache y creado en 2011 que permite procesar grandes volúmenes de datos beneficiándose de la computación distribuida. Está compuesto por distintos módulos que componen el framework completo, entre ellos podemos destacar:
- Hadoop Distributed File System (HDFS): Sistema de ficheros distribuido
- Hadoop Yarn: Gestor de recursos del cluster
- Hadoop Map Reduce: Paradigma de programación orientado al procesamiento distribuido.
Existen muchos más submódulos independientes que se acuñan bajo el ecosistema de Hadoop como Apache Hive, Apache Pig o Apache Hbase.
Apache Spark
Spark es también un proyecto de código abierto de la fundación Apache que nace en 2012 como mejora al paradigma de Map Reduce de Hadoop. Tiene abstracciones de programación de alto nivel y permite trabajar con lenguaje SQL. Entre sus APIs cuenta con dos de procesado de datos en tiempo real (Spark Streaming y Spark Structured Streaming), una para aplicar Machine Learning distribuido (Spark MLlib) y otro para trabajar con grafos (Spark GraphX).
Aunque Spark cuenta también con su propio gestor de recursos (Standalone), este no goza de tanta madurez como Hadoop Yarn por lo que el principal módulo que destaca de Spark es su paradigma procesamiento distribuido.
Por este motivo no tiene tanto sentido comparar Spark vs Hadoop y es más acertado comparar Spark con Hadoop Map Reduce ya que los dos realizan las mismas funciones. Veamos las ventajas y desventajas de algunas de sus características:
-
Rendimiento
Apache Spark es hasta 100 veces más rápido que Map Reduce ya que trabaja en memoria RAM (a diferencia de Map Reduce que almacena los resultados intermedios en disco) acelerando así enormemente los tiempos de procesamiento.Además la gran ventaja de Spark es que cuenta con un planificador denominado DAG que establece las tareas a realizar y optimiza los cálculos. -
Complejidad de desarrollo
Map Reduce se programa principalmente en Java aunque cuenta compatibilidad con otros lenguajes. La programación en Map Reduce sigue una metodología concreta lo que hace que haya que modelar los problemas acorde a esta manera de trabajar.Spark, por el contrario, resulta más sencillo de programar en la actualidad gracias al enorme esfuerzo de la comunidad por mejorar este framework.Spark es compatible con Java, Scala, Python y R lo que lo convierte en una gran herramienta no solo para los Data Engineers sino también para que los Data Scientist realicen análisis sobre los datos. -
Coste
En términos de costes computacionales Map Reduce requiere un cluster que cuente con más discos y que sean más rápidos para el procesamiento. Spark, por otro lado, necesita un cluster que cuente con mucha memoria RAM.En lo económico ninguno de los dos requiere de licencia ya que son de código abierto.
Conclusiones
Apache Spark parece sin duda el candidato perfecto si queremos emplear un framework para programar Big Data, sin embargo, no cuenta con su propio sistema de ficheros distribuido y es donde se apoya en el sistema de Hadoop, HDFS.
También permite trabajar con su gestor de recursos Hadoop Yarn y con muchos del resto de módulos con los que cuenta Hadoop.
Es por esto que como conclusión podemos decir que en la actualidad emplear la simbiosis entre Apache Spark + Apache Hadoop es la mejor opción para trabajar con Big Data, haciendo uso del músculo de Hadoop (Hadoop YARN, HDFS…) y el cerebro de Spark.
¿Quieres dominar las tecnologías Big Data y conviértete en Director de Proyectos end to end? Fórmate con el Master en Big Data Management de ESIC.
Victor Valero Fernández Big Data Scientist en StratioDB y Profesor de ESIC
También te puede interesar
¿Qué es la Ley de Pareto o Regla del 80/20?
Si te interesa el mundo comercial, seguramente hayas oído hablar de la ley de Pareto, también conocida como el principio del 80/20. Se trata de un concepto ampliamente utilizado en diversos campos, ...
- Publicado por _ESIC Business & Marketing School
Intraemprendedor: definición, características y ejemplos
Es posible que alguna vez hayas oído el término intraemprendedor, un concepto que ha ido ganando relevancia en el mundo empresarial en los últimos años. Hoy profundizaremos en ello para que ...
- Publicado por _ESIC Business & Marketing School
Inteligencia artificial y derecho: ¿cómo se aplica? Ejemplos
No hay duda de que el 2024 va a estar marcado por la inteligencia artificial, que cada vez está irrumpiendo con más fuerza en nuestra vida. De hecho, según Grand View Research, se espera que el tam...
- Publicado por ESIC University