Pasar al contenido principal
Imagen
Se busca experto en arquitectura Big Data

Se busca experto en arquitectura Big Data

Tecnología | Artículo
  • Visitas
    1008
  • Enero 2018
  • Fecha de publicación
  • Enero 2018
  • Tecnología
  • Artículo

A continuación se muestra el último landscape de Big Data que se ha publicado:

Big Data Landscape

A primera vista podría parecer una de las famosas imágenes del libro ‘¿Dónde está Wally?’ que seguro que a más de uno le trae recuerdos. No es raro que personas que no están inmersas en el mundo de Big Data tengan esa sensación puesto que el conjunto de tecnologías albergadas bajo el paraguas de Big Data es muy grande.
Big Data es un término, en algunos casos, bastante abstracto que vamos a contextualizar para acotarlo. En primer lugar es necesaria la capa de Infraestructura para poder desplegar plataformas de Big Data. También son necesarias distintas tecnologías que tengan la capacidad de capturar datos, procesarlos y almacenarlos. Por último podríamos simplificar la arquitectura Big Data con una capa de explotación y análisis de los datos.
Sólo acotando a estas capas nos saldrían muchas tecnologías. Enumeraré las más conocidas sin detallar la parte de infraestructura (que abre otro debate interesante con las soluciones cloud):

  • Captura de datos: Flume, Logstash, Kafka, RabbitMQ.
  • Procesamiento de datos: MapReduce, Hive, Pig, Spark, Storm, Flink, Samza.
  • Almacenamiento de datos: HDFS, HBase, MongoDB, Cassandra, Neo4J, Elasticsearch, Solr.
  • Explotación de datos: Kibana, Grafana, Pentaho.
  • Análisis de datos: R, Python, Weka, RapidMiner.

Estas, por supuesto, no son todas las tecnologías existentes, pero pueden ser las más representativas en cada una de sus capas. Con este mapa tecnológico tan amplio es necesaria una figura que tenga experiencia en algunas de las tecnologías y conozca en mayor o menor medida el resto de ellas. Pero, sobre todo, alguien que sea capaz de identificar su aplicabilidad según los diferentes casos de uso que defina el negocio. Ese perfil es el Arquitecto Big Data. Supongo que ahora se entenderá mejor la necesidad de esta posición y la criticidad que tiene en Big Data.




Descarga gratis la guía: Computación cognitiva. La nueva revolución del Big Data





¿Qué perfiles profesionales acaban trabajando como experto en arquitectura Big Data?

Se podrían resumir en dos:

  • El primero serían profesionales con background en Business Intelligence. Parece un movimiento natural ya que ambos perfiles procesan datos para generar indicadores que generen valor a las áreas de negocio.
  • El segundo serían arquitectos en lenguajes de programación como Java que parten de una base sólida en arquitecturas software y suelen conocer diversas bases de datos relacionales, además de que cuentan con profundos conocimientos de programación.

Por supuesto, no serían los dos únicos pero son los más habituales que me he ido encontrando a lo largo de mi experiencia profesional en Big Data. Los expertos en arquitectura Big Data suelen estar en constante formación de las diferentes actualizaciones en las tecnologías existentes y en revisión de las tecnologías emergentes. Esto requiere una continua dedicación que no siempre se puede compaginar con el trabajo y, por lo tanto, conlleva a un esfuerzo adicional.
Con todo lo comentado hasta el momento se puede entender la importancia de este perfil en los equipos de desarrollo de Big Data, ya que una de las primeras fases de un proyecto debe ser la definición de la arquitectura sobre la cual se desarrollará. Según la tipología de proyecto y de empresa el Arquitecto Big Data puede desempeñar otros roles adicionales como podrían ser: Scrum Master (en proyectos Agile); Desarrollador Big Data (en pequeños equipos), o incluso Jefe de Proyecto que lleve las gestión y coordinación del proyecto. Todo esto hace que este puesto requiera ser multidisciplinar y disponer de distintas habilidades y conocimientos.
En ICEMD, El Instituto de la Economía Digital de ESIC, tenemos un compromiso con las profesiones del futuro y ofrecemos un Programa Superior en Big Data. Consulta toda la información en la web de ICEMD.




Descargar e-Book





  • Fecha de publicación
  • Enero 2018
  • Tecnología
  • Artículo

También te puede interesar

Diferentes tipos de análisis estadístico de datos

Tecnología

Aunque suene como algo complicadísimo, solo es necesario prestar un poco de atención para comprender bien qué son los análisis estadísticos de datos y adentrarse en su fantástico mundo. Básicam...

5 ejemplos de Inbound Marketing

Marketing y Comunicación

Seguramente ya hayas oído hablar del inbound marketing e incluso sepas lo que es, pero, aun así, queremos refrescarte un poquito la memoria. El marketing de atracción —más conocido como inbound ...

What is Deep Learning and what is it for?

Tecnología

From this place, from here, from a structured article on a topic that is very much in vogue nowadays, I intend to elaborate and shed some light on what Deep Learning is, one of the most cutting-edge m...