Nuestra página web utiliza cookies para mejor tu experiencia. Al continuar utilizando nuestro sitio web, usted da su consentimiento para que las cookies se utilicen de acuerdo con nuestra Política de privacidad.

OK

Contrata un Arquitecto de Big Data Freelance

¿Por qué y cuándo se necesita un Arquitecto de Big Data

Los Arquitectos de Big Data son de los perfiles profesionales con mayor demanda del sector de la TI. Su principal objetivo: convertir los datos en información que facilite la toma de decisiones. Sin embargo, ante cualquier proyecto que implique grandes cantidades de datos, las partes interesadas se enfrentarán a una cantidad de preguntas abrumadora:

  • ¿Qué estrategia adoptar para recoger y almacenar datos?
  • ¿Qué hacer con las entradas a las que les faltan fragmentos de datos?
  • ¿Qué tecnologías de software debemos utilizar para gestionar y analizar nuestros datos? (Hadoop, Elasticsearch, Storm, Spark, pyspark, python, R, Tensorflow….)
  • ¿Qué hardware? ¿Debemos ejecutar el software en nuestras máquinas o externalizar el servicio? Y en este último caso, ¿todo o solo una parte?
  • ¿Cómo podemos extraer la máxima información de nuestros datos?
  • ¿Qué algoritmos necesitamos? ¿Qué características debemos extraer? ¿Cómo podemos reducir la dimensionalidad?
  • ¿Qué modelos debemos utilizar para hacer predicciones/recomendaciones?
  • Y la lista sigue y sigue y sigue....

Es realmente abrumador. Eres un experto en tu campo/departamento, uno realmente bueno, pero has abierto la caja de Pandora. Estas cuestiones son demasiado técnicas y tienen un impacto demasiado profundo en el proyecto como para tomárselas a la ligera. Además, no existe una respuesta correcta a ellas. Las respuestas dependen de muchas cosas, como tus objetivos, los datos de los que ya dispones, el sistema y el flujo de trabajo ya en marcha, el dinero que quieres gastar…

Big Data contiene todas las respuestas

Necesitas un arquitecto de Big Data con el que trabajar para diseñar una estrategia y una hoja de ruta para que tu proyecto tenga el mejor resultado posible dentro del presupuesto y cumpliendo los plazos.

El arquitecto de Big Data que necesitas, además de amplios conocimientos técnicos sobre gestión de datos, programación, modelización, algoritmos de machine learning etc., debe tener altas capacidades analíticas, organizativas, de toma de decisiones, sociales y comunicativas, además de ser capaz de comprender tu negocio y organización 
Destaquemos una vez más la importancia de las habilidades intrapersonales y comunicativas para tratar con personal técnico por un lado y con personal no técnico como directivos, CEOs, analistas de negocio, etc., por otro.

Outvise encuentra al arquitecto de big data que necesitas para tu proyecto.

Encuentra y contrata a los mejores freelancers de big data para trabajar en tus oficinas o de forma remota.

Arquitectos de Big Data certificados en la Red

caso práctico
Caso práctico de arquitectura de Big Data para una red de minoristas

Desafío, Contexto, Problemas por resolver

Una red de minoristas necesitaba para implementar un sistema capaz de:

  • Predecir la necesidad de recursos de cada minorista en la red
  • Asignarles recursos

Habían implementado una solución interna que hacía las predicciones utilizando una red neuronal (Tensorflow) y asignaba recursos utilizando un OR (algoritmo de investigación de operaciones) implementado en Python (pulp y CBC), spark y pyspark. Todo estaba funcionando en el client’s machines gpu. Fue un gran comienzo, pero tuvo principalmente dos problemas de rendimiento: la predicción de las necesidades no era lo suficientemente precisa y el tiempo de ejecución general era demasiado lento.

¡Había llegado la hora de contratar a un arquitecto de Big Data!

Misión, herramientas y metodología

Un aumento significativo (hasta que cumplió con los requisitos) en la precisión de la predicción se logró por:

  • Mejorar la calidad de los datos preparándolos y limpiándolos y adoptando una política de datos que faltaban
  • Reducir la dimensionalidad de los datos mediante la eliminación de datos redundantes. Esto se logró haciendo un análisis de componentes principales y seleccionando las variables pca más relevantes.
  • Cambiar la arquitectura de la red neuronal (número de neuronas y capas).
  • Cambiar la función de pérdida (cómo se recompensa al NN cuando se entrena)
    • Cambiar las características que fueron alimentadas al NN

Resultados obtenidos

El tiempo de ejecución se mejoró mediante la redistribución de las máquinas donde se ejecuta cada algoritmo, NN son paralelizables por definición y se ejecutan muy bien en GPU pero los algoritmos OR no lo son y se ejecutan mucho más rápido en CPU. Además de ejecutarse en CPU, se cambió el algoritmo OR utilizado junto con el enfoque general del problema. El resultado fue que el rendimiento del sistema cumplió con los requisitos de nuestros clientes tanto en precisión como en tiempo de funcionamiento.

Competencias imprescindibles de un arquitecto de Big Data

  • Certificado en TI, una licenciatura en Ciencias Informáticas o en una disciplina técnica relacionada y amplia experiencia laboral (de 10 a 12 años, o más, de experiencia general en TI con Big Data, Analytics, Data Warehousing e inteligencia de negocio)
  • Manejar tecnologías de datos de última generación como; Hadoop, MapReduce, HBase, oozie, Flume, MongoDB, Cassandra y Pig.
  • Experiencia en almacenamiento y extracción de datos. 
  • Lenguajes de programación y tecnologías de última generación. Todo tipo de infraestructuras de JavaScript como HTML5, servicios RESTful, Spark, Python, Hive, Kafka y CSS, son algunas de las estructuras esenciales.
  • Conocimientos de machine learning: el reconocimiento de patrones, clustering para el manejo de datos y text mining son algunos de los básicos.
  • Debe ser capaz de trabajar en entornos de cloud y también ciertos conocimientos de computación en cloud.
  • Capacidad de trabajo en equipo: El arquitecto de Big Data debe ser capaz de trabajar en un entorno orientado al trabajo en equipo con personas de distintas competencias.
  • Habilidades comunicativas: Los arquitectos de Big Data deben establecer contacto estrecho con los clientes y las partes interesadas para comprender sus objetivos para la creación de Big Data y aplicarlo en la arquitectura.