Arquitectura para Big Data

Diseño del modelo de ingesta, procesado y explotación de datos en Azure Databricks. Integración con el equipo de científicos de datos.

icono descriptivo

Utilizando una estrategia basada en el empleo de herramientas consolidadas como Git o Jenkins y un modelo de autoservicio, tanto para los desarrolladores como para los científicos del dato, hemos ayudado a implementar y gestionar una arquitectura en la nube para atender las necesidades de una compañía internacional orientada al uso de datos procedentes de competiciones deportivas. Algunas claves:

  • Uso de DSLs -lenguajes específicos del dominio- adaptados a la tipología de cada proyecto.

  • Gestión automatizada e integrada de las credenciales y los valores de configuración sensible para ejecutar despliegues seguros en la nube.

  • Aprovisionamiento a la carta de servicios en Microsoft Azure empleando Terraform y las plantillas de Azure Resource Manager.

  • Acompañamiento, documentación y formación del equipo de colaboradores externos y empleados de la compañía en la adopción de los nuevos procesos.

  • Despliegue dinámico y escalable de clusters de Kubernetes para los trabajos de entrenamiento de datos en Azure DataBricks.