Diseño del modelo de ingesta, procesado y explotación de datos en Data Lake House.
Utilizando una estrategia basada en el empleo de herramientas consolidadas como Git o Jenkins y un modelo de autoservicio, tanto para los desarrolladores como para los científicos del dato, hemos ayudado a implementar y gestionar una arquitectura en la nube para atender las necesidades de una compañía internacional orientada al uso de datos procedentes de competiciones deportivas. Algunas claves:
-
Uso de DSLs -lenguajes específicos del dominio- adaptados a la tipología de cada proyecto.
-
Gestión automatizada e integrada de las credenciales y los valores de configuración sensible para ejecutar despliegues seguros en la nube.
-
Aprovisionamiento a la carta de servicios en Microsoft Azure empleando Terraform y las plantillas de Azure Resource Manager.
-
Acompañamiento, documentación y formación del equipo de colaboradores externos y empleados de la compañía en la adopción de los nuevos procesos.
-
Despliegue dinámico y escalable de clusters de Kubernetes para los trabajos de entrenamiento de datos en Azure DataBricks.