Big Data Engineer

En  SAPINDEX  Buscamos incorporar perfiles:  Big Data Engineer  con experiencia en diseño, desarrollo y optimización de soluciones de big data, trabajando con grandes volúmenes de datos en entornos distribuidos. El candidato ideal debe ser capaz de implementar y gestionar pipelines de datos, optimizar procesos en tiempo real y utilizar herramientas avanzadas de Azure y big data.
Ubicación del Proyecto:   Lima, Perú Modalidad:  Híbrido 2 veces por semana (La Molina o Chorrillos) Responsabilidades: Diseñar y desarrollar pipelines de big data utilizando  PySpark/Scala  y  SparkSQL/Spark Dataframes .
Implementar y optimizar soluciones en  Azure Databricks  y  Azure DataFactory .
Gestionar datos en entornos distribuidos con  Hadoop (HQL, Hive)  (deseable).
Programar y gestionar procesos en tiempo real y en batch.
Crear y utilizar herramientas de integración continua como  Bitbucket  y  Jenkins  (a nivel de uso).
Realizar cuadraturas de información para garantizar la calidad y consistencia de los datos procesados.
Colaborar con equipos multidisciplinarios para entregar soluciones escalables y de alto rendimiento.