Data Engineer Spark / Scala (Freelance)

À propos du poste

RED TIC recherche un Data Engineer spécialisé Spark et Scala pour intervenir en freelance sur des projets big data complexes. Vous serez chargé de concevoir et d’optimiser des pipelines de données robustes, tant en temps réel qu’en batch.

Missions principales

• Concevoir, développer et optimiser des pipelines de données avec Spark et Scala.
• Implémenter des solutions de traitement de gros volumes de données en temps réel et en batch.
• Intégrer des sources de données variées tout en garantissant leur qualité et leur fiabilité.
• Collaborer avec les équipes métier pour traduire les besoins fonctionnels en solutions techniques.
• Identifier et résoudre les problèmes de performance des pipelines.
• Mettre en place des solutions scalables pour gérer de fortes volumétries.
• Documenter les processus et assurer la maintenabilité des solutions.

Profil recherché

• Bac+5 en informatique ou équivalent.
• Minimum 3 ans d’expérience en tant que Data Engineer ou poste similaire.
• Maîtrise avérée de Spark et Scala.
• Bonne connaissance des architectures big data (Hadoop, Kafka, etc.).
• Expérience avec les bases de données SQL et NoSQL.
• Compétences sur les plateformes cloud (AWS, Azure, GCP).
• Compréhension des méthodologies CI/CD.
• Maîtrise du français et de l’anglais.

Compétences requises

• Spark
• Scala
• Hadoop
• Kafka
• SQL
• NoSQL
• AWS
• Azure
• GCP
• CI/CD