Rejoignez-nous

Data Engineering - Développement et de déploiement de flux de données H/F

Mission

A Paris ou à Grenoble, tu renforceras notre équipe Data dans un projet de collecte, de transformation, d'analyse et de valorisation des données. Dans ce contexte, tu interviendras pour développer des flux pour la collecte et le traitement de grands volumes de données, dans l’orchestration de ces flux et leur déploiement sur le cloud.

Au sein de l’équipe, tu auras les responsabilités suivantes :

- recueil des spécifications et des contraintes techniques auprès du client (origine des données, volumétrie, règles métiers pour les traitements, etc.)
- mise en place de l’infrastructure nécessaire pour l’exécution et l’orchestration des différents traitements sur le cloud ;
- développement des flux pour la collecte et la transformation des données en batch ou en temps réel ;
- développement des tests unitaires pour les règles de transformation implémentées ;
- déploiement des flux sur le cloud (AWS, GCP ou Azure) ;
- mise en place des règles et des outils pour le suivi de la qualité des données ;
- mise en place des mécanismes de reprise en cas d’erreur.

Afin d’assurer une bonne montée en compétences, tu auras l’occasion de consacrer du temps en début de stage pour le passage d’une certification cloud. Également, comme tous les membres de l’équipe, tu seras amené à participer à l’amélioration continue de nos outils et de nos méthodes : dojos, ateliers d’architecture, rétros, …

Les plus : travail sur plusieurs projets (tu ne vas pas t’ennuyer !), passage de certifications cloud, animation d’ateliers internes ou externes

profil

Etudiant (e) en M2 d'une école d'ingénieurs ou université

compétences

- Apache Spark (Python ou Scala)
- Kafka / PubSub / Kinesis
- Cloud (AWS, GCP ou Azure)
- Terraform / Docker
- CI/CD (Github Actions, Gitlab CI ou Bitbucket Pipelines)
- Test / Qualité (Pytest, Scalatest, Great Expectations)

  • Début de la mission

    Premier semestre 2023

  • Type de contrat

    Stage

  • Expérience demandée

    0

  • Rémunération

    Selon profil

  • Lieu

    Paris

  • Publiée le

    22/11/2022