Data implémentation & Data Ops avec EMR
Contexte : Accompagner la création d’une équipe Data pour développer un ETL (near-real-time) pour la gestion des données d’une flotte de 400k+ véhicules connectés.
Objectifs
- Rationaliser et optimiser l’existant
- Construire une plateforme résiliente et scalable
- Améliorer les process DevOps et DataOps
- Maîtriser les coûts
Réalisations
- Accompagnement au sesign d’une solution Data
- Rationalisation & optimisation de l’infrastructure AWS
- Automatisation de l’infra & des déploiements
- Accompagnement à la mise en production
- Support opérationnel DataOps
Contexte
Accompagner la création d’une équipe DATA
Free2Move est un acteur majeur de la mobilité en France. La société met à disposition plusieurs services tel que le carsharing, la location courte & longue durée, des places de parkings…
Free2Move a pour objectif de construire une équipe Data capable de gérer des données en temps réel issues d’une flotte de 400K véhicules connectés (boîtiers télématiques). Cela représente plusieurs millions d'évents à la minute lors de pics d'activité. Ces Data sont retraitées et renvoyées en streaming à des clients (ex : constructeurs, assureurs…).
Cette équipe projet a été créée pour optimiser les assets technologiques existants et réalisés par une équipe de développement. Cette équipe oscille entre 5 et 10 développeurs. Le workload est fonctionnel mais l’infrastructure a besoin de scaler et d’être monitorée.
Réalisation
Architecture Dev
- Retro-engineering du legacy sur le service data (push/trips/car alerts)
- Formalisation des besoins pour la nouvelle solution avec les équipes produits
DataOps
- Rapport d’étonnement et analyse de l’infrastructure en place + et des process DevOps
- Identification des pain points pour la mise en prod
- Workshop pour rationaliser et optimiser l'infrastructure et les Best Practices DevOps.
- Mise en place d'une pipeline de déploiement pour l'application
- Support opérationnel DataOps
- Mise en place d’une infrastructure pour optimiser les tests
- Prise en compte du FinOps dans les process de build d’Infrastructure →mise en place d’Infracost
- Mise en production du service
- Documenter l’ensemble de la Stack
Priorité des activités :
- DataOps : gestion de l'infrastructure avec Terraform dans le Cloud AWS, gestion des accès et accompagner le montage du compte AWS
- Optimisation de l’utilisation des outils Cloudwatch et Prometheus
- Nécessité de maîtriser Spark EMR, Scala, et connaissance du Cloud AWS
Pain points identifiés :
- Dette technique qui se crée à cause de la balance négative entre la taille des équipes Dev vs Data + SRE
- CI/CD : à mettre en place et à intégrer dans le GitLab
- Qualité des datas issues des boîtiers télématiques
- FinOps : dépenses très importantes sur certains services AWS (plus de 20K de RDS et 20K doc DB, SNS…)
En bref
Durée Set-Up
Equipe d’implémentation
6 mois
1 Data Engineer : Scala, Spark, Kafka
1 DataOps : Terraform, AWS (IAM, TGW, EMR, Lambda, Kinesis)
/w=640,quality=80,fit=scale-down)
Pourquoi Nous ?
🌤 Migration Cloud
Nos Skalers accompagnent et réalisent ces travaux de façon régulière, ils maîtrisent à la fois les aspects techniques et la méthode pour s’adapter au contexte. Faites vous accompagner par un partenaire qui a déjà réalisé ce type de projet afin de profiter dès le départ des avantages de votre Cloud.
En effet, si le lift-and-shift préconise de ne rien changer, nous savons qu’il est possible d’opérer quelques QuickWin lors de la migration initiale.
🎁 Changez de monde
Profiter du Cloud Public AWS ou GCP est une formidable opportunité pour vos équipes Ops ! Les métiers évoluent et manipuler l’Infra-as-code est une nouvelle façon d’appréhender l’avenir.
Nos Skalers immergés dans vos équipes diffuseront leurs méthodes, leurs outils et leur savoir-faire.
👍 Déléguez l'infogérance
Skale-5 est née de la volonté de proposer une autre infogérance : prolonger la promesse du Cloud en ne payant que ce que l’on consomme, être réactif et souple dans les demandes de travaux, et enfin limiter les incidents en nombre et en impact !
L’infogérance 2.0 est possible dès lors qu’on utilise les briques des Clouds Provider AWS et GCP et qu’on fait du DevOps une réalité opérationnelle.
🧩 Un vrai DevOps
Le DevOps est un buzzword, c’est vrai, mais c’est aussi une réalité.
Au même titre qu’ITIL et d’autres best-practices, mettre en place une démarche DevOps fait évoluer votre rapport au temps, les mises en production sont plus sereines, et la gestion du parc applicatif plus homogène.
PARIS - 33 Avenue des Champs Elysées 75008 Paris BORDEAUX - 54 Cours du Médoc 33300 Bordeaux PAU - 1 Rue d'Aspe 64160 Buros MONTREAL - 3 Place Ville Marie H3B 2E3 LILLE - Coming soon
VOUS AVEZ UN PROJET ? Audit, migration, infogérance ?
Skale-5 vous écoute : contact@skale-5.com
Nous suivre :
