FREE2MOVE
FREE2MOVE

FREE2MOVE

Data implémentation & Data Ops avec EMR

Contexte : Accompagner la création d’une équipe Data pour développer un ETL (near-real-time) pour la gestion des données d’une flotte de 400k+ véhicules connectés.

image

Objectifs

  • Rationaliser et optimiser l’existant
  • Construire une plateforme résiliente et scalable
  • Améliorer les process DevOps et DataOps
  • Maîtriser les coûts

Réalisations

  • Accompagnement au sesign d’une solution Data
  • Rationalisation & optimisation de l’infrastructure AWS
  • Automatisation de l’infra & des déploiements
  • Accompagnement à la mise en production
  • Support opérationnel DataOps
image

Contexte

Accompagner la création d’une équipe DATA

Free2Move est un acteur majeur de la mobilité en France. La société met à disposition plusieurs services tels que le carsharing, la location courte & longue durée, des places de parkings…

Free2Move a pour objectif de construire une équipe Data capable de gérer des données en temps réel issues d’une flotte de 400K véhicules connectés (boîtiers télématiques). Cela représente plusieurs millions d'évents à la minute lors de pics d'activité. Ces Data sont retraitées et renvoyées en streaming à des clients (ex : constructeurs, assureurs…).

Cette équipe projet a été créée pour optimiser les assets technologiques existants et réalisés par une équipe de développement. Cette équipe oscille entre 5 et 10 développeurs. Le workload est fonctionnel, mais l’infrastructure a besoin de scaler et d’être monitorée.

Réalisation

Architecture Dev

  • Retro-engineering du legacy sur le service data (push/trips/car alerts)
  • Formalisation des besoins pour la nouvelle solution avec les équipes produits
image

DataOps

  • Rapport d’étonnement et analyse de l’infrastructure en place + et des process DevOps
  • Identification des pains points pour la mise en prod
  • Workshop pour rationaliser et optimiser l'infrastructure et les Best Practices DevOps.
  • Mise en place d'un pipeline de déploiement pour l'application
  • Support opérationnel DataOps
  • Mise en place d’une infrastructure pour optimiser les tests
  • Prise en compte du FinOps dans les process de build d’Infrastructure →mise en place d’Infracost
  • Mise en production du service
  • Documenter l’ensemble de la Stack

Priorité des activités :

  • DataOps : gestion de l'infrastructure avec Terraform dans le Cloud AWS, gestion des accès et accompagner le montage du compte AWS
  • Optimisation de l’utilisation des outils Cloudwatch et Prometheus
  • Nécessité de maîtriser Spark EMR, Scala, et connaissance du Cloud AWS

Pains points identifiés :

  • Dette technique qui se crée à cause de la balance négative entre la taille des équipes Dev vs Data + SRE
  • CI/CD : à mettre en place et à intégrer dans le GitLab
  • Qualité des data issue des boîtiers télématiques
  • FinOps : dépenses très importantes sur certains services AWS (plus de 20K de RDS et 20K doc DB, SNS…)

En bref

Durée Set-Up

Équipe d’implémentation

6 mois

1 Data Engineer : Scala, Spark, Kafka

1 DataOps : Terraform, AWS (IAM, TGW, EMR, Lambda, Kinesis)

image

Pourquoi, nous ?

🌤  Migration Cloud

Nos Skalers accompagnent et réalisent ces travaux de façon régulière, ils maîtrisent à la fois les aspects techniques et la méthode pour s’adapter au contexte. Faites vous accompagner par un partenaire qui a déjà réalisé ce type de projet afin de profiter dès le départ des avantages de votre Cloud.

En effet, si le lift-and-shift préconise de ne rien changer, nous savons qu’il est possible d’opérer quelques QuickWin lors de la migration initiale.

🎁  Changez de monde

Profiter du Cloud Public AWS ou GCP est une formidable opportunité pour vos équipes Ops ! Les métiers évoluent et manipulent, l’Infra-as-code est une nouvelle façon d’appréhender l’avenir.

Nos Skalers immergés dans vos équipes diffuseront leurs méthodes, leurs outils et leur savoir-faire.

👍  Déléguez l'infogérance

Skale-5 est née de la volonté de proposer une autre infogérance : prolonger la promesse du Cloud en ne payant que ce que l’on consomme, être réactif et souple dans les demandes de travaux, et enfin limiter les incidents en nombre et en impact !

L’infogérance 2.0 est possible dès lors qu’on utilise les briques des Clouds Provider AWS et GCP et qu’on fait du DevOps une réalité opérationnelle.

🧩  Un vrai DevOps

Le DevOps est un buzzword, c’est vrai, mais c’est aussi une réalité.

Au même titre qu’ITIL et d’autres best-practices, mettre en place une démarche DevOps fait évoluer votre rapport au temps, les mises en production sont plus sereines, et la gestion du parc applicatif plus homogène.

PARIS - 33 Avenue des Champs Élysées 75008 Paris BORDEAUX - 54 Cours du Médoc 33300 Bordeaux PAU - 1 Rue d'Aspe 64160 Buros MONTRÉAL - 3 Place Ville Marie H3B 2E3 LILLE - Coming soon