ETL, middleware et synchronisation de données en temps réel
Ingénierie ETL et middleware sur mesure : nous faisons circuler vos données de stock, de prix, de commandes et de clients entre votre ERP, votre CRM, votre WMS et tous les systèmes qui font tourner votre activité. Audit, pipeline, supervision. Depuis 2010, sur Magento, Sylius, Symfony et applications sur mesure.
Parlons de vos données
Aucune entreprise ne construit son système d’information d’un seul coup. L’ERP est arrivé quand la finance a eu besoin de contrôle, le CRM quand les équipes commerciales se sont étoffées, le WMS quand l’entrepôt a changé d’échelle, et le site e-commerce quand les canaux en ligne ont décollé. Chacun était le bon outil au bon moment, et aucun n’a été choisi pour sa capacité à dialoguer avec les autres.
C’est précisément là que nous intervenons. Nous concevons les pipelines de données et le middleware qui maintiennent vos systèmes synchronisés, au rythme exact qu’exige chaque processus opérationnel, avec une gestion des erreurs robuste et des mécanismes de réconciliation lorsque les sources se contredisent.
Pas de connecteurs sur étagère, pas d’abonnement récurrent, pas de middleware en location. Uniquement de l’ingénierie sur mesure, développée directement pour votre architecture par des experts qui comprennent les subtilités de vos données.
Depuis 2010, Sutunam conçoit, développe et supervise des intégrations de données entre plateformes e-commerce, systèmes d’entreprise et outils de business intelligence. Stocks, prix, produits, commandes et clients : des données qui circulent à la fréquence dont chaque type a réellement besoin.
Avant d’aller plus loin
Deux choses à savoir
La plupart des acteurs du marché vendent un abonnement assorti de connecteurs propriétaires. Pas nous, et cela change la nature de ce que vous achetez.
Ce que nous développons vous appartient
Le code, la documentation, les règles de mapping et la configuration de l’infrastructure sont à vous. Aucun connecteur propriétaire à payer indéfiniment, aucune licence d’exécution, aucune clause qui rend le départ coûteux.
Si votre équipe souhaite reprendre le pipeline en interne l’an prochain, elle le peut, et la documentation existe pour que ce soit réaliste. Nos équipes de TMA (tierce maintenance applicative) sont disponibles si vous préférez ne pas l’exploiter vous-mêmes, mais le choix vous appartient toujours.
Tout commence par un audit, pas par un contrat
La première étape consiste à cartographier la façon dont vos données circulent aujourd’hui. C’est une mission cadrée, avec son propre livrable, qui se suffit à elle-même.
Si la conclusion honnête est que votre intégration actuelle est saine et nécessite simplement d’être supervisée, nous vous le dirons, et vous repartirez avec la cartographie dans tous les cas.
Symptômes
Vous savez déjà quand vous en avez besoin
La plupart de nos projets de pipeline ne commencent pas par une demande d’ETL. Ils commencent par l’une de ces situations.
Chaque matin, quelqu’un commence sa journée en exportant un fichier d’un système pour l’importer dans un autre.
Chaque clôture mensuelle implique de rapprocher deux systèmes dans un tableur, et ce tableur a son propre mainteneur.
Votre reporting décrit la veille, et les décisions se prennent sur des chiffres dont tout le monde se méfie en silence.
Le CRM et l’ERP ne sont pas d’accord sur un même client, et aucun des deux ne veut céder.
Une valeur change dans le système de référence et n’atteint les systèmes en aval que des heures plus tard, quand elle arrive.
Le stock est juste dans l’entrepôt mais faux sur le site, et vous vendez des produits que vous n’avez plus.
Une intégration tourne en production et plus personne dans l’entreprise ne la comprend entièrement.
Quand un système tombe, il entraîne avec lui un autre système qui n’aurait jamais dû en dépendre.
Positionnement
ETL ou PIM ? Deux problèmes différents
On les confond sans cesse. Ils sont complémentaires plutôt qu’interchangeables, et leur différence détermine par où commencer.
Quel scénario correspond à votre problématique opérationnelle actuelle ?
Les entreprises qui gèrent un catalogue produits ont souvent besoin des deux, et ils fonctionnent très bien ensemble. Celui par lequel commencer dépend de l’endroit où le problème se situe réellement.
Un problème de PIM
Le contenu produit est dispersé, incomplet ou incohérent. Les attributs diffèrent selon les canaux, des traductions manquent, les médias sont éparpillés à cinq endroits. Les données existent, mais personne ne se fie à leur qualité.
Un problème d’ETL
Les données sont déjà justes quelque part, elles ne sont simplement pas encore là où elles doivent être. Stocks, prix, commandes et fiches clients sont exacts dans un système et obsolètes dans tous les autres.
Ce que fait un PIM
Il centralise les descriptions, attributs, traductions et médias, les enrichit, puis publie un catalogue propre sur chaque canal.
Ce que fait un ETL
Il fait circuler les données opérationnelles entre les systèmes à un rythme suffisamment soutenu pour que chacun reflète la même réalité, et les réconcilie en cas d’incident.
Si la première colonne vous parle, commencez par la gestion de l’information produit (PIM). Si c’est la seconde, vous êtes sur la bonne page. C’est d’ailleurs souvent l’ETL qui alimente le PIM.
Approche
Volume, distribution et forme de vos données
Chaque problème de données a sa propre forme. L’enseigne française Bébé9 nous a confié l’un des plus complexes : un stock réparti sur plus d’une centaine de magasins franchisés indépendants, chacun évoluant à son rythme, sans aucun point central où ces données se rejoignent naturellement, le tout devant aboutir à un chiffre unique sur lequel l’extérieur peut s’appuyer.
Si nous citons cet exemple, ce n’est pas pour son secteur. C’est parce qu’une centaine de sources autonomes sans point de consolidation naturel pose le même problème d’ingénierie, qu’il s’agisse de magasins, de dépôts, de filiales, d’usines, de véhicules ou d’équipes terrain. Le pipeline agrège les données au niveau de la couche d’intégration au lieu d’attendre qu’un système source le fasse, et la définition commerciale de « disponible » est arrêtée avant qu’un seul enregistrement ne circule.
Toutes les entreprises n’ont pas besoin d’un tel pipeline. Une organisation avec une source unique et une mise à jour nocturne a un problème véritablement différent, et prétendre le contraire vous coûterait de l’argent. Nous commençons donc par cartographier la façon dont vos données circulent réellement aujourd’hui, puis nous définissons avec vous la fréquence, le volume et les points de défaillance qui comptent le plus pour votre activité.
Notre périmètre
Auditer, construire, puis superviser
Trois phases pour passer d’un paysage de données non documenté à une synchronisation dont votre équipe n’a plus à se soucier.
Cartographie et audit des données
Avant de construire le moindre pipeline, nous devons comprendre où se trouvent réellement vos données, qui en est responsable et quelle confiance on peut leur accorder. Cette phase met au jour les règles non documentées, les contournements manuels et les lacunes qu’une migration brute transporterait sinon, intactes, dans le nouveau système.
- Inventaire des systèmes sources et des données
- Revue de la qualité et de la cohérence des données
- Identification des règles métier, y compris celles que personne n’a jamais écrites
- Profilage des volumes, des fréquences et des pics
- Définition de la source de vérité, par domaine de données
- Identification des risques et des points de défaillance
Architecture du pipeline et de l’intégration
Une fois que nous savons ce qui circule et à quelle fréquence, nous concevons le pipeline lui-même. L’objectif : une couche d’intégration qui tient face aux volumes et aux incidents réels de votre activité, pas une solution qui ne fonctionne qu’en démo.
- Conception du pipeline et du middleware
- Synchronisation des produits, prix, stocks, commandes et fiches clients
- Alignement des données maîtres et de référence
- Automatisation des flux de documents et de médias
- Synchronisation multi-sources et multi-destinations entre ERP, CRM, OMS, WMS, PIM et BI
- Stratégie événementielle ou batch, définie par type de données
- Gestion des erreurs, logique de relance et de réconciliation
Supervision et fiabilité
Un pipeline qui échoue en silence est pire que pas de pipeline du tout. Nous intégrons la visibilité dont votre équipe a besoin pour se fier aux données, où qu’elles arrivent, et pour détecter les problèmes avant que l’activité n’en pâtisse.
- Supervision et alertes de synchronisation
- Points de contrôle de validation des données
- Rapports de réconciliation entre source et destination
- Tests de performance et de charge en conditions de pic
- Procédures de rollback et de reprise
- Maintenance et évolutions continues, si vous le souhaitez
Systèmes
Comment nous intégrons, et avec quoi
Notre compétence, c’est le modèle d’intégration, pas le logo sur la boîte. Nous choisissons le mode de transport selon ce qu’un système peut réellement offrir, souvent moins que ce qu’annonce sa documentation, et nous travaillons avec les systèmes dont vous disposez plutôt qu’avec ceux que nous aimerions vous voir utiliser.
Modèles d’intégration
Les systèmes que nous connectons
Plateformes sur lesquelles nous avons livré
Une liste qui témoigne de ce que nous avons livré, pas une limite à ce que nous pouvons connecter.
Commencez par un audit de vos flux de données
Nul besoin de vous engager sur un pipeline pour savoir ce qui dysfonctionne. Nous cartographions la façon dont vos données circulent aujourd’hui, les étapes manuelles, les défaillances actuellement silencieuses et le flux qui serait rentabilisé en premier. La cartographie vous reste acquise, que vous construisiez la suite avec nous ou non.
Projets data que nous avons livrés
Plus d’une centaine de points de stock indépendants, aucun point d’agrégation central, et un chiffre qui doit être juste pour le monde extérieur. Comment le pipeline transforme une centaine de sources autonomes en un chiffre unique et fiable.
Sur une marketplace de véhicules, l’inventaire bouge en permanence. Comment notre ETL assure la cohérence de l’inventaire, de la disponibilité et des prix de LS Group entre ses systèmes et la plateforme Sylius que voient ses clients.
Lire l’étude de casDerrière la migration de Magento 1 vers Magento 2 se cachait un problème de données : consolider les informations produits, stocks et prix issues de plusieurs sources en un flux unique et centralisé avant de pouvoir migrer quoi que ce soit.
Lire l’étude de casFAQ
Les questions qu’on nous pose
Ai-je besoin d’un PIM, d’un ETL, ou des deux ?
Découvrir notre expertise PIM
Est-ce réservé à l’e-commerce ?
Que signifie concrètement « quasi temps réel » ?
Quelle différence entre un ETL et une intégration API ?
Que se passe-t-il quand l’un de mes systèmes tombe en panne ?
Pouvez-vous travailler avec l’intégration dont nous disposons déjà ?
Travaillez-vous en équipe projet ou en ingénieurs intégrés à vos équipes ?
À qui appartient le pipeline une fois en production ?
À découvrir aussi
ETL et synchronisation temps réel, mais aussi
Développements spécifiques
Une ingénierie sur mesure, connectée à vos systèmes, quand aucun produit du marché ne répond au problème.
Gestion de l’information produit (PIM)
Centralisez et enrichissez votre contenu produit, puis diffusez-le partout où il est attendu.
Intégrations Magento
Connecter un site e-commerce aux ERP, OMS et CRM qui l’alimentent.
Hébergement & infogérance
Un pipeline n’est jamais plus fiable que l’infrastructure sur laquelle il tourne.
Développement Magento
Une architecture conçue pour absorber de gros volumes de données à haute fréquence.
Développement web & mobile
De l’analyse et l’architecture jusqu’à la livraison, sur toutes les couches.
Dites-nous où vos systèmes ne s’accordent pas
Parlez-nous du flux qui casse sans arrêt, de l’export dont personne ne veut s’occuper ou de l’intégration dont vous avez hérité. Nous avons probablement déjà rencontré ce problème, et si ce n’est pas le cas, nous vous le dirons.