La vérification de conformité commerciale paraît simple en théorie : extraire les données d'un document, les contrôler dans les bases gouvernementales de référence et rapporter les résultats. En pratique, ces « bases gouvernementales de référence » sont une mosaïque fragmentée de systèmes vieillissants, d'API incohérentes, de disponibilité peu fiable et de formats de données radicalement différents.
Chez Atlas Verified, nous nous connectons à des dizaines de sources gouvernementales et réglementaires pour vérifier les documents commerciaux en temps réel. Chaque intégration a été une leçon de conception défensive. Cet article partage ce que nous avons appris en construisant des systèmes fiables sur une infrastructure gouvernementale peu fiable.
Le paysage
La conformité du commerce international concerne plusieurs agences gouvernementales américaines, chacune maintenant ses propres bases avec ses modalités d'accès :
USDA Organic Integrity Database. La source de référence du statut de certification biologique aux États-Unis. Elle contient chaque opération certifiée biologique, son organisme certificateur, son périmètre et son statut actuel. Il n'existe pas d'API en temps réel. L'USDA publie un export CSV — un fichier unique et volumineux — qu'il faut télécharger, analyser et charger dans votre propre base. Les mises à jour suivent le calendrier de l'USDA, pas le vôtre.
Liste Specially Designated Nationals (SDN) de l'OFAC. Tenue par l'Office of Foreign Assets Control du département du Trésor américain. Toute entreprise impliquée dans le commerce international est légalement tenue de contrôler les contreparties dans cette liste. Disponible en téléchargement XML et via des services d'API tiers. La liste change fréquemment selon l'évolution géopolitique.
Alertes à l'importation de la FDA. La Food and Drug Administration publie des alertes signalant des produits, entreprises ou pays précis pour une inspection accrue ou une retenue sans examen physique. Disponibles via l'API OpenFDA en JSON, mais le modèle de données est complexe et la relation entre alertes, entreprises et produits n'est pas toujours évidente.
Consolidated Screening List (CSL). Tenue par Trade.gov, elle regroupe 11 listes de contrôle de plusieurs agences — notamment OFAC SDN, BIS Entity List, BIS Denied Persons et ITAR Debarred. Disponible comme API JSON, mais chaque liste sous-jacente présente des structures de champs et critères de rapprochement différents.
Données tarifaires de l'OMC. Le Tariff Download Facility de l'Organisation mondiale du commerce fournit les taux de droits de douane de la nation la plus favorisée par pays et code SH. Utile pour valider les droits déclarés sur les factures commerciales. Disponible sous forme de jeux de données téléchargeables, sans API en temps réel.
Chacune de ces sources utilise des formats différents, se met à jour à des fréquences différentes, présente des caractéristiques de fiabilité différentes et exige des stratégies de requête différentes. Il n'existe pas d'API gouvernementale unifiée de conformité. Vous la construisez vous-même ou vous n'en avez pas.
Le problème de l'actualité des données
Lorsqu'un responsable de conformité vérifie si une entreprise figure sur une liste de sanctions, il doit savoir que la réponse est actuelle. Pas à jour depuis la semaine dernière — à jour maintenant.
Cela crée une tension technique. Certaines bases, comme la USDA Organic Integrity Database, ne sont disponibles que sous forme d'exports périodiques. D'autres, comme OFAC, disposent de services d'API tiers revendiquant un accès en temps réel, mais « temps réel » signifie en fait « nous synchronisons toutes les quelques heures ».
Notre approche est une stratégie d'actualisation à plusieurs niveaux :
Niveau 1 : Vérification par API en direct. Pour les contrôles critiques comme les sanctions et les listes de parties interdites, nous appelons les API externes au moment de la requête. Le résultat est aussi récent que les données du fournisseur d'API. Nous le mettons brièvement en cache pour les requêtes répétées dans une même session de vérification, mais ne réutilisons jamais des données de sanctions périmées entre sessions.
Niveau 2 : Données locales synchronisées. Pour les grands jeux de référence comme les opérations biologiques USDA, la Consolidated Screening List et les index de ports, nous maintenons des copies synchronisées dans notre base. Des tâches automatiques de synchronisation suivent des calendriers configurables et récupèrent les dernières données sources. Les requêtes locales sont rapides et ne dépendent pas de la disponibilité de la source.
Niveau 3 : Données de référence statiques. Pour les jeux qui changent peu, comme les barèmes tarifaires de l'OMC, les définitions des codes SH et les caractéristiques portuaires, nous chargeons les références et les actualisons sur un cycle plus long. Ces données changent trimestriellement ou annuellement ; une actualisation quotidienne serait excessive.
Chaque résultat de requête comprend des métadonnées d'actualité : date de la dernière synchronisation de la source et délai maximal de péremption. Les systèmes en aval — et les utilisateurs — peuvent décider en connaissance de cause grâce à ces métadonnées.
Le défi du rapprochement approximatif
Les bases gouvernementales ignorent comment vos documents écrivent les noms d'entreprises. Et vos documents ignorent comment les bases gouvernementales les écrivent.
Ce problème n'est pas trivial. Une entreprise peut figurer comme « Pearl White International Limited » sur un connaissement, « PEARL WHITE INTERNATIONAL LIMITED » dans un dossier OFAC, « Pearl White Intl. Ltd. » sur un certificat d'origine et « Pearl White Int'l » manuscrit sur une liste de colisage. Il s'agit de la même entité.
Un rapprochement efficace des entités en conformité exige plusieurs stratégies complémentaires :
Normalisation. Avant toute comparaison, la requête et les entrées de la base sont normalisées : uniformisation de la casse, suppression de la ponctuation, développement des abréviations, harmonisation des espaces. Cela traite les cas simples.
Rapprochement phonétique. Les noms d'entreprises qui se prononcent de manière similaire mais s'écrivent différemment — fréquents avec les translittérations d'écritures non latines — nécessitent des algorithmes phonétiques. Un nom translittéré de caractères chinois ou arabes possède souvent plusieurs orthographes anglaises valides.
Similarité par unités lexicales. Plutôt que de comparer des chaînes complètes, nous découpons les noms en unités lexicales et mesurons leur recoupement. « Pearl White International Limited » et « International Pearl White Ltd » contiennent les mêmes unités dans un ordre différent. Ces méthodes gèrent bien les variations d'ordre des mots.
Désambiguïsation contextuelle. Lorsque le rapprochement approximatif produit plusieurs candidats, le contexte documentaire aide à les départager. Si le document situe l'entreprise à Mumbai, en Inde, et qu'une seule des trois correspondances « Pearl White » se trouve en Inde, c'est la bonne.
La chaîne de rapprochement note chaque candidat selon plusieurs dimensions. Les correspondances à forte confiance passent automatiquement à la vérification. Celles à faible confiance sont présentées à l'utilisateur avec les preuves relatives à chaque candidat.
Construire des adaptateurs pour des sources peu fiables
Les API gouvernementales ne sont pas conçues pour un usage commercial à haute disponibilité. Elles s'arrêtent sans préavis pour maintenance. Elles limitent sévèrement les requêtes. Elles changent les formats de réponse lors de mises à jour mineures. Elles renvoient des pages d'erreur HTML au lieu de réponses d'erreur appropriées.
Chaque source externe de notre système est accessible via une couche d'adaptation qui gère ces réalités :
Coupe-circuits. Si une source échoue de manière répétée, l'adaptateur cesse d'envoyer des requêtes pendant une période de récupération. Cela évite les défaillances en cascade — si une API est indisponible, toutes les vérifications simultanées ne doivent pas rester bloquées jusqu'à l'expiration des délais.
Dégradation contrôlée. Lorsqu'une source est indisponible, la vérification se poursuit avec les données disponibles. Le résultat indique clairement les contrôles terminés et ceux ignorés à cause de l'indisponibilité de la source.
Validation des réponses. Nous validons chaque réponse selon les schémas attendus avant traitement. Les API gouvernementales renvoient parfois des données malformées, des corps vides avec un statut 200 ou du JSON valide aux structures inattendues.
Nouvelles tentatives avec temporisation. Les défaillances transitoires déclenchent des tentatives automatiques avec temporisation exponentielle. La stratégie est adaptée à chaque source — certaines API gouvernementales se rétablissent vite, d'autres restent indisponibles longtemps.
La chaîne de vérification
Un document commercial peut déclencher des contrôles auprès de cinq sources indépendantes ou davantage. Un connaissement peut nécessiter le contrôle OFAC de toutes les parties, les alertes à l'importation de la FDA, la Consolidated Screening List, la vérification de position du navire, le suivi du conteneur et la validation tarifaire.
Ces contrôles sont indépendants et s'exécutent en parallèle. Mais tous doivent se terminer — ou échouer de manière contrôlée — avant la présentation du résultat. Notre système lance simultanément tous les contrôles applicables, suit leur état et assemble le résultat final à mesure qu'ils se terminent. Les contrôles rapides sont livrés immédiatement et les plus lents apparaissent à leur achèvement.
La couche d'orchestration gère aussi les dépendances entre contrôles. Si un contrôle des sanctions renvoie une correspondance à forte confiance, le système marque toute la vérification comme nécessitant un examen humain — quels que soient les autres résultats.
Des données brutes aux renseignements exploitables
La forme la plus brute d'un résultat de conformité n'est pas utile : « L'API a renvoyé un objet JSON avec 3 correspondances potentielles. » Un responsable de conformité doit comprendre ce qu'elles signifient, le niveau de confiance et l'action à entreprendre.
Notre couche de traitement transforme les réponses brutes des API en constats structurés et exploitables :
Notation. Chaque correspondance est notée selon la similarité du nom, la corrélation géographique et le type d'entité. Une correspondance de nom à 97% avec une entité sanctionnée dans le même pays diffère fortement d'une correspondance à 72% avec une entité sur un autre continent.
Contextualisation. Les résultats sont présentés dans le contexte du document et de la vérification. Les constats comprennent la partie contrôlée, les renseignements sur l'entité correspondante et la pertinence de cette correspondance.
Priorisation. Tous les constats ne se valent pas. Une correspondance positive de sanctions est critique. Une certification biologique expirée est importante. Un écart tarifaire mineur est informatif. Le système classe les constats par gravité.
Actions recommandées. Lorsque c'est possible, le système propose les étapes suivantes : « Envisagez de demander un certificat actualisé », « Vérifiez directement le numéro d'immatriculation de l'entreprise », « Orientez vers un examen de diligence raisonnable renforcée ». Une recherche de données devient ainsi un processus.
Concevoir pour la confiance
Le défi fondamental de la connexion de l'IA aux bases gouvernementales est celui de la confiance, au-delà de la technique. Les professionnels de conformité sont juridiquement responsables de leurs décisions de vérification. Ils doivent avoir confiance dans l'actualité des données, l'exactitude des rapprochements, l'exhaustivité des résultats et la transparence du système sur ses limites.
Chaque décision de conception de notre couche de conformité sert ce principe. Nous affichons les horodatages d'actualité. Nous expliquons les scores de rapprochement. Nous signalons l'indisponibilité des sources. Nous ne présentons jamais des résultats incomplets comme complets.
Construire cette confiance exige une rigueur technique au-delà d'une réponse correcte la plupart du temps. Il faut obtenir la bonne réponse à chaque fois — et être honnête lorsque la réponse est incertaine.
Atlas Verified se connecte à des dizaines de bases gouvernementales et réglementaires pour alimenter la vérification de conformité commerciale en temps réel. Notre couche de données de conformité gère la complexité de l'infrastructure gouvernementale fragmentée pour que les professionnels se concentrent sur les décisions plutôt que sur la collecte.