Comparatifs d'IA
IA Générative
8 min de lecture

Routage inter-régions de SageMaker ou fallback entre fournisseurs : quelles pannes chacun couvre-t-il ?

Une gare de triage où un premier aiguillage mène à des gares différentes et un second à des gares identiques dans plusieurs villes, illustrant le fallback entre fournisseurs et le routage régional comme deux couches distinctes.

Résumez cet article avec :

Résumé

Le 18 novembre 2026, AWS a lancé le routage d’inférence inter-régions pour Amazon SageMaker AI. Il bascule le trafic vers des endpoints SageMaker que vous exploitez déjà dans d’autres régions et d’autres comptes, en cas de panne de la plateforme, de limitation de débit ou d’erreur 5xx du conteneur. Les erreurs client 4xx et les réponses lentes ne le déclenchent pas. Le fallback entre fournisseurs répond à une autre panne : un modèle ou un fournisseur indisponible. Ce comparatif détaille ce que protège chaque couche, ce qui reste à votre charge et quand associer les deux.

Le 18 novembre 2026, AWS a lancé le routage d’inférence inter-régions pour Amazon SageMaker AI. Un routeur d’inférence unique redirige les requêtes vers des endpoints SageMaker que vous exploitez déjà dans d’autres régions et d’autres comptes AWS, lorsque les endpoints locaux tombent en panne ou manquent de capacité. Selon AWS, les équipes devaient jusqu’ici concevoir et maintenir elles-mêmes cette logique de routage, de contrôle de santé et de nouvelles tentatives.

Tout se joue sur ce qui déclenche la bascule. D’après la documentation d’AWS, les pannes de la plateforme, les limitations de débit (throttling) et les erreurs 5xx du conteneur font basculer le trafic. Ce n’est pas le cas des erreurs client 4xx ni des réponses lentes du modèle, et une requête qui expire n’est pas relancée ailleurs.

Ce mécanisme protège vos propres déploiements SageMaker contre les pannes régionales. Il ne couvre pas l’indisponibilité d’un modèle ou d’un fournisseur : c’est le rôle du fallback entre fournisseurs. Cet article compare ces deux couches, ce que chacune vous laisse à gérer et les cas où il faut les combiner.

Lancement18 novembre 2026, par AWS
Routage entreEndpoints SageMaker existants dans d’autres régions et comptes
Ordre de routageEndpoints de la région locale en priorité
Bascule le trafic en cas dePannes de la plateforme, limitations de débit, erreurs 5xx du conteneur
Ne bascule pas en cas deErreurs client 4xx, réponses lentes du modèle
Disponibilité32 régions commerciales (temps réel), 25 (asynchrone)
Changement côté clientNouveau service runtime du routeur et nouvelles API d’invocation
Coût du routeurAucun ; endpoints et métriques CloudWatch facturés normalement

Source : AWS, 18 novembre 2026.

Routage inter-régions et fallback entre fournisseurs en un coup d’œil

Le routage SageMaker s’adresse aux équipes qui servent leurs propres modèles, ou des modèles personnalisés, sur des endpoints SageMaker. Le fallback entre fournisseurs compte davantage pour les applications qui appellent des API de modèles managées. Le tableau compare les deux couches et ce que chacune laisse à votre charge.

QuestionRoutage SageMakerFallback fournisseurÀ votre charge
Panne couvertePanne d’un endpoint régional ou manque de capacitéIndisponibilité d’un modèle ou d’un fournisseurAssocier chaque type de panne à une couche
Modèle serviLe même modèle déployéÉventuellement un autre modèleTester les sorties du modèle de secours
CiblesEndpoints que vous avez déjà déployésModèles autorisés par votre politiqueValider chaque cible au préalable
DéclencheursPannes de la plateforme, limitations de débit, 5xx du conteneurDéfinis par la passerelle ou l’applicationGérer les erreurs 4xx et les réponses lentes
Modes de requêteTemps réel et asynchroneSelon l’implémentationVérifier votre mode de requête
PérimètreRégions et comptes choisis, même partition AWSFournisseurs et destinations validésFaire respecter les règles de résidence des données
CoûtPas de frais de routeur ; endpoints et métriques facturésSelon la tarification des fournisseursBudgéter la capacité de réserve

Source de la colonne SageMaker : AWS, 18 novembre 2026. Vérifié le 19 novembre 2026.

Le routeur lui-même n’entraîne aucuns frais, mais la résilience a un prix. Les endpoints cibles de chaque région sont facturés au tarif standard de SageMaker AI, et les métriques du routeur au tarif standard d’Amazon CloudWatch. Le routeur ne crée jamais de cibles : elles doivent déjà exister.

Comment fonctionne le routage d’inférence inter-régions de SageMaker

Vous créez un routeur d’inférence, vous y enregistrez les endpoints temps réel, les endpoints asynchrones ou les composants d’inférence que vous exploitez déjà, puis vous faites pointer votre application vers ce routeur. Il privilégie les endpoints de sa propre région. Quand les erreurs augmentent, il redirige les nouvelles requêtes vers des destinations saines dans d’autres régions, puis rétablit progressivement le trafic une fois l’endpoint local rétabli.

Les endpoints, les modèles déployés, les conteneurs et le corps des requêtes ne changent pas. Pas plus que ContentType, Accept, CustomAttributes et InferenceId. Le client, lui, évolue : il appelle le service sagemaker-inference-router-runtime au lieu de sagemaker-runtime.

Ce pseudocode illustre le changement. Vérifiez les noms exacts des méthodes du SDK dans le guide du développeur SageMaker AI avant de le reprendre.

Python

# Pseudocode: check method names in the AWS SDK reference

# Before: invoke one endpoint directly
runtime = aws_client("sagemaker-runtime")
runtime.invoke_endpoint(
    EndpointName="my-endpoint",
    Body=payload,
    ContentType="application/json",
)

# After: invoke a routing target through the router
router = aws_client("sagemaker-inference-router-runtime")
router.invoke_inference_router(
    InferenceRouterName="my-router",
    RoutingTargetName="production",
    Body=payload,
    ContentType="application/json",
)

Les clients synchrones appellent InvokeInferenceRouter, les clients asynchrones InvokeInferenceRouterAsync.

Les propriétaires des endpoints gardent la main sur l’usage entre comptes. Une politique basée sur les ressources, avec la condition sagemaker:SourceInferenceRouterArn, détermine quels routeurs d’autres comptes peuvent appeler un endpoint. Un plafond facultatif de trafic inter-régions réserve de la capacité aux appelants locaux de l’endpoint.

Aucun de ces contrôles ne détermine où vont vos données : seules les cibles que vous configurez le font. Les destinations doivent en outre appartenir à la même partition AWS que le routeur : il ne bascule donc pas d’AWS commercial vers AWS GovCloud.

Les pannes qui font basculer le trafic, et celles qui ne le font pas

D’après la documentation d’AWS, le routeur ne relance une tentative échouée sur une autre destination qu’en cas d’erreur pouvant être retentée. C’est le cas d’une limitation de débit, ou d’une erreur 5xx du conteneur survenue avant le début de toute sortie. Les pannes de la plateforme pèsent aussi sur l’état de santé d’une destination.

Les timeouts suivent une autre logique. Une requête qui expire n’est pas relancée, mais des timeouts répétés dégradent l’état de santé de la destination et détournent les requêtes suivantes.

Les erreurs client 4xx et les réponses lentes du modèle ne déclenchent jamais de bascule. Le routage suppose aussi une cible configurée, saine et disposant de capacité libre. Si toutes les cibles sont saturées ou plafonnées, le routeur n’a nulle part où envoyer la requête.

Chaque réponse temps réel indique l’endpoint qui l’a servie ainsi qu’un RoutingReason : local-preferred, capacity-available, only-healthy ou failover. Journalisez ces champs, en complément des métriques du routeur dans Amazon CloudWatch, pour savoir à quelle fréquence le trafic quitte sa région d’origine.

Le fallback entre fournisseurs, au niveau de l’application ou de la passerelle

Le fallback entre fournisseurs couvre une autre panne : celle du modèle ou du fournisseur lui-même. Votre application, ou une passerelle, envoie la requête vers un autre modèle validé lorsque le modèle privilégié est indisponible. Cela peut tenir à une panne, à une limite de capacité, voire à un problème de compte, comme l’explique ce guide sur ce qui se passe quand un fournisseur d’IA vous bannit.

La contrepartie, c’est la cohérence. Le routage SageMaker sert le même déploiement dans une autre région, alors qu’un modèle de secours peut différer par la structure de ses sorties, la prise en charge des outils, son comportement en matière de sécurité, sa latence et sa qualité. Testez chaque modèle de secours selon les mêmes critères d’acceptation que le modèle principal : un format de requête identique ne garantit pas un comportement identique.

Une passerelle s’ajoute en outre au chemin des requêtes. Elle ne corrige ni les requêtes invalides, ni les bugs applicatifs, ni les sorties dangereuses. Comme les données peuvent atteindre un autre fournisseur ou un autre lieu de traitement, définissez les destinations autorisées avant d’activer le fallback automatique.

Les arguments en faveur de cette couche sont détaillés dans notre article expliquant pourquoi ne pas dépendre d’un seul fournisseur d’IA. Pour le travail d’intégration qu’implique le recours à plusieurs fournisseurs, consultez comment gérer une intégration d’IA complexe.

Quelle stratégie de bascule choisir ?

Choisissez la couche qui correspond à la panne à laquelle vous devez résister. Beaucoup de systèmes en production ont besoin des deux.

Recommandations

Adapter la couche de routage à la panne

SageMaker

Modèles personnalisés sur SageMaker

Optez pour le routage inter-régions si le principal risque est un endpoint défaillant ou une région à court de capacité. Déployez, dimensionnez et validez chaque cible au préalable.

Couche fournisseur

API de modèles managées

Optez pour le fallback entre fournisseurs si votre application doit continuer de fonctionner quand un modèle ou un fournisseur devient indisponible. Testez chaque modèle de secours séparément.

Les deux couches

Applications à haute disponibilité

Combinez-les si vous servez des modèles personnalisés sur SageMaker tout en appelant des API managées. Chaque couche couvre des pannes que l’autre ne voit pas.

Gouvernance

Charges de travail soumises à la résidence des données

N’enregistrez comme cibles que des régions et comptes AWS acceptables. Les plafonds de trafic et les politiques d’endpoint ne sont pas des contrôles de résidence. Vérifiez séparément les conditions de traitement de chaque fournisseur externe.

Pour les charges de travail de chat ou de streaming, vérifiez dans le guide du développeur SageMaker AI quels modes de requête le routeur prend en charge avant d’y faire passer du trafic en streaming.

Une architecture de routage à deux couches

Application

Envoie la requête à sa logique de routage ou à sa passerelle.

Couche fournisseur

Choisit une API de modèle managée ou votre modèle SageMaker, avec des solutions de secours validées.

Routeur SageMaker

Pour le trafic SageMaker, choisit un endpoint configuré et sain.

Endpoint de service

Renvoie la réponse avec l’endpoint et le motif de routage.

Journaux

Consignent le fournisseur, l’endpoint et le RoutingReason.

La place d’Eden AI

Eden AI se situe au niveau de la couche fournisseur, pour les API de modèles managées qu’appelle votre application. Avec le routage entre fournisseurs, vous fixez l’ordre des fournisseurs ou vous les classez par prix, vitesse ou latence. Le fallback automatique vers des modèles de secours se règle séparément. Notre article sur les limites de débit et les fallbacks dans les appels à l’API Eden AI montre comment les deux fonctionnent en pratique.

Cette requête définit un ordre explicite de fournisseurs. Configurez les modèles de secours comme indiqué dans la documentation sur le fallback.

Python

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_EDENAI_API_KEY",
    base_url="https://api.edenai.run/v3",
)

response = client.chat.completions.create(
    model="YOUR_PRIMARY_MODEL",
    messages=[
        {"role": "user", "content": "Summarize this incident."}
    ],
    extra_body={
        "routing": {
            "order": ["YOUR_FIRST_PROVIDER", "YOUR_SECOND_PROVIDER"]
        }
    },
)

print(response.choices[0].message.content)

Pour les charges de travail européennes, Eden AI propose un endpoint UE pour la résidence des données en Europe, avec zéro conservation des données sur cet endpoint UE. Il vous appartient toutefois de vérifier que chaque fournisseur autorisé respecte vos propres exigences de traitement.

Eden AI ne déploie pas d’endpoints SageMaker et ne remplace pas le routeur SageMaker. C’est aussi un service de plus sur le chemin des requêtes : il ne supprime donc pas tous les points de défaillance uniques. La résilience régionale de vos modèles personnalisés reste du ressort de SageMaker.

À retenir

  • Provisionnez d’abord les cibles : le routage SageMaker exige des destinations déployées, saines et disposant de capacité libre, toutes facturées.
  • La latence n’est pas un déclencheur : les réponses lentes ne provoquent jamais de bascule, et une requête expirée n’est pas relancée.
  • Vérifiez la couverture : le routage temps réel couvre 32 régions commerciales et le routage asynchrone 25, toutes au sein d’une même partition AWS.
  • Validez chaque destination : passez en revue les régions, les comptes, les plafonds de trafic, le comportement des modèles de secours et les politiques de données avant la mise en production.

Mesurez avant de vous y fier

AWS n’a pas publié la latence qu’ajoutent le routeur ou un saut entre régions. Comparez appels directs et appels routés avec vos propres payloads et vos régions cibles avant de fixer vos timeouts.

FAQ

Qu’est-ce qui déclenche le routage inter-régions de SageMaker ?
Les pannes de la plateforme, les limitations de débit et les erreurs 5xx du conteneur font basculer le trafic vers d’autres endpoints configurés. Les erreurs client 4xx et les réponses lentes du modèle ne déclenchent pas de bascule.
Une inférence lente déclenche-t-elle la bascule de SageMaker ?
Non. La latence de réponse du modèle ne déclenche pas de bascule, et une requête qui expire n’est pas relancée ailleurs, même si des timeouts répétés dégradent l’état de santé de la destination pour les requêtes suivantes.
Faut-il modifier le code client pour utiliser le routeur d’inférence SageMaker ?
Oui. Les modèles, conteneurs, endpoints et payloads restent identiques, mais les clients appellent le service sagemaker-inference-router-runtime avec InvokeInferenceRouter ou InvokeInferenceRouterAsync.
Les endpoints cibles doivent-ils déjà exister ?
Oui. Vous enregistrez des endpoints ou des composants d’inférence déjà en service, et le routeur ne crée jamais de capacité. Il n’envoie les requêtes qu’aux cibles que vous configurez : c’est donc à vous de choisir des régions et des comptes acceptables.
Comment fonctionne le routage entre comptes dans SageMaker ?
Les propriétaires des endpoints associent une politique basée sur les ressources qui autorise des routeurs d’autres comptes. La condition sagemaker:SourceInferenceRouterArn limite l’accès à des routeurs précis.
Le routeur d’inférence SageMaker prend-il en charge le streaming ?
L’annonce porte sur l’inférence en temps réel et asynchrone. Consultez le guide du développeur SageMaker AI pour connaître la prise en charge du streaming avant d’y faire passer du trafic en streaming.
Combien coûte le routage inter-régions de SageMaker ?
AWS ne facture rien de plus pour le routeur. Vous payez le tarif standard de SageMaker AI pour les endpoints qui servent les requêtes et le tarif standard d’Amazon CloudWatch pour les métriques du routeur.
Peut-on combiner le routage SageMaker et le fallback entre fournisseurs ?
Oui. Le fallback entre fournisseurs prend le relais quand un modèle ou un fournisseur est indisponible, tandis que le routage SageMaker maintient vos propres modèles SageMaker disponibles d’une région à l’autre.

Pour aller plus loin

Articles similaires

Une pièce de monnaie roule sur trois pistes de longueurs différentes vers une même ligne d’arrivée, illustrant les coûts différents de trois modèles Gemini pour accomplir une tâche.
Comparatifs d'IA
IA Générative
Gemini 4 Carbon vs Argon vs 3.8 Flash : le coût par tâche réussie
11/16/2026
·
Written byClément Moreau
Modèles d'IA spécialisés et LLM en 2027
Comparatifs d'IA
Traitement de Texte
Arrêtez d'utiliser votre LLM pour tout : les modèles d'IA spécialisés qui s'imposent en 2027
11/2/2026
·
Written byClément Moreau
COMMENCEZ

Commencez à créer avec Eden AI

Une interface unique pour intégrer les meilleures technologies d’IA dans vos flux de travail.