Limites de débit et solutions de repli dans les appels d'API Eden AI

L'accès à des API externes et leur utilisation pour diverses tâches sont aujourd'hui une pratique courante, mais ces API sont parfois assorties de limites de débit, ce qui peut entraver le flux de données et d'informations. 

Cet article explique comment gérer efficacement les limites de débit lorsque vous appelez l'API d'Eden AI et comment configurer des solutions de secours pour que votre application continue de fonctionner même lorsque les limites de débit du fournisseur sont atteintes.

‍

Que sont les limites tarifaires ?

Les limites de débit limitent le nombre de demandes d'API qu'un utilisateur peut effectuer pendant une période donnée. Ils sont en place pour garantir une utilisation équitable des ressources, prévenir les abus et maintenir la qualité de service pour tous les utilisateurs. Le propriétaire de l'application définit les règles/politiques qui limitent l'accès à l'API pour les particuliers (et les programmes automatisés).

‍

Limites de taux par défaut d'Eden AI

Eden AI fixe des limites à l'utilisation des API qui varient en fonction de l'abonnement que vous choisissez. Ces limites visent à empêcher la consommation inutile d'API. Le service propose trois plans d'abonnement, chacun avec ses propres restrictions :

1. Plan de démarrage : vous permet d'effectuer jusqu'à 60 appels d'API par minute.
2. Forfait personnel : augmente la limite à un maximum de 300 appels d'API par minute.
3. Plan professionnel : fournit le plus haut niveau d'accès, vous permettant d'effectuer jusqu'à 1 000 appels d'API par minute.

Si votre demande dépasse les limites tarifaires fixées par Eden AI, vous recevrez un HTTP 429 : trop de requêtes réponse.

‍

‍

Comment gérer le dépassement des limites tarifaires des fournisseurs ?

Comme Eden AI sert d'agrégateur de plateforme pour diverses API, il arrive que des fournisseurs individuels appliquent des limites de débit plus strictes, en particulier pour les API très populaires telles que ChatGPT d'OpenAI ou Google VertexAI. Cette hausse de la demande peut entraîner des contraintes sur les limites tarifaires.

Exemple d'erreur de limite de débit OpenAI :

ProviderLimitationError : That model is currently overloaded with other requests.

Pour garantir le fonctionnement ininterrompu de votre application, même en cas de dépassement des limites de débit, vous pouvez tirer parti des paramètres de repli d'Eden AI.

‍

‍

Qu'est-ce que le mécanisme de repli ?

Un mécanisme de repli est une stratégie utilisée par votre application en cas de dépassement des limites de débit. Au lieu de provoquer une défaillance de l'application, elle permet de gérer et de gérer les contraintes de limite de débit.

Il existe plusieurs méthodes pour implémenter une solution de secours : vous pouvez introduire un délai pour les nouvelles tentatives de demandes ou mettre les demandes en file d'attente selon le principe du premier entré, premier sorti lorsqu'elles dépassent la limite de débit.

Heureusement, aucune implémentation n'est nécessaire car Eden AI fournit un fallback_providers paramètre pour gérer les solutions de secours.

‍

‍

Comment fonctionnent les paramètres de secours ?

Grâce à Eden AI, vous pouvez facilement configurer fallback_providers paramètre permettant de gérer les situations dans lesquelles un fournisseur rencontre des limites de débit. Voici comment cela fonctionne :

1. Lorsque vous effectuez un appel d'API, vous spécifiez le fournisseur principal que vous souhaitez utiliser.
2. Au sein du fallback_providers paramètre, répertoriez jusqu'à cinq fournisseurs de remplacement potentiels auxquels Eden AI pourra se référer si le fournisseur principal, défini dans le paramètre « fournisseurs », rencontre des problèmes de limite de débit.

Il est important de noter que vous ne devez avoir qu'un seul fournisseur dans fournisseurs paramètre.

Ces fournisseurs alternatifs seront essayés dans l'ordre dans lequel ils sont répertoriés jusqu'à ce qu'un fournisseur réactif soit trouvé. À ce stade, Eden AI cessera toute nouvelle tentative de repli.

Voici un exemple de la manière dont vous pouvez spécifier ces paramètres dans le chat du point de terminaison :

import json
import requests
headers = {"Authorization": "Bearer 🔑 Your_API_Key"}
url ="https://api.edenai.run/v2/text/chat"
payload = {
     "providers": "openai",
     "text": "Hello i need your help ! ",
     "fallback_providers" : "google, replicate"       
   }
response = requests.post(url, json=payload, headers=headers)
result = json.loads(response.text)

‍

Cette approche garantit que votre application peut gérer correctement les problèmes de limite de débit et passer facilement à des fournisseurs de sauvegarde en cas de besoin. Il peut également être adapté pour gérer les limites de débit pour un seul fournisseur en spécifiant ce fournisseur plusieurs fois dans le fallback_providers paramètre, comme illustré dans l'exemple suivant :

payload = {
     "providers": "openai",
     "text": "Hello i need your help ! ",
     "fallback_providers" : "openai, openai, openai, openai, openai"       
   }

‍

Le code appellera à plusieurs reprises le fournisseur « OpenAI » et vérifiera s'il y a des échecs avant de réessayer.

Notez que le fallback_providers n'est pas implémenté pour les points de terminaison asynchrones.

‍

Conclusion

La gestion efficace des limites de débit dans les appels d'API est vitale pour la fiabilité des applications. Eden AI a mis en place un mécanisme de repli, permettant une transition en douceur vers d'autres fournisseurs lorsque les limites tarifaires sont atteintes. Cela garantit un service ininterrompu en période de forte demande, garantissant ainsi une expérience utilisateur cohérente !