Comprendre la facturation LLM : des personnages aux jetons

Les grands modèles linguistiques (LLM) évoluent vers une système basé sur des jetons plutôt que le nombre de caractères. Cet article explore les raisons qui sous-tendent utilisation des jetons, des variations dans tokenisation parmi des fournisseurs tels qu'OpenAI, Google Cloud, Cohere et d'autres, les stratégies d'estimation des coûts et les avantages de plateformes comme Eden AI pour l'utilisation des modèles.

‍

Quelle est la différence entre les jetons et les personnages ? 

Les jetons et les caractères jouent des rôles distincts dans le domaine des grands modèles linguistiques (LLM), chacun influençant la façon dont le texte est traité et compris.

‍

Personnages :

• Unités fondamentales du langage écrit, qui représentent des lettres, des chiffres et des symboles individuels
• Intensif en termes de calcul et peut négliger les structures linguistiques de niveau supérieur
• Manque de granularité sémantique pour une compréhension nuancée de la langue.

‍

Jetons :

• Englobez des mots entiers, des parties de mots ou des signes de ponctuation.
• Capturez les informations sémantiques et le contexte linguistique.
• Plus facile pour les LLM de comprendre le sens et la structure sous-jacents de la langue
• Facilite les tâches linguistiques complexes telles que la compréhension, la génération et la traduction du langage naturel.
• Selon le tokenizer ChatGPT LLM, certaines règles générales pour définir les jetons sont qu'un jeton correspond généralement à environ 4 caractères de texte pour un texte anglais courant, ce qui se traduit par environ les ¾ d'un mot (donc 100 jetons ~ = 75 mots).

‍

Pourquoi utiliser des jetons plutôt que des personnages ?

Tokénisation, le processus qui consiste à diviser le texte en unités significatives appelé jetons, offre des avantages significatifs dans le domaine des grands modèles de langage (LLM). En normalisant les entrées, de sorte que chaque unité transmette une quantité similaire d'informations sémantiques, tokenisation améliore la cohérence et la précision des tâches de traitement linguistique.

En outre, le traitement du texte au niveau du jeton améliore l'efficacité informatique en permettant aux modèles de se concentrer sur des structures linguistiques significatives plutôt que sur des caractères individuels.

De plus, tokenisation facilite la prévision des coûts en permettant aux utilisateurs d'estimer l'utilisation des ressources et les coûts associés avec plus de précision, ce qui permet de prendre de meilleures décisions en matière de budgétisation et d'allocation des ressources.

En substance, tokenisation joue un rôle central dans l'amélioration des performances et de la rentabilité des LLM en rationalisant les tâches de traitement linguistique.

‍

Différences de représentation des jetons entre les fournisseurs LLM

Chaque fournisseur de LLM a une approche unique pour tokenisation, reflétant leurs architectures modèles et leurs philosophies de conception :

‍

IA ouverte

Implémente un tokenizer dynamique capable de segmenter le texte en jetons représentant des mots complets, des fragments de mots ou des signes de ponctuation, en tirant parti d'un vocabulaire prédéfini.

Remarque : les méthodes de tokenisation peuvent varier selon les modèles, tels que GPT-3 et GPT-4. Consultez leur outil de tokenisation pour comprendre comment un morceau de texte peut être symbolisé par un modèle de langage, et le nombre total de jetons dans ce morceau de texte.‍

‍

Google Cloud

S'appuie sur des méthodes telles que WordPiece ou SentencePiece pour décomposer le texte en composants gérables, notamment des sous-mots ou des caractères, une approche particulièrement efficace pour gérer un vocabulaire peu fréquent ou spécialisé.

Remarque : Bien que cela soit vrai pour les modèles open source de Google, tels que BERT, il n'est pas clair si les nouveaux modèles tels que Gemini adhèrent aux mêmes techniques de tokenisation.

‍

Cohère

Utilise le codage par paires d'octets (BPE), divisant les mots en séquences de sous-mots fréquentes.

‍

Mistral

Likely utilise des méthodologies de tokenisation similaires, mettant l'accent sur un traitement efficace et intégrant potentiellement de nouvelles techniques pour tenir compte des nuances linguistiques.

Comprendre ces différences est crucial pour les développeurs qui souhaitent optimiser les performances et la rentabilité de leurs applications sur les différentes plateformes LLM.

‍

Limitations relatives aux entrées de jetons pour les LLM

Les limites de jetons font référence au nombre maximum de jetons (mots ou sous-mots) qu'un modèle de langage peut traiter en une seule entrée ou générer en une seule sortie. Étant donné que ces jetons sont stockés et gérés en mémoire, ces restrictions servent à maintenir l'efficacité du modèle et à rationaliser l'utilisation des ressources. Vous trouverez ci-dessous quelques exemples de contraintes liées au modèle de langage (LLM).

Bien que la limite maximale du jeton soit nécessaire, elle définit les paramètres LLM et limite les performances et la facilité d'utilisation du modèle. Le fait d'être lié par un nombre de jetons défini empêche le modèle d'analyser le texte au-delà de cette limite. Par conséquent, tout indice contextuel situé en dehors de cette plage maximale de jetons n'est pas pris en compte lors de l'analyse, ce qui peut limiter la qualité des résultats. De plus, cela pose des défis aux utilisateurs qui traitent de nombreux documents texte.

‍

Estimation des coûts sur la base de cas d'utilisation

Pour estimer les coûts de manière efficace, considérez les étapes suivantes :

1. Comprenez Limites de jetons: Tout d'abord, déterminez le nombre de jetons que chaque fournisseur autorise par entrée et le nombre maximum de jetons que ses modèles peuvent traiter en une seule demande.
2. Evaluer Longueur du texte: analysez la longueur moyenne des textes que vous devez traiter, en les convertissant en nombre de jetons qu'ils contiennent généralement.
3. Calculez Consommation de jetons: multipliez le nombre de jetons par demande par la fréquence de vos demandes pour estimer l'utilisation totale des jetons.
4. Comparez Tarification: Chaque fournisseur a des stratégies de tarification différentes en fonction du nombre de jetons traités. Les comprendre vous aidera à calculer les coûts attendus.

‍

Pourquoi Eden AI est un choix optimal pour utiliser plusieurs fournisseurs de LLM

Eden AI se distingue en tant que plateforme qui simplifie l'intégration et la gestion de plusieurs API LLM. Voici pourquoi c'est particulièrement avantageux :

• API unifiée : Eden AI fournit une API unique qui s'interface avec plusieurs fournisseurs de LLM, ce qui permet une commutation et une comparaison fluides.
• Rentabilité : les utilisateurs peuvent comparer les performances et les coûts de différents LLM en temps réel, optimisant ainsi les ressources financières et informatiques.
• Gestion simplifiée : la gestion des clés d'API, la gestion des relations avec plusieurs fournisseurs et les processus de facturation sont rationalisés.

‍

Conclusion 

En conclusion, le passage des caractères aux jetons dans la facturation et le traitement par les API LLM signifie une maturation dans le domaine, alignant plus étroitement la facturation sur les exigences technologiques du langage de traitement.

Des plateformes comme Eden AI améliorent encore ce paysage en proposant un cadre cohérent pour accéder à ces outils sophistiqués et les gérer, garantissant ainsi aux entreprises de tirer le meilleur parti du traitement du langage par IA de manière efficace et rentable.

‍