Estimez facilement les coûts de votre API OpenAI avec Tiktoken

Estimez facilement les coûts de votre API OpenAI avec Tiktoken' => 'Estimez les coûts de votre API OpenAI avec Tiktoken

Comptez vos jetons et évitez la faillite en utilisant l’API d’OpenAI

Frais jetons ! 0,0015 $ par kilo !

Beaucoup de personnes que je connais sont intéressées par l’utilisation des modèles de langage étendus (LLMs) d’OpenAI. Mais l’hébergement des LLMs est coûteux, et donc, les services d’inférence tels que l’interface de programmation d’application (API) d’OpenAI ne sont pas gratuits. Mais entrer vos informations de paiement sans savoir à quoi s’ajouteront les coûts d’inférence peut être un peu intimidant.

En général, j’aime inclure un petit indicateur des coûts de l’API dans mes articles, afin que mes lecteurs sachent à quoi s’attendre et puissent avoir une idée des coûts d’inférence.

Cet article vous présente la bibliothèque tiktoken que j’utilise pour estimer les coûts d’inférence des modèles de la fondation OpenAI.

Qu’est-ce que tiktoken ?

tiktoken est un jetonisateur basé sur l’encodage de paires d’octets (BPE) développé par OpenAI, qui est utilisé pour la tokenisation du texte dans leurs LLMs. Il permet aux développeurs de compter combien de jetons sont présents dans un texte avant de faire des appels à l’API d’OpenAI.

Il aide donc à estimer les coûts associés à l’utilisation de l’API d’OpenAI car ses coûts sont facturés en unités de 1 000 jetons selon la page de tarification d’OpenAI [1].

GitHub — openai/tiktoken : tiktoken est un jetonisateur BPE rapide pour une utilisation avec les modèles OpenAI.

tiktoken est un jetonisateur BPE rapide pour une utilisation avec les modèles OpenAI. — GitHub — openai/tiktoken : tiktoken est un jetonisateur BPE rapide…

github.com

Jetons et tokenization

Les jetons sont des séquences courantes de caractères dans un texte, et la tokenization est quand vous divisez une chaîne de texte en une liste de jetons. Un jeton peut être égal à un mot, mais généralement un mot est composé de plusieurs jetons.

Les modèles de traitement du langage naturel (NLP) sont entraînés sur des jetons et comprennent les relations entre eux. Ainsi, le texte d’entrée est tokenisé avant que le modèle NLP ne le traite.

Mais comment les mots sont exactement tokenisés dépend du jetonisateur utilisé.

Vous pouvez voir ci-dessous un exemple de comment le texte

« Alice a un perroquet.

Quel animal est l’animal de compagnie d’Alice ?

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Cet article sur l'IA propose une nouvelle méthode basée sur les gradients appelée Cones pour analyser et identifier les neurones conceptuels dans les modèles de diffusion.

La structure complexe du cerveau lui permet d’accomplir des tâches cognitives et créatives incroyables. Selon d...

AI

Découvrez LMSYS-Chat-1M Un ensemble de données à grande échelle contenant un million de conversations du monde réel avec 25 modèles de langage très avancés.

Les grands modèles de langage (LLM) sont devenus essentiels à différentes applications d’IA, des assistants vir...

AI

Grands modèles de langage RoBERTa - Une approche BERT optimisée de manière robuste

L'apparition du modèle BERT a conduit à des progrès significatifs en NLP. Dérivant son architecture de Transformer, B...

AI

Une introduction douce aux réseaux neuronaux orientables (partie 2)

Le premier article offre une approche accessible...

AI

Un nouvel article sur l'IA explique les différents niveaux d'expertise que peuvent avoir les grands modèles de langage en tant que machines à motifs généraux.

Les LLM, ou grands modèles de langage, sont enseignés à incorporer les nombreux schémas tissés dans la structure d...

Science des données

Trop de fonctionnalités? Regardons l'Analyse en Composantes Principales

La malédiction de la dimensionnalité est l'un des principaux problèmes en apprentissage automatique. À mesure que le ...