Découvrez Chroma une base de données vectorielle open-source native de l’IA pour les LLMs un moyen plus rapide de créer des applications LLM en Python ou JavaScript avec une mémoire.

Découvrez Chroma, une base de données vectorielle open-source pour les LLMs, permettant de créer plus rapidement des applications LLM en Python ou JavaScript avec une mémoire.

Les bases de données vectorielles d’incorporation de mots sont devenues de plus en plus populaires en raison de la prolifération de modèles linguistiques massifs. En utilisant la puissance de techniques sophistiquées d’apprentissage automatique, les données sont stockées dans une base de données vectorielle. Cela permet une recherche de similarité très rapide, essentielle pour de nombreuses utilisations de l’IA telles que les systèmes de recommandation, la reconnaissance d’images et le traitement automatique du langage naturel (NLP).

L’essence des données complexes est capturée dans une base de données vectorielle en représentant chaque point de données comme un vecteur multidimensionnel. La récupération rapide des vecteurs associés est rendue possible par des techniques d’indexation modernes telles que les arbres k-d et le hachage. Pour transformer l’analyse de données volumineuses, cette architecture génère des solutions hautement évolutives et efficaces pour les secteurs à forte intensité de données.

Jetons un coup d’œil à Chroma, une petite base de données vectorielle gratuite et open source.

Chroma peut être utilisé pour créer des incorporations de mots en utilisant la programmation Python ou JavaScript. Le backend de la base de données, qu’il soit en mode mémoire ou client/serveur, peut être accédé par une API simple. L’installation de Chroma et l’utilisation de l’API dans un notebook Jupyter lors de la prototypage permet aux développeurs d’utiliser le même code dans un environnement de production, où la base de données peut fonctionner en mode client/serveur.

Les ensembles de données de la base de données Chroma peuvent être persistés sur disque au format Apache Parquet lorsqu’ils fonctionnent en mémoire. Le temps et les ressources nécessaires pour générer des incorporations de mots peuvent être minimisés en les stockant pour les récupérer ultérieurement.

Chaque chaîne référencée peut avoir des métadonnées supplémentaires qui décrivent le document d’origine. Vous pouvez sauter cette étape si vous le souhaitez. Les chercheurs ont fabriqué certaines métadonnées à utiliser dans le tutoriel. Plus précisément, elles sont organisées sous forme de collection d’objets de dictionnaire.

Chroma fait référence à des groupes de médias connexes en tant que collections. Chaque collection comprend des documents, qui ne sont que des listes de chaînes, des identifiants, qui servent d’identifiants uniques pour les documents, et des métadonnées (qui ne sont pas obligatoires). Les collections ne seraient complètes qu’avec des incorporations. Elles peuvent être générées soit implicitement à l’aide du modèle d’incorporation de mots intégré de Chroma, soit explicitement à l’aide d’un modèle externe basé sur OpenAI, PaLM ou Cohere. Chroma facilite l’intégration d’API tierces, permettant la génération et le stockage automatisés d’incorporations.

Par défaut, Chroma génère des incorporations avec un modèle Sentence Transformers all-MiniLM-L6-v2. Ce modèle d’incorporation peut produire des incorporations de phrases et de documents pour diverses applications. Selon la situation, cette fonction d’incorporation peut nécessiter le téléchargement automatique de fichiers de modèle et s’exécuter localement sur l’ordinateur.

Les métadonnées (ou les identifiants) peuvent également être interrogées dans la base de données Chroma. Cela facilite la recherche en fonction de l’origine des documents.

Principales fonctionnalités

  • C’est facile : lorsque tout est saisi, testé et documenté.
  • Tous les trois environnements (développement, test et production) peuvent utiliser la même API dans le notebook.
  • Riche en fonctionnalités : recherches, filtres et estimation de densité.
  • Logiciel Open Source sous licence Apache 2.0.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

La modélisation 3D s'appuie sur l'IA

L'intelligence artificielle peut débloquer des améliorations de vitesse et de qualité dans les graphiques tridimensio...

AI

Décrypter les mathématiques dans les images Comment le nouvel étalon MathVista repousse les limites de l'IA en termes de raisonnement visuel et mathématique

MATHVISTA est présenté comme une référence pour évaluer les capacités de raisonnement mathématique des modèles de lan...

AI

Cette recherche en IA présente un apprentissage en profondeur basé sur la physique pour prédire l'accumulation de IFP et de liposomes.

Dans la poursuite de l’affinement des thérapies contre le cancer, les chercheurs ont introduit une solution rév...

AI

Découvrez NExT-GPT des modèles de langage multimodaux larges polyvalents de bout en bout, pour tout type d'entrée et de sortie.

Les LLM multimodales peuvent améliorer l’interaction homme-machine en permettant une communication plus naturel...

Recherche en IA

Un pas vers des pilotes automatiques sûrs et fiables pour le vol

Une nouvelle approche basée sur l'IA pour le contrôle de robots autonomes répond aux objectifs souvent contradictoire...

AI

Cela va déjà bien au-delà de ce que les humains peuvent faire l'IA va-t-elle éliminer les architectes ?

Cela révolutionne la construction – mais l'IA pourrait-elle éliminer toute une profession ?