Découvrez Chroma une base de données vectorielle open-source native de l’IA pour les LLMs un moyen plus rapide de créer des applications LLM en Python ou JavaScript avec une mémoire.

Découvrez Chroma, une base de données vectorielle open-source pour les LLMs, permettant de créer plus rapidement des applications LLM en Python ou JavaScript avec une mémoire.

Les bases de données vectorielles d’incorporation de mots sont devenues de plus en plus populaires en raison de la prolifération de modèles linguistiques massifs. En utilisant la puissance de techniques sophistiquées d’apprentissage automatique, les données sont stockées dans une base de données vectorielle. Cela permet une recherche de similarité très rapide, essentielle pour de nombreuses utilisations de l’IA telles que les systèmes de recommandation, la reconnaissance d’images et le traitement automatique du langage naturel (NLP).

L’essence des données complexes est capturée dans une base de données vectorielle en représentant chaque point de données comme un vecteur multidimensionnel. La récupération rapide des vecteurs associés est rendue possible par des techniques d’indexation modernes telles que les arbres k-d et le hachage. Pour transformer l’analyse de données volumineuses, cette architecture génère des solutions hautement évolutives et efficaces pour les secteurs à forte intensité de données.

Jetons un coup d’œil à Chroma, une petite base de données vectorielle gratuite et open source.

• IA responsable moyen d’éviter les côtés sombres de l’utilisation de l’IA
• Analyse exploratoire des données de capteurs MEMS
• Modération de contenu à classification sans apprentissage préalable

Chroma peut être utilisé pour créer des incorporations de mots en utilisant la programmation Python ou JavaScript. Le backend de la base de données, qu’il soit en mode mémoire ou client/serveur, peut être accédé par une API simple. L’installation de Chroma et l’utilisation de l’API dans un notebook Jupyter lors de la prototypage permet aux développeurs d’utiliser le même code dans un environnement de production, où la base de données peut fonctionner en mode client/serveur.

Les ensembles de données de la base de données Chroma peuvent être persistés sur disque au format Apache Parquet lorsqu’ils fonctionnent en mémoire. Le temps et les ressources nécessaires pour générer des incorporations de mots peuvent être minimisés en les stockant pour les récupérer ultérieurement.

Chaque chaîne référencée peut avoir des métadonnées supplémentaires qui décrivent le document d’origine. Vous pouvez sauter cette étape si vous le souhaitez. Les chercheurs ont fabriqué certaines métadonnées à utiliser dans le tutoriel. Plus précisément, elles sont organisées sous forme de collection d’objets de dictionnaire.

Chroma fait référence à des groupes de médias connexes en tant que collections. Chaque collection comprend des documents, qui ne sont que des listes de chaînes, des identifiants, qui servent d’identifiants uniques pour les documents, et des métadonnées (qui ne sont pas obligatoires). Les collections ne seraient complètes qu’avec des incorporations. Elles peuvent être générées soit implicitement à l’aide du modèle d’incorporation de mots intégré de Chroma, soit explicitement à l’aide d’un modèle externe basé sur OpenAI, PaLM ou Cohere. Chroma facilite l’intégration d’API tierces, permettant la génération et le stockage automatisés d’incorporations.

Par défaut, Chroma génère des incorporations avec un modèle Sentence Transformers all-MiniLM-L6-v2. Ce modèle d’incorporation peut produire des incorporations de phrases et de documents pour diverses applications. Selon la situation, cette fonction d’incorporation peut nécessiter le téléchargement automatique de fichiers de modèle et s’exécuter localement sur l’ordinateur.

Les métadonnées (ou les identifiants) peuvent également être interrogées dans la base de données Chroma. Cela facilite la recherche en fonction de l’origine des documents.

Principales fonctionnalités

• C’est facile : lorsque tout est saisi, testé et documenté.
• Tous les trois environnements (développement, test et production) peuvent utiliser la même API dans le notebook.
• Riche en fonctionnalités : recherches, filtres et estimation de densité.
• Logiciel Open Source sous licence Apache 2.0.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!