Ce bulletin d’information sur l’IA est tout ce dont vous avez besoin #55

Bulletin d'information AI #55

Ce qui s’est passé cette semaine en IA par Louie

Cette semaine, nous étions ravis de pouvoir enfin tester l’interprète de code d’Open AI, une nouvelle fonctionnalité de GPT-4 dans ChatGPT. OpenAI a également fait d’autres annonces, notamment en révélant ses plans pour créer une équipe dédiée à l’obtention d’une superalignement dans les quatre prochaines années.

Après une version alpha initiale, la fonctionnalité d’interprète de code, qui comprend des capacités de codage et de visualisation des données, est maintenant disponible en mode bêta pour tous les utilisateurs de ChatGPT Plus. L’interprète de code donne à ChatGPT une gamme de fonctions, y compris l’analyse de données, la création de graphiques, le téléchargement et la modification de fichiers, les opérations mathématiques et l’exécution de code.

L’utilisation de l’interprète de code est relativement simple pour la plupart des cas d’utilisation, surtout lorsqu’elle est abordée en tant qu’analyste. Les données, y compris les fichiers compressés tels que les archives ZIP, peuvent être facilement téléchargées en cliquant sur le bouton plus. La demande initiale peut être minimale, car l’IA excelle dans la compréhension du sens des données et de leur structure à partir du contexte seul. Une fois chargée, l’IA gère automatiquement des tâches telles que la fusion de données et le nettoyage sophistiqué des données. Ethan Mollick a documenté de nombreux cas d’utilisation intéressants de l’interprète de code sur son compte Twitter et dans ce blog. Il est particulièrement puissant de pouvoir reconnaître les erreurs (en raison d’une exécution de code échouée) et de permettre au modèle de les corriger itérativement.

Cette fonctionnalité peut être utilisée pour de nombreuses applications uniques et des personnes ont documenté des utilisations, notamment l’analyse et la visualisation des données, l’identification des tendances, l’analyse des sujets, l’examen des modèles d’engagement, l’optimisation du référencement, l’analyse des KPI, la création de vidéos et même la création d’ensembles de données et de modèles d’apprentissage automatique. Les possibilités sont vastes et s’étendent à mesure que l’accès à l’interprète de code se développe. On observe ces derniers temps des signes d’un intérêt en baisse pour ChatGPT (rapports de baisse du nombre de visiteurs sur le site, bien que GPT-Turbo et GPT-4 soient déployés plus largement ailleurs via l’API), donc cette nouvelle fonctionnalité arrive à un bon moment pour OpenAI.

Nous pensons que l’interprète de code débloque de nombreuses autres fonctionnalités des LLM et peut être incroyablement utile, réduisant massivement les coûts et les obstacles à l’analyse de données de base. Cependant, il a encore besoin d’une supervision humaine et de l’imagination humaine pour poser les bonnes questions et obtenir le plus d’informations possibles. Nous prévoyons beaucoup plus de progrès dans cette direction dans les mois et les années à venir, alors que les LLM disposent d’outils plus puissants pour travailler.

Dans d’autres actualités en IA, Kinnu, la start-up éducative alimentée par l’IA générative que nous avons présentée en octobre, a réussi à lever 6,5 millions de dollars de financement. Kinnu est principalement dédié aux apprenants adultes passionnés et utilise l’IA pour optimiser le contenu pour chaque apprenant individuel. “Nous avons toujours trouvé curieux que la plupart des offres d’éducation en ligne se contentent d’aggraver les pires aspects de l’enseignement traditionnel”, déclare Christopher Kahler, co-fondateur et PDG de Kinnu. “Nous pensons qu’il existe une opportunité significative pour l’apprentissage alimenté par l’IA qui se concentre sur l’accélération du rythme de l’apprentissage humain lui-même.” Nous sommes ravis des progrès réalisés par Kinnu et nous sommes d’accord sur le potentiel de l’IA pour contribuer à une éducation améliorée.

– Louie Peters – Co-fondateur et PDG de Towards AI

Dernières actualités

  1. Introduction de la Superalignment

OpenAI a introduit le concept de Superalignment, en mettant l’accent sur la nécessité de percées scientifiques et techniques pour s’assurer que les systèmes d’IA hautement intelligents s’alignent sur les intentions humaines. L’organisation souligne l’importance de la création d’institutions de gouvernance innovantes et de l’exploration de nouvelles approches pour réaliser cet alignement.

2. Miner redirige 38 000 GPU de la crypto vers l’IA

La société de cryptominage Hive Blockchain détourne son attention de l’extraction d’Ethereum vers les charges de travail d’IA. Avec 38 000 GPU à leur disposition, ils ont l’intention de générer des revenus tout en utilisant une partie de la puissance des GPU pour l’extraction de crypto-monnaie. Cependant, la transition vers le calcul IA présente des défis, car les anciens GPU d’extraction d’ETH ont une valeur limitée sur ce marché.

3. AWS lance un centre d’innovation en IA générative de 100 millions de dollars

AWS a annoncé un investissement substantiel dans le développement de l’IA générative. Avec un engagement de 100 millions de dollars, le nouveau centre d’innovation en IA générative d’AWS vise à aider les clients et les partenaires du monde entier à exploiter le potentiel de l’IA générative. Le centre d’innovation collabore déjà avec des entreprises telles que Highspot, Lonely Planet, Ryanair et Twilio sur des solutions d’IA générative.

4. Le chatbot médical IA de Google est déjà testé dans les hôpitaux

Med-PaLM 2 de Google, un outil d’IA développé pour fournir des réponses concernant des informations médicales, a été testé à la clinique de recherche Mayo. En tant que variante du modèle de langage PaLM 2, Med-PaLM 2 a donné des résultats prometteurs en termes de raisonnement, en fournissant des réponses soutenues par un consensus et en compréhension, bien que des problèmes de précision persistent.

5. Alibaba lance un outil d’intelligence artificielle pour générer des images à partir de texte

Le géant chinois de la technologie Alibaba a lancé Tongyi Wanxiang, un outil d’intelligence artificielle capable de générer des images à partir de suggestions. L’outil permet aux utilisateurs d’entrer des suggestions en mandarin et en anglais, et il génère des images dans différents styles, notamment des illustrations 2D, des croquis et des dessins animés 3D.

Cinq lectures/vidéos de 5 minutes pour continuer d’apprendre

  1. Propriétés intrigantes de la quantification à grande échelle

Des recherches récentes révèlent que la qualité de la quantification après entraînement des grands modèles de langage est fortement influencée par les hyperparamètres de pré-entraînement. L’étude indique que les choix d’optimisation, tels que la décroissance pondérée, le clip des gradients et la sélection du type de données, ont un impact significatif sur les performances de la quantification après entraînement, avec une influence notable des formats float16 et bfloat16. La recherche met en évidence l’importance des choix d’optimisation dans le développement de modèles de langage robustes.

2. Meilleures cartes graphiques pour l’apprentissage automatique pour votre prochain projet

Cet article met en avant l’utilisation croissante des cartes graphiques dans l’apprentissage automatique et fournit un guide pour choisir les meilleures cartes graphiques pour les applications d’intelligence artificielle. Il mentionne des facteurs clés à prendre en compte, tels que la compatibilité et la capacité mémoire, et identifie les meilleures options de cartes graphiques de NVIDIA, notamment la Titan RTX et la Tesla V100. Il suggère également des alternatives économiques comme l’EVGA GeForce GTX 1080 et les cartes graphiques AMD Radeon.

3. Les poids de l’IA ne sont pas “open source”

L’article examine la question des poids des modèles d’IA et de leur disponibilité en tant que code source ouvert. Il soutient que bien que le code source des modèles d’IA puisse être ouvert, les poids – qui représentent les connaissances réellement acquises – ne sont généralement pas partagés ouvertement pour diverses raisons, telles que des préoccupations liées à la propriété intellectuelle, à la confidentialité et aux intérêts commerciaux.

4. Glossaire de l’intelligence artificielle : plus de 60 termes à connaître

L’IA connaît une croissance exponentielle, et il existe différents niveaux de sensibilisation à ce sujet. Ce glossaire vise à servir de ressource pour ceux qui découvrent tout juste l’IA et pour ceux qui recherchent une référence ou un rappel de vocabulaire.

5. Démarrer avec Code Interpreter dans ChatGPT

Dans cet article, Ethan Mollick a documenté de nombreux cas d’utilisation intéressants de Code Interpreter sur son compte Twitter. Il met également en évidence ses fonctionnalités, le processus de son utilisation, et plus encore.

Articles et référentiels

  1. Une enquête sur l’évaluation des grands modèles de langage

Cet article propose une revue complète des méthodes d’évaluation des modèles de langage. Il met l’accent sur ce qu’il convient d’évaluer (y compris divers aspects tels que le raisonnement, l’éthique et les applications), où évaluer (benchmarks généraux et spécifiques) et comment évaluer (évaluations humaines versus évaluations automatiques).

2. DreamDiffusion : Générer des images de haute qualité à partir de signaux EEG cérébraux

Cet article présente DreamDiffusion, une nouvelle méthode permettant de générer des images de haute qualité directement à partir de signaux d’électroencéphalogramme (EEG) cérébral, sans avoir besoin de traduire les pensées en texte. En utilisant des modèles pré-entraînés et des techniques avancées de modélisation du signal, cette méthode surmonte les défis tels que l’information limitée et le bruit.

3. LongNet : Mise à l’échelle des Transformers à 1 000 000 000 de jetons

Ce travail présente LongNet, une variante de Transformer capable de gérer des séquences de plus d’un milliard de jetons sans sacrifier les performances sur les séquences plus courtes. Il utilise une attention dilatée pour traiter efficacement les séquences plus longues tout en maintenant des performances sur les séquences plus courtes. L’un des principaux avantages de cette technique est sa compatibilité avec les approches d’optimisation existantes. Elle s’intègre parfaitement à toutes les autres méthodes déjà utilisées, élargissant ainsi la gamme d’options disponibles pour l’optimisation.

4. La malédiction de la récursivité : L’entraînement sur des données générées fait oublier aux modèles

Les chercheurs explorent le “collapse du modèle”, c’est-à-dire la disparition de la distribution du contenu d’origine lorsque les modèles sont entraînés à l’aide de contenu provenant d’autres modèles. Ce phénomène affecte les grands modèles de langage, les autoencodeurs variationnels et les modèles de mélange gaussien, soulignant la nécessité de comprendre et de préserver les données issues d’interactions humaines réelles afin de conserver les avantages des données collectées sur le Web.

5. ChatLaw : Modèle de langage juridique open source avec bases de connaissances externes intégrées

ChatLaw est un modèle de langage juridique open source spécifiquement conçu pour le domaine juridique chinois. Il utilise une combinaison de techniques de recherche vectorielle et par mots-clés pour résoudre les hallucinations du modèle lors de la récupération de données, ce qui permet d’obtenir des réponses plus précises. L’auto-attention est utilisée pour améliorer la précision et la fiabilité des données de référence.

Vous appréciez ces articles et résumés d’actualités ? Recevez un récapitulatif quotidien dans votre boîte de réception !

La section Communauté Apprendre l’IA Ensemble !

Podcast hebdomadaire sur l’IA

Dans l’épisode de cette semaine du podcast “Qu’est-ce que l’IA”, Louis Bouchard interviewe Petar Veličković, un chercheur scientifique chez DeepMind et un chargé de cours associé à Cambridge. Petar partage des idées sur la valeur d’un doctorat, en mettant l’accent sur son rôle en tant que porte d’entrée vers la recherche et les opportunités qu’il offre pour établir des liens et s’adapter. Il met également en évidence l’évolution du paysage de la recherche en IA, soulignant l’importance de diverses origines et contributions. L’interview offre des perspectives précieuses sur le monde universitaire par rapport à l’industrie, le rôle d’un chercheur scientifique, le travail chez DeepMind, l’enseignement et l’importance de la curiosité dans la conduite de recherches impactantes. Rejoignez-nous sur YouTube, Spotify ou Apple Podcasts si vous êtes intéressé par la recherche en IA !

Mème de la semaine !

Mème partagé par mrobino

Publication communautaire en vedette sur Discord

weaver159#1651 a récemment présenté un nouveau projet appelé MetisFL, qui est un cadre d’apprentissage fédéré conçu pour permettre aux développeurs de fédérer facilement leurs flux de travail d’apprentissage automatique et de former des modèles sur des silos de données distribuées, le tout sans avoir besoin de centraliser les données. Le cœur du cadre est écrit en C++ et privilégie la scalabilité, la vitesse et la résilience. Actuellement, le projet est en transition d’une version privée et expérimentale à une phase bêta publique. Consultez-le sur GitHub et soutenez un autre membre de la communauté. Partagez vos réflexions sur ce projet dans le fil de discussion ici.

Sondage IA de la semaine !

Rejoignez la discussion sur Discord.

Section TAI sélectionnée

Article de la semaine

Mieux que GPT-4 pour les requêtes SQL : NSQL (entièrement open source) par Dr. Mandar Karhade, MD. PhD.

SQL est toujours le langage le plus couramment utilisé. Ne serait-il pas génial si nous pouvions écrire des requêtes SQL en posant des questions à un grand modèle de langage ? Cela compenserait une grande partie du travail et démocratiserait probablement l’accès aux informations pour presque tous les membres de l’entreprise qui en ont besoin. Dans cet article, l’auteur parle de NSQL, qui est une nouvelle famille de modèles de base (FMs) open source conçus spécifiquement pour les tâches de génération de SQL.

Nos articles incontournables

Métriques de classification clairement expliquées ! par Jose D. Hernandez-Betancur

Libérez les informations sur les données : maîtriser l’IA pour une analyse puissante par Amit Kumar

Découvrez le modèle de base entièrement open source de Salesforce XGen-7B par Dr. Mandar Karhade, MD. PhD.

Si vous souhaitez publier avec Towards AI, consultez nos directives et inscrivez-vous. Nous publierons votre travail sur notre réseau s’il correspond à nos politiques et normes éditoriales.

Offres d’emploi

Architecte de données chez ShyftLabs (Toronto, Canada)

Spécialiste en apprentissage automatique – Systèmes juridiques chez Uni Systems (Bruxelles, Belgique)

Développeur de recherche en IA graphique chez Plain Concepts (À distance)

Ingénieur de données chez Tomorrow (Freelance/Roumanie)

Gestionnaire de croissance, données et analyse chez WillowTree (À distance)

Ingénieur de plateforme client chez Chainalysis (À distance)

Stagiaire – Stagiaires en génie logiciel – ACST chez Activate Interactive Pte Ltd (Singapour)

Vous souhaitez partager une opportunité d’emploi ici ? Contactez [email protected].

Si vous préparez votre prochain entretien sur l’apprentissage automatique, n’hésitez pas à consulter notre site web leader en préparation d’entretiens, confetti !

https://www.confetti.ai/

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Science des données

Des chercheurs de NTU et de Microsoft proposent MIMIC-IT un ensemble de données d'accord de grande échelle multi-modal en contexte pour l'ajustement des instructions.

Les développements récents en intelligence artificielle se sont concentrés sur des assistants conversationnels dotés ...

AI

Rencontrez MC-JEPA une architecture prédictive d'incorporation commune pour l'apprentissage auto-supervisé des caractéristiques de mouvement et de contenu.

Récemment, les techniques axées sur l’apprentissage des caractéristiques du contenu – en particulier, les...

AI

Startup écrit une histoire à succès sur l'IA générative avec NVIDIA NeMo

L’apprentissage automatique a aidé Waseem Alshikh à parcourir des manuels à l’université. Maintenant, il ...

Science des données

Pandas 2.0 Un changement de donne pour les scientifiques des données ?

Apprenez à tirer parti des 5 principales fonctionnalités qui rendent pandas 2.0 si performant pour la manipulation de...