Détectez les propos nuisibles dans les conversations orales avec la détection de toxicité d’Amazon Transcribe

Détection de toxicité d'Amazon Transcribe pour propos nuisibles dans conversations orales

L’augmentation des activités sociales en ligne telles que les réseaux sociaux ou les jeux en ligne est souvent entachée de comportements hostiles ou agressifs qui peuvent entraîner des manifestations non sollicitées de discours de haine, de cyberintimidation ou de harcèlement. Par exemple, de nombreuses communautés de jeux en ligne offrent une fonctionnalité de chat vocal pour faciliter la communication entre leurs utilisateurs. Bien que le chat vocal soutienne souvent la conversation amicale et les taquineries, il peut également entraîner des problèmes tels que le discours de haine, la cyberintimidation, le harcèlement et les escroqueries. Signaler un langage nocif aide les organisations à maintenir des conversations civilisées et à maintenir un environnement en ligne sûr et inclusif pour que les utilisateurs puissent créer, partager et participer librement. Aujourd’hui, de nombreuses entreprises s’appuient uniquement sur des modérateurs humains pour examiner le contenu toxique. Cependant, mettre à l’échelle les modérateurs humains pour répondre à ces besoins avec une qualité et une rapidité suffisantes est coûteux. Par conséquent, de nombreuses organisations risquent de faire face à des taux élevés de départ des utilisateurs, des dommages à leur réputation et des amendes réglementaires. De plus, les modérateurs sont souvent psychologiquement affectés par l’examen du contenu toxique.

Amazon Transcribe est un service de reconnaissance automatique de la parole (ASR) qui facilite l’ajout de la fonctionnalité de conversion de la parole en texte aux applications des développeurs. Aujourd’hui, nous sommes ravis d’annoncer Amazon Transcribe Toxicity Detection, une fonctionnalité alimentée par l’apprentissage automatique (ML) qui utilise à la fois des indices audio et textuels pour identifier et classer le contenu toxique basé sur la voix dans sept catégories, notamment le harcèlement sexuel, le discours de haine, les menaces, les abus, la grossièreté, les insultes et le langage graphique. En plus du texte, la détection de toxicité utilise des indices de parole tels que les tons et les intonations pour cibler l’intention toxique dans la parole.

Ceci est une amélioration par rapport aux systèmes de modération de contenu standard qui sont conçus pour se concentrer uniquement sur des termes spécifiques, sans tenir compte de l’intention. La plupart des entreprises ont un accord de niveau de service (SLA) de 7 à 15 jours pour examiner le contenu signalé par les utilisateurs car les modérateurs doivent écouter de longs fichiers audio pour évaluer si et quand la conversation est devenue toxique. Avec Amazon Transcribe Toxicity Detection, les modérateurs ne révisent que la partie spécifique du fichier audio signalée comme contenant du contenu toxique (par opposition à l’ensemble du fichier audio). Le contenu que les modérateurs humains doivent examiner est réduit de 95%, ce qui permet aux clients de réduire leur SLA à seulement quelques heures, ainsi que de leur permettre de modérer de manière proactive plus de contenu au-delà de ce qui est signalé par les utilisateurs. Cela permettra aux entreprises de détecter et de modérer automatiquement le contenu à grande échelle, de fournir un environnement en ligne sûr et inclusif, et d’agir avant qu’il ne puisse entraîner une perte d’utilisateurs ou des dommages à leur réputation. Les modèles utilisés pour la détection de contenu toxique sont maintenus par Amazon Transcribe et mis à jour périodiquement pour maintenir leur précision et leur pertinence.

Dans cet article, vous apprendrez comment :

• Les GPU NVIDIA H100 sont désormais disponibles sur le cloud AWS
• Les créatifs se défendent contre l’IA avec des poursuites judiciaires
• Le futur de la guerre alimenté par l’IA, totalement autonome, est là

• Identifier le contenu nocif dans la parole avec Amazon Transcribe Toxicity Detection
• Utiliser la console Amazon Transcribe pour la détection de toxicité
• Créer un travail de transcription avec détection de toxicité en utilisant l’interface de ligne de commande AWS (AWS CLI) et le kit de développement logiciel Python
• Utiliser la réponse de l’API de détection de toxicité d’Amazon Transcribe

Détecter la toxicité dans le chat audio avec Amazon Transcribe Toxicity Detection

Amazon Transcribe propose désormais une solution simple basée sur l’apprentissage automatique pour signaler le langage nocif dans les conversations parlées. Cette fonctionnalité est particulièrement utile pour les médias sociaux, les jeux et les besoins généraux, éliminant ainsi la nécessité pour les clients de fournir leurs propres données pour former le modèle d’apprentissage automatique. La détection de toxicité classe le contenu audio toxique dans les sept catégories suivantes et fournit un score de confiance (0-1) pour chaque catégorie :

• Grossièreté – Parole contenant des mots, des expressions ou des acronymes impolis, vulgaires ou offensants.
• Discours de haine – Parole critiquant, insultant, dénonçant ou déshumanisant une personne ou un groupe sur la base d’une identité (telle que la race, l’origine ethnique, le sexe, la religion, l’orientation sexuelle, l’aptitude et l’origine nationale).
• Sexuel – Parole indiquant un intérêt sexuel, une activité ou une excitation sexuelle en utilisant des références directes ou indirectes aux parties du corps, aux traits physiques ou au sexe.
• Insultes – Parole comprenant un langage dénigrant, humiliant, moqueur, insultant ou dévalorisant. Ce type de langage est également qualifié de harcèlement.
• Violence ou menace – Parole incluant des menaces visant à infliger de la douleur, des blessures ou de l’hostilité envers une personne ou un groupe.
• Graphique – Parole utilisant des images descriptives visuellement et désagréablement vivides. Ce type de langage est souvent volontairement verbeux pour amplifier le malaise du destinataire.
• Harcèlement ou abusif – Parole destinée à affecter le bien-être psychologique du destinataire, y compris des termes dénigrants et objectifiants.

Vous pouvez accéder à la détection de toxicité soit via la console Amazon Transcribe, soit en appelant directement les API à l’aide de l’AWS CLI ou des SDK AWS. Sur la console Amazon Transcribe, vous pouvez télécharger les fichiers audio que vous souhaitez tester pour la toxicité et obtenir des résultats en quelques clics seulement. Amazon Transcribe identifiera et catégorisera le contenu toxique, tel que le harcèlement, les discours haineux, le contenu sexuel, la violence, les insultes et la vulgarité. Amazon Transcribe fournit également un score de confiance pour chaque catégorie, offrant ainsi des informations précieuses sur le niveau de toxicité du contenu. La détection de toxicité est actuellement disponible dans l’API standard Amazon Transcribe pour le traitement par lots et prend en charge la langue anglaise américaine.

Guide de la console Amazon Transcribe

Pour commencer, connectez-vous à la console de gestion AWS et accédez à Amazon Transcribe. Pour créer un nouveau travail de transcription, vous devez télécharger vos fichiers enregistrés dans un compartiment Amazon Simple Storage Service (Amazon S3) avant qu’ils puissent être traités. Sur la page des paramètres audio, comme indiqué dans la capture d’écran suivante, activez la détection de toxicité et procédez à la création du nouveau travail. Amazon Transcribe traitera le travail de transcription en arrière-plan. Au fur et à mesure de l’avancement du travail, vous pouvez vous attendre à ce que le statut passe à TERMINÉ lorsque le processus est terminé.

Pour consulter les résultats d’un travail de transcription, sélectionnez le travail dans la liste des travaux pour l’ouvrir. Faites défiler jusqu’à la section Aperçu de la transcription pour vérifier les résultats dans l’onglet Toxicité. L’interface utilisateur affiche des segments de transcription codés par couleur pour indiquer le niveau de toxicité, déterminé par le score de confiance. Pour personnaliser l’affichage, vous pouvez utiliser les barres de bascule dans le volet Filtres. Ces barres vous permettent d’ajuster les seuils et de filtrer les catégories de toxicité en conséquence.

La capture d’écran suivante a masqué des parties du texte de transcription en raison de la présence d’informations sensibles ou toxiques.

API de transcription avec une demande de détection de toxicité

Dans cette section, nous vous guiderons pour créer un travail de transcription avec une détection de toxicité à l’aide des interfaces de programmation. Si le fichier audio n’est pas déjà dans un compartiment S3, téléchargez-le pour garantir l’accès par Amazon Transcribe. Tout comme la création d’un travail de transcription sur la console, lors de l’appel du travail, vous devez fournir les paramètres suivants :

• TranscriptionJobName – Spécifiez un nom de travail unique.
• MediaFileUri – Entrez l’emplacement URI du fichier audio sur Amazon S3. Amazon Transcribe prend en charge les formats audio suivants : MP3, MP4, WAV, FLAC, AMR, OGG ou WebM
• LanguageCode – Définissez-le sur en-US. À la date de rédaction de cet article, la détection de toxicité ne prend en charge que la langue anglaise américaine.
• ToxicityCategories – Passez la valeur ALL pour inclure toutes les catégories prises en charge de détection de toxicité.

Voici des exemples de démarrage d’un travail de transcription avec détection de toxicité activée en utilisant Python3 :

import time
import boto3

transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav"
 
# démarrer un travail de transcription
transcribe.start_transcription_job(
    TranscriptionJobName = job_name,
    Media = { 'MediaFileUri': job_uri },
    OutputBucketName = 'doc-example-bucket', 
    OutputKey = 'my-output-files/',
    LanguageCode = 'en-US',
    ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
)

# attendre que le travail de transcription soit terminé
while True:
    status = transcribe.get_transcription_job(TranscriptionJobName = job_name)
    if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']:
        break
    print("Pas encore prêt...")
    time.sleep(5) 
    print(status)

Vous pouvez invoquer la même tâche de transcription avec la détection de toxicité en utilisant la commande AWS CLI suivante :

aws transcribe start-transcription-job \
--region us-east-1 \
--transcription-job-name toxicity-detection-demo \
--media MediaFileUri=s3://my-bucket/my-folder/my-file.wav \
--output-bucket-name doc-example-bucket \
--output-key my-output-files/ \
--language-code en-US \
--toxicity-detection ToxicityCategories=ALL

Réponse de l’API de transcription avec détection de toxicité

La sortie JSON de détection de toxicité d’Amazon Transcribe inclura les résultats de transcription dans le champ “results”. L’activation de la détection de toxicité ajoute un champ supplémentaire appelé toxicityDetection sous le champ “results”. toxicityDetection inclut une liste d’éléments transcrits avec les paramètres suivants :

• texte – Le texte brut transcrit
• toxicité – Un score de confiance de la détection (une valeur entre 0 et 1)
• catégories – Un score de confiance pour chaque catégorie de discours toxique
• start_time – La position de début de la détection dans le fichier audio (secondes)
• end_time – La position de fin de la détection dans le fichier audio (secondes)

Voici un exemple d’une réponse de détection de toxicité abrégée que vous pouvez télécharger depuis la console :

{
  "results":{
    "transcripts": [...],
    "items":[...],
    "toxicityDetection": [
      {
        "text": "UN SEGMENT DE TRANSCRIPTION TOXIQUE EST ICI.",
        "toxicity": 0.8419,
        "categories": {
          "PROFANITÉ": 0.7041,
          "DISCOURS_HAINEUX": 0.0163,
          "SEXUEL": 0.0097,
          "INSULTE": 0.8532,
          "VIOLENCE_OU_MENACE": 0.0031,
          "GRAPHIQUE": 0.0017,
          "HARCELEMENT_OU_ABUS": 0.0497
        },
        "start_time": 16.298,
        "end_time": 20.35
      },
      ...
    ]
  },
  "status": "COMPLÉTÉ"
}

Résumé

Dans cet article, nous avons fourni un aperçu de la nouvelle fonctionnalité de détection de toxicité d’Amazon Transcribe. Nous avons également décrit comment vous pouvez analyser la sortie JSON de détection de toxicité. Pour plus d’informations, consultez la console Amazon Transcribe et essayez l’API de transcription avec détection de toxicité.

La détection de toxicité d’Amazon Transcribe est maintenant disponible dans les régions AWS suivantes : US East (Ohio), US East (N. Virginia), US West (Oregon), Asia Pacific (Sydney), Europe (Ireland) et Europe (London). Pour en savoir plus, visitez Amazon Transcribe.

En savoir plus sur la modération de contenu sur AWS et nos cas d’utilisation de la modération de contenu avec l’apprentissage automatique. Faites le premier pas vers l’optimisation de vos opérations de modération de contenu avec AWS.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!