L'environnement de test de l'analyse sémantique par prompt IA (bac à sable sémantique)

Optimisez la précision de votre catégorisation de verbatims en testant vos prompts IA avant de les déployer sur l'ensemble de vos données.

Utilisez notre environnement de test sémantique (bac à sable) pour évaluer l'efficacité de vos définitions prompts IA sur un échantillon réel de commentaires. Cet outil vous permet de moduler et d'ajuster votre plan de classement pour qu'il réponde parfaitement à vos exigences d'analyse qualitative tout en saisissant les nuances de votre contexte métier.

Prérequis

• Avoir fait activer l'analyse sémantique interne de SatisFactory sur votre compte
• Avoir configuré un plan de classement sémantique
• Récupérer des verbatims dans au moins un commentaire, issu d'une enquête de satisfaction, d'un réseau social ou d'une plateforme d'avis

Présentation

L'environnement de test (bac à sable) de l'analyse sémantique répond à un enjeu crucial : vous permettre de valider la qualité de vos définitions prompts IA avant de les substituer à votre plan de classement par mots-clés ou à votre paramétrage IA initial.

Toute modification d'un concept sémantique impactant immédiatement les nouveaux commentaires collectés, la fonctionnalité de bac à sable sémantique a été conçue pour sécuriser les optimisations de votre plan de classement. L'outil sert de terrain d'essai pour évaluer la pertinence d'un nouveau concept sémantique ou pour ajuster vos définitions prompt IA sur des données historiques déjà analysées. Cette approche vous permet de mesurer visuellement l'écart avec votre classification actuelle et de valider vos choix sereinement, en minimisant l'impact sur vos données en production.

Les bénéfices de l'environnement de test (bac à sable) de l'analyse sémantique :

• Transition maîtrisée : passez d'un modèle par mots-clés à un modèle par prompt IA en toute sérénité, en testant des concepts sémantiques qui se basent sur votre catégorisation historique ou en explorant des thématiques totalement inédites
• Amélioration continue : réduisez drastiquement le volume de commentaires "non classés" en testant différentes versions de vos définitions prompts IA jusqu'à obtenir la formule la plus pertinente
• Analyse qualitative affinée : gagnez en précision dans votre traitement, croisez plus intelligemment les informations avec votre contexte métier et facilitez l'identification des signaux faibles
• Comparaison immédiate : visualisez en un clin d'œil les écarts de catégorisation entre vos concepts sémantiques initiaux en production et vos tests
• Tests sur mesure : évaluez l'efficacité de vos prompts sur un échantillon ajustable (50, 100 ou 200 commentaires) et sélectionnez précisément les concepts sémantiques que vous souhaitez mettre à l'épreuve

FAQ

• Est-il possible de tester un plan de classement par mots-clés dans ce bac à sable sémantique ?

Non, le bac à sable est conçu uniquement pour la validation des consignes destinées à l'intelligence artificielle. Vous pouvez bien sûr confronter une analyse existante par mots-clés aux résultats générés par l'analyse avec le nouveau moteur par prompt IA afin d'en mesurer l'efficacité, mais le moteur de test ne s'applique pas au classement par mots-clés.

• Est-il possible de réaliser un test sur un échantillon spécifique (exemples : commentaires issus d'une enquête précise ou d'une région spécifique) ?

Oui, c'est tout à fait possible. Bien que le module de test propose par défaut un échantillonnage automatique basé sur une période que vous pouvez personnaliser, vous pouvez également cibler précisément les commentaires à tester. Pour ce faire, il est nécessaire d'isoler les verbatims souhaités dans l'onglet "Commentaires", d'exporter le fichier CSV depuis cet espace, puis d'importer le fichier dans le bac à sable. Vous pourrez ensuite restreindre le nombre de commentaires à tester sur cette cible.

• Je souhaite optimiser mes définitions prompts IA, comment passer mes concepts de test en production ?

La meilleure approche consiste à isoler vos expérimentations. Plutôt que de modifier un concept sémantique déjà en production, créez vos nouvelles définitions dans un concept entièrement dédié aux tests. Ainsi, vous pourrez ajuster vos prompts IA sereinement et comparer leurs résultats avec les performances de votre catégorisation actuelle.

Lorsque votre concept de test vous donne entière satisfaction, vous pouvez le substituer au concept initial de deux manières :

1. Soit en remplaçant le texte du prompt de votre concept initial par les nouvelles instructions IA validées (copier-coller)
2. Soit en renommant votre concept de test avec son appellation définitive, avant de supprimer tout simplement l'ancien concept

• Que se passe-t-il si j'atteins la limite des 10 tests journaliers ?

Le module de test (bac à sable) est soumis à un quota pour maîtriser l'utilisation de l'intelligence artificielle. Si vous atteignez la limite de 10 tests sur une même journée, le bouton de simulation sera temporairement désactivé. Votre quota sera automatiquement réinitialisé le lendemain, vous permettant de reprendre vos itérations.

• Dois-je toujours inclure mon document de référence à mon plan de classement sémantique lors d'un test ?

Pas obligatoirement, et c'est tout l'intérêt du bac à sable ! Tester un même prompt avec et sans le document de référence vous permet de vérifier si ce dernier aide réellement l'IA à mieux comprendre votre contexte métier, ou s'il contient des informations superflues qui faussent sa catégorisation.

• Comment sont choisis les commentaires de l'échantillon (50, 100 ou 200) ?

Si le volume total de commentaires sur la période que vous avez définie dépasse la taille de l'échantillon choisi, le système sélectionne par défaut les verbatims les plus récents. Vous pouvez néanmoins choisir l'option de sélection aléatoire pour obtenir un panel plus diversifié.

Si vous avez des questions ou rencontrez un problème, n'hésitez pas à contacter notre équipe Support.