Améliorer le plan de classement sémantique avec l'environnement de test

Optimisez la précision de votre plan de classement sémantique en expérimentant librement de nouveaux prompts IA sur des données réelles.

La fonctionnalité de test de l'analyse sémantique (environnement bac à sable) vous permet de valider la qualité de vos définitions prompts IA avant de les substituer à votre plan de classement par mots-clés ou à votre paramétrage IA initial (en savoir plus).

Prérequis

• Avoir fait activer l'analyse sémantique interne de SatisFactory sur votre compte
• Avoir configuré un plan de classement sémantique
• Récupérer des verbatims dans au moins un commentaire, issu d'une enquête de satisfaction, d'un réseau social ou d'une plateforme d'avis

Accéder à la fonctionnalité de test de l'analyse sémantique (bac à sable)

Depuis le centre d'administration de la plateforme, vous pouvez accéder à la fonctionnalité de simulation pour tester vos prompts IA sémantiques et valider la qualité de vos définitions avant leur mise en production.

⚠️ L'espace d'administration est uniquement accessible aux utilisateurs dont le profil détient des privilèges d'administrateur ("Gérer").

Pour ce faire, depuis le menu latéral gauche de la plateforme, accédez au centre d'administration en cliquant sur l'onglet "Administration".

Ensuite, dans le menu latéral gauche du centre d'administration, déroulez la rubrique "Sémantique", puis cliquez sur la section "Analyse sémantique".

Enfin, cliquez sur le bouton "Tester mes prompts" pour ouvrir l'environnement de test sémantique.

[IMAGE]

Configurer les concepts sémantiques à tester

Puisque toute modification d'un concept sémantique s'applique immédiatement en production sur les nouveaux commentaires collectés, la bonne pratique, lorsque vous souhaitez optimiser votre plan de classement, est de ne pas altérer vos concepts existants.

Pour cela, dans la section "Analyse sémantique" du centre d'administration, ajoutez de nouveaux concepts dans votre plan de classement en reprenant les noms des concepts sémantiques existants que vous souhaitez améliorer (exemple : "Qualité du packaging TEST").

Au sein de ces nouveaux concepts de test, affinez vos définitions prompts IA en vous appuyant sur nos recommandations ou sur d'autres outils dédiés (ChatGPT, Gemini, Mistral, Claude, etc.). Vous pouvez choisir d'y lier un document de référence, donnant plus de contexte au moteur IA pour catégoriser les commentaires.

Cliquez ensuite sur le bouton "Enregistrer" pour valider vos modifications.

Lancer le test de l'analyse sémantique

Une fois vos concepts de test paramétrés, ouvrez le module de simulation en cliquant sur le bouton "Tester mes prompts" situé dans le coin supérieur droit de la page.

Configurez ensuite votre test de prompts selon vos besoins :

• Le nombre d'interactions (l'échantillon) : Choisissez le volume de commentaires (50, 100 ou 200) tiré des verbatims existants, déjà analysés par la plateforme SatisFactory.
• La source de l'échantillon : Définissez la période dans laquelle les commentaires seront piochés pour le test.
• Les concepts : Sélectionnez précisément le ou les concepts sémantiques à mettre à l'épreuve.

Dans le cas où vous souhaitez tester vos prompts IA sur des cibles très précises (exemples : commentaires d'une enquête spécifique, verbatims issus de Google, commentaires d'un magasin en particulier), il est nécessaire d'utiliser le module d'import de fichier.

Au préalable, il faut donc cibler les verbatims dans l'onglet "Commentaires" de la plateforme, de cliquer sur "Options de page" puis "Télécharger".

Revenez sur la page de la fonctionnalité de test de prompt, appuyez sur le bouton "Importer un fichier" et sélectionnez le fichier que vous venez de télécharger.

💭 Si le volume de commentaires sur votre période personnalisée est supérieur à l'échantillon demandé, ce sont les commentaires les plus récents qui seront retenus pour le test.

Une fois vos configurations terminées, rendez-vous en bas de la page et démarrez le traitement en cliquant sur le bouton "Lancer le test".

En fonction du volume de commentaires analysés, le traitement peut prendre une à plusieurs minutes. Une barre de chargement vous indique la progression du test.

⚠️ Afin de maîtriser l'utilisation de l'intelligence artificielle, un système de crédits est en place. Vous pouvez réaliser jusqu'à 10 tests maximum par jour.

Analyser les données du test

Une fois le test lancé, l'interface vous présente les résultats comparatifs issus de l'analyse de l'échantillon de commentaires.

Dans les résultats du test, vous pouvez visualiser les informations clés :

• La concordance globale entre l'échantillon de commentaires déjà analysés et la nouvelle analyse test sur ces mêmes commentaires
• Les nouveaux concepts sémantiques détectés par l'IA dans l'échantillon de commentaires
• Les concepts sémantiques non détectés par l'IA dans l'échantillon de commentaires
• L'échantillon de commentaires analysés
• Le temps de traitement du test

Vous pouvez ensuite faire défiler la liste des comparaisons par concept pour analyser de manière détaillée l'impact de la performance IA sur chaque concept sémantique.

En cliquant sur un concept spécifique, vous accédez au détail de l'analyse : l'outil vous explique précisément pourquoi ce concept a été détecté ou, à l'inverse, pourquoi il a été rejeté. Ces précieuses indications vous permettront d'affiner vos instructions dans une véritable démarche d'amélioration continue.

Si l'analyse ne correspond pas tout à fait à vos attentes, itérez : modifiez les définitions de vos prompts IA dans vos concepts de test, et relancez une simulation jusqu'à entière satisfaction.

⚠️ Le rapport d'un test sémantique n'est pas sauvegardé. Si vous quittez la page, les informations seront perdues et il faudra relancer le test avec les mêmes réglages.

Valider les modifications du plan de classement sémantique

Une fois vos tests concluants et vos définitions prompts IA parfaitement ajustées, il est temps de valider ce paramétrage en production.

Deux options s'offrent à vous :

1. La mise à jour (Copier-coller) : Copiez simplement la définition IA que vous venez de valider et collez-la dans votre concept sémantique initial pour le mettre à jour instantanément
2. Le remplacement (Substitution) : Renommez votre concept de test avec son appellation définitive pour l'entériner dans votre plan de classement sémantique, puis supprimez, si cela est nécessaire l'ancien concept initial devenu obsolète

Si vous avez des questions ou rencontrez un problème, n'hésitez pas à contacter notre équipe Support.