Trois angles d'analyse. Une seule logique de conformité.
Chaque module d'AuditIQ correspond à une famille d'IA réellement déployée en PME. Voici les méthodes, les métriques, les livrables — détail technique pour vos data analysts, traduction pédagogique pour vos décideurs.
Caractéristique connue.
Pour les modèles de classification binaire ou multi-classes, et de scoring. Compatible avec vos modèles internes via un export CSV de leurs décisions.
Données acceptées
- Fichier CSV (UTF-8) — seul format aujourd’hui
- Jusqu'à 1 million de lignes selon le palier
- Colonne de décision (cible) requise
- Une ou plusieurs colonnes sensibles
Métriques calculées
- Disparate Impact et règle des 4/5
- Égalité de traitement (Demographic Parity)
- Égalité des chances (Equal Opportunity)
- Égalité des taux d'erreur (Equalized Odds)
- Analyse intersectionnelle (croisement de deux attributs)
Sorties produites
- Feu tricolore par métrique + global
- Visualisation des écarts par groupe
- Explication en langage naturel
- Rapport PDF (synthèse dirigeants) + Excel annexe IV
- Recommandations d’actions
Égalité de traitement (Demographic Parity)
En français simple : chaque groupe doit obtenir une décision favorable à peu près aussi souvent que les autres.
Mesure si la probabilité d'obtenir une décision favorable est équivalente entre groupes. Un ratio < 0.80 enfreint la règle des 4/5.
Égalité des chances (Equal Opportunity)
En français simple : à profil également qualifié, chaque groupe doit avoir la même chance d'être retenu.
Vérifie si, parmi les profils qualifiés, la probabilité d'être correctement sélectionné est équivalente entre groupes.
Égalité des taux d'erreur (Equalized Odds)
En français simple : le modèle doit se tromper aussi rarement — dans les deux sens — pour chaque groupe. TPR = taux de vrais positifs, FPR = taux de faux positifs.
Conjugue l'égalité des chances et l'égalité des taux de faux positifs. Métrique la plus stricte parmi les quatre.
Règle des quatre cinquièmes (4/5)
En français simple : le taux de sélection du groupe le moins favorisé doit atteindre au moins 80 % de celui du groupe le plus favorisé.
Convention issue de l'EEOC américaine (1978), utilisée comme repère pratique — ce n'est pas un seuil légal européen. Seuil par défaut 0.80, ajustable.
Biais cachés.
Pour les jeux de données sans modèle entraîné. Utile en amont de l'entraînement, sur des datasets d'entraînement bruts, ou pour analyser des bases clients avant déploiement d'une IA.
Données acceptées
- Fichier CSV (UTF-8) — seul format aujourd’hui
- Pas de variable cible requise
- Variables numériques et catégorielles
- Indication optionnelle des colonnes sensibles
Algorithmes utilisés
- Clustering k-means (nombre de clusters paramétrable)
- Test du χ² d'indépendance sur la composition des clusters
- Identification des variables dominantes par cluster
- Pré-vérifications de qualité des données
Sorties produites
- Signalement de clusters déviants
- Liste des variables dominantes par cluster
- Signal de proxy possible quand un groupe protégé est sur-représenté
- Rapport pédagogique avec niveau de risque
Pourquoi c'est important ?
Un modèle peut discriminer sans utiliser directement l'attribut sensible — en s'appuyant sur des variables fortement corrélées (proxies). Exemple typique : un code postal qui reflète l'origine présumée. AuditIQ teste, via le test du χ², si la composition des clusters s'écarte significativement de celle de l'ensemble du jeu de données : un cluster où un groupe protégé est sur-représenté est un signal de proxy possible, à investiguer par vos équipes.
Assistant conversationnel.
Pour les assistants conversationnels intégrés à votre service client, vos RH ou vos outils internes. L'audit compare les réponses de votre assistant à des paires de prompts ne variant que sur un attribut protégé.
Configuration nécessaire
- Banque de paires de prompts versionnée (français et anglais)
- Définition des axes à auditer (1 à 6)
- Réponses du chatbot à analyser
Tests appliqués
- Paires de prompts contrefactuels — deux requêtes identiques, un seul attribut varie
- Mesure d'écart de longueur des réponses
- Analyse de polarité par lexique bilingue — méthode déterministe et documentée
- Taux de refus / redirection par axe
Sorties produites
- Score global + score par axe
- Tableau de comparaison des réponses
- Extraits significatifs annotés
- Rapport audit LLM PDF + Excel
Une banque versionnée de paires de prompts
AuditIQ maintient une banque versionnée de paires de prompts contrefactuels, en français et en anglais, couvrant six axes de discrimination : genre, origine, âge, religion, handicap, orientation. Chaque paire teste une situation concrète (demande de remboursement, demande de prêt, sollicitation de support) en ne faisant varier qu'un seul attribut. La personnalisation de la banque avec vos prompts métiers est en feuille de route.
Voyez les modules tourner sur vos données.
Une démo guidée de 30 minutes, sur vos cas concrets, par un de nos consultants.