PrivacyBench v2 : anonymiser des espaces de travail entiers, de façon cohérente

PrivacyBench v2, publié par Tonic AI, réunit 21 exports d'espaces de travail synthétiques : un mois d'e-mails, de messages Slack et de documents partagés (PDF, Word, Excel, CSV) pour un employé fictif chacun, environ 200 fichiers par export. Un système reçoit l'export brut et doit remplacer sur place chaque valeur personnelle ou organisationnelle.

La détection ne compte que pour moitié. L'autre moitié est la cohérence : chaque façon d'écrire une personne ou une entreprise (nom complet, surnom sur Slack, adresse e-mail, identifiant, sigle) doit être remplacée par une seule identité inventée, cohérente d'un fichier à l'autre. Un juge LLM le vérifie, personnage par personnage et organisation par organisation.

Le chiffre de référence est le score combiné : la part de toutes les valeurs annotées qui ont été à la fois trouvées et remplacées de façon cohérente, en moyenne sur les 21 exports.

Moyenne sur les 21 jeux de données, chacun pesant autant, comme sur la fiche du jeu de données. Les autres lignes sont les chiffres publiés sur cette fiche ; les nôtres ont été produits avec le code d'évaluation du benchmark, non modifié, et son modèle juge par défaut. Hexagone AI Local repose sur des modèles de petite taille, que vous pouvez héberger sur votre propre infrastructure.

En clair : 1,9 points devant Tonic Textual (Graph Synthesis), le produit de Tonic AI, et 8,0 points devant le meilleur agent fondé sur un modèle de pointe (GPT-6 Astra). L'avance vient de la cohérence (2,2 points devant) ; sur la seule détection, nous sommes 0,2 point de rappel derrière. Notre type de fichier le plus faible est Slack, où les formes courtes des noms et des entreprises sont les plus difficiles à rattacher à une seule identité.

Les nombres sont cumulés sur les 21 exports, si bien que les valeurs fréquentes pèsent davantage ici que dans la moyenne de référence.

• Une tâche par export, comme un client la soumettrait : tous les fichiers de l'export dans une seule tâche d'anonymisation, si bien que la cohérence est celle du produit, entre e-mails, messages et documents.
• Le code d'évaluation du benchmark, non modifié, avec son modèle juge par défaut (claude-opus-4-7). Nous avons vérifié la chaîne de notation sur l'exemple publié avec le jeu de données et retrouvé ses scores documentés, aux variations du juge près.

• La vérité terrain est générée, non annotée à la main ; la fiche du jeu de données la compare aux annotations humaines et la trouve légèrement incomplète. Un juge est un modèle : sur une sortie identique, ses verdicts varient d'environ un point.
• Un prénom porté par deux personnes différentes (deux collègues prénommées Sarah) reçoit le même remplacement pour les deux. C'est le réglage par défaut de notre produit, choisi parce qu'un « Sarah » seul dans une conversation ne peut pas toujours être attribué à l'une d'elles ; le juge vérifie la cohérence personnage par personnage, et ce choix garde cohérente chaque mention de chaque personnage.