Le même protocole que PII-INDEXBENCH, appliqué au corpus PII public le plus cité et noté par langue et par type de donnée personnelle. Il s'accompagne aussi des réserves qu'impose un corpus aussi largement distribué.
Réalisée par Hexagone AI, septembre 2026. Jeu de données public, reproductible.
47 566 e-mails, formulaires, conversations et charges JSON synthétiques en six langues : anglais, français, allemand, espagnol, italien et néerlandais. C'est le corpus PII public le plus cité, et cette notoriété joue dans les deux sens, puisqu'il est public depuis assez longtemps pour qu'un grand modèle l'ait probablement lu pendant son entraînement.
Même protocole que l'exécution PII-INDEXBENCH, mêmes cinq systèmes, même scoreur, sur l'intégralité du split de validation : 47 566 documents et 293 712 valeurs annotées.
| Système | Rappelpart des données personnelles trouvées | Précision | F1 | F1 · bornes exactes |
|---|---|---|---|---|
| Hexagone AIapi.hexagone.ai, masking mode | 95,3 % | 80,2 % | 87,1 % | 67,7 % |
| OpenMed PIIOpenMed/OpenMed-PII-SuperClinical-Large-434M-v1 | 86,8 % | 86,8 % | 86,8 % | 65,4 % |
| OpenAI Privacy Filteropenai/privacy-filter, 1.5B, run locally | 82,9 % | 89,5 % | 86,1 % | 54,0 % |
| GLiNERurchade/gliner_multi-v2.1 | 50,8 % | 60,1 % | 55,1 % | 47,9 % |
| Microsoft Presidiopresidio-analyzer + spaCy en_core_web_lg | 49,0 % | 65,5 % | 56,1 % | 31,8 % |
| Langue | Documents | Rappelpart des données personnelles trouvées | Précision |
|---|---|---|---|
| Anglais | 7 942 | 95,9 % | 79,9 % |
| Français | 8 390 | 95,9 % | 81,9 % |
| Allemand | 8 100 | 95,2 % | 78,9 % |
| Espagnol | 7 803 | 95,6 % | 81,1 % |
| Italien | 7 878 | 94,6 % | 80,1 % |
| Néerlandais | 7 453 | 94,7 % | 79,4 % |
Le français passe devant l'anglais ici, ce à quoi on peut s'attendre d'un système construit en France, et c'est l'inverse du schéma habituel pour les outils de cette catégorie.
| Type de donnée personnelle | Segments | Hexagone AI | OpenMed | OPF | Presidio | GLiNER |
|---|---|---|---|---|---|---|
| NomsPERSON | 52 298 | 97,8 % | 93,7 % | 95,2 % | 36,3 % | 83,4 % |
| Adresses postalesADDRESS | 41 024 | 95,4 % | 70,8 % | 97,4 % | pas d'étiquette | 56,9 % |
| LieuxLOCATION | 36 318 | 91,9 % | 94,0 % | 40,2 % | 37,3 % | 41,5 % |
| Numéros de téléphonePHONE_NUMBER | 12 601 | 97,0 % | 85,2 % | 99,4 % | 64,1 % | 60,5 % |
| Adresses e-mailEMAIL_ADDRESS | 15 883 | 99,8 % | 99,5 % | 99,6 % | 99,7 % | 58,3 % |
| Numéros de sécurité socialeSSN | 15 791 | 98,0 % | 86,8 % | 99,7 % | 71,2 % | 23,6 % |
| Dates et heuresDATE_TIME | 49 285 | 91,2 % | 92,8 % | 53,1 % | 50,1 % | 62,5 % |
| Numéros d'identité nationaleNATIONAL_ID | 16 693 | 96,4 % | pas d'étiquette | 95,5 % | pas d'étiquette | pas d'étiquette |
| Numéros de passeportPASSPORT_NUMBER | 15 570 | 96,0 % | pas d'étiquette | 95,9 % | 46,6 % | 29,7 % |
| Permis de conduireDRIVER_LICENSE | 15 207 | 97,4 % | pas d'étiquette | 99,0 % | 74,7 % | 18,9 % |
| Adresses IPIP_ADDRESS | 14 110 | 99,0 % | 99,4 % | 99,1 % | 99,6 % | pas d'étiquette |
| Mots de passe, clés et jetonsPASSWORD | 10 303 | 90,3 % | 74,6 % | 97,7 % | pas d'étiquette | pas d'étiquette |
Le meilleur de chaque ligne est en gras. « Pas d'étiquette » signifie que le système n'a aucune catégorie pour ce type de donnée : il n'est donc ni noté ni pénalisé sur cette ligne, ce qui est la lecture la plus généreuse d'un vocabulaire incomplet. La teinte de chaque cellule suit la valeur qu'elle contient.
AI4Privacy est sur HuggingFace depuis des années, si bien que n'importe quel grand modèle l'a plausiblement vu pendant son entraînement, ce qui avantage tout système contenant un modèle de langue, le nôtre compris. PII-INDEXBENCH n'y est pas distribué, et en cas de désaccord entre les deux séries de chiffres, nous ferions davantage confiance à celle de PII-INDEXBENCH.
La précision est de 80,2 % ici contre 93,5 % sur PII-INDEXBENCH, et l'écart tient au périmètre d'annotation plutôt qu'à une différence de pipeline. Ce benchmark étiquette les valeurs elles-mêmes sans étiqueter les champs qui les entourent, et il n'étiquette aucune organisation.
Le corpus est multilingue, et une liste manuelle d'intitulés de champs et de formules d'appel en six langues reviendrait à un classifieur ajusté jusqu'à ce que le résultat nous arrange. Chaque segment signalé est donc confronté aux 210 529 chaînes distinctes que ce benchmark annote comme données personnelles quelque part dans ses 47 566 documents, une vérification que n'importe qui peut refaire à partir des enregistrements publiés.
Les 94 924 segments qui nous coûtent de la précision
Chaque prédiction sur AI4Privacy qui ne touche aucun segment annoté, classée face aux annotations du benchmark.
Règle. La chaîne exacte n'apparaît comme valeur annotée dans aucun des 47 566 documents.
State, Country, Street, Stadt, Straße, Rue, Calle, Postleitzahl, IP-Adresse. Nous masquons l'intitulé en plus de la valeur qu'il introduit, ce qui reste du sur-masquage quelle que soit la lecture, même si le coût porte sur la lisibilité plutôt que sur la confidentialité. C'est aussi la première raison pour laquelle ce chiffre reste sous les 93,5 % atteints sur PII-INDEXBENCH.
- Land: Deutschland - Gebäude: 543 - Straße: Amselreutehof - Stadt: Rosenfeld - Bundesland: BW
- Land: Deutschland - Gebäude: 543 - Straße: Amselreutehof - Stadt: Rosenfeld - Bundesland: BW
Le même extrait des deux côtés, tiré de l'enregistrement doc-27758 d'AI4Privacy, à l'identique.
Règle. Notre prédiction est typée COMPANY. AI4Privacy annote douze types de données personnelles, et les organisations n'en font pas partie.
Chaque employeur, hôpital, université ou plateforme que nous retirons joue contre nous ici, faute d'une catégorie dans laquelle il aurait pu être compté juste : Universidad de Madrid, Université de Genève, Università di Zurigo. En écartant ces prédictions, la précision passe de 80,2 % à 81,7 %, et c'est le chiffre non corrigé que nous affichons en tête.
password reset has been requested for your EduPortal account
password reset has been requested for your EduPortal account
Le même extrait des deux côtés, tiré de l'enregistrement doc-11 d'AI4Privacy, à l'identique.
Règle. La chaîne exacte est une valeur annotée quelque part dans le corpus, mais pas à cette occurrence.
Noms de pays (Deutschland, Suisse, España, Nederland), formules d'appel (Cher, Gentile, Herr), initiales et nombres isolés. Le benchmark traite un pays comme une donnée personnelle dans un document et comme de la prose ordinaire dans le suivant, et rien dans le texte ne permet de distinguer les deux cas. Un pays accompagné d'une profession et d'une date se trouve aussi être la combinaison qui réduit le champ des personnes possibles : nous préférons donc le retirer plutôt que de parier.
die Gesundheitsversorgung in Deutschland zu optimieren und die Gesundheit der Bevölkerung nachhaltig zu fördern
die Gesundheitsversorgung in Deutschland zu optimieren und die Gesundheit der Bevölkerung nachhaltig zu fördern
Le même extrait des deux côtés, tiré de l'enregistrement doc-25142 d'AI4Privacy, à l'identique.
Un benchmark, ce sont les données de quelqu'un d'autre. Une semaine gratuite, sans carte bancaire, et les fichiers ne quittent jamais votre machine : vous ne risquez rien à vérifier vous-même.