Assurance
Des professionnels canadiens de l’assurance étiquettent les documents, les vidéos et les décisions, et testent les modèles qui agissent à partir de ceux-ci, en anglais et en français.
Vidéo sous licence avec les suivis d’objets de Human Data tracés dans le navigateur. Les suivis sont des résultats d’annotation, pas de l’inférence en direct.
Quatre axes de travail en assurance, chacun avec un référentiel ou un jeu de données public comme point de départ et une couche canadienne ajoutée par nos spécialistes.
Libellés de polices, formulaires de réclamation, estimations et correspondance étiquetés par champ et liés aux passages sources, dans les deux langues. Les évaluations vérifient l’extraction, l’interprétation des garanties et l’escalade lorsque l’information manque.
Vidéos routières et images de l’habitacle étiquetées pour les objets, les événements et le comportement du conducteur, de l’arrêt sécuritaire à la distraction. Utilisées pour les programmes de récompenses, les preuves de réclamation et les modèles de comportement.
Tâches d’appétit, d’admissibilité, de limites et de recommandation de produits sur des lignes directrices et des données de demande. Les spécialistes notent la décision et le raisonnement.
Questions et scénarios en droit civil québécois et selon le matériel de certification des représentants en assurance, en français. L’écart entre la performance en anglais et en français est mesuré, pas présumé.
Documents de réclamation
Les champs de documents d’assurance en anglais et en français sont repérés, extraits et alignés en un seul dossier structuré. Les spécialistes lient chaque valeur extraite à son passage source et signalent ce que le document n’appuie pas.
Traitement de documents d’assuranceVidéos de conduite
Les programmes de récompenses et les preuves de réclamation dépendent de ce qu’un conducteur a fait, et non seulement de ce que la caméra a vu. Les annotateurs étiquettent les événements, les interactions et les résultats avec horodatage, et évaluent les descriptions des modèles par rapport aux vidéos.
Annotation vidéoRésultats publiés pour des modèles à poids ouverts que vous pouvez exécuter vous-même. Notre travail canadien ajoute le droit civil québécois, les documents bilingues et les produits que les assureurs canadiens vendent réellement.
807 questions à choix multiples en français, numérisées à partir des manuels de certification des représentants en assurance du Québec, en droit civil québécois.
| Modèle | Livre fermé | Livre fermé | Avec recherche |
|---|---|---|---|
| DeepSeek-R1 (deepseek-reasoner)Poids ouvertsDeepSeek · licence MIT | 36,3 % | 71,77 % | |
| R1-1776Poids ouvertsPerplexity · licence MIT | 49,38 % | 69,09 % | |
| DeepSeek-V3 (deepseek-chat)Poids ouvertsDeepSeek · licence MIT | 58,23 % | 67,78 % | |
| Qwen3-30B-A3BPoids ouvertsAlibaba · Apache 2.0 | 54,77 % | 37,78 % | |
| QwQ-32BPoids ouvertsAlibaba · Apache 2.0 | 51,36 % | 27,49 % | |
| Llama-3.3-70B-InstructPoids ouvertsMeta · licence Llama | 61,48 % | 0,99 % | |
| Llama-3.3-Nemotron-Super-49BPoids ouvertsNVIDIA · poids ouverts | 47,2 % | 3,09 % | |
| Granite-3.2-8B-InstructPoids ouvertsIBM · Apache 2.0 | 30 % | 30,86 % |
Souscription en assurance commerciale de dommages : appétit, admissibilité, limites et franchises, recommandation de produits, classification d’entreprises et admissibilité des petites entreprises, avec outils SQL et consultation de lignes directrices sur une base de données et des règles d’affaires propriétaires.
| Modèle | Exactitude | Exactitude |
|---|---|---|
| DeepSeek V3.1Poids ouvertsDeepSeek · licence MIT | 73,7 % | |
| Qwen3 Coder 480BPoids ouvertsAlibaba · Apache 2.0 | 73,3 % | |
| Kimi K2 InstructPoids ouvertsMoonshot AI · MIT modifiée | 56,7 % | |
| Qwen3 235BPoids ouvertsAlibaba · Apache 2.0 | 30 % | |
| gpt-oss-120bPoids ouvertsOpenAI · Apache 2.0 | 30 % |
Les jeux de données publics de conduite et de vision en assurance établissent la base pour les étiquettes d’objets et de comportements. Notre travail sur les vidéos ajoute les routes, les saisons et la signalisation du Canada, ainsi que les étiquettes de comportement dont un expert en sinistres a besoin.
10 classes, de la conduite sécuritaire aux textos, à l’usage du téléphone, au geste vers l’arrière, à la boisson et à la conversation avec un passager.
State Farm · Kaggle, 201610 tâches de perception : boîtes d’objets, zone carrossable, marquage des voies, segmentation et plus; recueillis auprès de plus de 50 000 trajets.
UC Berkeley22 tâches fondamentales, 12 méta-tâches et 5 tâches de scénario pour les modèles vision-langage; 11 modèles évalués.
ICCV 2025Cas fondés sur des documents rédigés avec des souscripteurs et des experts en sinistres en exercice, notés pass@1. Classement attendu en 2026.
Huzzle LabsQuatre suites dont une bancaire. Résultat publié à poids ouverts : Llama 3 70B accomplit 34,02 % des tâches, 18,28 % sous attaque; 25,60 % des injections réussissent.
ETH Zurich · NeurIPS 2024Environnements RL au Canada
Des tâches simulées de réclamation, de renouvellement et de souscription où un modèle agit au nom d’un assuré et où une récompense rédigée par des spécialistes note ce qu’il a fait. Construits sur les libellés de polices du Québec et de common law, en anglais et en français.
Ouvrez une réclamation pour les dommages causés par la grêle jeudi dernier.
Votre réclamation est ouverte.
Dites-nous quelle branche d’assurance et quels modèles vous évaluez.