Raisonnement professionnel bilingue

Ce que nous évaluons

Nous évaluons si l’IA préserve le sens professionnel entre l’anglais et le français canadiens, y compris les preuves, les réserves et l’incertitude présentes dans le document source.

Portée des tâches

Tâches appariées en anglais et en français canadien dans la communication professionnelle, avec contexte explicite et documents sources. Les tâches utilisent du contenu public, sous licence ou créé pour l’occasion.

Méthodes d’évaluation

Ce que nous mesurons

• Préservation du sens
• Terminologie et registre
• Cohérence des preuves
• Incertitude appropriée

Révision par des spécialistes

Réviseurs, traducteurs et professionnels bilingues possédant l’expertise du domaine concerné. Les réviseurs conçoivent les tâches, affinent les critères de notation, évaluent les réponses et tranchent les désaccords.

Conception de l’évaluation

Nous documentons la sélection des tâches, les autorisations sur les données, les règles de notation et les paramètres des modèles avant l’évaluation. Une annotation pilote vérifie que les réviseurs appliquent les critères de façon cohérente. Les désaccords importants font l’objet d’une révision d’expert supplémentaire.

Rapports d’évaluation

Les rapports documentent les versions de modèles, les dates d’évaluation, les tailles d’échantillon, la performance et les limites. Nous fournissons les critères de notation et les documents à l’appui dans le respect des autorisations sur les données du projet.

Portée du référentiel

Les constats s’appliquent aux tâches professionnelles et aux variétés de langue incluses dans l’évaluation. La couverture est documentée afin que les équipes puissent repérer où des essais linguistiques supplémentaires sont nécessaires.