MIARA dossier thématique

Au-delà de la performance prédictive : vers une évaluation écologique des modèles de Deep Knowledge Tracing

Item

Titre de la conférence

Au-delà de la performance prédictive : vers une évaluation écologique des modèles de Deep Knowledge Tracing

Conférencier

Anass El Ayady

Date de la conférence

2026-09-24

Résumé

Le Knowledge Tracing prédit les performances futures d'apprenants à partir de leurs traces d'interaction. Tandis que les modèles classiques comme le BKT offrent une interprétabilité limitée, le Deep Knowledge Tracing accroît la capacité de modélisation au prix de coûts computationnels élevés. Cette présentation du projet COPCO introduit KT-Bench, un framework d'évaluation unifié comparant sept modèles sur onze jeux de données variés selon une chaîne expérimentale commune. Au-delà des métriques prédictives classiques (AUC, F1, exactitude), l'étude étend l'évaluation aux émissions de CO2 équivalent estimées par CodeCarbon. Les résultats révèlent des écarts d'AUC réduits entre modèles (0,75-0,79), mais des variations importantes d'émissions, jusqu'à quatorze fois entre https://tests.arcanes.ca/omk/admin/item/26769/edit#KQN et DKVMN. Une relation linéaire apparaît entre temps d'entraînement et CO2 estimé. Plutôt qu'un classement universel, l'étude illustre un compromis entre performance prédictive et impact énergétique, dont la résolution dépend du contexte d'application.

résumé thématique généré par IA

Le Knowledge Tracing prédit les performances futures d'apprenants à partir de leurs traces d'interaction. Tandis que les modèles classiques comme le BKT offrent une interprétabilité limitée, le Deep Knowledge Tracing accroît la capacité de modélisation au prix de coûts computationnels élevés. Cette présentation du projet COPCO introduit KT-Bench, un framework d'évaluation unifié comparant sept modèles sur onze jeux de données variés selon une chaîne expérimentale commune. Au-delà des métriques prédictives classiques (AUC, F1, exactitude), l'étude étend l'évaluation aux émissions de CO2 équivalent estimées par CodeCarbon. Les résultats révèlent des écarts d'AUC réduits entre modèles (0,75-0,79), mais des variations importantes d'émissions, jusqu'à quatorze fois entre https://tests.arcanes.ca/omk/admin/item/26769/edit#KQN et DKVMN. Une relation linéaire apparaît entre temps d'entraînement et CO2 estimé. Plutôt qu'un classement universel, l'étude illustre un compromis entre performance prédictive et impact énergétique, dont la résolution dépend du contexte d'application.

Micro résumé chronologique généré par IA

Du traçage classique au profond

Comparer équitablement les modèles

Architecture du framework KT-Bench

Extension aux métriques énergétiques

Estimation carbone et premiers résultats

Émissions estimées et compromis

Bilan, limites et perspectives

concepts et mots-clés reliés

Apprentissage profond

Approche scientifique

Environnement

Est relié à une autre conférence du séminaire

Penser la carte et le territoire : l'espace latent de l'IA générative à l'épreuve de la sobriété

Pour des environnements numériques contre-intuitifs, complexes et hétérogènes. La littératie numérique à l’épreuve des GAFAM

Anatomy of an AI System

« Il y a un problème de transparence » : que sait-on de la consommation en eau des data centers ?

Citation tirée de la conférence

C'est un cadre unifié, un framework pour l'évaluation des modèles de Knowledge Tracing. On fait la comparaison de 7 modèles de Deep Knowledge Tracing de différentes familles, et on évalue sur 11 jeux de données synthétiques et réels, avec les mêmes conditions expérimentales. Et on calcule, on évalue à la fois la performance prédictive et les métriques d'efficacité, comme le temps d'entraînement, le temps d'inférence et la taille du modèle, etc. Et l'objectif, c'est une évaluation comparable, reproductible et extensible.

l'entraînement. Donc est-ce qu'on peut regarder ici qu'il y a une relation nette, une relation linéaire entre le temps d'entraînement et les émissions de CO2 durant l'entraînement. Donc on peut dire que les entraînements les plus longs sont généralement associés à des émissions estimées beaucoup plus élevées.

Donc le coût d'une inférence est faible à l'unité, mais ce qui est important ici, c'est que quand l'application par exemple est déployée dans une grande échelle, donc ce coût aussi devient important.

Bibliographie de la conférence

KTBench: A Unified Evaluation Framework for Deep Knowledge Tracing

Revue de littérature et évaluation des modèles de Deep Knowledge Tracing

Deep Knowledge Tracing

URL de la capsule de la conférence

https://www.youtube.com/watch?v=vmT8yX6cJBs

Type de la conférence

colloque

Media

https://youtu.be/vmT8yX6cJBs