Présentation de l’atelier

Cet atelier a pour objectif de réunir les chercheurs intéressés par les mécanismes d’attentions et leur apport dans le domaine de l’apprentissage automatique. Notre ambition est de permettre aux participants d’aborder tous les thèmes allant de la modélisation de l’attention aux applications en passant par les architectures basées sur de tels mécanismes. Les problématiques abordées lors de cet atelier peuvent concerner les processus de modélisation, extraction d’information, etc., ou les applications associées. L’atelier concerne aussi bien les chercheurs du monde académique que ceux du secteur industriel, et autant les notions conceptuelles que les applications. L’atelier est ouvert en termes de propositions. Nous souhaitons stimuler un échange et des discussions aussi bien du point de vue théorique qu’expérimental :

  • Quels succès ont été récemment rencontrés, et quels échecs ?
  • Quel est l’apport ?
  • Comment l’évaluer ?
  • Quid de l’explicabilité ?

Les présentations pourront concerner un travail abouti, des réflexions sur la modélisation ou un travail préliminaire, ainsi que la réalisation de démonstrations.

Format des soumissions

Détails dans la page Soumission.

Objectifs de l’atelier

Réunir les chercheurs et industriels intéressés par les mécanismes d’attentions et leur apport dans le domaine de l’apprentissage automatique.

Thèmes de l’atelier (liste non exhaustive) :

Une liste de thèmes est donnée ci-dessous, reste ouverte et est non limitative :

  • Réseaux de neurones et mécanismes d’attention (ex. transformers,…)
  • Capacité des architectures basées sur l’attention à encoder et extraire l’information pertinente
  • Combinaison des mécanismes d’attention et des approches classiques d’apprentissage
  • IA frugale et complexité des mécanismes d’attention
  • Adaptabilité des mécanismes d’attention à l’apprentissage fédéré
  • Explicabilité des modèles basés sur l’attention (lien avec les valeurs de Shapley….)
  • Les mécanismes d’attention dans les réseaux neuronaux profonds et leur explication
  • Transférabilité des connaissances dans les modèles basés sur l’attention
  • Données temporelles et mécanismes d’attention
  • Évaluation des valeurs générées par les mécanismes d’attention
  • Applications académiques et industrielles des modèles basés sur l’attention
  • Visualisation optimale des attentions