Image
Recherche
Séminaire
Après ChatGPT : où en est-on avec les modèles de langage ?
Mercredi 11 janvier 2023 Mercredi 11 janvier 2023
De 14h à 17h30
Avec la participation de
ENS-PSL, salle des résistants
ENS-PSL
45 rue d'Ulm
75005 Paris
France
48.8422951, 2.3442717
Les modèles de langage (type BERT, GPT3, ChatGPT... et bientôt GPT4) ont profondément changé le traitement automatique des langues ces dernières années. Ils ont permis d’atteindre des niveaux de performances inégalés jusque là, sur de nombreuses tâches et dans de nombreuses langues. Dans le même temps, leur fonctionnement reste encore assez opaque, et fait l’objet de recherches intenses (la « Bertology »). Aussi ces modèles posent-ils de multiples questions.
Peut-on dire que ces modèles « comprennent » la langue ? Et si oui, en quoi ? Jusqu’à quel point ? Quel intérêt pour la recherche en dehors du TAL ? Pour la création ? Sur le plan pratique, comment peut-on y faire face et/ou les intégrer dans nos recherches, vu la puissance de calcul nécessaire à leur entraînement ? Est-on devenu dépendant des grands acteurs privés du domaine ? Quels sont les limites de ces modèles et leurs dangers potentiels ? Nous n’aurons sans doute pas toutes les réponses à ces questions le 11 janvier, mais ce séminaire sera au moins l’occasion d’une réflexion sur ces modèles, avec des acteurs variés, aussi bien privés que publics.
Programme
(les exposés seront en anglais)
- 14h-14h45 - Thea Sommerschield (U. Ca Foscari, Venise) : les grands modèles de langage pour la recherche, exposé suite à son expérience dans le cadre du projet Ithaca (Thea Sommerschield fera par ailleurs un exposé plus directement consacré au projet Ithaca la veille dans le cadre du séminaire DHAI)
- 14h45-15h30 - Tim Van De Cruys (KU. Leuven, Belgique) : utilisation de modèles de langage pour la génération de poésie, modèles de langage et création
- 15h30-16h15 Laurent Daudet et Olga Lopusanschi (LightOn, Paris) « I need my own ! Developing private Large Language Models », sur le développement de modèles de langage au sein d’une start up comme LightOn.
- 16h30 - 17h30 Table ronde sur la situation actuelle, la recherche et l’avenir autour de ces modèles. Discussion avec les intervenants, ainsi qu’avec Anne Bouverot (Fondation Abeona)
- 17h30 : Thierry Poibeau : clôture
Informations pratiques
Inscription : entrée libre, mais merci d’indiquer votre nom ici
(une transmission à distance sera normalement assurée ; le lien sera transmis aux participants ayant indiqué leur adresse mail dans le fichier d’inscription ci-dessus)
Organisé avec le support du laboratoire Lattice et de l’Institut Prairie.
Mercredi 11 janvier 2023
