Florian Baud a fait son stage recherche au LIRIS sur les agents conversation-nels (un syst`eme avec lequel on peut dialoguer), en collaboration avec Alexan-dre Aussem, il a mis en place un agent conversationnel ou ”chatbot” pour led ́epartement informatique, l’int ́erˆet de cet agent est de r ́epondre aux questionsdes candidats du master Data Science parcours informatique et math ́ematique.Lors de cette exp ́erience il a eu l’occasion de lire des articles de recherche surle sujet pour comprendre le fonctionnement de la solution mis en place. Leprobl`eme qui a ́et ́e rencontr ́e est le probl`eme de m ́emoire o`u le syst`eme doit serappeler d’ ́el ́ement ant ́erieur pour pouvoir r ́epondre correctement. Le sujet deth`ese que nous lui proposons s’inscrit dans la continuit ́e de ses travaux initi ́esen stage. Il porte sur la m ́emoire des agents conversationnels.

Contexte

Dans le domaine duNatural Language Processingnous trouvons plusieurs tachescomme la traduction, les questions/r ́eponses, les mod`eles linguistiques, l’analysede sentiment et d’autres. La tache qui se rapproche le plus de notre probl`emesont les questions/r ́eponses qui sont pr ́esent ́es avec un contexte (la m ́emoire),des questions et une r ́eponse. Des jeux de donn ́ees sont sp ́ecialement pr ́epar ́epour ce type de tache et forment une base pour la comparaison des mod`eles :bAbi tasks,SQuAD1.1,SQuAD2.0,...Le probl`eme de m ́emoire est largement discut ́e dans la litt ́erature commedans l’article [1] o`u il est propos ́e d’utiliser des mod`eleshi ́erarchiqueset o`u cetype de mod`ele a ́et ́e utilis ́e par [2] dans le domaine de l’ ́education. L’id ́ee decette m ́ethode est d’appliquer del’attention[3] `a diff ́erents niveaux du mod`ele,au niveau des mots de la d ́eclaration courante et des d ́eclarations pass ́ees puisau niveau des d ́eclarations. Ainsi on pourra estimer quelles sont les ́el ́ementspr ́ec ́edents qui permettent de r ́epondre correctement.

Plus r ecemment, d’autres mod`eles ont ́et ́e publie commeBERT[4] qui utiliseune nouvelle architecture nomm ́eetransformer[5], elle est enti`erement compos ́eeavec del’attentionappel ́eself-attention.BERTest un mod`ele pr ́e-entraˆın ́e qui amontr ́e la puissance destransformerstel que certains [6,7] reprennent le mod`elepour apporter des modifications en am ́eliorant les scores sur les jeux de donn ́eesde questions/r ́eponses.