Proactive models for open-domain conversational search
Modèles proactifs pour la recherche d'informations conversationnelles
Résumé
Conversational systems are increasingly becoming important gateways to information in a wide range of application domains such as customer service, health, education, office work, online shopping, and web search.While existing language models are able to follow long conversations, answer questions, and summarize documents with impressive fluency, they cannot be considered as true conversational search systems.Beyond providing natural language answers, a key capability of conversational search systems is their (pro)active participation in the conversation with users. This allows conversational search systems to better capture users' needs but also guide, and assist them during search sessions. In particular, when users cannot browse the list of documents to assess the relevance, as in pure speech interactions, the system needs to take the initiative to ask for additional context, ask for confirmation, or suggest more information to help the user navigate virtually and reduce his cognitive load. Additionally, these models are expected not only to take the initiate in conversation with users but also to proactively interact with a diverse range of other systems or database, including various tools (calendar, calculator ), internet (search engines), and various other APIs (weather, maps, e-commerce, booking.. ). However, due to the high cost of collecting and annotating such data, available conversational datasets for information access are typically small, hand-crafted, and limited to domain-specific applications such as recommendation or conversational question-answering, which are typically user-initiated and contain simple or a series of contextualized questions. In addition, it is particularly challenging to properly evaluate conversational search systems because of the nature of the interactions.In this thesis, we aim to improve conversational search by enabling more complex and useful interactions with users. We propose multiple methods and approaches to achieve this goal.First, in chapter 1 and 2, we investigate how user simulations can be used to train and evaluate systems that perform query refinement through sequential interactions with the user. We focus on sequential click-based interaction with a user simulation for clarifying queries.Then, in chapter 3 and chapter 4, we explore how existing IR datasets can be enhanced with simulated interactions to improve IR capabilities in conversational search and how mixed-initiative interactions can serve document retrieval and query disambiguation. In chapter 4, we propose to augment the AmbigNQ dataset with clarifying questions to better train and evaluate systems to perform pro-active question-answering tasks, where systems are expected to disambiguate the initial user questions before answering. To our knowledge, PAQA is the first dataset providing both questions, answers, supporting documents, and clarifying questions covering multiple types of ambiguity (entity references, event references, properties, time-dependent…) with enough examples for fine-tuning models. Finally, in the last chapter, we focused on the interaction between systems and an external search engine. We introduced a new approach method to teach a language model to internally assess its ability to answer properly a given query, without using anything more than data comprised used for its training. The resulting model can directly identify its ability to answer a given question, with performances comparable -if not superior- to widely accepted hallucination detection baselines such as perplexity-based approaches which are strong exogenous baselines. It allows models to proactively query search API depending on its ability to answer the question.
Les systèmes conversationnels deviennent de plus en plus des passerelles importantes vers l'information dans un large éventail de domaines d'application tels que le service client, la santé, l'éducation, le travail de bureau, les achats en ligne et la recherche sur le Web. Même si les modèles linguistiques existants sont capables de suivre de longues conversations, de répondre à des questions et de résumer des documents avec une fluidité impressionnante, ils ne peuvent pas être considérés comme de véritables systèmes de recherche conversationnelle. Au-delà de fournir des réponses en langage naturel, une capacité clé des systèmes de recherche conversationnelle est leur participation (pro)active à la conversation avec les utilisateurs. Cela permet aux systèmes de recherche conversationnelle de mieux saisir les besoins des utilisateurs, mais également de les guider et de les assister lors des sessions de recherche. En particulier, lorsque les utilisateurs ne peuvent pas parcourir la liste des documents pour en évaluer la pertinence, comme dans les interactions purement vocales, le système doit prendre l'initiative de demander un contexte supplémentaire, de demander une confirmation ou de suggérer plus d'informations pour aider l'utilisateur à naviguer virtuellement et réduire sa charge cognitive. Cependant, en raison du coût élevé de la collecte et de l'annotation de ces données, les ensembles de données conversationnelles disponibles pour l'accès à l'information sont généralement petits, fabriqués à la main et limités à des applications spécifiques à un domaine telles que les recommandations ou la réponse aux questions conversationnelles, qui sont généralement initiées par l'utilisateur. et contiennent des questions simples ou une série de questions contextualisées. De plus, il est particulièrement difficile d'évaluer correctement les systèmes de recherche conversationnelle en raison de la nature des interactions. Dans cette thèse, nous visons à améliorer la recherche conversationnelle en permettant des interactions plus complexes et plus utiles avec les utilisateurs. Nous proposons plusieurs méthodes et approches pour atteindre cet objectif. Premièrement, dans les chapitres 1 et 2, nous étudions comment les simulations d'utilisateurs peuvent être utilisées pour former et évaluer des systèmes qui raffinent les requêtes via des interactions séquentielles avec l'utilisateur. Nous nous concentrons sur l'interaction séquentielle basée sur les clics avec une simulation utilisateur pour clarifier les requêtes.Ensuite, dans les chapitres 3 et 4, nous explorons comment les ensembles de données IR existants peuvent être améliorés avec des interactions simulées pour améliorer les capacités IR dans la recherche conversationnelle et comment les interactions à initiatives mixtes peuvent servir à la récupération de documents et à la désambiguïsation des requêtes. Dans le chapitre 4, nous proposons d'augmenter l'ensemble de données AmbigNQ avec des questions de clarification pour mieux former et évaluer les systèmes afin d'effectuer des tâches de réponse proactive aux questions, où les systèmes sont censés lever l'ambiguïté des questions initiales des utilisateurs avant de répondre. Enfin, dans le dernier chapitre, nous nous sommes concentrés sur l'interaction entre les systèmes et un moteur de recherche externe. Nous avons introduit une nouvelle méthode d'approche pour apprendre à un modèle de langage à évaluer en interne sa capacité à répondre correctement à une requête donnée, sans utiliser autre chose que les données comprises dans son apprentissage.
Origine : Version validée par le jury (STAR)