Learning Hierarchical Models from Demonstrations for Deliberate Planning and Acting
Apprentissage de Modèles Hiérarchiques par Démonstration pour la Planification et l'Action Délibérée
Résumé
The development of autonomous agents, especially embodied agents such as robots, requires complex architectures operating at different levels of abstractions. Given the complexity of real environments, hand-crafting all the models used at the different levels quickly becomes impractical. In recent years, there has been a growing body of work focusing on learning such models at the sensorimotor level, i.e. for perception and basic motor capabilities. However, the same cannot be said for high-level models enabling deliberative functions.
Among such high-level models, we will focus our attention on Hierarchical Task Networks (HTNs), which are a common planning formalism used in many practical applications, from video-games to robotic agents. Presently, designing HTN models remains a mostly manual task, which requires expertise both of the application domain and of the systems used for hierarchical planning. While some approaches do exist for learning HTNs, they suffer from some limitations, mainly in the structure of the domains that can be learned or in the required data annotation.
In this thesis, we will propose a technique for learning HTNs with multiple hierarchy levels with minimal annotation work required. To this end, we will propose two main contributions: a procedure for learning HTN structures from demonstrations and one for learning their parameters from these demonstrations.
The structure learning approach will leverage frequent pattern mining to detect interesting behavioural patterns to abstract in the demonstrations, which we couple with an existing goal regression algorithm. The quality of a given HTN structure during the search will be evaluated through a novel metric based on the Minimum Description Length (MDL) principle to use as an efficient proxy for planning performance.
In addition, we propose a new method for identifying a sensible set of parameters for HTNs, relying on a MAX-SMT approach, which can be applied to most HTN models. Coupling our contributions for learning an HTN model structure and the identification of its parameters allows us to produces complete HTN models which we evaluate on standard benchmarks of the HTN planning community.
Le développement d'agents autonomes, en particulier d'agents physiques tels que les robots, nécessite des architectures complexes fonctionnant à différents niveaux d'abstraction. Compte tenu de la complexité des environnements réels, l'élaboration manuelle des modèles utilisés pour les différents niveaux devient rapidement difficile. Ces dernières années, de plus en plus de travaux se sont concentrés sur l'apprentissage de modèles au niveau sensorimoteur, c'est-à-dire pour la perception et les capacités motrices de base. L'apprentissage de modèles de plus haut niveau permettant les fonctions délibératives n'a pas bénéficié de la même attention.
Parmi ces modèles de haut niveau, nous nous intéresserons aux réseaux de tâches hiérarchiques (Hierarchical Task Networks, HTN), qui constituent un formalisme de planification communément utilisé dans de nombreuses applications pratiques, des jeux vidéo aux robots. Actuellement, la conception de modèles HTN reste une tâche essentiellement manuelle, qui nécessite une expertise à la fois du domaine d'application et des systèmes utilisés pour la planification hiérarchique. Bien que certaines approches existent pour l'apprentissage des HTN, elles souffrent de certaines limitations, principalement au niveau de la structure des domaines qui peuvent être appris ou des annotations requises au niveau des données d'entrée.
Dans cette thèse, nous proposerons une technique d'apprentissage pour des HTN à plusieurs niveaux hiérarchiques avec un minimum d'annotation des données d'entrée. Pour cela, nous proposerons deux contributions principales : une procédure d'apprentissage des structures HTN à partir de démonstrations et une procédure d'apprentissage de leurs paramètres à partir de ces démonstrations.
L'approche d'apprentissage des structures s'appuiera sur des techniques d'extraction de motifs fréquents pour détecter des blocs intéressants à abstraire dans les démonstrations. Nous associerons cette extraction à un algorithme d'apprentissage de HTN existant. La qualité d'une structure HTN donnée sera évaluée, au cours de la recherche, au moyen d'une nouvelle métrique basée sur le principe de la longueur de description minimale (Minimum Description Length, MDL), qui servira de substitut à une coûteuse évaluation des performances de planification.
En outre, nous proposons une nouvelle méthode d'identification d'un ensemble pertinent de paramètres pour les HTN, reposant sur une approche MAX-SMT, qui peut être appliquée à la plupart des modèles HTN. L'association de nos contributions pour l'apprentissage d'une structure de modèle HTN et l'identification de ses paramètres nous permet de produire des modèles HTN complets que nous évaluons sur des domaines standard de la communauté de planification hiérarchique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|