of 117

Paramétrisation et transfert d animations faciales 3D à partir de séquences vidéo : vers des applications en temps réel

0 views
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
Share
Description
Paramétrisation et transfert d animations faciales 3D à partir de séquences vidéo : vers des applications en temps réel Ludovic Dutreve To cite this version: Ludovic Dutreve. Paramétrisation et transfert
Transcript
Paramétrisation et transfert d animations faciales 3D à partir de séquences vidéo : vers des applications en temps réel Ludovic Dutreve To cite this version: Ludovic Dutreve. Paramétrisation et transfert d animations faciales 3D à partir de séquences vidéo : vers des applications en temps réel. Ordinateur et société [cs.cy]. Université Claude Bernard - Lyon I, Français. NNT : 2011LYO tel HAL Id: tel Submitted on 19 Sep 2013 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. N d ordre : Année 2011 THÈSE DE L UNIVERSITÉ DE LYON Délivrée par L UNIVERSITÉ CLAUDE BERNARD - LYON 1 École Doctorale Informatique et Mathématiques DIPLÔME DE DOCTORAT (arrêté du 7 août 2006) Paramétrisation et Transfert d Animations Faciales 3D à partir de Séquences Vidéo : vers des Applications en Temps Réel. soutenue publiquement le 24 mars 2011 par Ludovic DUTREVE Composition du jury: Rapporteurs Mr. Jean-Pierre JESSEL Professeur à l Université Paul Sabatier Mr. Marc NEVEU Professeur à l Université de Bourgogne Examinateurs Mr. Jean-Claude MARTIN Professeur à l Université Paris-Sud 11 Mr. Renaud SÉGUIER Maître de Conférence à Supélec Rennes Directeur Mme. Saïda BOUAKAZ Professeur à l Université Claude Bernard Lyon 1 Co-encadrant Mr. Alexandre MEYER Maître de Conférence à l Université Claude Bernard Lyon 1 ii iii Résumé Paramétrisation et Transfert d Animations Faciales 3D à partir de Séquences Vidéo : vers des Applications en Temps Réel. L animation faciale est l un des points clés dans le réalisme des scènes 3D qui mettent en scène des personnages virtuels. Ceci s explique principalement par les raisons suivantes : le visage et les nombreux muscles qui le composent permettent de générer une multitude d expressions ; ensuite, notre faculté de perception nous permet de détecter et d analyser ses mouvements les plus fins. La complexité de ce domaine se retrouve dans les approches existantes par le fait qu il est très difficile de créer une animation de qualité sans un travail manuel long et fastidieux. Partant de ce constat, cette thèse a pour but de développer des techniques qui contribuent au processus de création d animations faciales. Trois thèmes sont principalement abordés. Le premier concerne la paramétrisation du visage pour l animation. La paramétrisation a pour but de définir des moyens de contrôle pour pouvoir déformer et animer le visage. Le second s oriente sur l animation, et plus particulièrement sur le transfert d animation. Le but est de proposer une méthode qui permette d animer le visage d un personnage à partir de données variées. Ces données peuvent être issues d un système de capture de mouvement, ou bien elles peuvent être obtenues à partir de l animation d un personnage virtuel qui existe déjà. Enfin, nous nous sommes concentrés sur les détails fins liés à l animation comme les rides. Bien que ces rides soient fines et discrètes, ces déformations jouent un rôle important dans la perception et l analyse des émotions. C est pourquoi nous proposons une technique d acquisition mono-caméra et une méthode à base de poses références pour synthétiser dynamiquement les détails fins d animation sur le visage. L objectif principal des méthodes proposées est d offrir des solutions afin de faciliter et d améliorer le processus de création d animations faciales réalistes utilisées dans le cadre d applications en temps réel. Nous nous sommes particulièrement concentrés sur la facilité d utilisation et sur la contrainte du temps réel. De plus, nous offrons la possibilité à l utilisateur ou au graphiste d interagir afin de personnaliser sa création et/ou d améliorer les résultats obtenus. Mots clés : Animation faciale, temps réel, transfert d animation, détails fins dynamiques, mise en correspondance de surface, capture de mouvement, fonctions à base radiale. iv v Abstract Rigging and Retargetting of 3D Facial Animations from Video : towards Real-Time Applications. Facial animation is one of the key points of the realism of 3D scenes featuring virtual humans. This is due to several reasons : face and the many muscles that compose it can generate a multitude of expressions ; then, our faculty of perception provides us a great ability to detect and analyze its smallest variations. This complexity is reflected in existing approaches by the fact that it is very difficult to create an animation without a long and a tedious manual work. Based on these observations, this thesis aims to develop techniques that contribute to the process of creating facial animation. Three main themes have been addressed. The first concerns the rigging issue of a virtual 3D face for animation. Rigging aims at defining control parameters in order to deform and animate the face. The second deals with the animation, especially on the animation retargeting issue. The goal is to propose a method to animate a character s face from various data. These data can be obtained from a motion capture system or from an existing 3D facial animation. Finally, we focus on animation finescale details like wrinkles. Although these are thin and discreet, their deformations play an important part in the perception and analysis of emotions. Therefore we propose a monocular acquisition technique and a reference pose based method to synthetise dynamically animation fine details over the face. The purpose is to propose methods to facilitate and improve the process of creating realistic facial animations for interactive applications. We focused on ease to use in addition to the real-time aspect. Moreover, we offer the possibility to the user or graphist to interact in order to personalize its creation and/or improve the results. Keywords : Facial animation, real-time, animation retargeting, dynamic fine-scale details, surface fitting, motion capture, radial basis functions. vi Table des matières 1 Introduction Générale Motivation Domaines d application Projets PlayAll et PlayOnline Contributions Organisation du document État de l art La tête : tour de contrôle de la communication Génération d un visage 3D Systèmes de codage Facial Action Coding System (FACS) Standard MPEG Paramétrisation (Rigging) Interpolation de formes (Blendshape) Modélisation physique Déformation de surface Déformation directe Déformation de forme libres Déformation à base de points de contrôle Animation par squelette (Skinning) Paramétrisation automatique ou assistée Animation Création manuelle d animation et interpolation Capture de mouvement Techniques de capture Capture photoréaliste Détails fins Adaptation des données capturées Transfert d animation (Retargeting) vii viii TABLE DES MATIÈRES Détails fins d animation Synthèse d animation multimodale Conclusion Paramétrisation du visage Introduction et motivation Fonctions à base radiale pour l interpolation Aspects mathématiques Exemples de fonctions radiales Interpolation de données éparses par un modèle RBF Ajout d une transformation rigide à l interpolation Paramétrisation par approche procédurale Paramétrisation par transfert Transfert des points de contrôle Détection et appariement des points repères Transfert des points de contrôle Transfert des poids os-sommet Recalage dense de surfaces Affectation des influences Résultats Conclusion Transfert d animation et évaluation Introduction Transfert d animation Transfert d expressions Transfert partiel Transfert pour la capture de mouvement Résultats et évaluation Conclusion Détails fins dynamiques Introduction Acquisition des détails d animation Image ratio Calcul de la carte de normales Adaptation au personnage 3D Génération des détails fins d animation en temps réel Pose référence TABLE DES MATIÈRES ix Évaluation d une pose quelconque par rapport à une pose référence Masques d influence Fonction de modulation Mélange des détails Résultats Discussion Conclusion Conclusion Générale 107 Glossaire 129 x TABLE DES MATIÈRES Table des figures 1.1 Chaine de production de l animation faciale des méthodes proposées Anatomie musculaire du visage Extrait du FACS Les 84 FDP définis par le standard MPEG Exemple de blendshape Interférences lors d un mélange de forme (blendshape) Modélisation de la biomécanique du visage par un système masseressort à 3 couches Modélisation de la biomécanique du visage par éléments finis Personnage contrôlé par skinning Illustration de quelques attributs d un visage contrôlé par skinning Exemple d une technique de posing Capture de mouvement avec marqueurs Système de capture utilisé pour le Digital Emily Project Système de capture de mouvement proposé par Bickel et al Système de capture de mouvement utilisé par Na et al Système de capture de mouvement proposé par Bradley et al Système de transfert d animation par Noh et al Bases de visèmes Modification de la taille de l enveloppe dans la tâche de paramétrisation d un modèle Influence de l enveloppe de l os dans la tâche de paramétrisation d un modèle Fonction de pondération Exemple de génération de cartes de hauteur des visages Coupe latérale d une segmentation par montée des eaux Opérateur de symétrie Exemple du critère de sélection des graines xi xii TABLE DES FIGURES 3.8 Séquence de segmentations Transfert automatique de points de contrôle Recalage dense de surface Résultat du transfert des poids du skinning Exemple de recalage sur des visages de type cartoon Extraits d animation des visage sources et cibles Vue d ensemble de notre méthode de transfert Exemple de transfert d une expression Exemple de transfert partiel Extraits d une séance de capture Comparaison de transfert avec et sans interpolation Évaluation de l erreur de transfert entre Simon et Barak Évaluation de l erreur de transfert entre Proog et Barak Évaluation de l erreur de transfert : résultats visuels Exemple de transfert d expression Interpolation de l expression vers le visage neutre Calcul de l image ratio Calcul de la carte de normales à partir de l image ratio Adaptation de la carte de normales Vue d ensemble de la technique de détails fins dynamiques Évaluation des poses Masque d influence Fonction de modulation Mélange de carte de normales Utilisation d une carte de normale capturée Acquisition des cartes de normales poses références de Proog poses références de Mister B Les 6 expressions de base de Proog Les 6 expressions de base de Barak Chapitre 1 Introduction Générale Sommaire 1.1 Motivation Domaines d application Projets PlayAll et PlayOnline Contributions Organisation du document Motivation Le visage est une partie majeure du corps humain, autant pour la reconnaissance d un individu que pour la communication par les expressions qu il est capable de produire. C est pourquoi c est un élément indispensable dans un grand nombre d applications qui mettent en scène des personnages virtuels. La complexité et la richesse des détails du visage humain en fait un des composants les plus difficiles à animer dans une scène en trois dimensions. Notre aptitude à donner une signification aux mouvements les plus fins ou à traduire l expression d un visage en émotions augmente encore plus la difficulté de créer une animation faciale réaliste. En outre, les contraintes supplémentaires imposées par les différents contextes d utilisation rendent cette tâche encore plus délicate. Depuis les travaux précurseurs de Frederic I. Parke [Par72], de nombreuses recherches ont contribué à l évolution de l animation faciale, et son utilisation a considérablement augmentée. Ses domaines d application peuvent être regroupés dans deux grandes familles, la première concerne les applications en temps réel, dont l animation et le rendu doivent être effectués en temps interactif, et dont les ressources 1 2 CHAPITRE 1. INTRODUCTION GÉNÉRALE sont partagées entre différentes tâches (intelligence artificielle, réseau, graphe d animation, interface, etc.) comme dans les jeux-vidéos, les mondes virtuels ou encore les systèmes d interaction entre l homme et la machine, etc. La seconde concerne les applications, dites «hors-ligne», qui n exigent pas le temps réel, et pour lesquelles la qualité du résultat prime sur la rapidité des calculs, comme dans l industrie cinématographique avec les films d animations en 3D de plus en plus répandus, les effets spéciaux, les spots publicitaires, etc. La création d une animation faciale passe par différentes étapes : la modélisation ; la paramétrisation ; l animation ; le rendu. Il n existe pas de système généralisé qui permette de répondre à la majorité des attentes et chacune de ces étapes peut être réalisée à l aide de nombreuses méthodes. La modélisation peut par exemple être créée par un artiste qui sculpte virtuellement la morphologie du visage souhaité, ou bien par des techniques d acquisition telles que les scanners qui permettent d obtenir les données numériques d un visage réel. La modélisation et le rendu sont des techniques indépendantes de l animation, nous nous concentrons ici sur la paramétrisation ainsi que sur l animation qui pilote les paramètres créés lors de l étape de la paramétrisation pour déformer la géométrie du visage. Actuellement, pour générer une animation faciale en 3D, deux questions principales doivent être posées : Comment rendre le visage «animable» (paramétrisation, rigging)? Comment animer le visage? Pour répondre à ces questions, il est nécessaire de connaître le contexte d utilisation de l animation faciale : en temps réel ou hors-ligne ; ressources disponibles (temps, ressources matérielles, ressources humaines, ressources financières) ; etc. Pour répondre au mieux à ces besoins, il est également important de prendre en compte les nombreuses difficultés qu implique la création d une animation faciale réaliste. En effet, celles-ci ont souvent besoin des compétences et d un savoir faire important de la part des artistes, le temps de travail nécessaire est conséquent. Les systèmes mis en place sont souvent complexes et coûteux, comme pour la capture de mouvement par exemple, qui pour plus de réalisme vise à reproduire les expressions d un acteur réel sur un personnage virtuel. 1.2. DOMAINES D APPLICATION Domaines d application L animation faciale peut être utilisée dans de nombreux domaines, allant des interfaces basées dialogue pour l interaction homme-machine, d un «speaker» virtuel pour les informations, aux loisirs numériques et aux divertissements. On peut considérer qu il existe deux familles d applications : les applications hors-ligne où l utilisateur n est que simple spectateur, et celles qui travaillent en temps réel où l interactivité permet d accroître l immersion de l utilisateur. Avant de rentrer dans des considérations techniques, nous présentons ici quelques domaines d utilisation majeurs de l animation faciale en trois dimensions. Cinéma et télévision L industrie cinématographique a été l une des premières à utiliser des visages virtuels. Le film Tony de Peltrie a mis en scène un personnage 3D avec une animation faciale expressive en 1985 [BL85]. Les studios Pixar ont également présenté dès le milieu des années 80 des courts métrages qui introduisent des visages animés comme le film Tin Toy (1988). Des longs métrages d animation qui présentent des personnages «cartoons» ont vu le jour : Toy Story (1995), Stuart Little (1999), Shrek (2002), L âge de glace (2003), Wall-E (2009), Là-Haut (2010), etc., ainsi que des productions avec des personnages plus réalistes comme Final Fantasy (2001) ou Polar Express (2004). L animation faciale a également été utilisée dans des films «classiques», soit pour réaliser certaines scènes de cascades comme dans Matrix Reloaded (2002) [BPL + 03, BL03], soit pour insérer un personnage virtuel dans des scènes réelles : King-Kong (2005) [Sag06], la trilogie Le Seigneur des Anneaux (2001, 2002, 2003), Pirate des Caraïbes 2 (2006), Avatar (2010), etc. Aujourd hui, de plus en plus de films d animation sortent chaque année. Les moyens métrages pour enfants, les spots publicitaires ou encore les clips musicaux utilisent aussi abondamment la 3D et les personnages virtuels. Les chaînes de production peuvent cependant varier d un film à un autre, en effet, certains d entre eux animent des personnages non-réels comme les jouets de Toy-Story, d autres animent des personnages fantastiques mais dirigés par un acteur réel, d autres encore animent des personnages qui se doivent d être aussi réels que l acteur qu ils incarnent. Ces productions hors-ligne, et le cinéma en particulier, disposent de moyens importants. Notamment en terme de temps et de ressources. De plus, la non-interactivité des scènes produites permet aux artistes de travailler sur un socle scénaristique fixe. Cependant, les exigences de certaines productions impliquent des efforts de plus en plus conséquents et le besoin d outils, à tous les niveaux de la chaîne de production, augmente. 4 CHAPITRE 1. INTRODUCTION GÉNÉRALE Jeux vidéo et mondes virtuels Les jeux vidéo et les mondes virtuels ont également un besoin croissant d animations faciales de qualité. Depuis les premiers jeux vidéo 3D du milieu des années 90 mettant en scène des personnages réalistes, jusqu à aujourd hui avec les jeux massivement multijoueurs (Massively Multiplayer Online Role-Playing Game, MMORPG) et les mondes virtuels, le nombre et la variété de visages et d animations ont considérablement augmentés. Le réalisme d un personnage joue un rôle primordial dans l immersion du joueur ou de l utilisateur. L animation et le rendu des personnages doivent être réalisés en temps réel, ce qui impose des contraintes importantes, sans oublier le fait que le ou les visages ne constituent qu une partie minime d une scène complexe pour laquelle les ressources sont partagées. De plus, l interactivité de telles applications passe par des personnages qui agissent en fonction des évènements de l utilisateur et dont les actions et les paroles sont beaucoup moins fixées et scénarisées que pour les applications hors-ligne. Ces personnages virtuels peuvent être utilisés sous trois formes différentes : le personnage de l utilisateur, les personnages des autres utilisateurs, qui doivent refléter au mieux les attitudes et émotions pour améliorer l immersion, ainsi que les personnages non-joueurs, dirigés par l application, mais agissant tout de même en fonction des utilisateurs. On peut également noter d importantes différences liées à la nature des personnages qui, comme dans les productions cinématographiques, dans de nombreux jeux-vidéos ou des mondes virtuels comme Second life, peuvent incarner des personnages réalistes, des personnages non-réalistes (citons par exemple les MMORPG, comme World of Warcraft où les personnages sont des humanoïdes issus de l univers de la fantasy) et des personnages réels (principalement dans les jeux de sport). L importance du réalisme est d autant plus grande dans les environnements multi-utilisateurs puisque les personnages sont les avatars de personnes réelles. Talking Head Des visages virtuels peuvent également être utilisés dans le cadre de «têtes parlantes» pour lire l actualité en streaming sur Internet par exemple. L animation est alors créée à partir de textes ou de sons et travaille sur la synchronisation des lèvres. Une autre utilisation concerne les dialogues homme-machine : l avancée des techniques d intelligence artificielle permet en effet de créer des agents virtuels capables de répondre aux questions d un utilisateur. En plus de la parole et de l animation de la bouche qui lui est liée, ils peuvent être dotés d émotions et d expressions faciales, permettant de re
Related Search
Advertisements
Related Docs
View more...
We Need Your Support
Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

Thanks to everyone for your continued support.

No, Thanks