Towards three-dimensional face recognition in the real
Vers une reconnaissance faciale tridimensionnelle dans le réel
Résumé
Due to the natural, non-intrusive, easily collectible, widespread applicability, machine-based face recognition has received significant attention from the biometrics community over the past three decades. Compared with traditional appearance-based (2D) face recognition, shape-based (3D) face recognition is more stable to illumination variations, small head pose changes, and varying facial cosmetics. However, 3D face scans captured in unconstrained conditions may lead to various difficulties, such as non-rigid deformations caused by varying expressions, data missing due to self occlusions and external occlusions, as well as low-quality data as a result of some imperfections in the scanning technology. In order to deal with those difficulties and to be useful in real-world applications, in this thesis, we propose two 3D face recognition approaches: one is focusing on handling various expression changes, while the other one can recognize people in the presence of large facial expressions, occlusions and large pose various. In addition, we provide a provable and practical surface meshing algorithm for data-quality improvement. To deal with expression issue, we assume that different local facial region (e.g. nose, eyes) has different intra-expression/inter-expression shape variability, and thus has different importance. Based on this assumption, we design a learning strategy to find out the quantification importance of local facial regions in terms of their discriminating power. For facial description, we propose a novel shape descriptor by encoding the micro-structure of multi-channel facial normal information in multiple scales, namely, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). It can comprehensively describe the local shape changes of 3D facial surfaces by a set of LNP histograms including both global and local cues. For face matching, Weighted Sparse Representation-based Classifier (W-SRC) is formulated based on the learned quantification importance and the LNP histograms. The proposed approach is evaluated on four databases: the FRGC v2.0, Bosphorus, BU-3DFE and 3D-TEC, including face scans in the presence of diverse expressions and action units, or several prototypical expressions with different intensities, or facial expression variations combine with strong facial similarities (i.e. identical twins). Extensive experimental results show that the proposed 3D face recognition approach with the use of discriminative facial descriptors can be able to deal with expression variations and perform quite accurately over all databases, and thereby has a good generalization ability. To deal with expression and data missing issues in an uniform framework, we propose a mesh-based registration free 3D face recognition approach based on a novel local facial shape descriptor and a multi-task sparse representation-based face matching process. [...]
En raison des naturelle, non-intrusive, facilement percevable caractéristiques, et une large diffusive applicabilité pour la criminalistique et de la sécurité, reconnaissance faciale basée sur la machine a reçu beaucoup d’attention de la communauté biométrie au cours des trois dernières décennies. Par rapport à la traditionnelle reconnaissance faciale basée sur le visage 2D, la reconnaissance faciale basé sur la forme 3D est plus stable aux variations d’éclairage; petite changements de tête pose, et variant cosmétiques pour le visage. Cependant, le visage 3D numérise capturé dans des conditions non-contraintes peut conduire à des difficultés diverses, comme des déformations non rigides provoquées par la variant expressions, les données manquantes en raison de l’auto-occlusion et des occlusions externes, ainsi que des données de faible qualité en raison de certaines imperfections de la technologie de numérisation. Pour régler ces difficultés et d’améliorer les applications du monde réel, dans cette thèse, nous proposons deux approches de 3D reconnaissance faciale: l’un se concentre sur le handling de divers changements d’expression, l’autre peut reconnaître les gens à la situation de présence d’un grand les expressions facial, des occlusions et des grands pose divers. En outre, nous fournissons une surface prouvable et pratique algorithme de surface maillage pour l’amélioration de la qualité de données. Pour faire face aux problème d’expression, nous supposons que la variabilité des formes de intra-expression/inter-expression de la faciale local région différent (e. g., nez, yeux) est différent, et a donc une importance niveau différente. Sur la base de cette hypothèse, nous concevons une stratégie d’apprentissage pour découvrir l’importance de la quantification de régions faciales locales en fonction de leur énergie discriminant. Pour une description du visage, nous proposons un nouveau descripteur pour coder la microstructure du multi- canal d’information normale du visage dans multiples échelles, à savoir, Multi-Scale and Multi-Component Local Normal Patterns (MSMC-LNP). On peut globalement décrire les changements de forme locale de 3D surfaces faciales par un ensemble d’histogrammes LNP y compris les indices globaux et locaux. Pour le visage correspondant, Weighted Sparse Representation-based Classifier (W-SRC) est formulée sur la base de l’importance de la quantification appris et les histogrammes LNP. L’approche proposée est évaluée sur quatre bases de données: le FRGC v2. 0, Bosphore, BU- 3DFE et 3D -TEC, y compris les scans du visage en présence de diverses expressions et des unités d’action, ou de plusieurs expressions prototypiques avec des intensités différentes, ou des variations d’expression du visage combinée avec de fortes similitudes faciales (c.à.d. jumeaux identiques). Résultats expérimentaux étendus montrent que l’approche de reconnaissance de 3D visage proposé avec l’utilisation de descripteurs discriminants du visage peut régler les variations d’expression et d’effectuer avec assez de précision sur toutes les bases de données, et a ainsi une bonne capacité de généralisation. Pour faire face à l’expression et problème des données manquantes dans un cadre uniforme, nous proposons une approche sur le sans-enregistrement maillage-basé reconnaissance du 3D visage basé sur un nouveau local descripteur de la forme du visage et un correspondance processus d’clairsemée représentation du visage basée multi- tâche. [...]
Origine : Version validée par le jury (STAR)