Extreme 3D Face Reconstruction: Seeing Through Occlusions

Anh Tuan Tran, Tal Hassner, Iacopo Masi, Eran Paz, Yuval Nirkin, Gerard Medioni

פרסום מחקרי: פרק בספר / בדוח / בכנספרסום בספר כנסביקורת עמיתים

תקציר

Existing single view, 3D face reconstruction methods can produce beautifully detailed 3D results, but typically only for near frontal, unobstructed viewpoints. We describe a system designed to provide detailed 3D reconstructions of faces viewed under extreme conditions, out of plane rotations, and occlusions. Motivated by the concept of bump mapping, we propose a layered approach which decouples estimation of a global shape from its mid-level details (e.g., wrinkles). We estimate a coarse 3D face shape which acts as a foundation and then separately layer this foundation with details represented by a bump map. We show how a deep convolutional encoder-decoder can be used to estimate such bump maps. We further show how this approach naturally extends to generate plausible details for occluded facial regions. We test our approach and its components extensively, quantitatively demonstrating the invariance of our estimated facial details. We further provide numerous qualitative examples showing that our method produces detailed 3D face shapes in viewing conditions where existing state of the art often break down.

שפה מקוריתאנגלית
כותר פרסום המארחProceedings - 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2018
מוציא לאורIEEE Computer Society
עמודים3935-3944
מספר עמודים10
מסת"ב (אלקטרוני)9781538664209
מזהי עצם דיגיטלי (DOIs)
סטטוס פרסוםפורסם - 14 דצמ׳ 2018
אירוע31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2018 - Salt Lake City, ארצות הברית
משך הזמן: 18 יוני 201822 יוני 2018

סדרות פרסומים

שםProceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition
ISSN (מודפס)1063-6919

כנס

כנס31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2018
מדינה/אזורארצות הברית
עירSalt Lake City
תקופה18/06/1822/06/18

הערה ביבליוגרפית

Publisher Copyright:
© 2018 IEEE.

טביעת אצבע

להלן מוצגים תחומי המחקר של הפרסום 'Extreme 3D Face Reconstruction: Seeing Through Occlusions'. יחד הם יוצרים טביעת אצבע ייחודית.

פורמט ציטוט ביבליוגרפי