FSGAN: Subject agnostic face swapping and reenactment

Yuval Nirkin, Yosi Keller, Tal Hassner

نتاج البحث: فصل من :كتاب / تقرير / مؤتمرمنشور من مؤتمرمراجعة النظراء


We present Face Swapping GAN (FSGAN) for face swapping and reenactment. Unlike previous work, FSGAN is subject agnostic and can be applied to pairs of faces without requiring training on those faces. To this end, we describe a number of technical contributions. We derive a novel recurrent neural network (RNN)-based approach for face reenactment which adjusts for both pose and expression variations and can be applied to a single image or a video sequence. For video sequences, we introduce continuous interpolation of the face views based on reenactment, Delaunay Triangulation, and barycentric coordinates. Occluded face regions are handled by a face completion network. Finally, we use a face blending network for seamless blending of the two faces while preserving target skin color and lighting conditions. This network uses a novel Poisson blending loss which combines Poisson optimization with perceptual loss. We compare our approach to existing state-of-the-art systems and show our results to be both qualitatively and quantitatively superior.

اللغة الأصليةالإنجليزيّة
عنوان منشور المضيفProceedings - 2019 International Conference on Computer Vision, ICCV 2019
ناشرInstitute of Electrical and Electronics Engineers Inc.
عدد الصفحات10
رقم المعيار الدولي للكتب (الإلكتروني)9781728148038
المعرِّفات الرقمية للأشياء
حالة النشرنُشِر - أكتوبر 2019
الحدث17th IEEE/CVF International Conference on Computer Vision, ICCV 2019 - Seoul, كوريا الجنوبيّة
المدة: ٢٧ أكتوبر ٢٠١٩٢ نوفمبر ٢٠١٩

سلسلة المنشورات

الاسمProceedings of the IEEE International Conference on Computer Vision
مستوى الصوت2019-October
رقم المعيار الدولي للدوريات (المطبوع)1550-5499


!!Conference17th IEEE/CVF International Conference on Computer Vision, ICCV 2019
الدولة/الإقليمكوريا الجنوبيّة

ملاحظة ببليوغرافية

Publisher Copyright:
© 2019 IEEE.


أدرس بدقة موضوعات البحث “FSGAN: Subject agnostic face swapping and reenactment'. فهما يشكلان معًا بصمة فريدة.

قم بذكر هذا