Image reconstruction from neuromorphic event cameras using laplacian-prediction and poisson integration with spiking and artificial neural networks

Hadar Cohen Duwek, Albert Shalumov, Elishai Ezra Tsur

פרסום מחקרי: פרק בספר / בדוח / בכנספרסום בספר כנסביקורת עמיתים

תקציר

Event cameras are robust neuromorphic visual sensors, which communicate transients in luminance as events. Current paradigm for image reconstruction from event data relies on direct optimization of artificial Convolutional Neural Networks (CNNs). Here we proposed a two-phase neural network, which comprises a CNN, optimized for Laplacian prediction followed by a Spiking Neural Network (SNN) optimized for Poisson integration. By introducing Laplacian prediction into the pipeline, we provide image reconstruction with a network comprising only 200 parameters. We converted the CNN to SNN, providing a full neuromorphic implementation. We further optimized the network with Mish activation and a novel convoluted CNN design, proposing a hybrid of spiking and artificial neural network with < 100 parameters. Models were evaluated on both N-MNIST and N-Caltech101 datasets.

שפה מקוריתאנגלית
כותר פרסום המארחProceedings - 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2021
מוציא לאורIEEE Computer Society
עמודים1333-1341
מספר עמודים9
מסת"ב (אלקטרוני)9781665448994
מזהי עצם דיגיטלי (DOIs)
סטטוס פרסוםפורסם - יוני 2021
אירוע2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2021 - Virtual, Online, ארצות הברית
משך הזמן: 19 יוני 202125 יוני 2021

סדרות פרסומים

שםIEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops
ISSN (מודפס)2160-7508
ISSN (אלקטרוני)2160-7516

כנס

כנס2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2021
מדינה/אזורארצות הברית
עירVirtual, Online
תקופה19/06/2125/06/21

הערה ביבליוגרפית

Publisher Copyright:
© 2021 IEEE.

טביעת אצבע

להלן מוצגים תחומי המחקר של הפרסום 'Image reconstruction from neuromorphic event cameras using laplacian-prediction and poisson integration with spiking and artificial neural networks'. יחד הם יוצרים טביעת אצבע ייחודית.

פורמט ציטוט ביבליוגרפי