Vous êtes ici : Réunions » Réunion


Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Efficient Hardware for Deep Neural Network Processing

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.

S'inscrire à la réunion.


28 personnes membres du GdR ISIS, et 21 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 50 personnes.


Efficient Hardware for Deep Neural Network Processing

Deep Neural Networks (DNNs) are used in a broad range of applications in AI such as computer vision, natural language processing, robotics. These DNNs reach and outperform state-of-the-art methods at the cost of a dramatic increase of the computational complexity and memory footprint. Solutions are therefore explored in order to improve implementation metrics such as throughput, latency, energy efficiency. Along with work on efficient DNN architectures, which would achieve close-to-optimal performance with a reduced number of parameters and computation cost, the design of efficient hardware architectures is crucial to deploy DNNs, whether on powerful servers or on edge devices.

This GDR Isis day targets research that explore hardware architectures and hardware co-design methods for Efficient DNN processing. Efficiency is here understood as designs that targets either low-complexity, high throughput, low latency or low energy consumption.

Topics of interest include, but are not limited to:

- Hardware architectures of DNN processors,
- Hardware/software co-design,
- DNN processing on heterogeneous systems,
- Approximate computing for DNN processing,
- New technologies for DNN processing (in- or near- memory computing)

The meeting will be held on September 22, 2022, beginning at 9:00 am.

It will include two guest lectures by:

People wishing to present their work at this meeting are invited to send, by e-mail, their proposal (title and abstract of 1 page maximum, with list of authors and affiliations) to the organizers before September 1st, 2022 to (mathieu.leonardon@imt-atlantique.fr, matthieu.arzel@imt-atlantique.fr, erwan.libessart@centralesupelec.fr, anthony.kolar@centralesupelec.fr).



Sorbonne Université, Jussieu.


Le programme final sera publié début septembre.

Résumés des contributions

Présentations invitées

Building Inference Engines for Quantized Neural Networks Using Brevitas & FINN

Thomas Preusser

Deep Learning is penetrating an ever-increasing number of applications and establishing itself in the edge and on embedded platforms. With Dennard Scaling and Moore?s Law fading, the advances in silicon technology can no longer cater for the growth of its associated computational complexity and memory demands. The resulting gap needs to be closed by hardware specialization and custom hardware/software co-design. This talk tells the story of Brevitas & FINN. It shows (a) how these tools help to exploit and implement numeric quantization in convolutional neural networks to hedge the resource demands of custom inference engines, and (b) how an underlying streaming dataflow architecture delivers reliable computational throughput without compromising the inference latency by means like batching. The case for Brevitas & FINN will be illustrated by selected example projects that have used these tools over the recent years. The central building blocks of the generated inference engines will be detailed. Entry points for engaging hands-on with Brevitas and FINN as well as an outlook on the ongoing developments will be offered.

DeepGreen : plateforme indépendante pour le deep learning embarqué

Olivier Bichler
CEA, LIST, Gif-sur-Yvette

Le projet DeepGreen vise le regroupement des grands industriels et PME françaises pour le déploiement de l'Intelligence Artificielle sur cibles matérielles contraintes au travers d'une plateforme logicielle qui répondent aux exigences et attentes de chacun. La première innovation du projet est d'adresser au sein d'une même et unique plateforme l'ensemble de la chaîne de conception et de déploiement de l'IA pour l'embarqué. Au-delà de l'aspect intégré, il est prévu de développer un ensemble de fonctionnalités à forte valeur ajoutée et allant au-delà l'état de l'art, pour générer des applications innovantes et à moindre coût :

- Optimisation robuste de graphes de réseaux de neurones profonds, en combinant la quantification, la parcimonie et la robustesse dès l'apprentissage des modèles ;
- Conception et analyse comparative de haut niveau du matériel, facilitant le choix et cibles matérielles et le développement de systèmes embarqués ;
- Confiance embarquée, avec notamment l'intégration de connaissance métier et de contraintes formelles dans les modèles embarqués, en tenant compte de la spécificité des capteurs et des processus physiques ;
- Algorithmes d'apprentissage pour l'adaptation des modèles à l'embarqué et leur évolution avec peu de données et/ou peu d'étiquettes ;

A cela s'ajoute une interopérabilité poussée avec les standards et plateformes majeures du marché, permettant d'utiliser la plateforme avec les développements existants et indispensables à l'adoption et à la pérennité de la plateforme.


Mobileflow : modèle et mise en oeuvre pour une inférence de flot optique efficace

Agathe Archet1,2, Nicolas Gac1, François Orieux2
1 Laboratoire L2S, Laboratoire des Sinaux et Systèmes, Université Paris-Saclay, CentraleSupélec
2 Thales Reasearch & Technology, Palaiseau

Estimating the optical flow between two images is a particularly costly application with regard to computational and time resources. This is particularly problematic for real-time deployments on embedded platforms, where algorithmic solutions must be light, fast and remain efficient. Thus, we propose MobileFlow, a lightweight convolutional neural network, based on PWC-Net and MobileNetV2. This network is more efficient (- 12% on EPE, or EndPoint Error), more compact (-91% on parameters? weight) and faster (+ 14% FPS with fp32 precision) than PWC-Net on Flying Chairs dataset.

A new figure of merit for neural network efficiency

Hugo Waltsburger1,2, Erwan Libessart2, Anthony Kolar2
1 Laboratoire SONDRA
2 CentraleSupélec

Resources limitation is the main constraint on DNN embedded implementation. This explains the search of an optimal trade-off between accuracy, throughput and power consumption. This compromise can be modeled by a metric that takes these different values into account. Thanks to a software tool developed to monitoring DNN inference in real time, it is then possible to analyze the impact of network systemic optimizations (quantization, pruning?) on the efficiency metric.

Date : 2022-09-22

Lieu : Jussieu

Thèmes scientifiques :
C - Algorithme-architecture en traitement du signal et des images
T - Apprentissage pour l'analyse du signal et des images

(c) GdR 720 ISIS - CNRS - 2011-2022.