Radar Vision

Ein Verbundprojekt zur Entwicklung eines Navigationshilfsmittels für Menschen mit Sehbehinderung

Gefördert von

  • EU Investition in unsere Zukunft
  • Die Landesregierung Nordrhein-Westfalen
  • EFRE.NRW

Sehbehinderte hören die Welt dank Radar

Im Verbundprojekt RaVis-3D wird ein Hilfssystem für Sehbehinderte entwickelt, welches die Umgebung per Radar erfasst und diese in eine 3D-Audio-Umgebung übersetzt, welche dem Nutzer über ein Hörgerät dargestellt wird. Ergänzend wird erforscht, inwieweit weitere Benutzerschnittstellen wie taktile Ausgaben, Smartphones oder Smartwatches hilfreich für die Orientierung sind.

Die wesentliche Herausforderung besteht neben der Echtzeit-Prozessierung der Signale in der Benutzerfreundlichkeit des Systems. Hierzu werden Sehbehinderte aktiv in die Entwicklung eingebunden.

Projektpartner

Assoziierte Partner

Das Projekt

Radartechnik hilft Sehbehinderten im Alltag

Blinde und sehbehinderte Menschen haben naturgemäß Schwierigkeiten, sich im Alltag zu orientieren. Hilfsmittel sind daher notwendig: In der Vergangenheit vor allem Blindenhund und Blindenstock, heute zunehmend ergänzt durch den Einsatz modernster Technik.

Eine große Verbesserung für die Alltagsunterstützung von Sehbehinderten hat sich das Forschungsprojekt RaVis-3D zum Ziel gesetzt: Mit spezieller Technik am Kopf oder Körper wird die Umgebung per Radar erfasst. Anschließend wird die Umgebung in Echtzeit in Audiosignale übersetzt (eine sogenannte 3D-Audioumgebung), welche dem Nutzer über ein Hörgerät dargestellt wird.

Die Technik soll es dem Nutzer möglich machen, Hindernisse zu erkennen, Entfernungen einzuschätzen und sich verhältnismäßig natürlich in der Umgebung zu bewegen. Hindernisse, Bewegungen etc. werden durch Audiosignale mit unterschiedlichen Merkmalen wie z.B. Tonhöhe oder Lautstärke dargestellt. Um die 3D-Audioumgebung nutzbar zu machen, ist ein sehr kleines aber schnelles Rechensystem notwendig, welches die Radardaten in Echtzeit verarbeitet, Bewegungen des Nutzers und Drehungen des Kopfes mit einberechnet, um ein frei rotierendes 3D-Umfeld zu erzeugen und über das Hörgerät auszugeben.

Das Projekt ist im Spätsommer 2016 gestartet und wird gefördert durch die Europäischen Union (Europäischer Fond für regionale Entwicklung (EFRE)) und das Land Nordrhein-Westfalen.

  • Electro-mechanical rotation setup carrying a high precision stepper motor and a top mounted miniature radar with 80 GHz center frequency.

  • Radar image of the 360° scan. Not only the basic course of the floor but even door frames and glass doors can be identified.

  • 360° radar scan of a scenario inside a building executed by a electro-mechanical rotation setup.

Literatur

Folgende wissenschaftliche Arbeiten wurden im Kontext des Projekts bisher veröffentlicht:

Papers

Published

  • M.Zohourian, R. Martin, „Direct-to-Reverberant Energy Ratio Estimation Based on Interaural Coherence and a Joint ITD/ILD model“, IEEE Intl. Conf. Acoustics, Speech and Signal Processing (ICASSP), 2019, Brighton, UK.
  • M.Zohourian, R. Martin, „GSC-based Binaural Speaker Separation Preserving Spatial Cues“, in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018, Calgary, Canada.
  • M. Zohourian, G. Enzner, R. Martin „Binaural Speaker Localization Integrated into an Adaptive Beamformer for Hearing Aids“, IEEE/ACM Trans. Audio, Speech, and Language Processing, Vol. 26, no. 3, pp. 515-528, March 2018.
  • M.Zohourian, R. Martin, „New Insights into the Role of the Head Radius in Model-Based Binaural Speaker Localization“, in European Signal Processing Conference (EUSIPCO), 2017, Kos Island Greece.
  • C. Urbanietz and G. Enzner, “Binaural Rendering for Sound Navigation and Orientation,” IEEE 4th VR Workshop on Sonic Interactions for Virtual Environments (SIVE), Reutlingen, 2018, pp. 1-5.
  • C. Urbanietz and G. Enzner, “Binaural Rendering of Dynamic Head and Sound Source Orientation Using High-Resolution HRTF and Retarded Time,” IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, 2018, pp. 566-570.
  • P. Kwiatkowski, T. Jaeschke, D. Starke, L. Piotrowsky, H. Deis and N. Pohl, „A concept study for a radar-based navigation device with sector scan antenna for visually impaired people,“ 2017 First IEEE MTT-S International Microwave Bio Conference (IMBIOC), Gothenburg, 2017, pp. 1-4.
  • Enzner, G., Azarpour, M., and Siska, J.: “Realtime Binaural Sound with Low Complexity and Reduced Latency on Raspberry Pi”, Live-Demonstration at IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), New Paltz (New York), October 2017

Accepted

  • C. Urbanietz and G. Enzner, „Spatial Fourier retrieval of head-related impulse responses from fast continuous-azimuth recordings in the time-domain,“ 2018 IEEE Intl. Conf. Acoustics, Speech and Signal Processing (ICASSP), Brighton, UK, 2019

Submitted

  • C. Urbanietz and G. Enzner, “Super-Resolution Regression in 3D-Continuous-Azimuth Acquisition of Head-Related Impulse Responses”, IEEE/ACM Transactions on Audio, Speech and Language Processing, 2019
  • C. Urbanietz, G. Enzner, A. Orth, P. Kwiatkowski, N. Pohl, “A Radar-Based Navigation Assisting Device with Binaural Sound Interface for Vision Impaired People”, The 25 th International Conference on Auditory Display (ICAD 2019)

Master Theses

  • Lennart Clausing, Michael Hübner, Jens Rettkowski: “Development of a HW/SW Codesign for Sonification of Lidar-based Sensor Data”, 2018
  • Philipp Tudyka, „Estimation of source parameters in reverberant acoustic environments“, RUB, 2017
  • Jakob Stinner, „Sound source distance estimation using deep neural networks“, RUB, 2018