Radar Vision

Ein Verbundprojekt zur Entwicklung eines Navigationshilfsmittels für Menschen mit Sehbehinderung

Gefördert von

  • EU Investition in unsere Zukunft
  • Die Landesregierung Nordrhein-Westfalen
  • EFRE.NRW

Sehbehinderte hören die Welt dank Radar

Im Verbundprojekt RaVis-3D wurde von 2016 bis 2019 ein Hilfssystem für Sehbehinderte entwickelt, welches die Umgebung per Radar erfasst und diese in eine 3D-Audio-Umgebung übersetzt, welche dem Nutzer über ein Hörgerät dargestellt wird. Ergänzend wurde erforscht, inwieweit weitere Benutzerschnittstellen wie taktile Ausgaben, Smartphones oder Smartwatches hilfreich für die Orientierung sind.

Die wesentliche Herausforderung bestand neben der Echtzeit-Prozessierung der Signale in der Benutzerfreundlichkeit des Systems. Hierzu wurden Sehbehinderte aktiv in die Entwicklung eingebunden.

Projektpartner

Assoziierte Partner

Das Projekt

Das Projekt RaVis-3D wurde im Juni 2019 erfolgreich beendet. Folgende Pressemitteilung informiert über die Projektergebnisse:

Blinden durch Technik die Orientierung erleichtern

Unternehmen und Forscher der RUB entwickeln neuartige Systeme

Blinde Menschen nutzen heute zur Orientierung nicht mehr nur Blindenstock oder Blindenhund, sondern auch modernste technische Lösungen. Ein Forschungsprojekt hat in den vergangenen drei Jahren mit Unterstützung des Landes NRW und der Europäischen Union nach neuen Lösungen in diesem Bereich gesucht. Und das mit Erfolg: Im gerade beendeten Projekt „RaVis-3D“ wurden radarbasierte Lösungen entwickelt und getestet, welche die Umgebung des Nutzenden erfasst und diese in Audiosignale übersetzt, welche durch halboffene Hörgeräte ausgegeben werden.

Die Forschenden der Ruhr-Universität Bochum (RUB) sowie mehrerer Industriepartner machten sich zunächst daran, das technisch Machbare zu entwickeln. So wurden unterschiedliche Radarsysteme gebaut, welche von rotierenden 360° Sensoren über spezielle Antennen, welche das Gesichtsfeld des Nutzenden erfassen, bis hin zu gerichteten Sensoren, welche die Entfernung eines Fokuspunkts messen, reichten. Auch bezüglich der Audioausgabe der Umgebung wurde tief in die Trickkiste der Forschung gegriffen: Beispielsweise analysierte das System die Geräuschumgebung und blendete dann die Hindernisse aus, welche selbst Töne von sich geben. „Akustisch Aktive Hindernisse wie z.B. ein sprechender Mensch, sollten vom System nicht als Hindernis begriffen werden, da der Nutzer diese ja ohnehin schon wahrnimmt“, erläutert Prof. Rainer Martin von der RUB. Durch Vermessungen des individuellen Hörvermögens von Nutzenden wurde die räumliche Ortung von Quellen weiter verbessert. „Damit wollten wir erreichen, dass sich die Vertonung von realen Hindernissen bzw. Navigationshinweisen möglichst akkurat in die natürliche akustische Wahrnehmung der Nutzer eingliedert“, so Prof. Gerald Enzner.

„Wir haben für das Projekt unterschiedliche Sensoren und Systeme entwickelt und gemeinsam mit Betroffenen getestet“, fasst der ebenfalls beteiligte Prof. Nils Pohl zusammen. Das Erstaunliche sei, „dass es vor allem die einfachen, intuitiven Systeme waren, die das positivste Nutzer-Feedback ergaben.“

Das wiederum interessierte die am Projekt beteiligten Firmen Kampmann Hörsysteme und SNAP besonders. Ihre Aufgabe war das Testen der Systeme mit Betroffenen sowie die Integration von Hörgeräten zur Audioausgabe. Hierbei hat sich vor allem ein System positiv hervorgetan, erläutert Dr. Corinna Weber von der SNAP: „Wir haben ein relativ einfaches Sensorsystem getestet, das man wie eine Taschenlampe in eine Richtung halten kann, um dann die Entfernung zum nächsten Hindernis als Ton ausgegeben zu bekommen. In Verbindung mit der Audioausgabe über Hörgeräte ergibt sich damit ein intuitiv zu bedienender ‚virtueller Blindenstock‘, der in größerer Reichweite funktioniert und von Betroffenen sehr positiv aufgenommen wurde“.

Leiter des Konsortiums Dirk Kampmann von der Kampmann Hörsysteme, ist sich sicher, dass hier großes Vermarktungspotenzial vorliegt: „Ein solches System ist bisher am Markt noch nicht vorhanden. Wir müssen nun daran arbeiten, dass die Komponenten kleiner und günstiger werden, und dass das System sich in weitere IT-basierte Blindenhilfsmittel z.B. auf dem Smartphone gut eingliedert. Wenn das gelingt, können wir den Markt an Blindenhilfsmittel in den kommenden Jahren bereichern.“

Das Projekt wurde gefördert durch die Europäischen Union (Europäischer Fond für regionale Entwicklung (EFRE)) und das Land Nordrhein-Westfalen.

  • Electro-mechanical rotation setup carrying a high precision stepper motor and a top mounted miniature radar with 80 GHz center frequency.

  • Radar image of the 360° scan. Not only the basic course of the floor but even door frames and glass doors can be identified.

  • 360° radar scan of a scenario inside a building executed by a electro-mechanical rotation setup.

Literatur

Folgende wissenschaftliche Arbeiten wurden im Kontext des Projekts bisher veröffentlicht:

Published Papers

  • M. Zohourian and R. Martin, „Binaural Direct-to-Reverberant Energy Ratio and Speaker Distance Estimation,“ in IEEE/ACM Transactions on Audio, Speech, and Language Processing. doi: 10.1109/TASLP.2019.2948730
  • C. Urbanietz, G. Enzner, „Spatial-Fourier Retrieval of Head-related Impulse Responses from Fast Continuous-azimuth Recordings in the Time-domain,“ IEEE Intl. Conf. Acoustics, Speech and Signal Processing (ICASSP), Brighton, UK, 2019.
  • C. Urbanietz, G. Enzner, A. Orth, P. Kwiatkowski, N. Pohl, „A Radar-Based Navigation Assistance Device with Binaural Sound Interface for Vision-Impaired People“, Intl. Conf. Auditory Display (ICAD 2019), UK
  • M.Zohourian, R. Martin, „Direct-to-Reverberant Energy Ratio Estimation Based on Interaural Coherence and a Joint ITD/ILD model“, IEEE Intl. Conf. Acoustics, Speech and Signal Processing (ICASSP), 2019, Brighton, UK.
  • M.Zohourian, R. Martin, „GSC-based Binaural Speaker Separation Preserving Spatial Cues“, in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018, Calgary, Canada.
  • M. Zohourian, G. Enzner, R. Martin „Binaural Speaker Localization Integrated into an Adaptive Beamformer for Hearing Aids“, IEEE/ACM Trans. Audio, Speech, and Language Processing, Vol. 26, no. 3, pp. 515-528, March 2018.
  • M.Zohourian, R. Martin, „New Insights into the Role of the Head Radius in Model-Based Binaural Speaker Localization“, in European Signal Processing Conference (EUSIPCO), 2017, Kos Island Greece.
  • C. Urbanietz and G. Enzner, “Binaural Rendering for Sound Navigation and Orientation,” IEEE 4th VR Workshop on Sonic Interactions for Virtual Environments (SIVE), Reutlingen, 2018, pp. 1-5.
  • C. Urbanietz and G. Enzner, “Binaural Rendering of Dynamic Head and Sound Source Orientation Using High-Resolution HRTF and Retarded Time,” IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, 2018, pp. 566-570.
  • P. Kwiatkowski, T. Jaeschke, D. Starke, L. Piotrowsky, H. Deis and N. Pohl, „A concept study for a radar-based navigation device with sector scan antenna for visually impaired people,“ 2017 First IEEE MTT-S International Microwave Bio Conference (IMBIOC), Gothenburg, 2017, pp. 1-4.
  • Enzner, G., Azarpour, M., and Siska, J.: “Realtime Binaural Sound with Low Complexity and Reduced Latency on Raspberry Pi”, Live-Demonstration at IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), New Paltz (New York), October 2017

Master Theses

  • Lennart Clausing, Michael Hübner, Jens Rettkowski: “Development of a HW/SW Codesign for Sonification of Lidar-based Sensor Data”, 2018
  • Philipp Tudyka, „Estimation of source parameters in reverberant acoustic environments“, RUB, 2017
  • Jakob Stinner, „Sound source distance estimation using deep neural networks“, RUB, 2018