Impact Tech: App nutzt Smartphones-Kamera, um Blinde zu Bushaltestellen zu führen

Eine neue KI-basierte App namens „All_Aboard“ von der US-Uni Harvard nutzt die Kamera eines Smartphones um blinde Menschen sicher zu Bushaltestellen zu führen.

Es gibt bereits Apps, die blinden Menschen die ungefähren GPS-Koordinaten einer Bushaltestelle anzeigen können – jedoch sind diese digitalen Helfer noch nicht besonders präzise und die GPS-Koordinaten nicht exakt genug.

Die neue App „All_Aboard“ soll dieses Problem lösen, indem sie zusätzlich zum GPS-Signal auch die Kamera des Smartphones für die Standort-Bestimmung nutzt.

Die App wurde von einem Team von Wissenschaftlern am Massachusetts Eye and Ear Behandlungs- und Forschungszentrum in Harvard entwickelt und ist für die Verwendung mit einer GPS-basierten Navigations-App eines Drittanbieters wie Google Maps gedacht.

 

Die neue All_Aboard App stützt sich auf ein neuronales Deep-Learning-Netzwerk, das auf etwa 10.000 Bildern von Bushaltestellen in der Stadt trainiert wurde, und soll in der Lage sein, das Schild der Zielhaltestelle visuell zu erkennen, wenn es sich in einer Entfernung von bis zu 15 m befindet.

Sobald das Schild erkannt wurde, leitet die App den Nutzer mit sonarähnlichen Signaltönen an, deren Tonhöhe und Geschwindigkeit sich ändert, je näher die Person der Haltestelle kommt.

In Feldtests nutzten 24 blinde Freiwillige sowohl Google Maps als auch All_Aboard, um insgesamt 20 Bushaltestellen zu finden – 10 in einer städtischen Umgebung (Boston) und 10 in einer vorstädtischen Umgebung (Newton, Massachusetts).

All_Aboard wurde bisher in 10 internationalen Metropolen auf der ganzen Welt trainiert und kann über den App Store auf iPhones genutzt werden.

---

Quellen

• https://tvst.arvojournals.org/article.aspx?articleid=2793285
• https://www.researchgate.net/publication/377414163_Field_Evaluation_of_a_Mobile_App_for_Assisting_Blind_and_Visually_Impaired_Travelers_to_Find_Bus_Stops