App-Test: Seeing AI

Neue App „Seeing AI“ unterstützt sehbeeinträchtige Menschen mit Künstlicher Intelligenz

Im App Store von Apple steht seit Dezember 2017 eine von Microsoft entwickelte, multifunktionale App für sehbeeinträchtigte Menschen zur Verfügung: Seeing AI. „AI“ steht für Artificial Intelligence, also Künstliche Intelligenz und „Seeing“ für Sehen.

Projekt

Seeing AI ist eine kostenlose App, die sehbehinderten und blinden Menschen die Welt rundherum erzählt. Die App wurde speziell für diese Zielgruppe im Rahmen eines fortlaufenden Projektes von Microsoft entwickelt und nutzt die Möglichkeiten der künstlichen Intelligenz, um die visuelle Welt mit Hilfe der Kamera des Smartphones zu eröffnen und in der Nähe befindliche Personen, Texte und Objekte verbal zu beschreiben.

Wie bei einem TV-Gerät kann man zwischen verschiedenen „Kanälen“ wählen, je nachdem was gerade vor der Kamera des Smartphones erscheint und beschrieben werden soll. Die App wurde für die Verwendung mit VoiceOver optimiert und verfügt derzeit über folgende Funktionen:

Kurzer Text: Spricht Text, sobald er vor der Kamera erscheint.
Dokumente: Bietet Audioführung zum Erfassen einer gedruckten Seite und erkennt den Text zusammen mit seiner ursprünglichen Formatierung.
Produkte: Scannt Barcodes und verwendet akustische Signaltöne zur Auffindung des zu scannenden Barcodes, danach hört man den Namen und Produktinformationen, wenn verfügbar.
Gesichtserkennung: Gesichter von Personen werden gespeichert, um sie wieder mit der Kamera des Smartphones erkennen zu können. Dabei erhält man eine Schätzung des Alters, Geschlechts und Emotion der erkannten Person.
Szenen: Mit dieser Funktion erhält man eine Gesamtbeschreibung der mit der Kamera aufgenommenen Szene.
Währung: Dient zur Erkennung von Banknoten, z. B. US-Dollar, Kanadische Dollar, Britische Pfund, Euro.
Farbe: Identifiziert die Farbe von Gegenständen.
Handschrift: Liest handgeschriebenen Text vor.
Licht: Erzeugt einen hörbaren Ton, der der Helligkeit in der Umgebung entspricht.

Auch Bilder in anderen Apps können von Seeing AI erkannt werden. Dabei genügt es einfach auf „Teilen“ und „mit AI erkennen“ zu tippen, um eine Beschreibung der Bilder von Mails, Fotos, Twitternachrichten und mehr zu erhalten.

Hilfe

Seeing AI ist eine App, mit der blinden und sehbehinderten Menschen durch die Macht der Cloud und der Künstlichen Intelligenz geholfen wird. Im Laufe des Forschungsprojekts ist die Hinzufügung weiterer Funktionen geplant. Die App ist in 35 Ländern, darunter USA, Kanada, Europäische Union, Großbritannien, Australien, Indien, Hongkong, Neuseeland, Singapur erhältlich. Derzeit unterstützt Seeing AI nur die Sprache Englisch. Das bedeutet, dass alle Sprachrückmeldungen in Englisch erfolgen. Wir hoffen, dass die App bald auch in deutscher Sprache verfügbar sein wird.

Wir haben Seeing AI ausführlich getestet. Die App reagiert sehr schnell auf Befehle, die Erkennung von Texten, Situationen ist wirklich beeindruckend. Die App Seeing AI ist eine der vielversprechendsten technologischen Entwicklungen auf dem Gebiet der Künstlichen Intelligenz, die auf die Lösung der Probleme von Menschen mit Sehbehinderung angewendet wird. Wir sind sehr gespannt, welche zukünftige Anwendungsszenarien die Weiterentwicklung der Künstlichen Intelligenz für sehbeeinträchtigte Menschen haben wird.

Resümee

Seeing AI ist ein gelungenes Projekt, das zeigt wie technologische Entwicklungen sinnvoll die Lebensqualität von Menschen mit Behinderungen verbessern können. Weitere Informationen können in englischer Sprache unter http://SeeingAI.com abgerufen werden.