soundsee research desk

SoundSee – Einblicke mit Audio-AI

SoundSee verwendet leistungsstarke Algorithmen für die Verarbeitung von Audiosignalen, die mit maschinellem Lernen erstellt wurden, um Umgebungsgeräusche in einem noch nie dagewesenen Umfang zu interpretieren. Die Anwendungsmöglichkeiten – ob in der Industrie 4.0, im Gesundheitswesen, in der Gebäudetechnik und darüber hinaus – kennen keine Grenzen.

Geräuschmustern Bedeutung verleihen

Moderne Sensoren hören zwar besser als Menschen, ihnen fehlt jedoch die Fähigkeit, Geräusche auf eine Art und Weise zu verstehen, wie Menschen es tun. Bosch Research hat es sich zum Ziel gesetzt, robuste, skalierbare Algorithmen für die Verarbeitung von Audiosignalen und das maschinelle Lernen zu entwickeln, die Geräuschmuster verstehen können.

Neben der menschlichen Sprache sind Umgebungsgeräusche und Maschinengeräusche zwei weitere Hauptarten von Geräuschen. Umgebungsgeräusche umgeben uns ständig – vorbeifahrende Autos, schließende Türen, brechendes Glas. Maschinengeräusche stammen von Maschinen – Antrieben, Werkzeugen und Motoren, um nur einige Beispiele zu nennen. Diese Geräuschmuster kodieren verschiedene interessante physikalische Ereignisse, die für die praktische Anwendung zu entschlüsseln sind. Ist die Tür beim Schließen eingerastet? Klingt der Lüfter auf einem Kühlgerät so, als würde er bald ausfallen?

Sam Das
Dr. Samarjit Das, leitender Forschungsmanager bei Bosch Research in Pittsburgh

Die Technologie SoundSee von Bosch Research nutzt Audio-AI – leistungsstarke Algorithmen für die Verarbeitung von Audiosignalen, die mit maschinellem Lernen erstellt wurden – um den Geräuschen, die sie hört, eine Bedeutung zu geben. Sie wurde ferner mit dem Ziel entwickelt, mehreren Geräuschquellen in der Umgebung zuzuhören und diese abzubilden. Beispielsweise kann eine SoundSee-Mikrofoneinheit auf einem automatischen Fahrzeug in einem Werk oder einem Lager regelmäßig die akustischen Signaturen von verschiedenen Maschinen und Geräten abbilden, um deren Betriebszustand zu überwachen.

Die Wissenschaftler von Bosch Research haben vor fünf Jahren mit der Entwicklung der Audio-AI-Fähigkeiten von SoundSee begonnen. Damals erforschten nur wenige die Technologie in Bezug auf künstliche Intelligenz (KI). Es dauerte nicht lange, bis sich die Forschungsarbeit bezahlt machte.

Nicht von dieser Welt

soundsee sensor

Als Teil einer Forschungsmission mit der NASA wurde SoundSee 2019 zur International Space Station (ISS) geschickt. Dabei wurden Mikrofone verwendet, die an Minirobotern installiert waren, um die Geräusche von Maschinen und Geräten auf der Station aufzunehmen. Nach der Übertragung zurück an die Erde können die Wissenschaftler von Bosch Research das Audiomaterial bewerten und feststellen, ob die Geräusche den erwarteten Geräuschmustern entsprechen oder von diesen abweichen.

Die Analyse dieser Abweichungen mit Audio-AI könnte dabei helfen, festzustellen, ob eine Maschine oder ein Teil ihrer Komponenten repariert oder ausgetauscht werden muss. Diese Art von Automatisierung kann die Vorgänge und Produktivität der Station verbessern. Sie erleichtert die Arbeitslast der Astronauten, sodass diese die gewonnene Zeit in ihre Forschungsaktivitäten investieren können. Weitere Informationen über SoundSee und seine Rolle auf der ISS erhalten Sie vom früheren ISS-Kommandanten und NASA-Astronauten Dr. Mike Foale.

Das grenzenlose Potenzial von Audio-AI

SoundSee geht jedoch über Anwendungen in der Raumfahrt hinaus. Die Technologie lässt sich dank der kostengünstigen und vielseitigen Natur der Audio-Sensorik, die so gut wie überall hinpasst und dabei beinahe unsichtbar ist, in einem breiten Spektrum an Sektoren und Konfigurationen einsetzen.

Die vorbeugende Instandhaltung in Industrieumgebungen ist ein Beispiel, bei dem SoundSee wirkungsvoll sein kann, indem es die bestehenden Wahrnehmungsfähigkeiten verstärkt. Bei einem Hybrid-System für die automatische Spannungssteuerung könnte SoundSee beispielsweise die Geräusche eines Motors analysieren und eine Fehlfunktion vorhersagen, noch bevor diese eintritt – die Technologie lernt dabei von subtilen Abweichungen in der Geräuschsignatur. Sie könnte somit eine zusätzliche Ebene einer Überwachungslösung für Frühwarnsysteme darstellen, die einen großen Wert für die Industrie mit sich bringt, da die Ausfallzeiten reduziert und hohe Reparaturkosten gespart werden.

Auch im Gesundheitswesen kommt die Audio-AI zum Einsatz. Aus diesem Grund stellt das Gesundheitswesen einen weiteren spannenden Anwendungsbereich für SoundSee dar. Der menschliche Körper erzeugt Geräusche, wie Herzschlag oder Atmung, die klinisch relevante Informationen enthalten können. SoundSee könnte zu umfassenden, datengestützten Entscheidungen hinsichtlich der Gesundheitsversorgung beitragen, da die Technologie dem Körper zuhört. Sie könnte auch physiologische Geräuschindikatoren von Notlagen/Schmerzen registrierten und akustische Alarme aussenden, wenn eine Person Hilfe benötigt. Die Fähigkeit, in der Stimme eines Menschen Schmerzen oder Hilferufe zu erkennen, kann bei einem Notfall entscheidend sein.

Als Allround-Talent kann die Audio-AI von SoundSee auch als ein Mehrwert generierendes Merkmal in Gebäudetechniklösungen integriert werden, insbesondere im Kontext der physischen Sicherheit, z. B. durch Erkennen und Lokalisieren von Bedrohungsereignissen wie Alarme oder Glasbruch.

Audio-AI benötigt qualitativ hochwertige Daten

Die Anpassung der Audio-AI von SoundSee an eine gegebene Umgebung und die Sicherstellung einer soliden Leistung ist eine Herausforderung. Hierfür sind qualitativ hochwertige Daten erforderlich, um die Audio-AI zu trainieren. Die Wissenschaftler von Bosch Research verwenden eine Kombination aus einer klassischen signalverarbeitenden und einer datengestützten KI (maschinelles Lernen) zur Lösung einzigartiger Herausforderungen, die mit jedem Anwendungsszenario, das betrachtet wird, einhergehen. Sie benötigen einen gut definierten Anwendungsfall und eine gute Leistungsmetrik, um zu bestimmen, in Bezug auf welche Geräusche die Audio-AI trainiert werden muss, zusammen mit den entsprechenden Datenkennzeichnungen/-annotationen (vom Menschen zugewiesene Bezeichnungen und/oder sensorische Signale als übergeordnete Achtungssignale). Bei beiden handelt es sich um kritische Faktoren, die das maschinelle Lernen unterstützen.

Vor Kurzem konnte das SoundSee-Team vielversprechende Ergebnisse in einem kollaborativen Projekt erzielen, das die vorbeugende Instandhaltung mit Bosch Powertrain Solutions umfasste. Die Audio-AI wurde anhand eines multimodalen Datensatzes trainiert, der Audio- und Drehmomentsignale vor und nach einem künstlich herbeigeführten Schaden an sechs Kraftstoffpumpen umfasste. SoundSee zeigte, dass die Audio-AI für die Ableitung anderer Signalmodalitäten (z. B. Drehmoment, Kraftstoffdruck) mit einer überraschend hohen Wiedergabetreue verwendet werden kann, die wiederum stark mit dem Betriebszustand oder den Fehlfunktionen der Pumpen korreliert. Diese Fähigkeit der „virtuellen Wahrnehmung“ mit Audio-AI ist ein vielversprechender Schritt hin zur Verstärkung der aktuellen Sensordatenanalytik-Lösungen für die Verbesserung der vorbeugenden Instandhaltung.

600 Millionen

Geräte mit Geräuscherkennung bis zum Jahr 2023

Zusammenfassung

Die Technologie SoundSee interpretiert die Geräusche in ihrer Umgebung anhand einer Audio-AI, die mit qualitativ hochwertigen Daten trainiert wurde. SoundSee wird bereits auf der International Space Station (ISS) für die Durchführung von Forschungsexperimenten eingesetzt und kann für eine breite Reihe an kommerziellen Anwendungen auf der Erde individuell angepasst werden, wie z. B. für die vorbeugende Instandhaltung, Frühwarnsysteme, Gebäudetechnik und datengestützte Anwendungen im Gesundheitswesen.

Noch mehr Details, zum Beispiel zu den Herausforderungen bei der Entwicklung von SoundSee, finden Sie in diesem Interview mit Bosch-Forscher Sam Das.

Teile diese Seite auf