Das HaH-Projekt schlägt vor, die oben genannten Einschränkungen der hochmodernen Technologie der unterstützenden Audiosignalverarbeitung (SASP) zu überwinden und leistungsfähige SASP-Technologien zusammen mit einer visuellen Lippenlese-Unterstützung für Home Information, Home Entertainment, Home Automation und Home Care-Anwendungen zu entwickeln, die auf einer STB-ähnlichen Home Information and Communication (HIC)-Plattform laufen. Dies gewährleistet die Zugänglichkeit der öffentlichen Dienste für Hörgeschädigte, die von der neuen Technologie des STB profitieren. Das HaH-Projekt trägt dazu bei, einen gleichberechtigten Zugang, ein unabhängiges Leben und die Teilnahme aller an der Informationsgesellschaft zu ermöglichen. Um die Interdisziplinarität des Fachgebiets widerzuspiegeln, wird HaH SASP-Entwickler, Forscher zur künstlichen Gesichtssynthese für Lippenlesen, Home Information, Home Entertainment und Home Automation-Dienstleister sowie Vertreter von Hörgeschädigten in Europa zusammenbringen. Letzteres garantiert eine maximale Benutzerbeteiligung, um die Aufmerksamkeit auf die Mensch-Maschine-Schnittstellen der HIC-Plattform mit Hörunterstützung zu lenken.
STB-Plattformen sind Hardware mit begrenzter CPU-Leistung. Besonders herausfordernd oder gar unmöglich wird es sein, die SASP-Funktionalität für STBs der ersten und zweiten Generation zu implementieren. Der Schwerpunkt liegt daher auf einer STB-ähnlichen HIC-Plattform, die den STB-Systemen der dritten und nächsten Generation mit weiterentwickelter Hardware ähnelt.
Der Kern des SASP wird ein fortschrittliches pc-basiertes Audiosignalverarbeitungs-Framework für Hörgeräte-Anwendungen sein, das wir „Master Hearing Aid“-Framework, kurz MHA, nennen. Anstatt seinen Audio-Stream von einer hochentwickelten PC-basierten Soundkarte zu empfangen, muss SASP mehrere Audioformate (Mono, Stereo, 5.1, DTS,….) mit möglicherweise eingeschränkter oder sogar erweiterter Qualität im Vergleich zur Standard-Technologie verarbeiten. Weiterhin muss die Signalverarbeitung an die Bedürfnisse der visuellen Unterstützungsalgorithmen angepasst werden.
Die Ergebnisse des Synface-Projekts müssen angepasst und portiert werden, um den Einschränkungen der HIC-Plattform, wie sie definiert werden, zu folgen. Ein besonderes Problem wird eine bekannte Verzögerung von 200 ms sein, die der aktuellen Implementierung als Unterstützung für ein Telefongespräch inhärent ist. Für die Verarbeitung eines kombinierten Audio-Video-Signals muss dieses über eine Time-Shift-Funktion gepuffert und mit dem Audio-Stream neu synchronisiert werden.
Die HIC-Plattform muss mit einem Residential Gateway (RG), dem Einstiegspunkt in das Heimnetzwerk (HAN), integriert oder verbunden sein. Die RG ist eine kommerzielle Plattform, die den Einsatz eines OSGi-Frameworks unterstützt. Damit kann die HIC-Plattform mit verschiedenen Heimautomationsnetzwerken wie Lonworks, X10 oder EIB interagieren. OSGi ist ein Standard, der die Bereitstellung von Diensten über seine Architektur und sein Framework auf sehr effiziente Weise mit Java ermöglicht und die Integration neuer Dienste zur Laufzeit ermöglicht. Im Rahmen der aktuellen Produktentwicklung in und um OSGi war die Unterstützung von Behinderten noch nie ein großes Thema. Wenn ja, dann lag der Schwerpunkt auf dem „barrierefreien Surfen im Internet“ für Blinde. Die Fokussierung auf die Hörunterstützung wie in HaH wird das nötige Bewusstsein bei den Softwareentwicklern schaffen, um die notwendigen Softwaretechniken und Standards für die zukünftige Produktentwicklung in diese Richtung zu ermöglichen.
Kernziel des HaH-Projekts ist es, die drei Technologien MHA, Synface und Home Automation auf einer STB-ähnlichen HIC-Plattform zu kombinieren. Im Gegensatz zu Hörgeräten sind STB und ähnliche Technologien weit verbreitet, im Einsatz und es sind keine Akzeptanzprobleme zu erwarten. Abbildung 5 zeigt schematisch den SASP-Kern der vorgeschlagenen STB-ähnlichen HIC-Plattform. Das MHA ist ein verzögerungsarmes Echtzeit-Audiosignalverarbeitungs-Framework, das die einfache Implementierung von Signalverarbeitungs-Plugins ermöglicht. Mehrere solcher Plugins – in Abbildung 5 beispielhaft P1 bis P9 genannt – können zu mehreren dynamisch auswählbaren und rekonfigurierbaren Audioverarbeitungspfaden zusammengefügt werden. Abbildung 5 zeigt als Beispiel vier Pfade, in denen Plugins je nach Anwendungsfall Teil verschiedener Verarbeitungsketten sein können. Auch Rückmeldungen sind denkbar, werden aber nicht explizit angezeigt. Drei Anwendungsbeispiele sind in Abbildung 6, Abbildung 7 und Abbildung 8 dargestellt. Parallel zum MHA zeigt Abbildung 5 den zu entwickelnden „Fitting Wizard“, der den Endanwendern hilft, einige SASP-Plugins nach ihren persönlichen Bedürfnissen zu parametrieren.
Wie bereits erwähnt, zerfällt die SASP-Strategie in einen Frontend- und einen Backend-Teil. Das Frontend wird eine benutzerunabhängige und damit globale SASP (G-SASP)-Funktionalität enthalten, die für die Vorverarbeitung von Audiosignalen wie Rauschunterdrückung und Signalklassifizierung zur kontextabhängigen Verarbeitung von Audiosignalen zuständig ist. Auch das normale Gehör wird von G-SASP profitieren. Der benutzerabhängige und damit individuelle SASP (I-SASP) benötigt zur Parametrierung das benannte benutzerbasierte Anpasswerkzeug. Ein weiteres Ziel des HaH-Projekts ist es, den Endverbrauchern die Möglichkeit zu geben, dies ohne die Hilfe eines professionellen Akustikers zu tun.
Dies ist ein kompletter da der Endnutzer eines normalen Hörgerätes einen Experten in seinem Büro konsultieren muss. Das im Rahmen des HaH-Projekts entwickelte I-SASP wird komplett in der Heimumgebung konfiguriert. Je nach technischem Verständnis des Anwenders stehen Assistenten unterschiedlicher Komplexität zur Verfügung. Es wird möglich sein, die letzten z.B. 15 Sekunden eines Szenarios abzurufen, indem z.B. eine TV-Sendung kontinuierlich aufgezeichnet und per Zeitverschiebung wiedergegeben wird, um die kontextabhängige Anpassung an eine Situation zu korrigieren, die innerhalb dieses Zeitrahmens aufgetreten ist und nicht den Bedürfnissen des Benutzers entsprach.