Title:
Drahtlos-Audioübertragungssystem und Verfahren zur drahtlosen Übertragung von Audiosignalen mit einer geringen Latenz
Kind Code:
A1


Abstract:

Es wird ein Drahtlos-Audioübertragungssystem mit einer Audioeingangseinheit (200) zum Empfangen von zu übertragenden Audiosignalen, einer Streaming-Einheit (100) zum Aufbereiten der zu übertragenden Audiosignale in einem Encoder (110) durch Aufteilen des zu übertragenden Audiodatenstroms in Blöcke, welche eine Größe von ≤ 20 ms aufweisen. Die Streaming-Einheit (100) weist ferner mindestens einen Access Point (140) auf, um den Audiodatenstrom basierend auf dem IEEE 802.11 Protokoll drahtlos direkt zu mindestens einem mobilen Endgerät (300) zu übertragen.




Inventors:
Zastrow, Jérôme-Etienne (30938, Burgwedel, DE)
Erkau, Jörn (28857, Syke, DE)
Niemann, Andy (19306, Neustadt-Glewe, DE)
Fischer, Daniel (20535, Hamburg, DE)
Application Number:
DE102014209518A
Publication Date:
11/26/2015
Filing Date:
05/20/2014
Assignee:
Sennheiser electronic GmbH & Co. KG, 30900 (DE)
International Classes:
Domestic Patent References:
DE202005020531U1N/A2006-06-14
DE10124402A1N/A2002-11-28



Foreign References:
200902409982009-09-24
200903006872009-12-03
200903278422009-12-31
Other References:
IEEE 802.11 Protokoll
IEEE 802.11
IEEE 802.11 Standard
IEEE 802.11e Standard
IEEE 802.11b
IEEE 802.11g
IEEE 801.11n
Attorney, Agent or Firm:
Eisenführ Speiser Patentanwälte Rechtsanwälte PartGmbB, 28217, Bremen, DE
Claims:
1. Drahtlos-Audioübertragungssystem, mit
einer Audioeingangseinheit (200) zum Empfangen von zu übertragenden Audiosignalen,
einer Streaming-Einheit (100) zum Aufbereiten der zu übertragenden Audiosignale in einem Encoder (110) durch Aufteilen des zu übertragenden Audiodatenstroms in Blöcke, welche eine Größe ≤ 20 ms aufweisen,
wobei die Streaming-Einheit (100) mindestens einen Access Point (140) aufweist, um den Audiodatenstream basierend auf einem IEEE 802.11 Protokoll drahtlos zu mindestens einem mobilen Endgerät (300) direkt zu übertragen.

2. Drahtlos-Audioübertragungssystem nach Anspruch 1, wobei der Encoder (110) dazu ausgestaltet ist, die zu übertragenden Daten in Blöcke mit einer Länge von zwischen 2 bis 10 ms einzuteilen.

3. Drahtlos-Audioübertragungssystem nach Anspruch 2, wobei der Encoder (110) dazu ausgestaltet ist, die zu übertragenden Daten als Sprachsignale zu kennzeichnen.

4. Drahtlos-Audioübertragungssystem nach einem der Ansprüche 1 bis 3, wobei ein erneutes Senden von fehlerhaft empfangenen Blöcken unterdrückt wird.

5. Drahtlos-Audioübertragungssystem nach Anspruch 4, wobei aus dem vorherigen empfangenen Audiodatenstrom wahrscheinliche Werte für den weiteren Verlauf des Audiosignals berechnet und für eine Audioausgabe verwendet werden.

6. Drahtlos-Audioübertragungssystem nach einem der Ansprüche 1 bis 5, wobei die Daten des Audiodatenstromes in dem Encoder (110) einer hohen Priorität zugeordnet werden, um eine Verarbeitung und Übertragung zu beschleunigen.

7. Verfahren zur drahtlosen Übertragung von Audiosignalen mit einer geringen Latenz, mit den Schritten:
Aufbereiten mindestens eines zu übertragenden Audiosignals,
Aufteilen des zu übertragenden Audiodatenstroms in Blöcke, welche eine Größe ≤ 20 ms aufweisen, und
direkte drahtlose Übertragung des Audiodatenstroms basierend auf einem IEEE 802.11 Protokoll an mindestens ein mobiles Endgerät (300).

Description:

Die vorliegende Erfindung betrifft ein Drahtlos-Audioübertragungssystem und ein Verfahren zur drahtlosen Übertragung von Audiosignalen mit einer sehr geringen Latenz.

Ein drahtloses Streaming von Audiosignalen ist aus vielen Bereichen bekannt, welche jedoch unterschiedliche Anforderungen an die Latenz der Audioübertragung aufweisen können. Ein drahtloses Audiostreaming beispielsweise über einen Bluetooth Standard kann eine Latenz von 100 ms oder größer aufweisen.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zum drahtlosen Übertragen von Audiosignalen sowie ein Drahtlos-Audioübertragungssystem vorzusehen, welches eine sehr geringe Latenz von beispielsweise unter 50 ms ermöglicht.

Diese Aufgabe wird durch ein Drahtlos-Audioübertragungssystem nach Anspruch 1 gelöst.

Somit wird ein Drahtlos-Audioübertragungssystem vorgesehen mit einer Audioeingangseinheit zum Empfangen von zu übertragenden Audiosignalen und einer Streaming-Einheit zum Aufbereiten der zu übertragenden Audiosignale in einem Encoder durch Aufteilen des zu übertragenden Audiodatenstroms in Blöcke, welche eine Größe von ≤ 20 ms aufweisen. Die Streaming-Einheit weist ferner mindestens einen Access Point auf, um den Audiodatenstrom basierend auf dem IEEE 802.11 Protokoll drahtlos direkt zu mindestens einem mobilen Endgerät zu übertragen.

Gemäß einem Aspekt der vorliegenden Erfindung ist der Encoder dazu ausgestaltet, die zu übertragenden Daten in Blöcke mit einer Länge von zwischen 2 und 10 ms einzuteilen.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist der Encoder dazu ausgestaltet, die zu übertragenden Daten als Sprachsignale zu kennzeichnen.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein erneutes Senden von fehlerhaft empfangenen Blöcken unterdrückt.

Die Erfindung betrifft ebenfalls ein Verfahren zur drahtlosen Übertragung von Audiosignalen mit einer geringen Latenz. Ein zu übertragendes Audiosignal wird aufbereitet. Der zu übertragende Audiodatenstrom wird in Blöcke aufgeteilt, welche eine Größe von ≤ 20 ms aufweisen. Eine drahtlose Übertragung des Audiodatenstroms erfolgt basierend auf dem IEEE 802.11 Protokoll direkt an mindestens ein mobiles Endgerät.

Gemäß einem Aspekt der Erfindung ist eine Streaming-Einheit vorgesehen, welche mehrere Audioeingänge aufweisen kann und welche die Audiosignale drahtlos beispielsweise auf dem WiFi-Protokoll an mobile Endgeräte wie beispielsweise Smartphones oder Tablets übertragen kann. Die Audioübertragung weist dabei eine Latenz von beispielsweise bzw. vorzugsweise < 50 ms auf. Ferner beruht dieser Aspekt der Erfindung auf dem Gedanken von „bring your own device”, d. h. es erfolgt eine drahtlose Audioübertragung bzw. Audiostreaming auf mobile Endgeräte, welche den Anwendern gehören. Dies hat den Vorteil, dass die entsprechenden Anwender ihre eigenen mobilen Geräte sowie Kopfhörer oder In Ear Hörer verwenden können.

Gemäß einem Aspekt der Erfindung kann das erfindungsgemäße Verfahren beispielsweise in Kinos, Theater, Opern, Ballett, Musical oder Ansagen auf Bahnhöfen oder Flughäfen oder anderweitig, z. B. in Konferenzsystemen oder bei Besucherführungssystemen, Verwendung finden, wo eine drahtlose Audioübertragung benötigt wird und wobei die drahtlos übertragenen Audiosignale im Wesentlichen lippensynchron mit einem übertragenen Videosignal oder einer Darstellung beispielsweise auf einer Bühne sein sollen.

Um eine Lippensynchronität zwischen einem übertragenen Audiosignal und beispielsweise einem Videosignal vorzusehen, sollte die Latenz beispielsweise < 50 ms sein.

Weitere Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Vorteile und Ausführungsbeispiele der Erfindung werden nachstehend unter Bezugnahme auf die Zeichnung näher erläutert.

1 zeigt eine schematische Darstellung eines erfindungsgemäßen Übertragungssystems, und

2 zeigt ein schematisches Blockschaltbild eines erfindungsgemäßen Übertragungssystems gemäß einem zweiten Ausführungsbeispiel.

1 zeigt eine schematische Darstellung eines erfindungsgemäßen Übertragungssystems gemäß einem ersten Ausführungsbeispiel. Das Übertragungssystem weist eine Audioeingangseinheit 200, eine Streaming-Einheit 100 auf. Die Streaming-Einheit 100 kann drahtlos Audiosignale an eine Mehrzahl von mobilen Geräten 300 übertragen. Diese Übertragung kann in einem Multicast- oder in einem Unicast-Format erfolgen. Die mobilen Geräte 300 können als Smartphones oder Tablets oder dergleichen ausgestaltet sein. Die Streaming-Einheit 100 ist dazu ausgestaltet, die über die Audioeinheit 200 empfangen Audiosignale beispielsweise mehrkanalig und drahtlos beispielsweise basierend auf einem WiFi-Protokoll, z. B. IEEE 802.11 an mobile Geräte 300 zu übertragen. Die mobilen Geräte 300 stellen beispielsweise Geräte dar, die den Anwendern gehören bzw. von den Anwendern verwendet werden („bring your own device”). Da die Anwender ihre eigenen mobilen Endgeräte verwenden sollen, muss eine erfindungsgemäße Kommunikation auf einem Protokoll erfolgen, welches durch diese mobilen Endgeräte empfangen werden kann. Dieses Protokoll ist beispielsweise das IEEE 802.11 Protokoll, welches aber nicht für eine Übertragung mit einer sehr geringen Latenz ausgerichtet ist. Gemäß der Erfindung wird gezeigt, wie eine Kommunikation mit einer sehr geringen Latenz basierend auf dem IEEE 802.11 Standard möglich ist.

Gemäß dem ersten Ausführungsbeispiel erfolgt die drahtlose Audioübertragung mit einer Latenz von z. B. größtenteils bzw. im Wesentlichen < 50 ms, d. h. ab dem Zeitpunkt, an dem die Audiosignale die Audioeingangseinheit 200 verlassen bis zu dem Zeitpunkt, an dem die Audiosignale von den mobilen Geräten empfangen und wiedergegeben werden, vergehen weniger als 50 ms.

Das Übertragungssystem gemäß dem ersten Ausführungsbeispiel kann beispielsweise in einem Kino eingesetzt werden, um eine Audiospur drahtlos zu streamen. In dieser Audiospur kann beispielsweise eine andere Sprache oder Zusatzinformationen übertragen werden. Das Übertragungsverfahren gemäß dem ersten Ausführungsbeispiel kann ebenfalls in einem Theater, einer Oper, einem Ballett, einem Musical oder dergleichen zur latenzarmen Übertragung von Audiosignalen verwendet werden.

Alternativ dazu kann das Übertragungssystem gemäß dem ersten Ausführungsbeispiel auch zur Übertragung von Fernsehen- und Radioton für Menschen mit eingeschränktem Hörvermögen verwendet werden.

Erfindungsgemäß wird das Drahtlos-Übertragungssystem gemäß dem ersten Ausführungsbeispiel dort verwendet, wo eine latenzarme Übertragung (< 50 ms) von drahtlosen Audiosignalen benötigt wird, um beispielsweise eine Lippensynchronität mit einem Videosignal oder einer Darbietung sicherstellen zu können.

2 zeigt ein schematisches Blockschaltbild eines drahtlosen Audioübertragungssystems gemäß einem zweiten Ausführungsbeispiel. Das drahtlose Audioübertragungssystem weist eine Audioeingangseinheit 200 und mindestens eine Streaming-Einheit 100 auf. Die Streaming-Einheit 100 dient dazu, die von der Audioeingangseinheit 200 empfangenen Audiosignale zu verarbeiten, damit sie drahtlos übertragen werden können. Diese drahtlos übertragenen Audiosignale können von mobilen Geräten 300 wie beispielsweise Smartphones oder Tablets, welche die Anwender mitgebracht haben, empfangen und ausgegeben werden. Die Audioeingangseinheit 200 kann beispielsweise einen Audio-Videoeingang 210 (beispielsweise für einen Film mit einer Tonspur) aufweisen. Die Audio-Eingangseinheit 210 kann ebenfalls eine Weiche 220, einen Tonprozessor 230 beispielsweise für ein Kino oder dergleichen sowie optional einen Eingang 240 für ein Mischpult aufweisen.

Die empfangenen Audiosignale werden durch die Audioeingangseinheit 200 an die Streaming-Einheit 100 ausgegeben. Die Streaming-Einheit 100 weist einen Encoder 110, eine Verteileinheit 120, mindestens eine Ethernet-Schalteinheit (Ethernet-Switch) 130 sowie mindestens einen Access Point 140 für eine WiFi- bzw. WLAN-Übertragung auf. Die empfangenen Audiosignale werden in dem Encoder 110 soweit erforderlich digitalisiert, mit gängigen Kompressionsverfahren komprimiert oder codiert und können in der Verteileinheit 120 verteilt werden. Hierzu sendet der Encoder 110 den (Audio)Datenstrom an die Verteileinheit 120. An dem jeweiligen Access Point 140 erfolgt eine drahtlose Übertragung der entsprechenden Audiosignale basierend beispielsweise auf einem WiFi-Protokoll oder dergleichen. Die drahtlos übertragenen Audiosignale können von den mobilen Geräten empfangen, decodiert und ausgegeben werden. Die Ausgabe kann hierbei über einen internen Lautsprecher oder über einen Audioausgang erfolgen.

Die Übertragung der Audiosignale weist eine Latenz von < 50 ms auf, um eine Lippensynchronität der übertragenen Audiosignale mit einem Videosignal oder einer Darbietung sicherzustellen. Gemäß dem zweiten Ausführungsbeispiel werden die Daten des Datenstroms in kleine Blöcke von < 20 ms, insbesondere z. B. 2 bis 10 ms verarbeitet und anschließend übertragen. In der Verteilereinheit 120 kann eine Registrierung der mobilen Geräte 300 erfolgen. Mittels eines Multicast- oder Unicast-Verfahrens wird der Audiodatenstrom drahtlos von den WiFi-Access Points 140 an die jeweiligen mobilen Endgeräte 300 übertragen. Gemäß einem Aspekt der vorliegenden Erfindung können die Daten redundant übermittelt werden, um Paketverluste ausgleichen zu können. Jeder Access Point 140 kann mit einem oder mehreren mobilen Geräten 300 kommunizieren.

Gemäß einem Aspekt der vorliegenden Erfindung erfolgt die drahtlose Audioübertragung basierend auf einem WiFi-Standard, d. h. IEEE 802.11. Zusätzlich dazu kann auch eine WiFi-Multimedia-Übertragung WMM verwendet werden, welche auf dem IEEE 802.11e Standard aufbaut, um ein Streaming von Multimedia-Inhalten zu ermöglichen. Hierbei werden die zu übertragenen Signale als Sprachsignale (AC_VO) gekennzeichnet, so dass diese Signale priotisiert übertragen werden. Insbesondere werden die Protokolle IEEE 802.11b, IEEE 802.11g und/oder IEEE 801.11n verwendet.

Die von den mobilen Endgeräten 300 unterstützten Protokolle zur Datenübertragung, wie z. B. das IEEE 802.11 Protokoll, sind in erster Linie für eine Übertragung von zusammengehörigen Datenblöcken wie beispielsweise Dateien ausgelegt. Hierbei ist es entscheidend, dass die Dateien vollständig und fehlerfrei an das Endgerät übertragen werden. Um das sicherzustellen, ist eine bidirektionale Kommunikation zwischen dem Access Point 140 und dem mobilen Endgerät 300 vorgesehen. Das Endgerät 300 sendet dazu nach dem Empfangen und ggf. Überprüfen eines Datenblocks eine entsprechende Quittierung an den Access Point 140. Sofern der Datenblock nicht fehlerfrei empfangen wurde, wird der gleiche Datenblock ein weiteres Mal von dem Access Point an das Endgerät verschickt. Sofern das Endgerät nicht mit einer entsprechenden Quittierung antwortet, startet der Access Point ebenfalls nach einer bestimmten Zeitspanne (Timeout) die Übertragung des gleichen Datenblocks erneut.

Ein fehlerhaft übertragener Datenblock führt durch die wiederholten Übertragungsversuche zu zusätzlichen Verzögerungen. Erfindungsgemäß werden diese Verzögerungen vermieden, indem eine erneute Übertragung eines Blockes unabhängig von einer Quittierung unterdrückt wird. Stattdessen kann in dem mobilen Endgerät bei fehlerhaft empfangenen Blöcken oder beim gänzlichen Ausbleiben einzelner Blöcke eine Fehlerkorrektur des empfangenen Audiosignals durchgeführt werden. Dabei werden aus den vorherigen empfangenen Audiodaten wahrscheinliche Werte für den weiteren Verlauf des Audiosignals berechnet und für die Audioausgabe verwendet. Sobald wieder fehlerfreie Blöcke empfangen wurden, wird das auszugebende Audiosignal wieder aus den darin enthaltenen Daten bestimmt.

Gemäß der Erfindung wird also ein Verlust von Paketen bzw. Blöcken bei der drahtlosen Übertragung von Sprache in Kauf genommen, um die Latenz reduzieren zu können. Somit kann erreicht werden, dass die Größe der Blöcke und damit die Größe der benötigten Buffer reduziert werden kann. Eine ausreichend große Reduzierung der Größe der Blöcke und der Buffer wäre ohne den Verzicht auf eine erneute Übermittlung der nicht angekommenen Blöcke nicht möglich.

Wenn der Empfänger also einen nicht korrekten Block oder nicht korrekte Blöcke empfangen hat, dann werden diese Blöcke nicht erneut versendet, sondern der Empfänger verarbeitet die empfangenen Daten dann entsprechend und versucht die Fehler auszugleichen. Die drahtlos zu übertragenen Daten und Blöcke werden mit einer hohen Priorität insbesondere der höchsten Priorität versehen, um eine möglichst fehlerfreie Übertragung und möglichst schnelle Übertragung zu realisieren. Damit kann der Übertragung des Audiodatenstromes die höchstmögliche Priorität zugeordnet werden, was zu einer entsprechenden Reduzierung der Latenz führen kann.

Durch die Unterdrückung von Datenblockwiederholungen steht der Access Point 140 erfindungsgemäß unabhängig von dem Übertragungserfolg im normalen Zeitraster pünktlich für die Übertragung des nächsten Datenblocks zur Verfügung, so dass ein Blockfehler keinen Einfluss auf den Zeitablauf bei der Übertragung der Folgeblöcke bewirkt.

Gemäß einem Aspekt der vorliegenden Erfindung können Lock-free Queues verwendet werden, so dass ein entsprechender Überbau verhindert wird, wenn Daten über thread-Grenzen hinaus verarbeitet werden sollen.

Das Übertragungssystem gemäß dem ersten oder zweiten Ausführungsbeispiel kann in einem Kino zur Übertragung von weiteren Tonspuren oder weiteren Informationen verwendet werden. Ergänzend dazu kann das Audioübertragungssystem auch bei sonstigen Live-Darbietungen verwendet werden, sofern eine Lippensynchronität benötigt wird.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung können durch das drahtlose Übertragungssystem nicht nur Audiosignale, sondern auch Daten übertragen werden, welche dann auf den mobilen Geräten 300 wiedergegeben bzw. dargestellt werden können. Somit können sog. second screen applications implementiert werden oder sonstige Funktionen des mobilen Endgerätes 300 gesteuert werden, bei denen eine latenzarme Übertragung benötigt wird.

Ferner können beispielsweise Ober- oder Untertitel von Filmen oder Videos mit dem erfindungsgemäßen Übertragungssystem übertragen und auf dem Smartphone oder einem Tablet parallel zu dem darzustellenden Film wiedergegeben werden.

Auf den mobilen Geräten 300 (Smartphone, Tablet) kann eine sog. App installiert sein, welche sich bei einer Streaming-Einheit gemäß der Erfindung meldet und dort registriert wird. Die App steuert dann sowohl die Registrierung als auch den Empfang der drahtlos übertragenen Audiodaten und die Wiedergabe durch das mobile Endgerät 300. Wie bei Smartphones und Tablets üblich, kann diese App durch die entsprechenden Plattformen wie beispielsweise App Store von Apple oder Google Play bezogen werden.

Damit kann das mobile Gerät 300 eine Abfrage über die verfügbaren Kanäle starten und kann eine Kanalauswahl vornehmen. Gemäß einem Aspekt der vorliegenden Erfindung kann das mobile Endgerät dazu ausgestaltet sein, das übertragene Audiosignal an das Gehör des Benutzers und/oder die örtliche Geräuschkulisse anzupassen. Dies kann z. B. eine Equalizerkurve, eine Automatic Gain Control Kurve angepasst an das Gehör des Anwenders, personifizierte Einstellungen wie Verstärkung, Lautstärkeanpassung etc. anpassen.

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Nicht-Patentliteratur

  • IEEE 802.11 Protokoll [0005]
  • IEEE 802.11 Protokoll [0009]
  • IEEE 802.11 [0017]
  • IEEE 802.11 Protokoll [0017]
  • IEEE 802.11 Standard [0017]
  • IEEE 802.11 [0025]
  • IEEE 802.11e Standard [0025]
  • IEEE 802.11b [0025]
  • IEEE 802.11g [0025]
  • IEEE 801.11n [0025]
  • IEEE 802.11 Protokoll [0026]