Title:
Systeme, Verfahren und Vorrichtungen zur Synchronisation von Fahrzeugdaten mit aufgezeichnetem Audio
Kind Code:
A1


Abstract:

Ein Verfahren zur Nachverarbeitung zur Synchronisierung von Audiodaten mit Fahrzeugdaten umfasst Erzeugen künstlicher Tondaten auf der Basis von Zeitreihen-Fahrzeugdaten. Das Verfahren umfasst Bestimmen eines Offsets, das Kreuzkorrelation zwischen den künstlichen Tondaten und aufgezeichneten Audiodaten maximiert. Das Verfahren umfasst außerdem das zeitliche Verschieben der Zeitreihendaten und/oder der aufgezeichneten Audiodaten relativ zueinander auf der Basis des Offsets. Mit der Verschiebung kann eine synchronisierte Menge von Zeitreihendaten und aufgezeichneten Audiodaten erzeugt oder wiedergegeben werden.




Inventors:
Mullen, Jonathan Thomas, Calif. (Palo Alto, US)
Application Number:
DE102017108776A
Publication Date:
11/02/2017
Filing Date:
04/25/2017
Assignee:
Ford Global Technologies, LLC (Mich., Dearborn, US)
International Classes:



Other References:
IEEE-1374-Bus
Attorney, Agent or Firm:
PATERIS Theobald Elbel Fischer, Patentanwälte, PartmbB, 10117, Berlin, DE
Claims:
1. Verfahren zur Nachverarbeitung, um Audiodaten mit Fahrzeugdaten zu synchronisieren, wobei das Verfahren Folgendes umfasst:
Erzeugen von Stellvertretertondaten auf der Basis von Zeitreihen-Fahrzeugdaten; Bestimmen eines Offsets, das Kreuzkorrelation zwischen den Stellvertretertondaten und den aufgezeichneten Audiodaten maximiert; und
zeitliches Verschieben der Zeitreihendaten und/oder der aufgezeichneten Audiodaten relativ zueinander auf der Basis des Offsets, um eine synchronisierte Menge von Zeitreihendaten und aufgezeichneten Audiodaten zu erzeugen.

2. Verfahren nach Anspruch 1, wobei Erzeugen der Stellvertretertondaten Modifizieren einer Amplitude eines Tons auf der Basis eines Werts eines Teils der Zeitreihendaten umfasst.

3. Verfahren nach Anspruch 2, wobei Modifizieren der Amplitude des Tons Modifizieren einer Amplitude eines generischen Schleifen-Tons umfasst, wobei der generische Schleifen-Ton einen Ton eines Motorgeräuschs und/oder Innenraumgeräuschs und/oder Außenwindgeräuschs und/oder Reifengeräuschs repliziert.

4. Verfahren nach einem der Ansprüche 1 bis 3, wobei Erzeugen der Stellvertretertondaten Erzeugen eines Stellvertretertons zur Simulation von Folgendem umfasst:
einem Motorgeräusch; und/oder
einem Windgeräusch; und/oder
einem Reifengeräusch.

5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Zeitreihendaten Daten für eine Motordrehzahl und/oder eine Fahrzeuggeschwindigkeit umfassen, wobei Erzeugen der Stellvertretertondaten Erzeugen auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit umfasst.

6. Verfahren nach einem der Ansprüche 1 bis 5, wobei zeitliches Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten auf der Basis des Offsets Verschieben während des Wiedergebens von Folgendem umfasst:
der aufgezeichneten Audiodaten; und/oder Bild- oder Videodaten, die den Audiodaten entsprechen.

7. Verfahren nach einem der Ansprüche 1 bis 6, wobei zeitliches Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten auf der Basis des Offsets Folgendes umfasst:
Modifizieren einer Zeitsignatur der Zeitreihendaten und/oder der aufgezeichneten Audiodaten;
Speichern des Offsets mit den Zeitreihendaten und/oder den aufgezeichneten Audiodaten; und/oder
Erzeugen einer Datei, die Teile der Zeitreihendaten mit entsprechenden Audio- oder Videodaten korreliert, auf der Basis des Offsets, wobei die aufgezeichneten Audiodaten Audiodaten aus der Videoaufzeichnung umfassen.

8. Verfahren nach einem der Ansprüche 1 bis 7, wobei die Zeitreihendaten Daten umfassen, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme eines Fahrzeugs während einer Fahrperiode produziert werden, und die aufgezeichneten Audiodaten während der Fahrperiode aufgezeichnete Audiodaten umfassen.

9. System, umfassend:
eine Stellvertretertonkomponente, ausgelegt zum Erzeugen von Stellvertretertondaten auf der Basis von Zeitreihen-Fahrzeugdaten;
eine Offsetkomponente, ausgelegt zum Bestimmen eines Offsets, das Kreuzkorrelation zwischen den Stellvertretertondaten und den aufgezeichneten Audiodaten maximiert; und eine Verschiebungskomponente, ausgelegt zum zeitlichen Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten auf der Basis des Offsets, um eine synchronisierte Menge von Zeitreihendaten und Audiodaten zu erzeugen;
wobei die Zeitreihendaten Daten umfassen, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme des Fahrzeugs während einer Fahrperiode produziert werden, und die aufgezeichneten Audiodaten während der Fahrperiode aufgezeichnete Audiodaten umfassen.

10. System nach Anspruch 9, wobei die Stellvertretertonkomponente ausgelegt ist zum Erzeugen der Stellvertretertondaten durch Modifizieren einer Amplitude eines Tons auf der Basis eines Werts eines Teils der Zeitreihendaten.

11. System nach Anspruch 10, wobei die Stellvertretertonkomponente ausgelegt ist zum Modifizieren der Amplitude des Tons durch Modifizieren einer Amplitude eines generischen Schleifen-Tons, wobei der generische Schleifen-Ton einen Ton eines Motorgeräuschs und/oder Innenraumgeräuschs und/oder Außenwindgeräuschs und/oder Reifengeräuschs repliziert.

12. System nach einem der Ansprüche 9 bis 11, wobei die Stellvertretertonkomponente ausgelegt ist zum Erzeugen der Stellvertretertondaten durch Erzeugen eines Stellvertretertons zur Simulation von Folgendem:
einem Motorgeräusch; und/oder
einem Windgeräusch; und/oder
einem Reifengeräusch.

13. System nach einem der Ansprüche 9 bis 12, wobei die Zeitreihendaten Daten für eine Motordrehzahl und/oder eine Fahrzeuggeschwindigkeit umfassen, wobei die Stellvertretertonkomponente ausgelegt ist zum Erzeugen der Stellvertretertondaten durch Erzeugen auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit.

14. System nach einem der Ansprüche 9 bis 13, wobei die Verschiebungskomponente ausgelegt ist zum zeitlichen Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten auf der Basis des Offsets, indem während des Wiedergebens von Folgendem verschoben wird:
der aufgezeichneten Audiodaten; und/oder
Bild- oder Videodaten, die den Audiodaten entsprechen.

15. System nach einem der Ansprüche 9 bis 14, wobei die Verschiebungskomponente ausgelegt ist zum zeitlichen Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten durch:
Modifizieren einer Zeitsignatur der Zeitreihendaten und/oder der aufgezeichneten Audiodaten; und/oder
Speichern des Offsets mit den Zeitreihendaten und/oder den aufgezeichneten Audiodaten; und/oder
Erzeugen einer Datei, die Teile der Zeitreihendaten mit entsprechenden Audio- oder Videodaten korreliert, auf der Basis des Offsets, wobei die aufgezeichneten Audiodaten Audiodaten aus der Videoaufzeichnung umfassen.

16. Computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, die Prozessoren veranlassen zum:
Erzeugen von Stellvertretertondaten auf der Basis von Zeitreihen-Fahrzeugdaten, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme des Fahrzeugs während einer Fahrperiode produziert werden;
Bestimmen eines Offsets, das Kreuzkorrelation zwischen den Stellvertretertondaten und den aufgezeichneten Audiodaten maximiert, wobei die aufgezeichneten Audiodaten Audio aus während der Fahrperiode aufgezeichneten Videodaten umfassen;
Wiedergeben mindestens eines Teils der Videodaten; und
Bestimmen und Anzeigen eines Teils der Zeitreihendaten, die dem Teil der Videodaten entsprechen, auf der Basis des Offsets während des Wiedergebens eines Teils der Videodaten.

17. Computerlesbares Medium nach Anspruch 16, wobei die Anweisungen die Prozessoren veranlassen zum Erzeugen der Stellvertretertondaten durch Modifizieren einer Amplitude eines Tons über die Zeit hinweg auf der Basis eines Werts eines Teils der Zeitreihendaten über die Zeit hinweg.

18. Computerlesbares Medium nach Anspruch 17, wobei die Anweisungen die Prozessoren veranlassen zum Modifizieren der Amplitude des Tons durch Modifizieren einer Amplitude eines generischen Schleifen-Tons, wobei der generische Schleifen-Ton einen Ton eines Motorgeräuschs, Innenraumgeräuschs, Außenwindgeräuschs und/oder Reifengeräuschs repliziert.

19. Computerlesbares Medium nach einem der Ansprüche 16 bis 18, wobei die Zeitreihendaten Daten für eine Motordrehzahl und/oder eine Fahrzeuggeschwindigkeit umfassen, wobei die Anweisungen die Prozessoren veranlassen zum Erzeugen der Stellvertretertondaten durch Erzeugen auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit.

20. Computerlesbares Medium nach einem der Ansprüche 16 bis 19, wobei die Anweisungen die Prozessoren veranlassen zum Bestimmen des Offsets, das Kreuzkorrelation maximiert, durch Abstimmen eines oder mehrerer Merkmale in den Stellvertretertondaten mit einem oder mehreren Merkmalen in den aufgezeichneten Audiodaten und Bestimmen des Offsets zum zeitlichen Abstimmen des einen oder der mehreren Merkmale in den Stellvertretertondaten mit dem einen oder den mehreren Merkmalen in den aufgezeichneten Audiodaten.

Description:
TECHNISCHES GEBIET

Die Offenbarung betrifft allgemein Verfahren, Systeme und Vorrichtungen zur Synchronisation von Fahrzeugdaten mit aufgezeichnetem Audio.

STAND DER TECHNIK

Moderne Fahrzeuge umfassen vielfältige Sensoren, Datenverarbeitungssysteme und Kommunikationsfähigkeiten. Mit sich entwickelnden automatisierten und assistierten Fahrtechnologien werden sich diese Erfassungs-, Datenverarbeitungs- und Kommunikationsfähigkeiten wahrscheinlich drastisch verbessern. Während eines Fahrereignisses produzieren derzeitige und zukünftige Fahrzeuge Daten über das Fahrzeug, darunter derzeitige Bedingungen in dem Fahrzeug und um dieses herum sowie Status eines oder mehrerer Teile oder Systeme. Zusätzlich zu den durch das Fahrzeug gesammelten Daten kann es Audio- und/oder visuelle Daten des Fahrzeugs geben, die durch getrennte Systeme oder Vorrichtungen erfasst werden. Mit der großen Menge an Fahrzeugdaten und etwaigen aufgezeichneten audiovisuellen Daten, die verfügbar sind, verfügen Fahrer, Mechaniker oder Techniker über eine große Menge an Informationen zum Analysieren oder Diagnostizieren von Fahrzeugleistungsfähigkeit oder Fahrereignissen. Es ist jedoch oft schwierig, die aufgezeichneten audiovisuellen Daten mit den Fahrzeugdaten zu korrelieren, insbesondere wenn sie durch getrennte Systeme erfasst werden. Es werden Systeme, Verfahren und Vorrichtungen zur Nach-Erfassungsverarbeitung benötigt, um Fahrzeugdaten mit Audio/Video-Strömen zu synchronisieren.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Nicht einschränkende und nicht erschöpfende Umsetzungen der vorliegenden Offenbarung werden unter Bezugnahme auf die folgenden Figuren beschrieben, wobei sich durchweg durch die diversen Ansichten gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben. Vorteile der vorliegenden Offenbarung werden im Hinblick auf die folgende Beschreibung und die begleitenden Zeichnungen verständlicher, wobei:

1 eine schematische Blockdarstellung von Systemen zur Erzeugung oder Aufzeichnung von Fahrzeugdaten und audiovisuellen Daten gemäß einer Implementierung ist;

2 eine schematische Blockdarstellung eines Verfahrens zum Synchronisieren von Fahrzeugdaten mit aufgezeichneten Audiodaten gemäß einer Implementierung ist;

3 eine schematische Blockdarstellung eines Verfahrens zum Erzeugen synchronisierter Fahrzeugdaten und aufgezeichneter Audiodaten gemäß einer Implementierung ist;

4 eine schematische Blockdarstellung eines Verfahrens zum Wiedergeben synchronisierter Fahrzeugdaten mit aufgezeichneten Audiodaten gemäß einer Implementierung ist;

5 eine schematische Blockdarstellung von beispielhaften Komponenten einer Synchronisierungskomponente gemäß einer Implementierung ist;

6 ein schematisches Flussdiagramm eines Verfahrens zum Synchronisieren von Zeitreihen-Fahrzeugdaten und aufgezeichneten Audiodaten gemäß einer Implementierung ist; und

7 eine Blockdarstellung einer beispielhaften Datenverarbeitungsvorrichtung gemäß den Lehren und Prinzipien der Offenbarung zeigt.

AUSFÜHRLICHE BESCHREIBUNG

Moderne Fahrzeuge umfassen vielfältige Sensoren, Datenverarbeitungssysteme und Kommunikationsfähigkeiten. Mit sich entwickelnden automatisierten und assistierten Fahrtechnologien werden sich diese Erfassungs-, Datenverarbeitungs- und Kommunikationsfähigkeiten wahrscheinlich drastisch verbessern. Somit produzieren derzeitige und zukünftige Fahrzeuge während des Fahrens Daten über das Fahrzeug, darunter derzeitige Bedingungen in dem Fahrzeug und um dieses herum sowie Status eines oder mehrerer Teile oder Systeme. Zusätzlich zu den durch das Fahrzeug gesammelten Daten kann es Audio- und/oder visuelle Daten des Fahrzeugs geben, die durch getrennte Systeme oder Vorrichtungen erfasst werden. Beispielsweise können Fahrer eine Helmkamera tragen oder es kann eine Armaturenbrettkamera oder eine andere Kamera in dem Fahrzeug oder an einem Fahrer installiert oder angebracht sein.

Mit Fahrzeugdaten und etwaigen aufgezeichneten audiovisuellen Daten verfügen Fahrer, Mechaniker oder Techniker über eine große Menge an Informationen zum Analysieren oder Diagnostizieren von Fahrzeugleistungsfähigkeit oder Fahrereignissen. Es ist jedoch oft schwierig, die aufgezeichneten audiovisuellen Daten mit den Fahrzeugdaten zu korrelieren, insbesondere wenn sie durch getrennte Systeme erfasst werden. Zum Beispiel kann Hardware zum Erfassen von Audio/Video-Strömen und Fahrzeugdaten nicht über die Fähigkeit zur Synchronisierung verfügen. Die Anmelder haben erkannt, dass es in einigen Anwendungen wünschenswert sein kann, diese Datenquellen nach ihrer Erfassung zu synchronisieren.

Im Hinblick auf das Obige haben die Anmelder Systeme, Verfahren und Vorrichtungen zur Nach-Erfassungsverarbeitung entwickelt, um Fahrzeugdaten mit Audio/Video-Strömen zu synchronisieren. Gemäß einer beispielhaften Ausführungsform umfasst ein Verfahren zum Nachverarbeiten zur Synchronisierung von Audiodaten mit Fahrzeugdaten Erzeugen von künstlichen Tondaten auf der Basis von Zeitreihen-Fahrzeugdaten. Das Verfahren umfasst Bestimmen eines Offsets, das Kreuzkorrelation zwischen den künstlichen Tondaten und aufgezeichneten Audiodaten maximiert. Das Verfahren umfasst außerdem das zeitliche Verschieben der Zeitreihendaten und/oder der aufgezeichneten Audiodaten relativ zueinander auf der Basis des Offsets. Die Verschiebung kann zur Erzeugung oder Wiedergabe einer synchronisierten Menge von Zeitreihendaten und aufgezeichneten Audiodaten verwendet werden.

Das Problem des Synchronisierens zweier Zeitreihen kann als Finden des Zeitoffsets k0 zwischen ihren Anfängen aufgefasst werden. Die vorliegende Offenbarung präsentiert einen Algorithmus zum Synchronisieren von Audio/Video- und Fahrzeugdatenströmen nach ihrer Erfassung unter Verwendung eines synthetischen Stellvertretertons. Bei einer Ausführungsform verwendet der Algorithmus Fahrzeugdaten, die eine Messung der Motordrehzahl oder Fahrzeuggeschwindigkeit umfassen. Zum Beispiel kann eine Messung der Motordrehzahl oder Fahrzeuggeschwindigkeit (repräsentiert als w[k]) aus dem Fahrzeugdatenstrom verfügbar sein. Eine Motordrehzahl kann Daten hinsichtlich der Umdrehungen pro Minute für den Motor und/oder einer indirekten Angabe der Motordrehzahl, wie etwa der Pedalstellung, umfassen. Die aufgezeichneten audiovisuellen Daten können einen (als S[k] repräsentierten) Audiostrom umfassen, der eine von null verschiedene Lautstärke für den Motor (z.B. Motordrehzahl), Wind (z.B. Innenraum oder Außenwind) und/oder Reifengeräusch umfasst. Aufgezeichnete Daten können zum Beispiel eine Videodatei umfassen, die Audio umfasst, die mit dem Video synchronisiert ist. Das System kann ein generatives Modell verwenden, das von w[k] (Motordrehzahl oder Fahrzeuggeschwindigkeit) auf eine Motor-, Wind- oder Reifengeräuschstellvertretung (repräsentiert als Ŝ[k]) abbildet.

Bei einer Ausführungsform können das System oder Verfahren einen nominalen Ton (der hier auch als Ŝ[k], ein Tonstellvertreter, ein nominaler Ton oder ein künstlicher Ton bezeichnet werden kann) auf der Basis der Fahrzeug-Zeitreihendaten für Motordrehzahl oder Fahrzeuggeschwindigkeit erzeugen. Das System oder Verfahren kann das Zeitoffset k0 finden, das die Kreuzkorrelation zwischen der Motordrehzahl, dem Tonstellvertreter Ŝ[k] und dem Audiostrom S[k] maximiert. Bei einer Ausführungsform wird durch Synchronisieren des Audiostroms mit dem Tonstellvertreter der Audiostrom und etwaiges diesbezügliches Video dadurch mit den Videodaten synchronisiert.

Das obige Verfahren oder System kann den Tonstellvertreter Ŝ[k] unter Verwendung von einem oder mehreren von Fahrzeuggeschwindigkeits-, Motordrehzahl- oder Gaspedal-Positionssignalen für w[k] erzeugen. Das System oder Verfahren kann ein Modell oder Verfahren verwenden, das w[k] auf Windgeräusch und/oder Motorgeräusch und/oder Reifengeräusch abbildet. Zum Beispiel kann Windgeräusch in S[k] anwesend sein, und das Fahrzeuggeschwindigkeitssignal kann ein Modell von Windgeräusch verwenden, um einen Windgeräusch-Stellvertreter Ŝ[k] zu erzeugen. Das System oder Verfahren kann das Zeitoffset k0 finden, das die Kreuzkorrelation zwischen dem Windgeräusch-Stellvertreter Ŝ[k] und der Motordrehzahl S[k] maximiert. Als weiteres Beispiel kann Reifengeräusch in S[k] anwesend sein, und das Fahrzeuggeschwindigkeitssignal kann ein Modell von Windgeräusch verwenden, um einen Reifengeräusch-Stellvertreter Ŝ[k] zu erzeugen. Das System oder Verfahren kann das Zeitoffset k0 finden, das die Kreuzkorrelation zwischen dem Reifengeräusch-Stellvertreter Ŝ[k] und S[k] maximiert.

Nunmehr mit Bezug auf die Figuren zeigt 1 die Erzeugung von Fahrzeugdaten 108 und audiovisuellen Daten 110. Die Fahrzeugdaten 108 können durch ein Fahrzeug 102 erzeugt werden, das ein Fahrzeugsensorsystem 104 umfasst. Das Fahrzeug 102 kann eine beliebige Art von selbst angetriebenem Fahrzeug umfassen, wie etwa ein Automobil, ein Geländefahrzeug, ein Schiff, ein Luftfahrzeug oder dergleichen. Bei einer Ausführungsform kann das Fahrzeug 102 ein automatisiertes Fahr- oder Unterstützungssystem für automatisiertes Fahren oder Unterstützung eines menschlichen Fahrers umfassen. Das Fahrzeugsensorsystem 104 kann mehrere Sensoren zum Erfassen des Status, der Zustände oder Umgebung eines beliebigen Aspekts des Fahrzeugs 102 umfassen. Bei einer Ausführungsform ist das Fahrzeugsensorsystem 104 Teil eines automatisierten Fahr- oder Unterstützungssystems des Fahrzeugs 102.

Die durch das Fahrzeugsensorsystem 104 produzierten Fahrzeugdaten 108 können einen oder mehrere Parameter umfassen, die eine Geschwindigkeit eines Fahrzeugs oder eine derzeitige Drehzahl eines Elektromotors oder Motors betreffen. Beispielhafte Parameter wären ein Fahrzeuggeschwindigkeitsparameter, der die Fahrtgeschwindigkeit des Fahrzeugs mit Bezug auf eine Fahroberfläche oder ein Fahrmedium angeben kann. Zum Beispiel kann die Fahrzeuggeschwindigkeit eine Straßengeschwindigkeit, Luftgeschwindigkeit, Wassergeschwindigkeit oder dergleichen des Fahrzeugs angeben. Die Fahrzeugdaten 108 können Parameter umfassen, die eine Motor- oder Elektromotordrehzahl angeben. Zum Beispiel können die Fahrzeugdaten 108 einen Parameter der Motorumdrehungen pro Minute (RPM) und/oder einen Gaspedalpositionsparameter umfassen. Die Fahrzeugdaten 108 können vielfältige Fahrzeugdaten umfassen. Die Fahrzeugdaten wären zum Beispiel eine beliebige Art von erfassten Daten oder Statusdaten für einen beliebigen Teil eines Fahrzeugs. Zum Beispiel können die Fahrzeugdaten Temperaturen, Betriebsstatus, Alter, Abnutzungsstatus oder beliebige andere Informationen über einen beliebigen Abschnitt, ein beliebiges System oder einen beliebigen Teil des Fahrzeugs umfassen.

Die audiovisuellen Daten 110 können durch ein audiovisuelles Aufzeichnungssystem 106 erzeugt werden, das ein oder mehrere Mikrofone (Mikros) und/oder eine oder mehrere Kameras umfasst. Bei einer Ausführungsform umfasst das audiovisuelle Aufzeichnungssystem 106 ein tragbares Kamerasystem, wie etwa eine am Kopf oder Körper angebrachte Kamera. Bei einer Ausführungsform umfasst das audiovisuelle Aufzeichnungssystem 106 eine im Fahrzeug angebrachte Kamera, wie etwa eine Armaturenbrettkamera. Bei einer Ausführungsform kann das audiovisuelle Aufzeichnungssystem 106 nur ein Audioaufzeichnungssystem umfassen, und kein Video- oder Bildaufzeichnungssystem. Bei einer Ausführungsform kann das audiovisuelle Aufzeichnungssystem 106 Audio und Video als Teil einer Videoaufzeichnung aufzeichnen. Zum Beispiel kann das audiovisuelle Aufzeichnungssystem 106 synchronisiertes Audio und Video zur späteren Wiedergabe aufzeichnen.

2 zeigt ein Verfahren 200 zum Synchronisieren von Fahrzeugdaten 202 mit aufgezeichneten Videodaten 204. Das Verfahren 200 kann als Nachverarbeitungsverfahren verwendet werden, um Fahrzeugdaten mit Audio zu synchronisieren, das getrennt aufgezeichnet wurde und/oder zeitlich nicht mit den Audiodaten synchronisiert ist. Da durch getrennte Systeme aufgezeichnete Daten keine synchronisierten Zeitgeber aufweisen können, können Zeitstempel oder andere Angaben eines Timings der Aufzeichnung nicht genau genug sein, um eine synchronisierte Ansicht der Daten bereitzustellen.

Das Verfahren 200 kann umfassen, die Fahrzeugdaten 202 als Eingabe in ein generatives Modell 206 bereitzustellen, das einen Stellvertreterton 208 ausgibt. Das generative Modell 206 kann mindestens einen Teil der Fahrzeugdaten 202 auf einen Ausgangston abbilden. Bei einer Ausführungsform erzeugt das generative Modell 206 den Stellvertreterton 208 durch Modifizieren einer Amplitude eines Ausgangstons auf der Basis von Werten der Fahrzeugdaten. Zum Beispiel kann das generative Modell 206 die Lautheit des Stellvertretertons mit dem Quadrat eines Fahrzeuggeschwindigkeitsparameters, Motor-RPM-Parameters oder Gaspedalpositionsparameters der Fahrzeugdaten skalieren.

Bei einer Ausführungsform kann das generative Modell 206 einen Basiston verwenden. Der Basiston kann eine Schleife eines aufgezeichneten Tons umfassen, der einem Ton ähnlich sein kann, der von oder in einem Fahrzeug produziert wird. Zum Beispiel kann der Basiston ein aufgezeichnetes Innenraumgeräusch in einem Fahrzeug umfassen, wobei ein Motor-, Wind- und/oder Reifengeräusch hörbar ist. Bei einer Ausführungsform kann der Basiston einen Ton von einer Bibliothek von Tönen umfassen, die in einer Fahrzeugumgebung anwesend sein können. Zum Beispiel kann der Basiston einen Windton, einen Weißrauschton, einen Reifenton, einen Benzinmotorton, einen Dieselmotorton, einen Elektromotorton, einen Ton eines Getriebes oder sich drehender eingreifender Zahnräder und/oder dergleichen umfassen. Das generative Modell 206 kann aus dem Basiston eine Schleife machen und die Amplitude und Lautheit des Tons modulieren, um dem sich ändernden Wert eines Parameters in den Fahrzeugdaten 202 zu verfolgen, um den Stellvertreterton 208 zu produzieren.

Die zum Abstimmen der aufgezeichneten Audiodaten verwendeten Parameter wären zum Beispiel eine Fahrzeuggeschwindigkeit, Motor-RPM, Gaspedalposition oder ein beliebiger anderer Parameter, der direkt oder indirekt mit einer Lautheit bzw. Lautstärke einer Art von in einem Fahrzeug oder um dieses herum produzierten Ton korreliert sein kann. Zum Beispiel können der RPM-Parameter und der Gaspedalpositionsparameter direkte oder indirekte Angaben einer Drehzahl eines Motors oder Elektromotors des Fahrzeugs oder einer Geschwindigkeit des Fahrzeugs selbst liefern. Die Motor-, Elektromotor- oder Fahrzeuggeschwindigkeit kann einem Ton entsprechen, der an dem Motor, Elektromotor oder Fahrzeug oder darum produziert wird. Zum Beispiel können der RPM-Parameter und die Gaspedalposition direkt oder indirekt die Lautheit des Geräuschs angeben, das durch einen Motor, Elektromotor oder Zahnräder produziert wird. Als ein anderes Beispiel kann die Fahrzeuggeschwindigkeit eine direkte oder indirekte Angabe von Reifengeräusch und/oder Windgeräusch und/oder Motor-/Elektromotorgeräusch liefern, das durch das Fahrzeug oder um dieses herum produziert wird.

Der Stellvertreterton 208 und die aufgezeichneten Audiodaten 204 können als Eingabe einem Maximal-Kreuzkorrelationsalgorithmus 210 zugeführt werden, der einen Offsetwert 212 (k0) bestimmt und ausgibt. Der Maximal-Kreuzkorrelationsalgorithmus 210 kann einen Wert für k0 bestimmen, der Kreuzkorrelation zwischen dem Stellvertreterton 208 und den aufgezeichneten Audiodaten 204 maximiert. Kreuzkorrelation ist ein Maß für Ähnlichkeit zwischen zwei kontinuierlichen oder zwei diskreten Funktionen und kann verwendet werden, um Merkmale in dem Stellvertreterton 208 und den aufgezeichneten Audiodaten 204 abzustimmen. Beispielhafte Merkmale, die detektiert und abgestimmt werden können, wären Schwankungen der Lautheit eines Motortons, Windtons, Reifengeräuschs oder dergleichen. Durch Abstimmen von Merkmalen kann ein Offset zwischen den zwei Tönen bestimmt und genaue Synchronisation durchgeführt werden. Der Offsetwert k0 kann während der Wiedergabe verwendet werden, um die zwei Quellen zu synchronisieren, oder kann zur Erzeugung einer neuen Version der Audiodaten oder Fahrzeugdaten mit synchronisierten Zeitstempeln oder Start-/Stoppzeiten verwendet werden. Bei einer Ausführungsform wird der Offsetwert k0 zur Erzeugung einer neuen Datei verwendet, die synchronisierte Fahrzeugdaten und Audio umfasst.

Es ist wichtig zu bemerken, dass bei den hier besprochenen Ausführungsformen ein Stellvertreterton 208 nicht perfekt mit dem aufgezeichneten Audio übereinstimmen muss, um genaue Synchronisation zu erhalten. Tatsächlich kann der Stellvertreterton 208 eine sehr schlechte Repräsentation davon sein, was tatsächlich durch ein Mikrofon- oder Kamerasystem aufgezeichnet wird. Zum Beispiel kann der Stellvertreterton, zumindest für das menschliche Gehör, nicht sehr ähnlich wie der aufgezeichnete Ton klingen. Wenn der Stellvertreterton jedoch zum Beispiel ähnliche Modulationen der Motorgeräusch-Lautstärke wie der aufgezeichnete Ton umfasst, kann das Durchführen von Kreuzkorrelation immer noch eine extrem genaue Ausrichtung zwischen dem Stellvertreterton und dem aufgezeichneten Ton und somit den Fahrzeugdaten und dem aufgezeichneten Ton (einschließlich etwaiger Video-/Bilddaten, die mit dem aufgezeichneten Ton synchronisiert sind) bereitstellen. Die Erzeugung des Stellvertretertons muss somit nicht versuchen, den Aufzeichnungston zu replizieren: Simulation, wie Lautheit eines bestimmten Tons (Motorgeräusch, Elektromotorgeräusch, Getriebegeräusch, Windgeräusch, Reifengeräusch) in dem aufgezeichneten Ton variiert, kann somit ausreichendes Detail bereitstellen, um einen genauen Offsetwert k0 zu bestimmen.

3 zeigt ein Verfahren 300 zum Erzeugen einer Datei, die synchronisierte Fahrzeugdaten 202 und audiovisuelle Daten 110 umfasst. In dem Verfahren werden Fahrzeugdaten 202, audiovisuelle Daten 110 und ein Offsetwert 212 (k0) als Eingabe einem Dateigenerator 302 zugeführt. Der Dateigenerator 302 verschiebt die Fahrzeugdaten 202 und/oder die audiovisuellen Daten 110 zeitlich (oder zumindest mit Bezug aufeinander) auf der Basis des Offsetwerts 212. Zum Beispiel kann der Dateigenerator 302 eine oder mehrere neue Dateien erzeugen, die so justiert wurden, dass sie Startzeiten aufweisen, die demselben Zeitpunkt entsprechen, wie auf der Basis des Offsetwerts 212 bestimmt. Bei einer Ausführungsform kann der Dateigenerator 302 eine neue Datei 304 erzeugen, die Daten sowohl aus den Fahrzeugdaten 202 als auch den audiovisuellen Daten 110 enthält, die auf der Basis des Offsetwerts 212 verschoben wurden. Bei einer Ausführungsform wird der Offsetwert 212 mit den Fahrzeugdaten 202 und/oder den audiovisuellen Daten 110 gespeichert, so dass Wiedergabe der audiovisuellen Daten 110 und/oder der Fahrzeugdaten 202 auf der Basis des Offsetwerts 212 verschoben werden kann. Wenn die audiovisuellen Daten 110 Video umfassen, kann die Datei sowohl das aufgezeichnete Audio als auch das aufgezeichnete Video oder Bilddateien umfassen.

4 zeigt ein Verfahren 400 zum Wiedergeben von synchronisierten Fahrzeugdaten 202 und audiovisuellen Daten 110. In dem Verfahren 400 werden die Fahrzeugdaten 202, die audiovisuellen Daten 110 und der Offsetwert 212 (k0) als Eingabe einer Wiedergabevorrichtung 402 zugeführt. Die Wiedergabevorrichtung 402 kann Software und/oder Schnittstellentreiber und/oder Hardwaretreiber zum Wiedergeben von visuellen Daten als Bilder oder Grafiken und Audiodaten als Töne umfassen. Die Wiedergabevorrichtung 402 kann die Wiedergabe der Fahrzeugdaten 202, der Videodaten und/oder der Audiodaten auf der Basis des Offsetwerts 212 verzögern, vorrücken oder anderweitig zeitverschieben. Bei einer Ausführungsform kann die Wiedergabevorrichtung 402 beliebige Video/Bilder aus den audiovisuellen Daten 110 und den Fahrzeugdaten 202 auf einem Display 404 und etwaige Audiodaten auf einem Lautsprecher 406 anzeigen. Zum Beispiel kann die Wiedergabevorrichtung 402 Video/Bilder auf dem Display 404 in einem ersten Teil des Displays wiedergeben, während ein Teil von Fahrzeugdaten, der derzeit angezeigten Video/Bildern entspricht, wiedergegeben wird. Ähnlich kann auch aufgezeichnetes Audio auf synchronisierte Weise abgespielt werden, so dass Audio, Video und Fahrzeugdaten 202, die einer selben Zeit oder einem selben Zeitpunkt entsprechen, wie bestimmt durch den Offsetwert 212, alle im Wesentlichen gleichzeitig wiedergegeben werden.

5 ist eine Blockdarstellung von beispielhaften Komponenten einer Synchronisationskomponente 502 gemäß einer Implementierung. Bei der abgebildeten Ausführungsform umfasst die Synchronisationskomponente 502 eine Datenkomponente 504, eine Stellvertretertonkomponente 506, eine Offsetkomponente 508 und eine Verschiebungskomponente 510. Die Komponenten 504510 sind nur zur Veranschaulichung gegeben und sind möglicherweise nicht in allen Ausführungsformen enthalten. Einige Ausführungsformen weisen tatsächlich nur eine oder eine beliebige Kombination von zwei oder mehr der Komponenten 504510 auf. Ferner können sich einige der Komponenten 504510 außerhalb der Synchronisationskomponente 502 oder in einem anderen System oder einer anderen Datenverarbeitungsvorrichtung befinden.

Die Datenkomponente 504 ist dafür ausgelegt, Daten zur Synchronisation zu erhalten und/oder zu speichern. Zum Beispiel kann die Datenkomponente 504 Datenspeicherung zum Empfangen und Speichern von Fahrzeugdaten 202, audiovisuellen Daten 110 und/oder eines Offsetwerts 212 umfassen. Bei einer Ausführungsform kann die Datenkomponente 504 Daten empfangen, die durch ein Fahrzeugsensorsystem, wie etwa das Fahrzeugsensorsystem 104, und/oder ein audiovisuelles Aufzeichnungssystem, wie etwa das audiovisuelle Aufzeichnungssystem 106, aufgezeichnet oder erzeugt werden. Bei einer Ausführungsform umfassen die Fahrzeugdaten 202 Zeitreihendaten, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme eines Fahrzeugs während einer Fahrperiode produziert werden. Die audiovisuellen Daten 110 können während der Fahrperiode aufgezeichnete Audiodaten umfassen.

Die Stellvertretertonkomponente 506 ist dafür ausgelegt, auf der Basis von Fahrzeugdaten 202 einen Stellvertreterton zu erzeugen. Bei einer Ausführungsform verwendet die Stellvertretertonkomponente 506 das generative Modell 206 von 2 zur Erzeugung eines Stellvertretertons oder künstlichen Tons auf der Basis von Zeitreihendaten, die durch Fahrzeugsensoren, ein Fahrzeugsteuersystem oder dergleichen erzeugt werden. Die Fahrzeug- oder Zeitreihendaten können eine Motordrehzahl, Fahrzeuggeschwindigkeit, Gaspedalposition oder beliebige andere hier besprochene Fahrzeugdaten umfassen.

Die Stellvertretertonkomponente 506 ist dafür ausgelegt, auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit die Stellvertretertondaten zu erzeugen. Zum Beispiel kann die Stellvertretertonkomponente 506 die Stellvertretertondaten durch Modifizieren einer Amplitude eines Tons (z. B. eines getrennten voraufgezeichneten, Vorlagentons oder künstlich erzeugten Tons) auf der Basis eines Werts eines Teils der Zeitreihendaten erzeugen. Zum Beispiel kann die Stellvertretertonkomponente 506 Weißrauschton erzeugen oder eine Schleife daraus machen, während die Lautheit des Tons auf der Basis einer Zunahme oder Abnahme der Fahrzeuggeschwindigkeit vergrößert und/oder verkleinert wird, um Windgeschwindigkeit zu simulieren. Ähnliche Prozesse können ausgeführt werden, um Motorgeräusche, Reifengeräusche usw. zu simulieren. Bei einer Ausführungsform modifiziert die Stellvertretertonkomponente 506 die Amplitude eines Basistons, um Motorgeräusch und/oder Innenraumgeräusch und/oder Außenwindgeräusch und/oder Reifengeräusch zu replizieren. Bei einer Ausführungsform kann die Stellvertretertonkomponente 506 einen Stellvertreterton erzeugen, der mehrere kombinierte Stellvertretertöne für verschiedene Arten von Ton, die anwesend sein können, umfasst. Zum Beispiel kann ein einzelner Stellvertreterton Schwankungen der Motor-/Elektromotorlautheit, des Windgeräuschs und/oder Reifengeräuschs simulieren.

Die Offsetkomponente 508 ist dafür ausgelegt, ein Offset zu bestimmen, das Kreuzkorrelation zwischen Stellvertretertondaten und aufgezeichneten Audiodaten maximiert. Der Stellvertreterton kann künstlich erzeugte Tondaten umfassen, die durch die Stellvertretertonkomponente 506 erzeugt oder generiert werden. Die aufgezeichneten Audiodaten können Audiodaten von einer Videoaufzeichnung umfassen, so dass Bestimmen eines Offsets jeweils zu den Audiodaten effektiv ein Offset für das Video bestimmt. Die Offsetkomponente kann den Maximal-Kreuzkorrelationsalgorithmus 210 implementieren, um das Offset zwischen dem Stellvertreterton und den aufgezeichneten Audiodaten zu bestimmen. Zum Beispiel kann die Offsetkomponente 508 ein oder mehrere Merkmale in den Stellvertretertondaten mit einem oder mehreren Merkmalen in den aufgezeichneten Audiodaten abstimmen. Auf der Basis eines Zeitoffsets zwischen den Merkmalen kann die Offsetkomponente 508 einen Offsetwert bestimmen, mit dem die Merkmale verschoben und ausgerichtet werden können.

Die Verschiebungskomponente 510 ist dafür ausgelegt, die Fahrzeugdaten (wie etwa Zeitreihen-Sensordaten) und/oder die aufgezeichneten Audiodaten relativ zueinander um den Offsetwert 212 zu verschieben, wie den durch die Offsetkomponente 508 bestimmten Offsetwert. Zum Beispiel kann die Verschiebungskomponente 510 die Fahrzeugdaten 202 um den vollen Offsetwert 212 verschieben, die aufgezeichneten Audiodaten um den vollen Offsetwert 212 verschieben oder sowohl die Fahrzeugdaten 202 als auch die aufgezeichneten Audiodaten um einen Teil des Offsetwerts 212 verschieben. Bei einer Ausführungsform kann die Verschiebungskomponente 510 die Fahrzeugdaten 202 oder aufgezeichneten Audiodaten durch Modifizieren eines oder mehrerer Zeitstempel verschieben.

Bei einer Ausführungsform kann die Verschiebungskomponente 510 einen Teil der Fahrzeugdaten 202 oder aufgezeichneten Audiodaten entsprechend der Länge des Offsetwerts 212 durch Abschneiden und/oder Verwerfen verschieben. Bei einer Ausführungsform ist die Verschiebungskomponente 510 dafür ausgelegt, Zeitreihen-Fahrzeugdaten 202 und aufgezeichnete Audiodaten zeitlich auf der Basis des Offsets relativ zueinander zu verschieben, um eine synchronisierte Menge von Zeitreihendaten und aufgezeichneten Audiodaten zu erzeugen. Bei einer Ausführungsform kann die Verschiebungskomponente 510 das Abspielen oder Wiedergeben der Audiodaten, Daten in Bezug auf die Audiodaten (wie etwa Video oder Bilder) oder Fahrzeug-Zeitreihendaten während des Anzeigens/Wiedergebens der Fahrzeugdaten 202 verschieben. Zum Beispiel kann die Verschiebungskomponente 510 bewirken, dass mindestens ein Teil von Audiodaten oder Video-/Bilddaten entsprechend den Audiodaten auf einem Display 404 oder Lautsprecher 406 wiedergegeben wird, während Zeitreihen-Fahrzeugdaten angezeigt werden, die den Audiodaten und/oder Video-/Bilddaten entsprechen, die derzeit angezeigt werden. Bei einer Ausführungsform kann die Verschiebungskomponente 510 mindestens einen Teil der Videodaten, der den zur Erzeugung des Offsets verwendeten Audiodaten entspricht, wiedergeben und während der Wiedergabe eines Teils der Videodaten einen Teil der Zeitreihen-Daten, der dem Teil der Videodaten entspricht, auf der Basis des Offsets bestimmen und anzeigen. Bei einer Ausführungsform kann die Verschiebungskomponente 510 den Dateigenerator 302 von 3 und/oder die Wiedergabevorrichtung 402 von 4 umfassen.

Nunmehr mit Bezug auf 6 ist ein schematisches Flussdiagramm eines Verfahrens 600 zum Synchronisieren von Fahrzeugdaten und aufgezeichneten Audiodaten dargestellt.

Das Verfahren 600 kann durch eine Synchronisationskomponente, wie etwa die Synchronisationskomponente 502 von 5, ausgeführt werden.

Das Verfahren 600 beginnt, und eine Stellvertretertonkomponente 506 erzeugt bei 602 Stellvertretertondaten auf der Basis von Zeitreihen-Fahrzeugdaten. Bei 604 bestimmt eine Offsetkomponente 508 ein Offset, das Kreuzkorrelation zwischen den Stellvertretertondaten und den aufgezeichneten Audiodaten maximiert. Bei 606 verschiebt eine Verschiebungskomponente 510 die Zeitreihendaten und/oder die aufgezeichneten Audiodaten relativ zueinander zeitlich auf der Basis des Offsets, um eine synchronisierte Menge von Zeitreihendaten und aufgezeichneten Audiodaten zu erzeugen. Die Verschiebung kann während des Wiedergebens, der Erzeugung neuer Versionen von Videodateien und/oder während der Erzeugung einer kombinierten Datei, die sowohl Fahrzeugdaten als auch aufgezeichnete Audio, Video oder Bilder umfasst, auftreten.

Nunmehr mit Bezug auf 7 ist eine Blockdarstellung einer beispielhaften Datenverarbeitungsvorrichtung 700 dargestellt. Mit der Datenverarbeitungsvorrichtung 700 kann man verschiedene Prozeduren ausführen, wie etwa die hier in Bezug auf 16 besprochenen. Zum Beispiel kann die Synchronisationskomponente 502 von 5 eine, mehrere oder alle der Komponenten der beispielhaften Datenverarbeitungsvorrichtung 700 umfassen. Die Datenverarbeitungsvorrichtung 700 kann als Server, Client oder beliebige andere Datenverarbeitungsentität fungieren. Die Datenverarbeitungsvorrichtung 700 kann verschiedene hier besprochene Überwachungsfunktionen ausführen und kann ein oder mehrere Anwendungsprogramme, wie etwa die hier beschriebenen Anwendungsprogramme, ausführen. Bei der Datenverarbeitungsvorrichtung 700 kann es sich um vielfältige Datenverarbeitungsvorrichtungen handeln, wie etwa einen Desktop-Computer, einen Notebook-Computer, einen Servercomputer, einen Handheld-Computer, einen Tablet-Computer und dergleichen.

Die Datenverarbeitungsvorrichtung 700 beinhaltet einen oder mehrere Prozessoren 702, eine oder mehrere Speichervorrichtungen 704, eine oder mehrere Schnittstellen 706, eine oder mehrere Massenspeichervorrichtungen 708, eine oder mehrere Eingabe/Ausgabe(E/A)-Vorrichtungen 710 und eine Anzeigevorrichtung 730, die alle mit einem Bus 712 gekoppelt sind. Der/die Prozessor(en) 702 weist/weisen einen oder mehrere Prozessoren oder Steuerungen auf, die Anweisungen ausführen, die in der/den Speichervorrichtung(en) 704 und/oder Massenspeichervorrichtung(en) 708 gespeichert sind. Der Prozessor bzw. die Prozessoren 702 können auch verschiedene Arten von computerlesbaren Medien beinhalten, wie zum Beispiel Cache-Speicher.

Die Speichervorrichtung(en) 704 umfasst verschiedene computerlesbare Medien, wie etwa flüchtigen Speicher (z.B. Direktzugriffsspeicher (RAM) 714) und/oder nichtflüchtigen Speicher (z.B. Festwertspeicher (ROM) 716). Die Speichervorrichtung(en) 704 kann/können auch wiederbeschreibbaren ROM beinhalten, wie zum Beispiel Flash-Speicher.

Die Massenspeichervorrichtunge(en) 708 umfasst verschiedene computerlesbare Medien, wie etwa Magnetbänder, magnetische Datenträger, optische Datenträger, Halbleiterspeicher (z.B. Flash-Speicher) und so weiter. Wie in 7 gezeigt, ist eine konkrete Massenspeichervorrichtung eine Festplatte 724. Diverse Laufwerke können auch in der/den Massenspeichervorrichtung(en) 708 enthalten sein, um ein Auslesen aus den und/oder Schreiben auf die diversen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 708 beinhalten auswechselbare Medien 726 und/oder nicht auswechselbare Medien.

Die E/A-Vorrichtung(en) 710 beinhalten verschiedene Vorrichtungen, die gestatten, dass Daten und/oder andere Informationen in die Datenverarbeitungsvorrichtung 700 eingegeben oder aus ihr abgerufen werden. Die beispielhafte(n) E/A-Vorrichtung(en) 710 umfassen Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems und dergleichen.

Die Anzeigevorrichtung 730 beinhaltet eine beliebige Art von Vorrichtung, die in der Lage ist, für einen oder mehrere Benutzer der Datenverarbeitungsvorrichtung 700 Informationen anzuzeigen. Beispiele für die Anzeigevorrichtung 730 wären ein Monitor, ein Anzeigeterminal, eine Videoprojektionsvorrichtung und dergleichen.

Die Schnittstelle(n) 705 umfasst verschiedene Schnittstellen, die es der Datenverarbeitungsvorrichtung 700 erlauben, mit anderen Systemen, Vorrichtungen oder Datenverarbeitungsumgebungen in Interaktion zu treten. Die beispielhafte(n) Schnittstelle(n) 706 können eine beliebige Anzahl von verschiedenen Netzwerkschnittstellen 720 umfassen, wie etwa Schnittstellen zu lokalen Netzwerken (LAN), großflächigen Netzwerken (WANs), drahtlosen Netzwerken und dem Internet. Eine oder mehrere andere Schnittstellen beinhalten eine Benutzerschnittstelle 718 und eine Peripherieeinrichtungsschnittstelle 722. Die Schnittstelle(n) 706 können auch ein oder mehrere Benutzeroberflächenelemente 718 umfassen. Die Schnittstelle(n) 706 können auch eine oder mehrere Peripherieschnittstellen, wie etwa Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Trackpads oder eine beliebige Durchschnittsfachleuten jetzt bekannte oder später entdeckte Benutzeroberfläche), Tastaturen und dergleichen umfassen.

Der Bus 712 gestattet es dem/den Prozessor(en) 702, der/den Speichervorrichtung(en) 704, der/den Schnittstelle(n) 706, der/den Massenspeichervorrichtung(en) 708, der/den E/A-Vorrichtung(en) 710, miteinander zu kommunizieren sowie auch mit anderen Vorrichtungen oder Komponenten, die mit dem Bus 712 gekoppelt sind. Der Bus 712 repräsentiert eine oder mehrere von mehreren Arten von Busstrukturen, wie etwa einem Systembus, PCI-Bus, IEEE-1374-Bus, USB-Bus und so weiter.

Zur Veranschaulichung werden Programme und andere ausführbare Programmkomponenten vorliegend als diskrete Blöcke dargestellt, obwohl es sich versteht, dass derartige Programme und Komponenten zu verschiedenen Zeitpunkten in unterschiedlichen Speicherkomponenten der Recheneinrichtung 700 liegen können und durch den einen oder die mehreren Prozessoren 702 ausgeführt werden. Alternativ dazu können die vorliegend beschriebenen Systeme und Prozeduren in Hardware oder in einer Kombination von Hardware, Software und/oder Firmware implementiert sein. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) programmiert sein, eines oder mehrere der hier beschriebenen Systeme und Verfahren auszuführen.

Beispiele

Die folgenden Beispiele betreffen weitere Ausführungsformen.

Beispiel 1 ist ein Verfahren zur Nachverarbeitung von Audiodaten mit Fahrzeugdaten zur Synchronisierung der Audiodaten und Fahrzeugdaten (oder beliebiger Daten, die mit den Audiodaten und Videodaten verwandt oder synchronisiert sind). Das Verfahren umfasst Erzeugen von Stellvertretertondaten auf der Basis von Zeitreihen-Fahrzeugdaten. Das Verfahren umfasst Bestimmen eines Offsets, das Kreuzkorrelation zwischen den Stellvertretertondaten und aufgezeichneten Audiodaten maximiert. Das Verfahren umfasst Verschieben der Zeitreihendaten und/oder der aufgezeichneten Audiodaten zeitlich relativ zueinander auf der Basis des Offsets, um eine synchronisierte Menge von Zeitreihendaten und aufgezeichneten Audiodaten zu erzeugen.

In Beispiel 2 umfasst Erzeugen der Stellvertretertondaten in Beispiel 1 Modifizieren einer Amplitude eines Tons auf der Basis eines Werts eines Teils der Zeitreihendaten.

In Beispiel 3 umfasst Modifizieren der Amplitude des Tons in Beispiel 2 Modifizieren einer Amplitude eines generischen Schleifen-Tons, wobei der generische Schleifen-Ton einen Ton von Motorgeräusch und/oder Innenraumgeräusch und/oder Außenwindgeräusch und/oder Reifengeräusch repliziert.

In Beispiel 4 umfasst Erzeugen der Stellvertretertondaten in beliebigen der Beispiele 1–3 Erzeugen eines Stellvertretertons, um einen Motorton und/oder einen Elektromotorton und/oder einen Windton und/oder einen Reifenton zu simulieren.

In Beispiel 5 umfassen die Zeitreihendaten in beliebigen der Beispiele 1–4 Daten für eine Motordrehzahl und/oder eine Fahrzeuggeschwindigkeit, wobei Erzeugen der Stellvertretertondaten Erzeugen auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit umfasst.

In Beispiel 6 umfasst Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten zeitlich auf der Basis des Offsets in beliebigen der Beispiele 1–5 Verschieben während des Wiedergebens der aufgezeichneten Audiodaten und/oder der Bild- oder Videodaten, die den Audiodaten entsprechen.

In Beispiel 7 umfasst Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten zeitlich auf der Basis des Offsets in beliebigen der Beispiele 1–6: Modifizieren einer Zeitsignatur der Zeitreihendaten und/oder der aufgezeichneten Audiodaten und/oder Speichern des Offsets mit den Zeitreihendaten und/oder den aufgezeichneten Audiodaten und/oder Erzeugen einer Datei, die Teile der Zeitreihendaten mit entsprechenden Audio- oder Videodaten auf der Basis des Offsets korreliert, wobei die aufgezeichneten Audiodaten Audiodaten aus der Videoaufzeichnung umfassen.

In Beispiel 8 umfassen die Zeitreihendaten in beliebigen der Beispiele 1–7 Daten, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme eines Fahrzeugs während einer Fahrperiode produziert werden, und die aufgezeichneten Audiodaten umfassen während der Fahrperiode aufgezeichnete Audiodaten.

Beispiel 9 ist ein System oder eine Vorrichtung mit einer Stellvertretertonkomponente, einer Offsetkomponente und einer Verschiebungskomponente. Die Stellvertretertonkomponente ist dafür ausgelegt, auf der Basis von Zeitreihen-Fahrzeugdaten Stellvertretertondaten zu erzeugen. Die Offsetkomponente ist dafür ausgelegt, ein Offset zu bestimmen, das Kreuzkorrelation zwischen den Stellvertretertondaten und aufgezeichneten Audiodaten maximiert. Die Verschiebungskomponente ist dafür ausgelegt, die Fahrzeug-Zeitreihendaten und/oder die aufgezeichneten Audiodaten zeitlich auf der Basis des Offsets zu verschieben, um eine synchronisierte Menge von Zeitreihendaten und Audiodaten zu erzeugen. Die Zeitreihendaten umfassen Daten, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme des Fahrzeugs während einer Fahrperiode produziert werden, und die aufgezeichneten Audiodaten umfassen während der Fahrperiode aufgezeichnete Audiodaten.

In Beispiel 10 ist die Stellvertretertonkomponente in Beispiel 9 dafür ausgelegt, die Stellvertretertondaten durch Modifizieren einer Amplitude eines Tons auf der Basis eines Werts eines Teils der Zeitreihendaten zu erzeugen.

In Beispiel 11 ist die Stellvertretertonkomponente in Beispiel 9 dafür ausgelegt, die Amplitude des Tons durch Modifizieren einer Amplitude eines generischen Schleifen-Tons zu modifizieren, wobei der generische Schleifen-Ton einen Ton eines Motorgeräuschs und/oder Innenraumgeräuschs und/oder Außenwindgeräuschs und/oder Reifengeräuschs repliziert.

In Beispiel 12 ist die Stellvertretertonkomponente in beliebigen der Beispiele 9–11 ausgelegt zum Erzeugen der Stellvertretertondaten durch Erzeugen eines Stellvertretertons zur Simulation eines Motortons und/oder eines Windtons; und/oder eines Reifentons.

In Beispiel 13 umfassen die Zeitreihendaten in beliebigen der Beispiele 9–12 Daten für eine Motordrehzahl und/oder eine Fahrzeuggeschwindigkeit, wobei die Stellvertretertonkomponente ausgelegt ist zum Erzeugen der Stellvertretertondaten durch Erzeugung auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit.

In Beispiel 14 ist die Verschiebungskomponente in beliebigen der Beispiele 9–13 ausgelegt zum zeitlichen Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten auf der Basis des Offsets durch Verschieben während der Wiedergabe der aufgezeichneten Audiodaten und/oder von Bild- oder Videodaten, die den Audiodaten entsprechen.

In Beispiel 15 ist die Verschiebungskomponente in beliebigen der Beispiele 9–14 ausgelegt zum zeitlichen Verschieben der Fahrzeug-Zeitreihendaten und/oder der aufgezeichneten Audiodaten durch Modifizieren einer Zeitsignatur der Zeitreihendaten und/oder der aufgezeichneten Audiodaten und/oder Speichern des Offsets mit den Zeitreihendaten und/oder den aufgezeichneten Audiodaten und/oder Erzeugen einer Datei, die Teile der Zeitreihendaten mit entsprechenden Audio- oder Videodaten korreliert, auf der Basis des Offsets, wobei die aufgezeichneten Audiodaten Audiodaten aus der Videoaufzeichnung umfassen.

Beispiel 16 ist ein Verfahren, das Erzeugen von Stellvertretertondaten auf der Basis von Zeitreihen-Fahrzeugdaten umfasst, die durch einen oder mehrere Fahrzeugsensoren oder Steuersysteme des Fahrzeugs während einer Fahrperiode produziert werden. Das Verfahren umfasst Bestimmen eines Offsets, das Kreuzkorrelation zwischen den Stellvertretertondaten und den aufgezeichneten Audiodaten maximiert, wobei die aufgezeichneten Audiodaten Audio aus während der Fahrperiode aufgezeichneten Videodaten umfassen. Das Verfahren umfasst Wiedergeben mindestens eines Teils der Videodaten. Das Verfahren umfasst, während des Wiedergebens eines Teils der Videodaten, Bestimmen und Anzeigen eines Teils der Zeitreihendaten entsprechend dem Teil der Videodaten auf der Basis des Offsets.

In Beispiel 17 umfasst Erzeugen der Stellvertretertondaten in Beispiel 16 Modifizieren einer Amplitude eines Tons über die Zeit auf der Basis eines Werts eines Teils der Zeitreihendaten über die Zeit hinweg.

In Beispiel 18 umfasst Modifizieren der Amplitude des Tons in Beispiel 17 Modifizieren einer Amplitude eines generischen Schleifen-Tons, wobei der generische Schleifen-Ton einen Ton eines Motorgeräuschs und/oder Innenraumgeräuschs und/oder Außenwindgeräuschs und/oder Reifengeräuschs repliziert.

In Beispiel 19 umfassen die Zeitreihendaten in beliebigen der Beispiele 16–18 Daten für eine Motordrehzahl und/oder eine Fahrzeuggeschwindigkeit, wobei Erzeugen der Stellvertretertondaten Erzeugen auf der Basis der Motordrehzahl und/oder der Fahrzeuggeschwindigkeit umfasst.

In Beispiel 20 umfasst Bestimmen des Offsets, das Kreuzkorrelation in beliebigen der Beispiele 16–19 maximiert, Abstimmen eines oder mehrerer Merkmale in den Stellvertretertondaten mit einem oder mehreren Merkmalen in den aufgezeichneten Audiodaten und Bestimmen des Offsets zum zeitlichen Abstimmen des einen oder der mehreren Merkmale in den Stellvertretertondaten mit dem einen oder den mehreren Merkmalen in den aufgezeichneten Audiodaten.

Beispiel 21 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, bewirken, dass die Prozessoren ein Verfahren implementieren oder ein System oder eine Vorrichtung realisieren, so wie in beliebigen der Beispiele 1–20.

Beispiel 22 ist ein System oder eine Vorrichtung mit Mitteln zum Implementieren eines Verfahrens, eines Systems oder einer Vorrichtung wie in beliebigen der Beispiele 1–21.

Bei der obigen Offenbarung wurde auf die begleitenden Zeichnungen verwiesen, die einen Teil davon bilden, und in welchen veranschaulichend spezifische Umsetzungen, in welchen die Offenbarung umgesetzt werden kann, beispielhaft gezeigt sind. Es versteht sich, dass andere Umsetzungen verwendet werden und strukturelle Änderungen durchgeführt werden können, ohne von dem Schutzumfang der vorliegenden Offenbarung abzuweichen. Verweise in der Patentschrift auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft aufweisen kann, jede Ausführungsform aber nicht zwangsläufig das bestimmte Merkmal, die bestimmte Struktur oder Eigenschaft aufweisen muss. Darüber hinaus verweisen derartige Formulierungen nicht zwangsläufig auf dieselbe Ausführungsform. Ferner wird, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, davon ausgegangen, dass ein Fachmann die Kenntnis besitzt, ein derartiges Merkmal, eine derartige Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen, ob ausdrücklich beschrieben oder nicht, auszuführen.

Wie hier verwendet, kann „autonomes Fahrzeug“ ein Fahrzeug sein, das völlig unabhängig von einem menschlichen Fahrer handelt oder funktioniert; oder es kann ein Fahrzeug sein, das in einigen Fällen unabhängig von einem menschlichen Fahrer handelt oder funktioniert, während ein menschlicher Fahrer in anderen Fällen in der Lage sein kann, das Fahrzeug zu bedienen; oder es kann ein Fahrzeug sein, das überwiegend von einem menschlichen Fahrer, aber mit der Unterstützung eines automatisierten Fahr-/Unterstützungssystems bedient wird.

Die hier verwendeten Begriffe „Komponente“ oder „Modul“ sollen ihre Implementierungsunabhängigkeit angeben. Umsetzungen der hier offenbarten Systeme, Einrichtungen und Verfahren können einen Spezial- oder Allzweckcomputer, der Computerhardware, wie etwa zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, aufweist, umfassen oder benutzen, wie hier besprochen wird. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können auch physische und andere computerlesbare Medien zum Tragen oder Speichern computerausführbarer Anweisungen und/oder Datenstrukturen aufweisen. Derartige computerlesbare Medien können beliebige verfügbare Medien sein, auf die durch ein Allzweck- oder Spezialcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien(-vorrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen tragen, sind Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielhaft und nicht einschränkend mindestens zwei getrennte unterschiedliche Arten computerlesbarer Medien umfassen: Computerspeichermedien(-vorrichtungen) und Übertragungsmedien.

Computerspeichermedien(-vorrichtungen) weisen RAM, ROM, EEPROM, CD-ROM, Halbleiterfestplatten („SSDs“) (zum Beispiel basierend auf RAM), Flash-Speicher, phasenwechselnde Speicher („PCM“), andere Arten von Speicher, andere optische Plattenspeicher, magnetische Plattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das zum Speichern von gewünschten Programmcodemitteln in der Form von computerausführbaren Anweisungen oder Datenstrukturen verwendet werden kann, und auf das durch einen Allzweck- oder Spezialcomputer zugegriffen werden kann, auf.

Eine Implementierung der Vorrichtungen, Systeme und Verfahren, die hier offenbart werden, kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Einrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine Kombination aus festverdrahtet und drahtlos) an einen Computer übermittelt oder bereitgestellt werden, sieht der Computer die Verbindung sachgemäß als ein Übertragungsmedium. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen aufweisen, die dazu verwendet werden können, gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu tragen und auf die durch einen Allzweck- oder Spezialcomputer zugegriffen werden kann. Kombinationen des oben Genannten sollten auch im Umfang von computerlesbaren Medien enthalten sein.

Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie in einem Prozessor ausgeführt werden, verursachen, dass ein Allzweckcomputer, ein Spezialcomputer oder eine Spezialverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärprogramme, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodologische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die oben beschriebenen Merkmale oder Handlungen beschränkt ist. Vielmehr sind die beschriebenen Merkmale und Handlungen als beispielhafte Formen des Implementierens der Ansprüche offenbart.

Fachleute werden erkennen, dass die Offenbarung in Netzwerkdatenverarbeitungsumgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, einschließlich eines Fahrzeugcomputers im Armaturenbrett, Personalcomputern, Desktopcomputern, Laptopcomputern, Nachrichtenprozessoren, in der Hand gehaltener Vorrichtungen, Multiprozessorsystemen, Mikroprozessor-basierter oder programmierbarer Verbraucherelektronik, Netzwerk-PCs, Minicomputern, Großrechnern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Schaltern, diversen Speichervorrichtungen und dergleichen. Die Offenbarung kann auch in verteilten Systemumgebungen umgesetzt sein, bei welchen sowohl lokale als auch entfernte Computersysteme, die (entweder durch fest verdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus fest verdrahteten und drahtlosen Datenverbindungen) durch ein Netzwerk verbunden sind, Aufgaben ausführen. Bei einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen als auch entfernten Speichervorrichtungen befinden.

Außerdem können die vorliegend beschriebenen Funktionen gegebenenfalls in Hardware und/oder Software und/oder Firmware und/oder digitalen Komponenten und/oder analogen Komponenten durchgeführt werden. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) programmiert sein, eines oder mehrere der hier beschriebenen Systeme und Verfahren auszuführen. Bestimmte Begriffe werden in der Beschreibung und in den Ansprüchen durchgehend verwendet, um bestimmte Systemkomponenten zu bezeichnen. Fachleute werden erkennen, dass Komponenten mit verschiedenen Bezeichnungen bezeichnet werden können. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die zwar unterschiedliche Bezeichnungen, aber die gleiche Funktion aufweisen.

Es ist anzumerken, dass die oben besprochenen Sensorausführungsformen Computerhardware, Software, Firmware oder eine beliebige Kombination davon zum Durchführen von mindestens einem Teil ihrer Funktionen umfassen können. Ein Sensor kann zum Beispiel Computercode aufweisen, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann durch den Computercode gesteuerte Hardwarelogik/elektrische Schaltkreise aufweisen. Diese beispielhaften Einrichtungen sind hier für Zwecke der Veranschaulichung bereitgestellt und nicht als einschränkend beabsichtigt. Ausführungsformen der vorliegenden Offenbarung können in zusätzlichen Arten von Einrichtungen implementiert werden, wie Fachleuten auf dem entsprechenden Gebiet/den entsprechenden Gebieten bekannt sein würde.

Mindestens einige Ausführungsformen der Offenbarung betrafen Computerprogrammprodukte mit solcher Logik (z.B. in Form von Software), die auf einem beliebigen computerbenutzbaren Medium gespeichert ist. Eine derartige Software verursacht, dass eine Einrichtung wie hier beschrieben funktioniert, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird.

Obwohl diverse Ausführungsformen der vorliegenden Offenbarung oben beschrieben worden sind, versteht es sich, dass sie lediglich beispielhaft und ohne Einschränkung präsentiert worden sind. Für Fachleute auf dem entsprechenden Gebiet versteht es sich, dass diverse Veränderungen in der Form und in den Einzelheiten darin vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Offenbarung abzuweichen. Somit sollten die Breite und der Schutzumfang der vorliegenden Offenbarung nicht durch irgendeines der zuvor beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollten nur gemäß den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die vorstehende Beschreibung wurde zu Zwecken der Veranschaulichung und Beschreibung dargelegt. Sie ist nicht als vollständig oder als die Offenbarung auf die exakte, offenbarte Form einschränkend auszulegen. Viele Modifikationen und Variationen sind angesichts der obigen Lehren möglich. Ferner versteht es sich, dass irgendeine oder alle der vorgenannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination zum Bilden von zusätzlichen hybriden Umsetzungen der Offenbarung verwendet werden können.

Obwohl spezifische Umsetzungen der Offenbarung beschrieben und veranschaulicht worden sind, ist die Offenbarung ferner nicht auf die spezifischen Formen oder Anordnungen von so beschriebenen und veranschaulichten Teilen einzuschränken. Der Schutzumfang der Offenbarung soll durch die hier anliegenden Ansprüche, jegliche zukünftigen hier und in anderen Anmeldungen eingereichten Ansprüche und deren Äquivalente definiert werden.

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Nicht-Patentliteratur

  • IEEE-1374-Bus [0045]