Title:
Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug
Document Type and Number:
Kind Code:
A1

Abstract:

Die Erfindung betrifft ein Verfahren zum Betrieb eines Stereokamerasystems (2) in einem Fahrzeug (1), wobei Kameraeinheiten (3) des Stereokamerasystems (2) in einem Fahrgastraum des Fahrzeugs (1) derart angeordnet sind, dass optische Achsen der Kameraeinheiten (3) auf eine Windschutzscheibe (4) des Fahrzeugs (1) ausgerichtet sind, und wobei an der Windschutzscheibe (4) in einem Sichtfeld der Kameraeinheiten (3) zumindest ein Hologramm (6) angeordnet ist, wird erfindungsgemäß anhand eines einzigen mittels des Stereokamerasystems (2) aufgezeichneten Bildpaares des zumindest einen Hologramms (6) eine Ausrichtung des Stereokamerasystems (2) bestimmt und dadurch unter Verwendung des zumindest einen Hologramms (6) eine Online-Kalibrierung des Stereokamerasystems (2) durchgeführt.





Inventors:
Hörnlein, Thomas, Dr. rer. nat. Dipl.-Ing. (71154, Nufringen, DE)
Application Number:
DE102017005056A
Publication Date:
11/02/2017
Filing Date:
05/26/2017
Assignee:
Daimler AG, 70327 (DE)
International Classes:
B60R1/00; G02B5/32; G03B35/08; H04N13/00
Claims:
1. Verfahren zum Betrieb eines Stereokamerasystems (2) in einem Fahrzeug (1), wobei Kameraeinheiten (3) des Stereokamerasystems (2) in einem Fahrgastraum des Fahrzeugs (1) derart angeordnet sind, dass optische Achsen der Kameraeinheiten (3) auf eine Windschutzscheibe (4) des Fahrzeugs (1) ausgerichtet sind, und wobei an der Windschutzscheibe (4) in einem Sichtfeld der Kameraeinheiten (3) zumindest ein Hologramm (6) angeordnet ist, dadurch gekennzeichnet, dass anhand eines einzigen mittels des Stereokamerasystems (2) aufgezeichneten Bildpaares des zumindest einen Hologramms (6) eine Ausrichtung des Stereokamerasystems (2) bestimmt wird und dadurch unter Verwendung des zumindest einen Hologramms (6) eine Online-Kalibrierung des Stereokamerasystems (2) durchgeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine Hologramm (6), welches mittels des Stereokamerasystems (2) erfasst wird, als ein Durchscheinhologramm ausgebildet ist.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine Hologramm (6), welches mittels des Stereokamerasystems (2) erfasst wird, mittels einer aktiven Lichtquelle des Stereokamerasystems (2) beleuchtet wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass an der Windschutzscheibe (4) im Sichtfeld der Kameraeinheiten (3) mehrere Hologramme (6) angeordnet sind und anhand eines einzigen mittels des Stereokamerasystems (2) aufgezeichneten Bildpaares dieser mehreren Hologramme (6) die Ausrichtung des Stereokamerasystems (2) bestimmt wird und dadurch unter Verwendung dieser mehreren Hologramme (6) die Online-Kalibrierung des Stereokamerasystems (2) durchgeführt wird.

Description:

Die Erfindung betrifft ein Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug nach den Merkmalen des Oberbegriffs des Anspruchs 1.

Aus dem Stand der Technik sind, wie in der DE 10 2013 210 887 A1 beschrieben, eine optische Sensoranordnung für ein Fahrzeug und ein Fahrzeug mit einer derartigen Sensoranordnung bekannt. Die optische Sensoranordnung umfasst eine als ein Stereokamerasystem ausgebildete Sensoreinrichtung zur Aufnahme optischer Strahlung aus einem Fahrzeug-Umfeld und mindestens ein optisches Element, welches in einem Strahlengang der Sensoreinrichtung angeordnet ist und mit der Sensoreinrichtung ein Abbildungssystem zur Abbildung der optischen Strahlung auf die Sensoreinrichtung ausbildet. Das mindestens eine optische Element ist als ein holografisch optisches Element zur Ablenkung der optischen Strahlung ausgebildet.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug mit den Merkmalen des Anspruchs 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Ein Stereokamerasystem, welches insbesondere zur Erfassung einer Umgebung eines Fahrzeugs dient, ist in dem Fahrzeug angeordnet. Dabei sind Kameraeinheiten des Stereokamerasystems in einem Fahrgastraum des Fahrzeugs derart angeordnet, dass optische Achsen der Kameraeinheiten auf eine Windschutzscheibe des Fahrzeugs ausgerichtet sind. An der Windschutzscheibe ist in einem Sichtfeld der Kameraeinheiten zumindest ein Hologramm angeordnet. In einem erfindungsgemäßen Verfahren zum Betrieb des Stereokamerasystems wird anhand eines einzigen mittels des Stereokamerasystems aufgezeichneten Bildpaares des zumindest einen Hologramms eine Ausrichtung des Stereokamerasystems, insbesondere der Kameraeinheiten des Stereokamerasystems, bestimmt und dadurch unter Verwendung des zumindest einen Hologramms eine Online-Kalibrierung des Stereokamerasystems durchgeführt.

Das erfindungsgemäße Verfahren ermöglicht auf einfach zu realisierende Weise die Online-Kalibrierung des Stereokamerasystems, d. h. dessen Kalibrierung nach Auslieferung des Fahrzeugs durch einen Hersteller an einen Kunden und somit in einem normalen Fahrbetrieb des Fahrzeugs. Diese Kalibrierung des Stereokamerasystems ist wichtig für eine ordnungsgemäße Funktion des Stereokamerasystems und somit für eine ordnungsgemäße Funktion von Assistenzsystemen, welche mittels des Stereokamerasystems ermittelte Informationen der Umgebung des Fahrzeugs verwenden.

Um Tiefeninformationen aus einem Stereobildpaar, d. h. aus einem mittels des Stereokamerasystems erfassten Bildpaares, ermitteln zu können, muss eine relative Ausrichtung der Kameraeinheiten des Stereokamerasystems zueinander exakt bekannt sein. Mittels des erfindungsgemäßen Verfahrens wird es ermöglicht, diese relative Ausrichtung der Kameraeinheiten zueinander in einer einzigen Messung, insbesondere anhand eines einzigen erfassten Bildpaares, zu bestimmen.

Im Gegensatz dazu benötigen aus dem Stand der Technik bekannte Verfahren eine Vielzahl von Messungen einer veränderlichen Szenerie, da sie zur Bestimmung der relativen Ausrichtung der Kameraeinheiten des Stereokamerasystems Bildmerkmale über eine Vielzahl von Bildern auswerten und daraus die Ausrichtung der Kameraeinheiten ableiten. D. h. es müssen diese Vielzahl von Messungen durchgeführt werden, wofür ein entsprechender Zeitaufwand erforderlich ist, und zudem ist eine veränderliche Szenerie und somit beispielsweise eine Bewegung des Fahrzeugs erforderlich, damit sich die erfasste Umgebung des Fahrzeugs verändert. Währenddessen steht das Stereokamerasystem für Assistenzsysteme, die dessen Informationen verwenden, nicht zur Verfügung oder es besteht das Risiko, dass die ermittelten Informationen aufgrund der noch nicht erfolgten Kalibrierung fehlerhaft sind.

Dies wird durch die erfindungsgemäße Lösung vermieden, da das erfindungsgemäße Verfahren beispielsweise auch die Online-Kalibrierung des Stereokamerasystems während eines Stillstands des Fahrzeugs ermöglicht. Dadurch stehen die Informationen des dann bereits kalibrierten Stereokamerasystems den Assistenzsystemen des Fahrzeugs bereits bei Fahrtantritt zur Verfügung. Dies ist beispielsweise besonders wichtig bei einer Durchführung eines hochautomatisierten oder autonomen Fahrbetriebs des Fahrzeugs, aber beispielsweise auch für andere Assistenzsysteme, welche einen Fahrzeugführer unterstützen.

Das erfindungsgemäße Verfahren ermöglicht somit eine im Vergleich zum Stand der Technik schnellere Durchführung der Stereo-Onlinekalibrierung und bietet zudem die Möglichkeit der Bestimmung von Scheibenverzeichnungsparametern, d. h. von Parametern einer durch die Windschutzscheibe verursachten Verzeichnung. Für diese Bestimmung der Scheibenverzeichnungsparameter wird eine Dicke der Windschutzscheibe als in guter Näherung konstant angenommen. Dadurch ist es lediglich erforderlich, den Winkel zwischen der optischen Achse der jeweiligen Kameraeinheit und einer Normale der Windschutzscheibe zu bestimmen, um die Scheibenverzeichnungsparameter zu berechnen. Des Weiteren ermöglicht das erfindungsgemäße Verfahren, wie oben bereits beschrieben, die Steigerung einer Verfügbarkeit von Funktionen, insbesondere von durch Assistenzsysteme zur Verfügung gestellten Assistenzfunktionen, welche auf Stereomessungen mittels des Stereokamerasystems basieren. Durch das erfindungsgemäße Verfahren ist es zudem nicht erforderlich, dass Objektive der Kameraeinheiten des Stereokamerasystems fest miteinander verbunden sind, da mittels des erfindungsgemäßen Verfahrens auf einfache Weise eine jeweilige relative Ausrichtung der Kameraeinheiten des Stereokamerasystems zueinander ermittelt werden kann. Des Weiteren ermöglicht es das erfindungsgemäße Verfahren, Stereokamerasysteme mit gegenüber dem Stand der Technik größeren Basisbreiten zu verwenden.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.

Dabei zeigt:

1 schematisch ein Fahrzeug mit einem Stereokamerasystem.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Stereokamerasystem 2, d. h. mit einem insbesondere für die Stereoskopie geeigneten Kamerasystem, welches mindestens zwei Kameraeinheiten 3, wie hier schematisch dargestellt, oder mehr Kameraeinheiten 3 umfasst. Dieses Stereokamerasystem 2 ist in einem Fahrgastinnenraum hinter einer Windschutzscheibe 4 des Fahrzeugs 1 angeordnet und auf einen Umgebungsbereich vor dem Fahrzeug 1 ausgerichtet, d. h. optische Achsen der Kameraeinheiten 3 des Stereokamerasystems 2 sind auf die Windschutzscheibe 4 des Fahrzeugs 1 ausgerichtet und verlaufen durch die Windschutzscheibe 4 hindurch.

Das Stereokamerasystem 2 dient somit insbesondere der Umgebungserfassung, d. h. der Erfassung der Umgebung des Fahrzeugs 1. Von diesem Stereokamerasystem 2 bereitgestellte Informationen werden insbesondere von Assistenzsystemen des Fahrzeugs 1 verwendet, zum Beispiel zur Unterstützung eines Fahrzeugführers und/oder zur Durchführung eines hochautomatisierten oder autonomen Fahrbetriebs.

Mittels eines solchen Stereokamerasystems 2 werden Bildpaare, so genannte Stereobildpaare, ermittelt. D. h. es werden jeweils zum gleichen Zeitpunkt mittels der Kameraeinheiten 3 Bilder aufgenommen. Daraus werden insbesondere Tiefeninformationen ermittelt, um die Umgebung des Fahrzeugs 1 dreidimensional erfassen zu können. Um derartige Tiefeninformationen aus den Bildpaaren ermitteln zu können, muss eine relative Ausrichtung der Kameraeinheiten 3 des Stereokamerasystems 2 zueinander exakt bekannt sein.

Aus dem Stand der Technik bekannte Verfahren benötigen hierfür, d. h. für eine Kalibrierung des Stereokamerasystems 2, eine Vielzahl von Messungen einer veränderlichen Szenerie, da sie zur Bestimmung der relativen Ausrichtung der Kameraeinheiten 3 des Stereokamerasystems 2 Bildmerkmale über eine Vielzahl von Bildern auswerten und daraus die Ausrichtung der Kameraeinheiten 3 ableiten. D. h. es muss diese Vielzahl von Messungen durchgeführt werden, wofür ein entsprechender Zeitaufwand erforderlich ist, und zudem ist eine veränderliche Szenerie und somit beispielsweise eine Bewegung des Fahrzeugs 1 erforderlich, damit sich die erfasste Umgebung des Fahrzeugs 1 verändert. Währenddessen steht das Stereokamerasystem 2 für die Assistenzsysteme, die dessen Informationen verwenden, nicht zur Verfügung oder es besteht das Risiko, dass die ermittelten Informationen aufgrund der noch nicht erfolgten Kalibrierung fehlerhaft sind.

Diese Nachteile aus dem Stand der Technik bekannter Verfahren können mit einer in 1 dargestellten Vorrichtung 5 zur Umgebungserfassung und einem damit durchführbaren Verfahren zum Betrieb des Stereokamerasystems 2 vermieden werden. Die Vorrichtung 5 umfasst neben dem Stereokamerasystem 2 zumindest ein Hologramm 6, d. h. ein holografisch optisches Element, welches in einem Sichtfeld der Kameraeinheiten 3 des Stereokamerasystems 2 an der Windschutzscheibe 4, zweckmäßigerweise an einer dem Fahrgastinnenraum zugewandten Innenseite der Windschutzscheibe 4, angeordnet ist. Dieses Hologramm 6 kann beispielsweise als ein Durchscheinhologramm ausgebildet sein oder mittels einer aktiven Lichtquelle des Stereokamerasystems 2 beleuchtet werden. Es können auch mehrere solcher Hologramme 6 im Sichtbereich der Kameraeinheiten 3 des Stereokamerasystems 2 an der Windschutzscheibe 4 angeordnet sein, wobei dann die Hologramme 6 jeweils als Durchscheinhologramm ausgebildet sein können oder mittels der aktiven Lichtquelle des Stereokamerasystems 2 beleuchtet werden können.

Das zumindest eine Hologramm 6 oder die mehreren Hologramme 6 ist/sind somit aufgrund der Anordnung im Sichtfeld der Kameraeinheiten 3 des Stereokamerasystems 2 jeweils von allen Kameraeinheiten 3 des Stereokamerasystems 2 erfassbar. Somit ermöglicht/ermöglichen das zumindest eine Hologramm 6 oder die mehreren Hologramme 6 die Bestimmung der Ausrichtung der einzelnen Kameraeinheiten 3 des Stereokamerasystems 2.

Im Verfahren zum Betrieb des Stereokamerasystems 2 wird anhand eines einzigen mittels des Stereokamerasystems 2 aufgezeichneten Bildpaares des zumindest einen Hologramms 6 oder der mehreren Hologramme 6 eine Ausrichtung des Stereokamerasystems 2, insbesondere der Kameraeinheiten 3 des Stereokamerasystems 2, bestimmt und somit unter Verwendung des zumindest einen Hologramms 6 oder der mehreren Hologramme 6 eine Online-Kalibrierung für das Stereokamerasystem 2 realisiert. D. h. es sind insbesondere keine mehreren zeitlich versetzt zueinander aufgenommenen Bildpaare einer sich verändernden Szenerie erforderlich.

Um die Online-Kalibrierung auf die beschriebene Weise zu ermöglichen, ist zweckmäßigerweise eine Position und/oder Ausrichtung des zumindest einen Hologramms 6 und bei mehreren Hologrammen 6 insbesondere eine relative Ausrichtung der Hologramme 6 zueinander bekannt und wird für die Online-Kalibrierung des Stereokamerasystem 2 verwendet. Diese Position und/oder Ausrichtung des Hologramms 6 oder der mehreren Hologramme 6 und bei mehreren Hologrammen 6 die relative Ausrichtung der Hologramme 6 zueinander werden vorteilhafterweise aus Designparametern abgeleitet und/oder in einem Herstellungswerk, in welchem das Fahrzeug 1 hergestellt wird, gemessen und/oder per Online-Kalibrierung bestimmt. Durch die Bestimmung per Online-Kalibrierung kann dabei ein Abgleich mit dem aus den Designparametern abgeleiteten und/oder gemessenen jeweiligen Wert erfolgen und dadurch die exakte Kalibrierung des Stereokamerasystems 2 durch diese Online-Kalibrierung durchgeführt werden. Beispielsweise liegt die exakte Kalibrierung vor, wenn bei dem Abgleich keine Abweichung zwischen dem jeweiligen aus den Designparametern abgeleiteten und/oder gemessenen Wert mit dem während der Online-Kalibrierung ermittelten Wert festgestellt wird.

Das beschriebene Verfahren zum Betrieb des Stereokamerasystems 2 ermöglicht auf einfach zu realisierende Weise die Online-Kalibrierung des Stereokamerasystems 2, d. h. dessen Kalibrierung in einem normalen Betrieb, insbesondere Fahrbetrieb, des Fahrzeugs 1. Mittels des Verfahrens wird es ermöglicht, die relative Ausrichtung der Kameraeinheiten 3 zueinander in einer einzigen Messung, insbesondere anhand eines einzigen erfassten Bildpaares, zu bestimmen. Insbesondere ermöglicht dieses Verfahren auch die Online-Kalibrierung des Stereokamerasystems 2 während eines Stillstands des Fahrzeugs 1, da durch die Verwendung eines oder mehrerer Hologramme 6 keine veränderlichen Szenerien erforderlich sind, d. h. es ist keine Veränderung der Umgebung durch eine Bewegung des Fahrzeugs 1 erforderlich. Dadurch stehen die Informationen des dann bereits kalibrierten Stereokamerasystems 2 den Assistenzsystemen des Fahrzeugs 1 bereits bei Fahrtantritt zur Verfügung. Dies ist beispielsweise besonders wichtig bei der Durchführung des hochautomatisierten oder autonomen Fahrbetriebs des Fahrzeugs 1, aber beispielsweise auch für andere Assistenzsysteme, welche den Fahrzeugführer unterstützen.

Das Verfahren ermöglicht somit eine im Vergleich zum Stand der Technik schnellere Durchführung der Online-Kalibrierung und die Steigerung der Verfügbarkeit von Funktionen, insbesondere von durch Assistenzsysteme zur Verfügung gestellten Assistenzfunktionen, welche auf Stereomessungen mittels des Stereokamerasystems 2 basieren. Zudem ist es nicht erforderlich, dass Objektive der Kameraeinheiten 3 des Stereokamerasystems 2 fest miteinander verbunden sind, da mittels des beschriebenen Verfahrens auf einfache Weise eine jeweilige relative Ausrichtung der Kameraeinheiten 3 des Stereokamerasystems 2 zueinander ermittelt werden kann. Des Weiteren wird es durch das Verfahren ermöglicht, Stereokamerasysteme 2 mit gegenüber dem Stand der Technik größeren Basisbreiten zu verwenden, d. h. mit einem größeren Abstand der optischen Achsen zueinander.

Werden Messungen über ein gesamtes Sichtfeld des Stereokamerasystems 2 aufgezeichnet, d. h. wird diese Online-Kalibrierung mittels Hologrammen 6 über das gesamtes Sichtfeld des Stereokamerasystems 2, insbesondere der jeweiligen Kameraeinheit 3, durchgeführt, indem vorteilhafterweise mehrere Hologramme 6 über das gesamte Sichtfeld verteilt an der Windschutzscheibe 4 angeordnet sind, kann hieraus zudem eine so genannte Scheibenverzeichnung abgeleitet werden, d. h. eine durch die Windschutzscheibe 4 verursachte Verzeichnung in den aufgenommenen Bildern. Das Verfahren ermöglicht somit auch die Bestimmung von Scheibenverzeichnungsparametern, d. h. von Parametern der durch die Windschutzscheibe 4 verursachten Verzeichnung. Für diese Bestimmung der Scheibenverzeichnungsparameter wird eine Dicke der Windschutzscheibe 4 als in guter Näherung konstant angenommen. Dadurch ist es lediglich erforderlich, den Winkel zwischen der optischen Achse der jeweiligen Kameraeinheit 3 und einer Normale der Windschutzscheibe 4 zu bestimmen. Ist dieser Winkel bekannt, können die Scheibenverzeichnungsparameter berechnet werden.

Bezugszeichenliste

1
Fahrzeug
2
Stereokamerasystem
3
Kameraeinheit
4
Windschutzscheibe
5
Vorrichtung
6
Hologramm

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Patentliteratur

  • DE 102013210887 A1 [0002]