Title:
Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren eines Fahrzeugs
Document Type and Number:
Kind Code:
A1

Abstract:

Die Erfindung betrifft eine Vorrichtung zur Kalibrierung einer Mehrzahl optischer Sensoren (2 bis 7) eines Fahrzeugs (1) während eines Fahrbetriebs mit Einrichtungen (9) zur Ermittlung von Verwindungen einer Karosserie und/oder eines Fahrgestells des Fahrzeugs (1). Erfindungsgemäß umfassen die Einrichtungen (9) zumindest einen Beschleunigungssensor und/oder zumindest einen Drehratensensor, wobei an jedem optischen Sensor (2 bis 7) ein Beschleunigungssensor und/oder Drehratensensor angeordnet ist, die Beschleunigungssensoren und/oder Drehratensensoren Geometrieunterschiede zwischen jeweils zwei optischen Sensoren (2 bis 7) paarweise erfassen und ein Fusionsmodell vorgesehen ist, mittels welchem in Abhängigkeit der erfassten Geometrieunterschiede paarweise für jeweils zwei optische Sensoren (2 bis 7) eine Winkelkorrektur (WK) in Echtzeit erfolgt.
Die Erfindung betrifft weiterhin ein Verfahren zur Kalibrierung einer Mehrzahl optischer Sensoren (2 bis 7) eines Fahrzeugs (1) während eines Fahrbetriebs.





Inventors:
Stein, Fridtjof, Dr. Dipl.-Inf. (73760, Ostfildern, DE)
Application Number:
DE102017003629A
Publication Date:
10/19/2017
Filing Date:
04/13/2017
Assignee:
Daimler AG, 70327 (DE)
International Classes:
G01C25/00; G01B11/24; G01C11/00; G01S7/497
Domestic Patent References:
DE102015006571A1N/A2015-12-10
DE102011106178A1N/A2013-01-03
Claims:
1. Vorrichtung zur Kalibrierung einer Mehrzahl optischer Sensoren (2 bis 7) eines Fahrzeugs (1) während eines Fahrbetriebs mit Einrichtungen (9) zur Ermittlung von Verwindungen einer Karosserie und/oder eines Fahrgestells des Fahrzeugs (1), dadurch gekennzeichnet, dass die Einrichtungen (9) zumindest einen Beschleunigungssensor und/oder zumindest einen Drehratensensor umfassen,
wobei
– an jedem optischen Sensor (2 bis 7) ein Beschleunigungssensor und/oder Drehratensensor angeordnet ist,
– die Beschleunigungssensoren und/oder Drehratensensoren Geometrieunterschiede zwischen jeweils zwei optischen Sensoren (2 bis 7) paarweise erfassen und
– ein Fusionsmodell vorgesehen ist, mittels welchem in Abhängigkeit der erfassten Geometrieunterschiede paarweise für jeweils zwei optische Sensoren (2 bis 7) eine Winkelkorrektur (WK) in Echtzeit erfolgt.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die optischen Sensoren (2 bis 7) zumindest eine Kamera, zumindest einen Lidarsensor und/oder zumindest einen Radarsensor umfassen.

3. Verfahren zur Kalibrierung einer Mehrzahl optischer Sensoren (2 bis 7) eines Fahrzeugs (1) während eines Fahrbetriebs, wobei Verwindungen einer Karosserie und/oder eines Fahrgestells des Fahrzeugs (1) ermittelt werden,
dadurch gekennzeichnet, dass
– die Verwindungen aus mittels jeweils einem an jedem optischen Sensor (2 bis 7) angeordneten Beschleunigungssensor oder Drehratensensor erfassten und Geometrieunterschiede zwischen jeweils zwei optischen Sensoren betreffenden Daten (D1, D2) ermittelt werden,
– wobei mittels eines Fusionsmodells in Abhängigkeit der erfassten Geometrieunterschiede paarweise für jeweils zwei optische Sensoren (2, 3) eine Winkelkorrektur (WK) in Echtzeit durchgeführt wird.

Description:

Die Erfindung betrifft eine Vorrichtung zur Kalibrierung optischer Sensoren eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.

Die Erfindung betrifft weiterhin ein Verfahren zur Kalibrierung optischer Sensoren eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 3.

Aus der DE 10 2015 006 571 A1 sind eine Vorrichtung und ein Verfahren zur Ermittlung einer Verwindung einer Karosserie und eines Fahrgestells eines Fahrzeugs mit zumindest zwei an unterschiedlichen Fahrzeugseiten angeordneten Bilderfassungseinheiten und zumindest einer zur Ermittlung jeweils zumindest einer Bewegungsrichtung und eines Bewegungswinkels der Bilderfassungseinheiten aus mittels der Bilderfassungseinheiten erfassten Bildern ausgebildeten Bildauswerteeinheit bekannt. Die Bildauswerteeinheit ist weiterhin ausgebildet, anhand von Differenzen zwischen der ermittelten Bewegungsrichtung und dem ermittelten Bewegungswinkel aus den Bildern einer der Bilderfassungseinheiten und der ermittelten Bewegungsrichtung und des ermittelten Bewegungswinkels aus den Bildern zumindest einer weiteren der Bilderfassungseinheiten eine Verwindung der Karosserie und des Fahrgestells zu ermitteln. Zur Ermittlung der Verwindungen erfolgt eine Justierung von extrinsischen und intrinsischen Parametern der Bilderfassungseinheiten, wobei zunächst eine Kalibrierung der extrinsischen und intrinsischen Parameter durchgeführt wird.

Weiterhin sind aus der DE 10 2011 106 178 A1 eine lageverstellbare Fahrzeugkomponente und ein Verfahren zum Ausrichten einer solchen bekannt. Bei der Fahrzeugkomponente handelt es sich um eine Kamera. Die Fahrzeugkomponente umfasst einen Neigungssensor zum Ausrichten der Fahrzeugkomponente, wobei der Neigungssensor ein so genannter MEMS-Sensor ist.

Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Vorrichtung und ein verbessertes Verfahren zur Kalibrierung optischer Sensoren eines Fahrzeugs anzugeben.

Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich des Verfahrens durch die im Anspruch 3 angegebenen Merkmale gelöst.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Die Vorrichtung zur Kalibrierung einer Mehrzahl optischer Sensoren eines Fahrzeugs während eines Fahrbetriebs umfasst Einrichtungen zur Ermittlung von Verwindungen einer Karosserie und/oder eines Fahrgestells des Fahrzeugs.

Erfindungsgemäß umfassen die Einrichtungen zumindest einen Beschleunigungssensor und/oder zumindest einen Drehratensensor, wobei an jedem optischen Sensor ein Beschleunigungssensor oder Drehratensensor angeordnet ist, die Beschleunigungssensoren und/oder Drehratensensoren Geometrieunterschiede zwischen jeweils zwei optischen Sensoren paarweise erfassen und ein Fusionsmodell vorgesehen ist, mittels welchem in Abhängigkeit der erfassten Geometrieunterschiede paarweise für jeweils zwei optische Sensoren eine Winkelkorrektur in Echtzeit erfolgt.

Eine mittels der Vorrichtung durchgeführte Online-Kalibrierung, d. h. eine Kalibrierung während des Fahrbetriebs, ermöglicht eine Erhöhung einer Messgenauigkeit der optischen Sensoren, eine erhöhte Robustheit und eine verbesserte Entfernungsmessung. Diese Vorteile sind dabei für die einzelnen optischen Sensoren, aber auch für mehrere gleichartige oder unterschiedliche fusionierte optische Sensoren erzielbar.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

1 schematisch eine perspektivische Ansicht eines ersten Ausführungsbeispiels eines Fahrzeugs mit zwei optischen Sensoren,

2 schematisch eine perspektivische Ansicht eines zweiten Ausführungsbeispiels eines Fahrzeugs mit zwei optischen Sensoren,

3 schematisch eine perspektivische Ansicht eines dritten Ausführungsbeispiels eines Fahrzeugs mit zwei optischen Sensoren,

4 schematisch ein Blockschaltbild eines Systems zur Fusion mehrerer Sensoren nach dem Stand der Technik,

5 schematisch ein Fahrzeug mit zwei Sensoren während einer Überfahrung von Unebenheiten,

6 schematisch aus einer Verwindung des Fahrzeugs gemäß 5 resultierende Geometrieveränderungen zwischen den Sensoren und ein daraus resultierender Winkelfehler,

7 schematisch eine Fusion von zwei Sensoren und von deren Messungen zu einer Gesamtmessung,

8 schematisch eine Fusion von zwei Sensoren und von deren Messungen zu einer Gesamtmessung,

9 schematisch zwei optische Sensoren,

10 schematisch ein Blockschaltbild eines Systems zur Fusion mehrerer Sensoren,

11 schematisch aus einer Verwindung des Fahrzeugs gemäß 5 resultierende Geometrieveränderungen zwischen den Sensoren und ein daraus resultierender Winkelfehler sowie eine Korrektur dieses Winkelfehlers,

12 schematisch eine Fusion von zwei Sensoren und von deren Messungen zu einer Gesamtmessung und

13 schematisch eine Fusion von zwei Sensoren und von deren Messungen zu einer Gesamtmessung.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In den 1 bis 3 sind in verschiedenen perspektivischen Ansichten verschiedene Ausführungsbeispiele eines Fahrzeugs 1 mit an unterschiedlichen Positionen angeordneten optischen Sensoren 2 bis 7 dargestellt, wobei es sich bei dem Fahrzeug 1 um jegliche Art von Fahrzeug 1 handeln kann, welches auf festem Untergrund bewegt wird.

Die optischen Sensoren 2 bis 7 umfassen dabei zumindest eine Kamera, beispielsweise eine Monokamera oder Stereokamera, zumindest einen Lidarsensor und/oder zumindest einen Radarsensor.

Dabei sind gemäß 1 beispielsweise zwei Sensoren 2, 3 in einem vorderen Bereich oberhalb einer Windschutzscheibe an einem Dach des Fahrzeugs 1 angeordnet. Alternativ oder zusätzlich sind gemäß 2 zwei weitere Sensoren 4, 5 im Bereich von Außenspiegeln des Fahrzeugs 1 angeordnet. Bei diesen beiden Anordnungen befinden sind die Sensoren 2 bis 5 in Fahrzeuglängsrichtung gesehen in einer Ebene bzw. nebeneinander.

Alternativ oder zusätzlich sind gemäß 3 zwei Sensoren 6, 7 in Fahrzeuglängsrichtung gesehen hintereinander in einem vorderen Bereich und einem hinteren Bereich des Fahrzeugs 1 angeordnet.

Die im dargestellten Ausführungsbeispiel gezeigten Positionen und Ausrichtungen der Sensoren 2 bis 7 sind lediglich beispielhaft gewählt und stellen keine Einschränkung dar.

Die Sensoren 2 bis 7 sind zur Erfassung einer Fahrzeugumgebung und/oder von innerhalb dieser Fahrzeugumgebung befindlichen Objekten vorgesehen, wobei in Abhängigkeit von mittels der Sensoren 2 bis 7 erfassten Daten Fahrzeugfunktionen, beispielsweise Fahrerassistenzfunktionen, teilautonome und/oder autonome Fahrmanöver, ausgeführt werden.

Bei einer solchen Verwendung der Sensoren 2 bis 7 im Fahrzeug 1 ist eine sehr genaue Justierung und Kalibrierung der Sensoren 2 bis 7 erforderlich, um mittels der Sensoren 2 bis 7 eine sehr genaue Umgebungserfassung und somit eine hohe Zuverlässigkeit von Fahrzeugfunktionen, welche Daten der Sensoren 2 bis 7 verwenden, sicherzustellen. Insbesondere ist dabei eine sehr genaue relative Kalibrierung zwischen den Sensoren 2 bis 7 bezüglich ihrer räumlichen Lage erforderlich. Werden mehrere der Sensoren 2 bis 7 verwendet, kann die im Folgenden beschriebene Kalibrierung insbesondere paarweise oder für eine größere Anzahl von Sensoren 2 bis 7 erfolgen.

Unter einer Kalibrierung wird dabei vorliegend eine so genannte externe Kalibrierung der Sensoren 2, 3 im Raum, d. h. eine Kalibrierung extrinsischer Parameter der Sensoren 2, 3, verstanden. Bei den extrinsischen Parametern der Sensoren 2, 3 handelt es sich um Parameter, welche durch äußere Einflüsse veränderbar sind. Hierzu zählen insbesondere eine Ausrichtung oder Orientierung der Sensoren 2, 3 zueinander, eine Ausrichtung zum Fahrzeug 1 und eine Ausrichtung zur Umgebung des Fahrzeugs 1. Zur Ermittlung dieser Orientierung werden geometrische Parameter der Sensoren 2 bis 7 ermittelt, welche typischerweise durch eine Lage der Sensoren 2 bis 7 im Raum beschrieben wird. Die Lage der Sensoren 2 bis 7 im Raum wird dabei in bekannter Weise durch drei translatorische und drei rotatorische Parameter bestimmt.

Interne Parameter der Sensoren 2, 3, so genannte intrinsische Parameter, können beispielsweise anhand entsprechender Ausgleichsrechnungen mitgeschätzt werden oder werden separat anhand von entsprechenden Modellen ermittelt. Die intrinsischen Parameter sind durch eine Konstruktion und Eigenschaften der Sensoren 2 bis 7 selbst vorgegeben. Intrinsische Parameter beschreiben quasi eine innere Geometrie der Sensoren 2 bis 7, hängen jedoch nicht von den extrinsischen Parametern ab. Zu den intrinsischen Parametern zählen beispielsweise eine Brennweite, eine Verzeichnung, ein Weißabgleich, eine Farbeinstellung, eine Pixelgröße, eine optische Achse und weitere interne Parameter.

Die Kalibrierung wird dabei bei aus dem Stand der Technik bekannten Verfahren und Vorrichtungen während eines Stillstands des Fahrzeugs 1 durchgeführt. Jedoch besteht die Gefahr, dass sich während eines Fahrbetriebs des Fahrzeugs 1 die Geometrie zwischen den Sensoren 2 bis 7 ändert. Dies kann beispielsweise aus Verwindungen einer Karosserie und/oder eines Fahrgestells des Fahrzeugs 1, angeregt durch das Fahren über einen unebenen Untergrund, resultieren. Hiervon sind typischerweise vor allem die rotatorischen Winkel zwischen den Sensoren 2 bis 7 betroffen. Somit ist die Kalibrierung der externen Parameter während des Auftretens der Verwindungen fehlerhaft.

4 zeigt ein Blockschaltbild eines Systems 8 zur Fusion mehrerer Sensoren 2 bis 7 nach dem Stand der Technik. Das System 8 umfasst eine Mehrzahl von Sensoren 2 bis 7, wobei jedoch zur Wahrung der Übersichtlichkeit und zur Vereinfachung nur zwei Sensoren 2, 3 beispielhaft dargestellt sind.

Die Fusion der Sensoren 2, 3 und ihrer erfassten Messungen M1, M2 erfolgt in Abhängigkeit mittels der Kalibrierung der externen Parameter im Stillstand des Fahrzeugs 1 ermittelten Ergebnissen E1, E2 anhand eines Fusionsmodells eines Fusionsmoduls 8.1 und resultiert in einer Gesamtmessung GM, welche beispielsweise eine Weltsicht oder eine Umgebungskarte darstellt.

Überfährt das Fahrzeug 1 jedoch, wie in 5 näher dargestellt, Unebenheiten in Richtung eines Fahrweges F, so ändert sich aufgrund der aus der Überfahrung der Unebenheiten resultierenden Verwindungen der Karosserie und/oder eines Fahrgestells des Fahrzeugs 1 die Geometrie zwischen den Sensoren 2, 3, d. h. deren relative Lage zueinander.

Dies ist in 6 näher dargestellt. Die bei der Überfahrung der Unebenheiten erzeugten Änderungen der Geometrie zwischen den Sensoren 2, 3 führt zu einem Winkelfehler WF über den Fahrweg F.

An Positionen, an welchen der Winkelfehler WF Null ist, ist eine aus den Messungen M1, M2 der Sensoren 2, 3 in der Fusion gebildete Gesamtmessung GM zumindest nahezu fehlerlos, wie in 7 dargestellt ist.

An Positionen, an welchen der Winkelfehler WF dagegen größer Null ist, ist eine aus den Messungen M1, M2 der Sensoren 2, 3 in der Fusion gebildete Gesamtmessung GM zumindest fehlerhaft, wie in 8 dargestellt ist.

9 zeigt zwei optische Sensoren 2, 3. Um eine fehlerhafte Gesamtmessung GM bei der Fusion von mehreren Sensoren 2 bis 7 bei auftretenden Verwindungen der Karosserie und/oder des Fahrgestells des Fahrzeugs 1 zu vermeiden, ist an jedem Sensor 2 bis 7 jeweils eine Einrichtung 9 zur Ermittlung dieser Verwindungen angeordnet oder in diese integriert. 9 zeigt dies beispielhaft für die zwei Sensoren 2, 3.

Dabei umfasst jede Einrichtung 9 zumindest einen Beschleunigungssensor und/oder zumindest einen Drehratensensor, wobei mittels der Einrichtungen 9 Geometrieunterschiede zwischen jeweils zwei optischen Sensoren 2 bis 7 paarweise erfasst werden.

In 10 ist ein Blockschaltbild eines Systems 8 zur Fusion mehrerer Sensoren 2 bis 7 dargestellt. Das System 8 umfasst eine Mehrzahl von Sensoren 2 bis 7, wobei jedoch zur Wahrung der Übersichtlichkeit und zur Vereinfachung nur zwei Sensoren 2, 3 beispielhaft dargestellt sind.

Die Fusion der Sensoren 2, 3 und ihrer erfassten Messungen M1, M2 erfolgt in Abhängigkeit mittels der Kalibrierung der externen Parameter im Stillstand des Fahrzeugs 1 ermittelten Ergebnissen E1, E2 anhand des Fusionsmoduls 8.1 und resultiert in einer Gesamtmessung GM, welche beispielsweise eine Weltsicht oder eine Umgebungskarte darstellt.

Überfährt das Fahrzeug 1 jedoch, wie in 5 näher dargestellt, Unebenheiten in Richtung des Fahrweges F, so ändert sich aufgrund der aus der Überfahrung der Unebenheiten resultierenden Verwindungen der Karosserie und/oder eines Fahrgestells des Fahrzeugs 1 die Geometrie zwischen den Sensoren 2, 3, d. h. deren relative Lage zueinander.

Die Änderung der Geometrie wird anhand des Fusionsmoduls 8.1 aus mittels der Einrichtungen 9 erfassten Daten D1, D2, welche Beschleunigungs- und/oder Drehratenwerte umfassen, erfasst. Hierbei werden die Daten D1, D2 in eine Winkeländerung, d. h. eine Änderung eines Winkels zwischen den Sensoren 2, 3, umgerechnet. Anhand dieser Winkeländerung erfolgt in dem Fusionsmodell des Fusionsmoduls 8.1 eine in 11 näher dargestellte Winkelkorrektur WK entlang des Fahrweges F in Echtzeit, so dass der Winkelfehler WF entlang des Fahrweges F eliminiert wird.

Somit wird, wie die 12 und 13 zeigen, unabhängig von einer relativen Lage der der Sensoren 2, 3 zueinander, stets eine zumindest nahezu fehlerfreie Gesamtmessung durch Fusion der Messungen M1, M2 realisiert.

Bezugszeichenliste

1
Fahrzeug
2 bis 7
Sensor
8
System
8.1
Fusionsmodul
9
Einrichtung
D1, D2
Daten
E1, E2
Ergebnis
F
Fahrweg
GM
Gesamtmessung
M1, M2
Messung
WF
Winkelfehler
WK
Winkelkorrektur

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Patentliteratur

  • DE 102015006571 A1 [0003]
  • DE 102011106178 A1 [0004]