Title:
Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs
Kind Code:
A1


Abstract:

Die Erfindung betrifft ein Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs zueinander, bei welchem zur Kalibrierung jeweilige Positionen und Orientierungen der Sensoren relativ zueinander ermittelt werden, wobei die Sensoren unter Verwendung eines konvolutionalen neuronalen Netzes zueinander kalibriert werden.




Inventors:
Piewak, Florian Pierre Joseph (71034, Böblingen, DE)
Schneider, Nick (70563, Stuttgart, DE)
Application Number:
DE102017007765A
Publication Date:
01/25/2018
Filing Date:
08/16/2017
Assignee:
Daimler AG, 70327 (DE)
International Classes:
Domestic Patent References:
DE102011119767A1N/A2012-06-14



Claims:
1. Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs zueinander, bei welchem zur Kalibrierung jeweilige Positionen und Orientierungen der Sensoren relativ zueinander ermittelt werden, wobei die Sensoren unter Verwendung eines konvolutionalen neuronalen Netzes zueinander kalibriert werden.

2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
das konvolutionale neuronale Netz umfasst:
– Erkennung von von den Sensoren unabhängigen Merkmalen innerhalb von Daten, die von den Sensoren bereitgestellt werden;
– Aus den Merkmalen: Ermitteln von kongruenten Merkmalen über unterschiedliche Sensoren; und
– Optimierung einer Transformation über alle kongruenten Merkmale hinweg.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Entfernungsdaten (12) wenigstens eines der Sensoren in eine Ebene von erfassten Bildern (10) wenigstens eines anderen der Sensoren projiziert werden.

Description:

Die Erfindung betrifft ein Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs.

Die DE 10 2011 119 767 A1 offenbart ein Verfahren zum Vereinigen von Kamera- und Entfernungssensordaten, um mindestens ein externes Objekt in einem Fahrzeug mit einem Sensoruntersystem mit einer Kamera und einem Entfernungssensor und mit einem Bordcomputer zu verfolgen.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zu schaffen, mittels welchem Sensoren eines Fahrzeugs besonders einfach zueinander kalibriert werden können.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.

Bei dem erfindungsgemäßen Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, werden zur Kalibrierung jeweilige Positionen und jeweilige Orientierungen der Sensoren relativ zueinander ermittelt. Dabei werden die Sensoren unter Verwendung eines konvolutionalen neuronalen Netzes zueinander kalibriert.

Der Erfindung liegt insbesondere die folgende Erkenntnis zugrunde: Autonome und/oder automatische Systeme greifen üblicherweise auf unterschiedliche Sensoren zur Wahrnehmung, das heißt zur Erfassung der Umgebung zurück. Dies bedeutet, dass die Sensoren, bei denen es sich um Sensoren unterschiedlicher Modalität oder um Sensoren mit gleichen Modalitäten handeln kann, zumindest einen Teilbereich der Umgebung des Fahrzeugs erfassen beziehungsweise messen. Dabei stellen die Sensoren jeweilige, insbesondere elektrische, Signale bereit, welche die jeweilig erfasste Umgebung beziehungsweise die Messungen charakterisieren. Die Messungen der Sensoren werden üblicherweise in einem gemeinsamen Koordinatensystem gespeichert, um eine allgemeine Umgebungserfassung zu ermöglichen. Hierzu ist es erforderlich, dass sogenannte Posen der Sensoren relativ zueinander bekannt sind. Unter den Posen sind die Positionen und Orientierungen beziehungsweise Ausrichtungen der Sensoren relativ zueinander zu verstehen. Die Positionen und Orientierungen werden durch eine auch als Registrierung bezeichnete Kalibrierung der Sensoren ermittelt und somit in Erfahrung gebracht, wobei das erfindungsgemäße Verfahren eine besonders einfache Registrierung ohne spezielle Targets oder bekannte Strukturen ermöglicht. Mit anderen Worten erfordert das Verfahren nicht wie herkömmliche Verfahren sogenannte Targets oder bekannte Strukturen, sondern die von den Sensoren bereitgestellten, rohen Signale, welche jeweilige rohe Sensordaten der Sensoren charakterisieren, reichen zur Kalibrierung der Sensoren zueinander aus, indem die rohen Sensordaten beispielsweise zueinander registriert werden. Hierdurch ermöglicht das Verfahren eine multimodale Sensorregistrierung.

Beispielsweise existieren unterschiedliche Verfahren zur Kalibrierung beziehungsweise Registrierung von Sensoren zueinander, welche sich beispielsweise auf bestimmte Sensorkonfigurationen wie beispielsweise Kamera-zu-Kamera, Kamera-zu-Lidar spezialisieren. Häufig verwenden diese Verfahren jedoch vom Menschen ausgewählte bekannte Strukturen in der Umgebung der Sensoren. Bei einer solchen Struktur handelt es sich beispielsweise um eine gute Strukturierung, welche beispielsweise von Kameras gut erfasst werden können. Ferner kann es sich bei den Strukturen um gerade Flächen wie zum Beispiel Hauswände handeln, um eine 3D-Registrierung zu realisieren. Alternativ oder zusätzlich kommen bestimmte Targets zum Einsatz, welche innerhalb der Signale beziehungsweise Sensordaten gut erkennbar sind. Ferner existieren Ansätze, welche die Kalibrierung mithilfe von neuronalen Netzen realisieren. Diese generieren jedoch nicht die vollen sechs Freiheitsgrade der Sensoren, wie sie für eine hinreichende Sensorkalibrierung notwendig sind. Drei der Freiheitsgrade sind Translationsparameter für die jeweilige Position der Sensoren, wobei drei weitere der Freiheitsgrade Winkel für die Orientierung der Sensoren sind.

Im Gegensatz zu herkömmlichen Verfahren benötigt das erfindungsgemäße Verfahren kein Vorwissen über die Umgebung und die Detektion von bestimmten Targets. Die Registrierung beziehungsweise Kalibrierung der Sensoren zueinander erfolgt durch das Verwenden des genannten konvolutionalen neuronalen Netzes, wobei beispielsweise typische Bestandteile von Methoden wie beispielsweise Feature-Extraktion, Feature-Matching und globale Optimierung in dem konvolutionalen neuronalen Netz, insbesondere dessen Netzstruktur, abgebildet werden. Alle diese Bestandteile werden anschließend implizit gelernt und es erfolgt eine direkte Ausgabe der sechs Freiheitsgrade der Sensoren zueinander. Das erfindungsgemäße Verfahren kann ohne Probleme für jede Art von Sensor-Registrierung unabhängig des Sensortyps verwendet werden, wobei genügend Trainingsdaten für den Lernprozess des konvolutionalen neuronalen Netzes zur Verfügung stehen sollten. Außerdem ist das Verfahren echtzeitfähig, wodurch es sich sowohl für eine einmalige Sensorregistrierung in Form eines Offline-Verfahrens als auch für eine adaptive Anpassung der Kalibrierung zur Laufzeit eines Sensorsystems in Form eines Online-Verfahrens eignet. Das erfindungsgemäße Verfahren ermöglicht, nach einem erfolgreich gelernten System, eine Sensor-zu-Sensor-Registrierung, wodurch die sechs Freiheitsgrade der extrinsischen Kalibrierung direkt extrahiert werden. Dabei verwendet das Verfahren weder eine bekannte Struktur in der Umgebung noch ein spezielles Target, sondern die Registrierung beziehungsweise Kalibrierung der Sensoren zueinander wird durch Trainieren des konvolutionalen neuronalen Netzes gelernt.

Im Rahmen der genannten Feature-Extraction erfolgt beispielsweise eine Erkennung von von den Sensoren unabhängigen Merkmalen innerhalb von Daten, die von den Sensoren bereitgestellt werden. Im Rahmen des genannten Feature-Matchings erfolgt beispielsweise aus den Merkmalen ein Ermitteln von Kongruentenmerkmalen über unterschiedliche Sensoren, wobei beispielsweise im Rahmen einer globalen Regression des neuronalen Netzes eine Optimierung einer Transformation über alle Kongruentenmerkmale hinweg erfolgt.

Ferner hat es sich als vorteilhaft gezeigt, wenn im Rahmen des erfindungsgemäßen Verfahrens Entfernungsdaten wenigstens eines der Sensoren in eine Ebene von erfassten Bildern wenigstens eines anderen der Sensoren projiziert werden, wobei beispielsweise der eine Sensor als Entfernungssensor und der andere Sensor als Kamera ausgebildet sind.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

Die Zeichnung zeigt in:

1 eine schematische Darstellung eines mittels eines als Kamera ausgebildeten Sensors erfassten Bilds zur Veranschaulichung eines Verfahrens zur Kalibrierung von Sensoren eines Fahrzeugs, wobei die Kamera einer der Sensoren ist;

2 eine weitere schematische Darstellung des Bilds zur Veranschaulichung des Verfahrens; und

3 ein Flussdiagramm zum Veranschaulichen des Verfahrens.

In den Fig. sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.

Anhand der Figuren wird im Folgenden ein Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, zueinander erläutert. Bei dem Verfahren werden zur Kalibrierung der Sensoren zueinander jeweilige Positionen und Orientierungen der Sensoren relativ zueinander ermittelt, wobei die Sensoren unter Verwendung eines konvolutionalen neuronalen Netzes zueinander kalibriert werden. Zumindest einer der Sensoren ist beispielsweise eine Kamera, mittels welcher Bilder zumindest eines Teilbereichs der Umgebung des Fahrzeugs erfassbar sind beziehungsweise erfasst werden. Wenigstens ein weiterer der Sensoren ist beispielsweise ein von einer Kamera unterschiedlicher Sensor wie beispielsweise ein Laser-Sensor, insbesondere ein Lidar-Sensor. Dabei zeigt 1 in einer schematischen Darstellung ein Bild 10, welches mittels der Kamera erfasst wird beziehungsweise wurde. In das neuronale Netz wird beispielsweise zur Kalibrierung der Sensoren das Bild 10 als RGB-Bild eingegeben. Ferner werden beispielsweise in das Bild 10, insbesondere in eine Ebene des mittels der Kamera erfassten Bilds 10, 3D-Punkte 12 des wenigstens einen anderen Sensors projiziert, wobei die 3D-Punkte 12 beispielsweise dann, wenn der andere Sensor als Lidar-Sensor ausgebildet ist, projizierte 3D-Lidar-Punkte sind. Die 3D-Punkte 12 sind insbesondere farbcodierte Punkte in dem Bild 10. Die farbcodierten 3D-Punkte 12 sind beispielsweise Entfernungsdaten, welche von dem anderen Sensor, insbesondere als Signale beziehungsweise Messsignale, bereitgestellt werden. Somit ist es beispielsweise vorgesehen, dass die von dem beispielsweise als Entfernungssensor ausgebildeten anderen Sensor bereitgestellten Entfernungsdaten in Form der 3D-Punkte 12 in das Bild 10, insbesondere in dessen Ebene, projiziert werden. Die Entfernungsdaten sind sogenannte Tiefendaten, welche beispielsweise jeweilige Abstände zwischen dem anderen Sensor und jeweiligen, in der Umgebung des Fahrzeugs angeordneten Objekten charakterisieren.

Aus 2 ist eine Ausgabe des neuronalen Netzes erkennbar. Bei der Ausgabe handelt es sich um die Kalibrierung der Sensoren zueinander, insbesondere hinsichtlich der sechs Freiheitsgrade, wovon drei Winkel und drei Translationsparameter sind. Durch diese Ausgabe des neuronalen Netzes können die 3D-Punkte korrekt in das Bild 10 projiziert werden, was aus 2 erkennbar ist.

Das konvolutionale neuronale Netz umfasst beispielsweise die folgenden drei Methoden beziehungsweise Schritte: Feature-Extraction, Feature-Matching und Global Regression. Im Rahmen der Feature-Extraction erfolgt beispielsweise eine Erkennung von sensorunabhängigen Merkmalen innerhalb der von den Sensoren bereitgestellten Sensordaten. Im Rahmen des Feature-Matchings erfolgt beispielsweise ein Finden kongruenter Merkmale über unterschiedliche Sensoren hinweg, wobei beispielsweise im Rahmen der Global Regression eine Optimierung der Transformation über alle kongruenten Merkmale hinweg erfolgt. In der Folge ist es möglich, mittels des Verfahrens die Sensoren ohne vorgegebene und vorher bekannte Targets oder Strukturen in der Umgebung zu kalibrieren, sodass die Sensoren besonders einfach zueinander kalibriert werden können.

Bezugszeichenliste

10
Bild
12
3D-Punkte

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Patentliteratur

  • DE 102011119767 A1 [0002]