Title:
LIDAR-RADAR-RELATIVE POSE-KALIBRIERUNG
Kind Code:
A1


Abstract:

Ein Verfahren und eine Vorrichtung für das Kalibrieren eines LiDAR-Systems an einer ersten Position mit einem Radarsystem an einer zweiten Position. Ein Kalibrierungsziel ist an einer Position und in einer Ausrichtung in Bezug auf das LiDAR-System und das Radarsystem positioniert. Koeffizienten einer Ebene des Kalibrierungsziels werden in einem Bezugsrahmen des LiDAR-Systems ermittelt. Koordinaten des Kalibrierungsziels werden in einem Bezugsrahmen des Radarsystems ermittelt. Eine Kostenfunktion besteht aus einer Plangleichung, die die ermittelten Koeffizienten und die ermittelten Koordinaten und einer relativen Pose-Matrix enthält, die den Bezugsrahmen des Radarsystems in den Bezugsrahmen des LiDAR-Systems transformiert. Die Kostenfunktion wird reduziert, um die relative Pose-Matrix für die Kalibrierung des LiDAR-Systems mit dem Radarsystem zu schätzen. embedded image




Inventors:
Bilik, Igal (Herzliya Pituach, IL)
Slutsky, Michael (Herzliya Pituach, IL)
Villeval, Shahar (Herzliya Pituach, IL)
Application Number:
DE102018102884A
Publication Date:
08/16/2018
Filing Date:
02/08/2018
Assignee:
GM Global Technology Operations LLC (Mich., Detroit, US)
International Classes:



Attorney, Agent or Firm:
LKGLOBAL | Lorenz & Kopf PartG mbB Patentanwälte, 80333, München, DE
Claims:
Verfahren für das Kalibrieren eines LiDAR-Systems an einer ersten Position mit einem Radarsystem an einer zweiten Position, umfassend:
Bereitstellen eines Kalibrierungsziels an einer Position und in einer Ausrichtung in Bezug auf das LiDAR-System und das Radarsystem;
Ermitteln von Koeffizienten auf einer Ebene des Kalibrierungsziels in einem Bezugsrahmen des LiDAR-Systems;
Ermitteln von Koordinaten des Kalibrierungsziels in einem Bezugsrahmen des Radarsystems;
Zusammensetzen einer Kostenfunktion aus einer Plangleichung, die die ermittelten Koeffizienten der Ebene des Kalibrierungsziels in dem Rahmen des Bezugsrahmens des LiDAR-Systems, die ermittelten Koordinaten des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems und eine relative Pose-Matrix beinhaltet, die den Bezugsrahmen des Radarsystems zu dem Bezugsrahmen des LiDAR-Systems transformiert; und
Reduzieren der Kostenfunktion, um die relative Pose-Matrix für die Kalibrierung des LiDAR-Systems mit dem Radarsystem zu schätzen.

Verfahren nach Anspruch 1, worin das Kalibrierungsziel einen planaren Reflexionsbereich und drei oder mehr Eckenreflektoren beinhaltet.

Verfahren nach Anspruch 2, ferner umfassend das Empfangen eines LiDAR-Reflexionssignals von dem planaren Reflexionsbereich und Ermitteln der Koeffizienten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems aus dem LiDAR-Reflexionssignal, und Empfangen eines Radarreflexionssignals von der Vielzahl von Eckenreflektoren und Ermitteln der Koordinaten des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems aus den Radarreflexionssignalen.

Verfahren nach Anspruch 1, des Weiteren Folgendes umfassend
Bereitstellen des Kalibrierungsziels an einer Vielzahl von Positionen und in einer Vielzahl von Ausrichtungen;
Ermitteln der Koeffizienten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems für jede der Vielzahl von Positionen und Ausrichtungen;
Ermitteln der Koordinaten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems für jede der Vielzahl von Positionen und Ausrichtungen;
Zusammensetzen einer summierten Kostenfunktion, um eine Summierung von Kostenfunktionen für jede der Vielzahl von Positionen und Drehungen zu beinhaltet, wobei jede Kostenfunktion die ermittelten Koeffizienten, die ermittelten Koordinaten und die relative Pose-Matrix für die zugehörige Position und Ausrichtung des Zielreflektors enthält; und
Reduzieren der summierten Kostenfunktion, um die Parameter der relativen Pose-Matrix zu schätzen.

Verfahren nach Anspruch 1, worin das LiDAR-System und das Radarsystem an einem Fahrzeug angeordnet werden, ferner umfassend die Verwendung des LiDAR-Systems, des Radarsystems und der geschätzten relativen Pose-Matrix, um ein Objekt in Bezug auf das Fahrzeug zu verfolgen.

Eine Vorrichtung für das Kalibrieren eines LiDAR-Systems an einer ersten Position mit einem Radarsystem an einer zweiten Position, umfassend:
Ein Kalibrierungsziel an einer Position und in einer Ausrichtung in Bezug auf das LiDAR-System und das Radarsystem;
einen Prozessor, konfiguriert zum:
Ermitteln von Koeffizienten des Kalibrierungsziels in einem Bezugsrahmen des LiDAR-Systems,
Ermitteln von Koordinaten des Kalibrierungsziels in einem Bezugsrahmen des Radarsystems,
Zusammensetzen einer Kostenfunktion aus einer Plangleichung, die die ermittelten Koeffizienten des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems, die ermittelten Koordinaten des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems und eine relative Pose-Matrix beinhaltet, die den Bezugsrahmen des Radarsystems zu dem Bezugsrahmen des LiDAR-Systems transformiert, und
Reduzieren der Kostenfunktion, um die relative Pose-Matrix für die Kalibrierung des LiDAR-Systems mit dem Radarsystem zu schätzen.

Vorrichtung nach Anspruch 6, worin das Kalibrierungsziel einen planaren Reflexionsbereich und drei oder mehr Eckenreflektoren beinhaltet.

Vorrichtung nach Anspruch 7, worin der Prozessor die Koeffizienten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems anhand eines LiDAR-Reflexionssignals ermittelt, das von dem planaren Reflexionsbereich des Kalibrierungsziels empfangen wird, und die Koordinaten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems von Radarreflexionssignalen ermittelt, die von den Eckenreflektoren empfangen werden.

Vorrichtung nach Anspruch 6, worin das Kalibrierungsziel an einer Vielzahl von Positionen und in einer Vielzahl von Drehwinkeln angeordnet ist und der Prozessor ferner konfiguriert ist zum:
Ermitteln der Koeffizienten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems für jede der Vielzahl von Positionen und Ausrichtungen;
Ermitteln der Koordinaten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems für jede der Vielzahl von Positionen und Ausrichtungen;
Zusammensetzen einer summierten Kostenfunktion, um eine Summierung von Kostenfunktionen für jede der Vielzahl von Positionen und Ausrichtungen zu beinhaltet, wobei jede Kostenfunktion die ermittelten Koeffizienten, die ermittelten Koordinaten und die relative Pose-Matrix für die zugehörigen Positionen und die Ausrichtung des Zielreflektors enthält; und
Reduzieren der summierten Kostenfunktion, um die Parameter der relativen Pose-Matrix zu schätzen.

Vorrichtung nach Anspruch 6, worin das LiDAR-System und das Radarsystem an einem Fahrzeug angeordnet sind, worin der Prozessor ferner konfiguriert ist, um ein Objekt in Bezug auf das Fahrzeug unter Verwendung des LiDAR-Systems, des Radarsystems und der geschätzten relativen Pose-Matrix zu verfolgen.

Description:
EINLEITUNG

Die vorliegende Offenbarung betrifft Verfahren für das Kalibrieren von Messungen, die unter Verwendung eines LiDAR-Systems mit Messungen erhalten werden, die unter Verwendung eines Radarsystems erhalten werden. Insbesondere stellt die Offenbarung ein Verfahren und eine Vorrichtung für das Kalibrieren von Messungen eines Objekts bereit, die von einem LiDAR-System an einer ersten Position erhalten werden, mit Messungen des Objekts, die von einem Radarsystem an einer zweiten Position erhalten werden.

Kraftfahrzeuge können Radarsysteme und/oder Lichterfassungs- und Reichweitensysteme (LIDAR-Systeme) verwenden, um Objekte in der Umgebung des Fahrzeugs zu verfolgen. LIDAR zeichnet sich generell durch die Abbildung von Oberflächen von Objekten aus, ist jedoch im Allgemeinen unzuverlässig bei der Bereitstellung dynamischer Informationen über das Objekt, z. B. seiner relativen Geschwindigkeit. Radar zeichnet sich andererseits allgemein dadurch aus, dass es Entfernungs- und Geschwindigkeitsinformationen des Objekts bereitstellt, aber ein Bild des Objekts schlecht auflöst. Es ist daher wünschenswert, sowohl LiDAR- als auch Radarsysteme in Kooperation miteinander zu verwenden, um so viel Information wie möglich über ein Objekt bereitzustellen. Wenn jedoch sowohl ein Radarsystem als auch ein LiDAR-System verwendet wird, besteht notwendigerweise ein Trennungsabstand zwischen den Systemen, was natürlich zu Messunterschieden führt. Dementsprechend ist es wünschenswert, das LiDAR-System und das Radarsystem zu kalibrieren, um die Messunterschiede zu entfernen, sodass das Radarsystem und das LiDAR-System zusammen verwendet werden können, um Objekte zu verfolgen.

KURZDARSTELLUNG

In einer exemplarischen Ausführungsform wird ein Verfahren für das Kalibrieren eines LiDAR-Systems an einer ersten Position mit einem Radarsystem an einer zweiten Position offenbart. Das Verfahren beinhaltet das Bereitstellen eines Kalibrierungsziels an einer Position und in einer Ausrichtung in Bezug auf das LiDAR-System und das Radarsystem. Koeffizienten einer Ebene des Kalibrierungsziels werden in einem Bezugsrahmen des LiDAR-Systems ermittelt. Koordinaten des Kalibrierungsziels werden in einem Bezugsrahmen des Radarsystems ermittelt. Eine Kostenfunktion besteht aus einer Planargleichung, die die ermittelten Koeffizienten der Ebene des Kalibrierungsziels in dem Rahmen des Bezugsrahmens des LiDAR-Systems, die ermittelten Koordinaten des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems und eine relative Pose-Matrix beinhaltet, die den Bezugsrahmen des Radarsystems zu dem Bezugsrahmen des LiDAR-Systems transformiert. Die Kostenfunktion wird reduziert, um die relative Pose-Matrix für die Kalibrierung des LiDAR-Systems mit dem Radarsystem zu schätzen.

Das Kalibrierungsziel beinhaltet einen planaren Reflexionsbereich und eine Vielzahl an Eckenreflektoren. Die Vielzahl von Eckenreflektoren kann drei oder mehr Eckenreflektoren beinhalten. Ein LiDAR-Reflexionssignal wird von dem planaren Reflexionsbereich des Kalibrierungsziels empfangen, und die Koeffizienten der Ebene des Kalibrierungsziels werden in dem Bezugsrahmen des LiDAR-Systems aus dem LiDAR-Reflexionssignal ermittelt. Ein Radarreflexionssignal wird von der Vielzahl von Eckenreflektoren empfangen und die Koordinaten des Kalibrierungsziels werden in dem Bezugsrahmen des Radarsystems aus den Radarreflexionssignalen ermittelt.

In einer Ausführungsform ist das Kalibrierungsziel an einer Vielzahl von Positionen und in einer Vielzahl von Ausrichtungen vorgesehen. Die Koeffizienten der Ebene des Kalibrierungsziels werden in dem Bezugsrahmen des LiDAR-Systems für jede der Vielzahl von Positionen und Ausrichtungen ermittelt. Die Koordinaten der Ebene des Kalibrierungsziels werden in dem Bezugsrahmen des Radarsystems für jede der Vielzahl von Positionen und Ausrichtungen ermittelt. Eine summierte Kostenfunktion ist zusammengesetzt, was eine Summierung von Kostenfunktionen für jede der Vielzahl von Positionen und Drehungen beinhaltet, wobei jede Kostenfunktion die ermittelten Koeffizienten, die ermittelten Koordinaten und die relative Pose-Matrix für die zugehörige Position und die Ausrichtung des Zielreflektors enthält. Die summierte Kostenfunktion wird reduziert, um die Parameter der relativen Pose-Matrix zu schätzen.

In einer Ausführungsform beinhaltet die relative Pose-Matrix eine Rotationsmatrix und eine Übersetzungsmatrix. Für an einem Fahrzeug angeordnete LiDAR-System und Radarsystem werden das LiDAR-System, das Radarsystem und die geschätzte relative Pose-Matrix verwendet, um ein Objekt in Bezug auf das Fahrzeug zu verfolgen. Das Fahrzeug wird basierend auf Parametern des verfolgten Objekts manövriert, die unter Verwendung des LiDAR-Systems, des Radarsystems und der geschätzten relativen Pose-Matrix erhalten werden.

In einer weiteren exemplarischen Ausführungsform wird eine Vorrichtung für das Kalibrieren eines LiDAR-Systems an einer ersten Position mit einem Radarsystem an einer zweiten Position offenbart. Die Vorrichtung beinhaltet ein Kalibrierungsziel an einer Position und in einer Ausrichtung in Bezug auf das LiDAR-System und das Radarsystem. Ein Prozessor ermittelt Koeffizienten des Kalibrierungsziels in einem Bezugsrahmen des LiDAR-Systems, ermittelt Koordinaten des Kalibrierungsziels in einem Bezugsrahmen des Radarsystems, setzt eine Kostenfunktion aus einer Planargleichung zusammen, die die ermittelten Koeffizienten des Kalibrierungsziels in dem Rahmen des Bezugsrahmen des LiDAR-Koordinatensystems, die ermittelten Koordinaten des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems und eine relative Pose-Matrix enthält, die den Bezugsrahmen des Radarsystems zu dem Bezugsrahmen des LiDAR-Systems transformiert und die Kostenfunktion reduziert, um die relative Pose-Matrix für die Kalibrierung des LiDAR-Systems mit dem Radarsystem zu schätzen.

Das Kalibrierungsziel beinhaltet einen planaren Reflexionsbereich und eine Vielzahl von Eckenreflektoren. In einer Ausführungsform beinhaltet die Vielzahl von Eckenreflektoren ferner drei oder mehr Eckenreflektoren. Der Prozessor ermittelt die Koeffizienten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems aus einem LiDAR-Reflexionssignal, das von dem planaren Reflexionsbereich des Kalibrierungsziels empfangen wird, und ermittelt die Koordinaten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems aus Radarreflexionssignalen, die von den Eckenreflektoren empfangen werden.

In einer Ausführungsform ist das Kalibrierungsziel an einer Vielzahl von Positionen und Drehwinkeln angeordnet und der Prozessor: Bestimmt die Koeffizienten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des LiDAR-Systems für jede der Vielzahl von Positionen und Ausrichtungen; Bestimmt Koordinaten der Ebene des Kalibrierungsziels in dem Bezugsrahmen des Radarsystems für jede der Vielzahl von Positionen und Ausrichtungen; Setzt eine summierte Kostenfunktion zusammen, um eine Summierung von Kostenfunktionen für jede der Vielzahl von Positionen und Ausrichtungen einzuschließen, wobei jede Kostenfunktion die ermittelten Koeffizienten, die ermittelten Koordinaten und die relative Pose-Matrix für die zugehörigen Positionen und die Ausrichtung des Zielreflektors enthält; und Reduziert die summierte Kostenfunktion, um die Parameter der relativen Pose-Matrix zu schätzen.

Die relative Pose-Matrix enthält eine Rotationsmatrix und eine Übersetzungsmatrix. In einer Ausführungsform sind das LiDAR-System und das Radarsystem an einem Fahrzeug angeordnet und der Prozessor ist ferner konfiguriert, um ein Objekt in Bezug auf das Fahrzeug unter Verwendung des LiDAR-Systems, des Radarsystems und der geschätzten relativen Pose-Matrix zu verfolgen. Der Prozessor manövriert das Fahrzeug auch basierend auf Parametern des verfolgten Objekts, die unter Verwendung des LiDAR-Systems, des Radarsystems und der geschätzten relativen Pose-Matrix erhalten werden.

Die oben genannten Eigenschaften und Vorteile sowie anderen Eigenschaften und Funktionen der vorliegenden Offenbarung gehen aus der folgenden ausführlichen Beschreibung in Verbindung mit den zugehörigen Zeichnungen ohne weiteres hervor.

Figurenliste

Andere Merkmale, Vorteile und Details erscheinen nur exemplarisch in der folgenden ausführlichen Beschreibung der Ausführungsformen, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, wobei gilt:

  • 1 zeigt ein Fahrzeug, das in einer Ausführungsform sowohl ein LiDAR-System als auch ein Radarsystem für das Erhalten von Messungen in Bezug auf ein Objekt in der Umgebung des Fahrzeugs aufweist;
  • 2 zeigt ein Kalibrierungssystem für das Kalibrieren eines LIDAR-Systems an einer ersten Position mit einem Radarsystem an einer zweiten Position gemäß einer Ausführungsform;
  • 2A zeigt eine Seitenansicht eines Kalibrierungsziels von 2;
  • 3 zeigt ein Ablaufdiagramm, das ein Verfahren für das Ermitteln einer relativen Pose-Matrix zwischen einem LiDAR-System und einem Radarsystem veranschaulicht, wie es hierin offenbart ist; und
  • 4 zeigt ein Ablaufdiagramm, das ein anderes Verfahren für das Ermitteln der relativen Pose-Matrix unter Verwendung einer Vielzahl von Positionen und Ausrichtungen des Kalibrierungsziels veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG

Die folgende Beschreibung ist lediglich exemplarischer Natur und nicht dazu gedacht, die vorliegende Erfindung in ihren An- oder Verwendungen zu beschränken.

Gemäß einer exemplarischen Ausführungsform der Offenbarung zeigt 1 ein Fahrzeug 100, das sowohl ein LiDAR-System als auch ein Radarsystem für das Erhalten von Messungen in Bezug auf ein Objekt in der Umgebung des Fahrzeugs aufweist, um verbesserte Fahrfähigkeiten für das Fahrzeug bereitzustellen. Das Fahrzeug 100 betreibt ein autonomes Fahrsystem 102, das ein Radarsteuersystem 108, eine Steuereinheit 116 und ein Kollisionsvermeidungssystem 112 beinhaltet. Das Radarsystem 108 betreibt mehrere Sensoren oder Wandler, die an verschiedenen Stellen des Fahrzeugs 100 angeordnet sind, einschließlich des Radarwandlers 110a und des LiDAR-Wandlers (Lichtradar-Wandlers) 110b.

Der Radarwandler 110a sendet ein Hochfrequenzquellensignal 120 in ein Volumen vor dem Fahrzeug 100. Das Objekt 104 reflektiert das Hochfrequenzquellensignal 120 in Form eines reflektierten Hochfrequenzsignals 122, das an dem Radarwandler 110a empfangen wird. Das Objekt 104 kann ein stationäres Objekt oder ein sich bewegendes Objekt sein; kann ein Fußgänger, ein Lichtpfosten, ein anderes Fahrzeug, Gebäude usw. sein. Unterschiede zwischen dem Hochfrequenzquellensignal 120 und dem reflektierten Hochfrequenzsignal 122 werden für die Bestimmung verschiedener Eigenschaften des Objekts 104 verwendet, wie beispielsweise seine Entfernung und Geschwindigkeit in Bezug auf das Fahrzeug 100. Der LiDAR-Wandler 110b überträgt ein Lichtquellensignal 124 in das Volumen vor dem Fahrzeug 100. Das Objekt 104 reflektiert das Lichtquellensignal 124 in Form eines reflektierten Lichtsignals 126, das an dem LiDAR-Wandler 110b empfangen wird. Die Unterschiede zwischen dem Lichtquellensignal 124 und dem reflektierten Lichtsignal 126 werden verwendet, um verschiedene Parameter in Bezug auf das Objekt 104 zu ermitteln. In verschiedenen Ausführungsformen kann der LiDAR-Wandler 110b verwendet werden, um ein Bild des Objekts 104 bereitzustellen. Während der Radarwandler 110a und der LiDAR-Wandler 110b nur an einem vorderen Ende des Fahrzeugs 100 gezeigt sind, kann ein ähnliches System an einem hinteren Ende des Fahrzeugs 100, der Seite des Fahrzeugs 100 usw. installiert werden.

Das Radarsteuersystem 108 liefert Radarmessdaten (d. h. Daten des Hochfrequenzquellensignals 120 und des reflektierten Hochfrequenzsignals 122) und LiDAR-Messdaten (d. h. LiDAR-Lichtquellensignal 124 und Daten des reflektierten Lichtsignals 126) an die Steuereinheit 116. Die Steuereinheit 116 kann einen oder mehrere Prozessoren 114 beinhalten. Der eine oder die mehreren Prozessoren 114 ermitteln aus den Radarmessdaten und den LiDAR-Messdaten verschiedene Parameter des Objekts 104, die in dem Kollisionsvermeidungssystem 112 verwendet werden können.

Das Kollisionsvermeidungssystem 112 erhält Eingaben (z. B. Geschwindigkeit, Bremsrate, Beschleunigung) des Fahrzeugs 110 von bekannten internen Komponenten und anderen Sensoren des Fahrzeugs 100 und verwendet diese Informationen zusammen mit den verschiedenen Parametern des Objekts 104 von der Steuereinheit 116, um einen Weg zu ermitteln, der den Kontakt mit dem Objekt 104 vermeidet. Das Kollisionsvermeidungssystem 112 manövriert das Fahrzeug 100 dann entlang des Weges, wodurch die Fähigkeit des Fahrzeugs 100 bereitgestellt wird, sicher durch seine Umgebung zu fahren. Zusätzlich oder alternativ kann das Kollisionsvermeidungssystem 112 eine Warnung an einen Fahrer des Fahrzeugs 100 bereitstellen, wenn gefährliche Fahrbedingungen unmittelbar bevorstehen.

Aufgrund von Unterschieden in den Positionen der Wandler 110a und 110b an den Fahrzeugen müssen die Parameter, die unter Verwendung des LiDAR-Systems ermittelt werden, mit den Parametern kalibriert werden, die unter Verwendung des Radars ermittelt werden. Koordinaten, die für das Objekt 104 in dem Bezugsrahmen des LiDAR-Wandters 110b ermittelt sind, unterscheiden sich von den Koordinaten, die für das Objekt 104 in dem Bezugsrahmen des Radarwandlers 110a ermittelt sind. Um diese Koordinaten und ihre zugehörigen Messungen zu kalibrieren, ist es nützlich, eine relative Pose-Matrix zu finden, die zwischen einem auf den Radarwandlern 110a zentrierten Bezugsrahmen und einem auf den LiDAR-Wandler 110b zentrierten Bezugsrahmen übersetzt. Solch eine relative Pose-Matrix enthält eine relative Rotationsmatrix und eine relative Übersetzungsmatrix. Einmal ermittelt, kann die relative Pose-Matrix verwendet werden, um Messungen von dem Radarwandler 110a und dem LiDAR-Wandler 110b an einem Objekt (wie Objekt 104) zu kalibrieren, um Messungen bereitzustellen, die für das Verfolgen des Objekts 104 verwendet werden können.

2 zeigt ein Kalibrierungssystem 200 für das Kalibrieren eines LIDAR-Systems 202 an einer ersten Position mit einem Radarsystem 204 an einer zweiten Position gemäß einer Ausführungsform. In einer Ausführungsform ist das LiDAR-System 202 repräsentativ für den LiDAR-Wandler 110b von 1 und das Radarsystem 204 ist repräsentativ für den Radarwandler 110a von 1. Das LIDAR-System 202 und das Radarsystem 204 befinden sich an verschiedenen Positionen und haben unterschiedliche Ausrichtungen, was zu Unterschieden zwischen Messungen des Objekts 104 führt, die von jedem System erhalten werden. Das LiDAR-System 202 und das Radarsystem 204 stehen beide in Verbindung mit einem Prozessor 206, der die hierin offenbarten Verfahren für das Kalibrieren des LiDAR-Systems 202 mit dem Radarsystem 204 ausführt. Der Prozessor 206 kann der gleiche sein wie der Prozessor 114 von 1 und kann daher verwendet werden, sobald eine Kalibrierung erreicht wurde, um nachfolgende LiDAR- und Radarmessungen für das Fahrzeug 100 zu kalibrieren, sodass das Fahrzeug Objekte (z. B. Objekt 104) verfolgen und dem Kollisionsvermeidungssystem 112 kalibrierte Daten bereitstellen kann, was dem Fahrzeug 100 ermöglicht, eine Kollision oder einen Aufprall mit dem Objekt 104 zu vermeiden.

Das Kalibrierungssystem 220 beinhaltet ein Kalibrierungsziel 210. Das Kalibrierungsziel 210 enthält einen planaren Reflexionsbereich 212, der die LiDAR-Signale stark reflektiert. Eine Vielzahl von Eckenreflektoren 214 ist an ausgewählten Stellen des planaren Reflexionsbereichs 210 an dem Kalibrierungsreflektor 210 angebracht. Die Eckenreflektoren 214 haben eine hohe Reflektivität der Radarsignale. 2A zeigt eine Seitenansicht eines Kalibrierungsziels 210 von 2. Wie in 2A gezeigt, wird das Kalibrierungsziel 210 so hergestellt, dass die Ecken der Eckenreflektoren 214 innerhalb einer Ebene liegen, die durch den planaren Reflexionsbereich 212 definiert ist. Somit ist die durch die Ecken der Eckenreflektoren 214 definierte (und durch das Radarsystem 204 gemessene) Ebene im Wesentlichen gleich der Ebene, die durch den planaren Reflexionsbereich 210 definiert (und durch das LiDAR-System 202 gemessen) ist. Das Radarsystem 204 erhält die Koordinaten von Punkten, die durch jeden Eckreflektor 214 definiert sind. Da für die Definition einer Ebene drei Punkte benötigt werden, beinhaltet das Kalibrierungsziel 210 mindestens drei Eckenreflektoren 214.

Um das LiDAR-System 202 und das Radarsystem 204 zu kalibrieren, wird das Kalibrierungsziel 210 an einer ausgewählten Position/Stelle und in einer Ausrichtung innerhalb der Betrachtungsbereiche sowohl des LiDAR-Systems 202 als auch des Radarsystems 204 platziert. In verschiedenen Ausführungsformen werden mehrere Positionen und Ausrichtungen des Kalibrierungsziels 210 für die hierin offenbarten Kalibrierungsverfahren verwendet.

Das LiDAR-System 202 und das Radarsystem 204 ermitteln beide Koordinaten der Ebene des Kalibrierungsziels 210 innerhalb ihrer jeweiligen Bezugsrahmen. Das LiDAR-System 202 ermittelt eine Ebene für das Kalibrierungsziel 210 aus Reflexionen von dem Reflexionsbereich 212, während das Radarsystem 204 eine Ebene für das Kalibrierungsziel 210 aus Reflexionen von den Eckenreflektoren 214 ermittelt. Da sich der auf das LiDAR-System 202 zentrierte Bezugsrahmen von dem auf das Radarsystem 204 zentrierten Bezugsrahmen unterscheidet, unterscheiden sich die Koordinaten der Ebene des Kalibrierungsziels 210 in dem Bezugsrahmen des LiDAR-Systems 202 von den Koordinaten der Ebene des Kalibrierungsziels 210 in dem Bezugsrahmen des Radarsystems 204. Das hierin offenbarte Verfahren ermittelt eine relative Pose-Matrix, die die Koordinaten der Ebene des Kalibrierungsziels 210 in dem Bezugsrahmen des Radarsystems 204 in Koordinaten transformiert, die die Ebene des Kalibrierungsziels 210 in dem Bezugsrahmen des LiDAR-Systems 202 repräsentieren.

Ein Verfahren für das Ermitteln der relativen Pose-Matrix wird nun erörtert. Das Kalibrierungsziel 210 ist in einem Sichtfeld des LiDAR-Systems 202 und des Radarsystems 204 platziert. Das Kalibrierungsziel 210 wird unter Verwendung des LiDAR-Systems 202 erfasst. Die LiDAR-Messungen werden für die Bestimmung von Koordinaten XLiembedded imageverwendet, die Punkte einer Ebene des Kalibrierungsziels 210 in dem Bezugsrahmen des LiDAR-Systems 202 repräsentieren. Das tiefgestellte Zeichen L gibt den LiDAR-Bezugsrahmen an. Die Gleichung der Ebene in dem Rahmen des LiDAR-Systems 204 ist durch eine Ebenengleichung aX + bY + cZ-d = 0 gegeben, die umgeschrieben werden kann wie in Gl. (1): AXLi=0embedded imagewobei A=(a,b,c,d)embedded imageein Parametervektor ist, der Koeffizienten a, b, c und -d der Ebenengleichung enthält, und XLi=(X,Y,Z,1)Tembedded imageenthält Koordinaten X, Y und Z von einem Punkt des planaren Reflexionsbereichs 212, der anhand der LiDAR-Messungen ermittelt wird. Die Koeffizienten des Parametervektors A kann durch Lösen von Gl. (1) für LiDAR-Messungen ermittelt werden, die von einer Vielzahl von Punkten in dem planaren Reflexionsbereich 212 erhalten werden. In einer Ausführungsform kann eine Methode der kleinsten Quadrate unter Verwendung der Vielzahl von LiDAR-Messungen den Parametervektor A lösen.

Unter Verwendung des Radarsystems 204 wird eine Vielzahl von Radarmessungen von den Eckenreflektoren 214 erhalten. Koordinaten XRjembedded imageder Eckenreflektoren 214 repräsentieren die Ebene des Kalibrierungsziels 210 in dem Bezugsrahmen des Radarsystems 204. Das tiefgestellte Zeichen R gibt den Radar-Bezugsrahmen an. Zwischen den Koordinaten XRjembedded imagein dem Bezugsrahmen des Radarsystems 204 kann eine Transformation auf die Koordinaten XLiembedded imagein dem Bezugsrahmen des LiDAR-Systems durch Multiplikation mit einer relativen Pose-Matrix P vorgenommen werden, wie dargestellt in Gl. (4): XLi=PXRjembedded image

Die relative Pose-Matrix P enthält eine Rotationsmatrix R und einen Übersetzungsvektor T, wie dargestellt in Gl. (5): P=(RT01)=(p11p12p13p14p21p22p23p24p31p32p33p340001)embedded imagein welcher R=(p11p12p13p21p22p23p31p32p33)embedded imageund T=(p14p24p34)Tembedded image

Sobald die relative Pose-Matrix und ihre Einträge ermittelt wurden, können die Koordinaten XRjembedded imagedes Radarsystems 204 in die Koordinaten XLiembedded imagedes LiDAR-Systems 202 transformiert werden und die resultierenden transformierten Koordinaten können in Gl. (1) verwendet werden, damit die Gleichheit von Gl. (1) beibehalten wird. Dies kann umformuliert werden als Gl. (8): A(PXRj)=0embedded imageGl. (8) kann neu geschrieben werden als Fp=0embedded imagein welcher p=(p11p12p13p14p21p22p23p24p31p32p33p34)Tembedded image

Die linke Seite von Gl. (8) kann in einer Kostenfunktion verwendet werden und die Kostenfunktion kann reduziert oder minimiert werden, um die relative Pose-Matrix P zu ermitteln. Die Rotationsmatrix der relativen Pose-Matrix ist eine orthogonale Matrix. Um die orthogonale Rotationsmatrix zu ermitteln, kann eine Singulärwertzerlegung der Rotationsmatrix durchgeführt werden, wie dargestellt in Gl. (11): R=USVTembedded image

Für eine Matrix, die in Form einer Singulärwertzerlegung geschrieben ist, kann ein Skalarwert α ermittelt werden durch Gl. (12): α=det(UVT)embedded imagesodass die Rotationsmatrix R geschrieben werden kann als R=U(10001000α)VTembedded imageund die Übersetzungsmatrix T die der Rotationsmatrix R entspricht, kann geschrieben werden als T=αP(1:3,4)/s11embedded imageworin P(1: 3,4) sich auf (p14, p24, p34) bezieht und s11 der singuläre Wert der ersten Zeile und der ersten Spalte der Matrix S ist.

Eine Kostenfunktion C(R,T) kann von der linken Seite von Gl. (8) gebildet werden und die Kostenfunktion kann minimiert werden, um die relative Positionsmatrix P zu ermitteln. Mit anderen Worten, Kostenfunktion C(R,T)=A(PXRj)2embedded imagewird minimiert, um P zu ermitteln. In einer Ausführungsform wird eine Methode der kleinsten Quadrate verwendet, um die Kostenfunktion zu reduzieren. In einer anderen Ausführungsform kann das Kalibrierungsziel 210 an mehreren Stellen angeordnet sein, wodurch eine Vielzahl von Kostenfunktionen von Gl. (15) erhalten wird, eine für jede der Vielzahl von Ausrichtungen und Positionen des Kalibrierungsziels 210. Es kann eine summierte Kostenfunktion zusammengesetzt werden, die eine Summierung der Vielzahl von Kostenfunktionen ist. Die gleiche relative Pose-Matrix transformiert die Koordinaten für jede Position und/oder Ausrichtung des Kalibrierungsziels. Daher ist die summierte Kostenfunktion (für das Kalibrierungsziel bei der Vielzahl von Positionen und Ausrichtungen) in Gl. (16) gegeben als: C(R,T)=Alle Ausrichtungen und Positionen des ZielsAj((RT01)XRi)2embedded imageDie summierte Kostenfunktion von Gl. (16) kann minimiert oder reduziert werden, um die relative Pose-Matrix P zu ermitteln.

Ermitteln der relativen Pose-Matrix P kalibriert effektiv das LiDAR-System 202 mit dem Radarsystem 204. Für LiDAR- und Radarsysteme an einem Fahrzeug kann, nach Bestimmung der relativen Pose-Matrix P unter Verwendung der hierin offenbarten Verfahren, die relative Pose-Matrix P entlang LiDAR- und Radarmessungen von Objekten innerhalb des Beobachtungsbereichs des Fahrzeugs 100 verwendet werden, an dem das LiDAR-System 202 und das Radarsystem 204 angeordnet sind. Die relative Pose-Matrix P kann verwendet werden, um Messungen des unter Verwendung des Radarsystems 204 hergestellten Objekts 104 in einen Bezugsrahmen des LiDAR-Systems 202 zu transformieren, wodurch die Radarmessungen des Objekts mit den LiDAR-Messungen des Objekts 104 kalibriert werden.

3 zeigt ein Ablaufdiagramm 300, das ein Verfahren für das Ermitteln einer relativen Pose-Matrix zwischen einem LiDAR-System und einem Radarsystem veranschaulicht, wie es hierin offenbart ist. Das LiDAR-System und das Radarsystem sind an einem Fahrzeug angeordnet. In Kasten 302 werden Bereichskoordinaten für das Kalibrierungsziel 210 in einem Bezugsrahmen eines LiDAR-Systems an einer ersten Stelle an dem Fahrzeug erhalten. In Kasten 304 werden die Bereichskoordinaten für das Ermitteln von Koeffizienten einer Ebene des Kalibrierungsziels in einem Bezugsrahmen des LiDAR-Systems verwendet. In Kasten 306 werden Bereichskoordinaten für das Kalibrierungsziel in einem Bezugsrahmen eines Radarsystems an einer zweiten Stelle an dem Fahrzeug erhalten. In Kasten 308 wird eine Kostenfunktion aus einer Plangleichung erstellt, die die ermittelten Koeffizienten, die Bereichskoordinaten in dem Bezugsrahmen des Radarsystems und eine relative Pose-Matrix enthält, die den Bezugsrahmen des Radarsystems in den Bezugsrahmen des LiDAR-Systems transformiert. In Kasten 310 wird die Kostenfunktion reduziert oder minimiert, um die Parameter der relativen Pose-Matrix zu ermitteln. In Kasten 312 wird ein Objekt in Bezug auf das Fahrzeug unter Verwendung des LiDAR-Systems, des Radarsystems und der ermittelten relativen Pose-Matrix erfasst.

4 zeigt ein Ablaufdiagramm 400, das ein anderes Verfahren für das Ermitteln der relativen Pose-Matrix unter Verwendung einer Vielzahl von Positionen und Ausrichtungen des Kalibrierungsziels 210 veranschaulicht. In Kasten 402 werden für eine Vielzahl von Positionen und Ausrichtungen des Kalibrierungsziels LiDAR-Koordinaten für das Kalibrierungsziel unter Verwendung eines LiDAR-Systems an einer ersten Position erhalten, und Radarkoordinaten werden für das Kalibrierungsziel unter Verwendung eines Radarsystems an einer zweiten Position erhalten. In Kasten 404 wird eine Planargleichung für jede Position und Ausrichtung des Kalibrierungsziels ermittelt. Jede Planargleichung enthält Koeffizienten der Planargleichung, die unter Verwendung von LiDAR-Messungen für die Auswahlposition und -ausrichtung, Koordinaten des unter Verwendung des Radarsystems für die Auswahlposition und -ausrichtung erhaltenen Kalibrierungsziels und einer relativen Pose-Matrix ermittelt werden. In Kasten 406 wird eine Kostenfunktion erstellt, die eine Summe der Planargleichungen für jede der Vielzahl von Positionen und Ausrichtungen des Kalibrierungsziels 210 ist. In Kasten 408 wird die Kostenfunktion reduziert oder minimiert, um die Parameter der relativen Pose-Matrix zu ermitteln. In Kasten 410 wird ein Objekt in Bezug auf das Fahrzeug unter Verwendung des LiDAR-Systems, des Radarsystems und der ermittelten relativen Pose-Matrix erfasst.

Während die obige Offenbarung mit Bezug auf exemplarische Ausführungsformen beschrieben wurde, werden Fachleute verstehen, dass unterschiedliche Änderungen vorgenommen und die einzelnen Teile durch entsprechende andere Teile ausgetauscht werden können, ohne vom Umfang der Offenbarung abzuweichen. Darüber hinaus können viele Modifikationen vorgenommen werden, um eine bestimmte Materialsituation an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Umfang abzuweichen. Daher ist vorgesehen, dass die Erfindung nicht auf die offenbarten speziellen Ausführungsformen eingeschränkt sein soll, sondern dass sie auch alle Ausführungsformen beinhaltet, die innerhalb des Umfangs der Anmeldung fallen.