Title:
Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung
Kind Code:
A1


Abstract:

Die Erfindung betrifft ein Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten (2) in einer Fahrzeugumgebung, wobei die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug (1) angeordneten Radarsensors (3) erfasst wird und bei einer Ermittlung und/oder Klassifizierung einer Höhe (ht) eines Objekts (2) anhand einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor (3) ausgesendeten und einem vom Objekt (2) reflektierten Radarsignal Dopplerinformationen erzeugt werden. Erfindungsgemäß wird die Ermittlung und/oder Klassifizierung der Höhe (ht) des Objekts (2) mittels zumindest eines trainierten neuronalen Netzes durchgeführt, wobei ein Training des neuronalen Netzes anhand von Simulationsdaten erfolgt, welche aus den Dopplerinformationen erzeugt werden. embedded image




Inventors:
Hahn, Markus, Dr.-Ing. (89233, Neu-Ulm, DE)
Laribi, Amir, Dipl.-Inf. Univ (89081, Ulm, DE)
Application Number:
DE102018000517A
Publication Date:
08/23/2018
Filing Date:
01/23/2018
Assignee:
Daimler AG, 70327 (DE)
International Classes:



Claims:
Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten (2) in einer Fahrzeugumgebung, wobei
- die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug (1) angeordneten Radarsensors (3) erfasst wird und
- bei einer Ermittlung und/oder Klassifizierung einer Höhe (ht) eines Objekts (2) anhand einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor (3) ausgesendeten und einem vom Objekt (2) reflektierten Radarsignal Dopplerinformationen erzeugt werden, dadurch gekennzeichnet, dass
- die Ermittlung und/oder Klassifizierung der Höhe (ht) des Objekts (2) mittels zumindest eines trainierten neuronalen Netzes durchgeführt wird, wobei
- ein Training des neuronalen Netzes anhand von Simulationsdaten erfolgt, welche aus den Dopplerinformationen erzeugt werden.

Description:

Die Erfindung betrifft ein Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung gemäß dem Oberbegriff des Anspruchs 1.

Aus der DE 10 2015 009 382 A1 ist ein Verfahren zur radarbasierten Bestimmung einer Höhe eines Objekts in einer Fahrzeugumgebung bekannt, wobei die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug angeordneten Radarsensors erfasst wird. Eine Höhe des Objekts wird mittels einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor ausgesendeten und einem vom Objekt reflektierten Radarsignal ermittelt, wobei die Höhe in der Auswertung aus einem unter Berücksichtigung einer Annäherungsgeschwindigkeit des Fahrzeugs an das Objekt ermittelten zeitlichen Dopplerfrequenzverlauf anhand eines Vergleichs mit hinterlegten Muster-Dopplerfrequenzverläufen oder aus einem Verhältnis einer Radialgeschwindigkeitskomponente der Annäherungsgeschwindigkeit des Fahrzeugs an das Objekt und einer Längsgeschwindigkeitskomponente der Annäherungsgeschwindigkeit unter Berücksichtigung eines Abstands des Fahrzeugs zum Objekt ermittelt wird.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung anzugeben.

Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In dem Verfahren zur radarbasierten Vermessung und/oder Klassifizierung von Objekten in einer Fahrzeugumgebung wird die Fahrzeugumgebung mittels zumindest eines an einem Fahrzeug angeordneten Radarsensors erfasst und bei einer Ermittlung und/oder Klassifizierung einer Höhe eines Objekts werden anhand einer Auswertung einer Verschiebung einer Dopplerfrequenz zwischen einem vom Radarsensor ausgesendeten und einem vom Objekt reflektierten Radarsignal Dopplerinformationen erzeugt.

Erfindungsgemäß wird die Ermittlung und/oder Klassifizierung der Höhe des Objekts mittels zumindest eines trainierten neuronalen Netzes durchgeführt, wobei ein Training des neuronalen Netzes anhand von Simulationsdaten erfolgt, welche aus den Dopplerinformationen erzeugt werden.

Das Verfahren ermöglicht die Vermessung und/oder Klassifizierung von Objekten in der Fahrzeugumgebung, insbesondere die Bestimmung der Höhe von Objekten, in besonders zuverlässiger und einfacher Weise. Dabei wird eine Anzahl von Fehldetektionen von über- oder unterfahrbaren Objekten signifikant verringert, wodurch eine Erhöhung einer Zuverlässigkeit von Fahrerassistenzsystemen zur autonomen oder teilautonomen Längs- und/oder Quersteuerung eines Fahrzeugs, beispielsweise von Parkassistenzsystemen, erreicht wird, da von einer Fahrbahn erhabene und nicht-erhabene Objekte besonders zuverlässig voneinander unterschieden werden können. Somit werden fehlerhafte Steuerungen des Fahrzeugs, beispielsweise zur Vermeidung von Kollisionen mit nicht erhabenen Objekten oder Objekten mit geringer Höhe, wie beispielsweise Bordsteinen, vermieden. Weiterhin wird eine Robustheit von radarbasierten Fahrerassistenzsystemen, insbesondere eine Erhöhung einer Robustheit einer Lokalisierung des Fahrzeugs anhand der Radardaten, erhöht.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

  • 1 schematisch eine Draufsicht eines Fahrzeugs, eines vor dem Fahrzeug befindlichen Objekts und geometrische Verhältnisse zwischen einem Radarsensor des Fahrzeugs und dem Objekt und
  • 2 schematisch eine Seitenansicht des Fahrzeugs und des Objekts gemäß 1.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In 1 sind eine Draufsicht eines Fahrzeugs 1, eines vor dem Fahrzeug 1 befindlichen Objekts 2 und geometrische Verhältnisse zwischen einem Radarsensor 3 des Fahrzeugs 1 und dem Objekt 2 dargestellt. 2 zeigt eine Seitenansicht des Fahrzeugs 1 und des Objekts 2.

Das Fahrzeug 1 ist insbesondere zu einem autonomen oder teilautonomen Fahrbetrieb ausgebildet und umfasst zumindest ein Fahrerassistenzsystem zur Ausführung eines so genannten automatischen Valet-Parkens.

Das Fahrzeug 1 wird in einem globalen Koordinatensystem mit den Achsen x, y und der Radarsensor 3 in einem Sensorkoordinatensystem mit den Achsen x', y' beschrieben.

Das Fahrzeug 1 bewegt sich mit einer Geschwindigkeit v, welche sich aus einer Geschwindigkeitskomponente vx in Richtung der Achse x und einer Geschwindigkeitskomponente vy zusammensetzt. Eine Größe der Geschwindigkeitskomponenten vx, vy ist dabei von einer Gierrate w des Fahrzeugs 1 abhängig.

Im vorliegenden Ausführungsbeispiel wird ein Radarsensor 3 betrachtet, welcher sich mit einer Sensorgeschwindigkeit vs in einer Szene bewegt und ein stationäres Objekt 2 erfasst. Zur Vereinfachung wird angenommen, dass die Szene eine zweidimensionale Ebene ist, so dass ein Elevationswinkel ε des beobachteten Objekts gleich 0 in Bezug auf eine Sichtlinie des Radarsensors 3 ist. Ferner wird angenommen, dass die Sichtlinie des Radarsensors 3 ein Vektor ist, der der Achse x' des lokalen Sensorkoordinatensystems entspricht, so dass eine gemessene Radialgeschwindigkeit vr2d des Objekts 2 am Empfänger des Radarsensors 3 gegeben ist durch vr2d=vx' cos(θS)+vy' sin(θS).embedded image

Dabei bezeichnet θS einen Sensor-Azimutwinkel des Objekts 2 im lokalen Sensorkoordinatensystem und vx' und vy' bezeichnen Sensorgeschwindigkeitskomponenten entlang der Achsen x', y'. Zur Validierung der Radialgeschwindigkeitsformulierung für beliebige Sensororientierungen ist eine Transformation der Sensorgeschwindigkeitskomponenten vx' und vy' aus dem Sensorkoordinatensystem in ein globales Koordinatensystem notwendig. Dazu werden die lokalen Sensorachsen um einen Ursprung um einen Sensor-Montagewinkel β gedreht, um zu den globalen Achsen x, y des globalen Koordinatensystems ausgerichtet zu werden. Somit ergibt sich für die Radialgeschwindigkeit vr2d des Objekts 2: vr2d=vx cos(θ)+vysin(θ).embedded image

Dabei ergeben sich die Sensorgeschwindigkeitskomponenten vx' und vy' im globalen Koordinatensystem zu [vxvy]=[cos(β)sin(β)sin(β)cos(β)][vx'vy']embedded imageund ein Azimutwinkel θ des Objekts 2 zu θ=θS+β.embedded image

Für den dem sich bewegenden Fahrzeug 1 montierten Radarsensor 3 kann die durch die Geschwindigkeit v und die Gierrate w beschriebene Eigenbewegung des Fahrzeugs 1 zusammen mit einer durch die Koordinaten x' =0 und y'= 0 beschriebenen Sensorbefestigungsposition in dem globalen Koordinatensystem beschrieben werden. Dabei liegt der Ursprung des globalen Koordinatensystems derart in der Mitte einer Fahrzeughinterachse, dass die Achse x parallel und die Achse y senkrecht zur Bewegungsrichtung ist. Die Sensorgeschwindigkeitskomponenten vx', vy' ergeben sich aufgrund der Drehung des Fahrzeugs 1 mit der Gierrate w um den Koordinatenursprung und aufgrund der Geschwindigkeit v des Fahrzeugs 1 zu vx'=wy'+vx undembedded imagevy'=wx'+vy.embedded image

Aus den Gleichungen (5) und (6) ergibt sich für Gleichung (2): vr2d=[y' cos(θ)+x'sin(θ)]w+cos(θ)vx+sin(θ)vy.embedded image

In einem dreidimensionalen Szenario enthält die gemessene Radialgeschwindigkeit vr eine Doppler-Verschiebungskomponente, die abhängig ist von dem Elevationswinkel ε des Objekts 2. Das heißt, Gleichung (7) wird erweitert auf: vr=vr2dcos(ε)=[(y'cos(θ)+x'sin(θ))w+cos(θ)vx+sin(θ)vy]cos(ε).embedded image

Wenn keine Raddrift vorliegt, wird die Geschwindigkeit v an der Fahrzeughinterachse auf die Geschwindigkeitskomponente vx reduziert. Somit ergibt sich: vr=[(y'cos(θ)+x'sin(θ))w+cos(θ)vx]cos(ε).embedded image

Eine Höhe ht des Objekts 2 ist gegeben durch ht=hsR sin(ε),embedded imagewobei R einen radialen Abstand vom Radarsensor 3 zum Objekt 2 und hs eine Sensorhöhe beschreiben. Der Elevationswinkel ε kann aus der Gleichung (9) als Funktion von der Radialgeschwindigkeit vr des Objekts 2, der Sensorbefestigungsposition mit den Koordinaten x' =0 und y'= 0, dem Azimutwinkel θ des Objekts 2 und der Eigenbewegung des Fahrzeugs 1, bestehend aus der Geschwindigkeitskomponente vx und der Gierrate w ermittelt werden.

Somit ergibt sich für den Elevationswinkel ε: ε=vr=[(y'cos(θ)+x'sin(θ))w+cos(θ)vx].embedded image

Unter der Voraussetzung, dass genaue Bewegungsinformationen des Fahrzeugs 1 verfügbar sind, kann die Höhe ht des Objekts 2 dadurch ermittelt werden, dass die gemessene Information über den Azimutwinkel θ des Objekts 2 zusammen mit der empfangenen Dopplerinformation ausgenutzt wird, um den Elevationswinkel ε genau zu berechnen. Der Azimutwinkel θ des Objekts 2 wird durch digitales Beamforming an mehrere horizontale Antennen des Radarsensors 3 bestimmt. Ist der Elevationswinkel ε des Objekts 2 einmal berechnet, kann die Höhe ht des Objekts 2 aus dem Elevationswinkel ε des Objekts 2 und dem radialen Abstand R vom Radarsensor 3 zum Objekt 2, wie in Gleichung (10) angegeben, ermittelt werden.

Zur Bestimmung der Höhe ht des Objekts 2 mittels eines so genannten „Doppler-Beam-Sharpening-Algorithmus“ wird die berechnete Doppler-Verschiebung der empfangenen Signal- und Azimutwinkelinformation zusammen mit der Eigenbewegungsinformation des Fahrzeugs 1 wie zuvor beschrieben derart kombiniert, dass der Elevationswinkel ε des Objekts 2 ermittelt wird. Der Azimutwinkel θ des Objekts 2 wird mittels digitalen Beamforming an mehrere horizontale Antennen des Radarsensors 3 bestimmt.

Hierzu werden zuerst Objekte 2 erkannt und extrahiert. Um dies zu erreichen, wird eine grobe 3D-Fast-Fourier-Transformation an dem empfangenen Pulssignal des Radarsensors 3 durchgeführt, wobei Ausgangsentfernungs-, Ausgangswinkel- und Ausgangs-Doppler-Schätzungen bereitgestellt werden.

Anschließend wird eine 2D-Zellen-Mittelwert-Konstante-Fehlalarmrate (= CA-CFAR) auf einen Ausgang der 3D-Fast-Fourier-Transformation zur Spitzenwerterfassung angewendet. Danach werden die festgestellten Spitzenwerte, auch als Peaks bezeichnet, zusammengeführt und die Objekte 2 mithilfe eines so genannten „Density-Based Spatial Clustering of Applications with Noise“ (DBSCAN) extrahiert. Anschließend wird mit einem aus „J. Li and P. Stoica: Efficient mixed-spectrum estimation with applications to target feature extraction; Signal Processing, IEEE Transactions on, vol. 44, no. 2, pp. 281-295, 1996“ bekannten 3D-Rekursiven-Fourier-Transformation „RELAX“ eine feinere 3D-Spektralschätzung des Pulssignals berechnet. Schließlich erfolgt die Ermittlung der Höhe ht des Objekts 2 basierend auf von RELAX erhaltenen 3D-Parametern und dem Geometriemodell des „Doppler-Beam-Sharpening-Algorithmus“.

Die Ermittlung der Höhe ht des Objekts 2 mittels des „Doppler-Beam-Sharpening-Algorithmus“ kann somit in vier Hauptschritte zusammengefasst werden:

  • Schritt 1: Grobe 3D-Paramterschätzung;
  • Schritt 2: Peakerkennung und Objektextraktion;
  • Schritt 3: Hochauflösende 3D-Paramterschätzung;
  • Schritt 4: Objekthöhenermittlung.

Um eine genaue Objekthöhenermittlung mittels des „Doppler-Beam-Sharpening-Algorithmus“ zu realisieren, müssen die 3D-Objektparameter so genau wie möglich geschätzt werden. Hierfür ist ein dreidimensionaler RELAX-Algorithmus implementiert, um eine hohe Auflösung und eine genaue Winkel- und Dopplerschätzung zu ermöglichen. Nach der Objektextraktion wird mittels 3D-RELAX aus dem Pulssignal gemäß Gleichung (7) eine hochauflösende dreidimensionale spektrale Leistungsdichte erzeugt.

RELAX ist dabei ein parametrischer Algorithmus mit hoher Auflösung, der auf einem nichtlinearen Regressionsmodell beruht, um die in einem Signal vorhandenen Frequenzen sowie ihre jeweiligen Amplituden zu schätzen. Um den 3D-Parameter der extrahierten K Objekte 2 zu schätzen, nimmt RELAX an, dass das empfangene Radarsignal SIF (n, l, m) als die Summe mehrerer gewichteter komplexer Exponentiale zuzüglich Rauschen modelliert werden kann. Somit kann das empfangene Radarsignal SIF (n, l, m) durch folgendes Modell beschrieben werden: yn,l,m=k=1Kαkej2πfknej2πf'klej2πf''km+en,l,m.embedded image

Dabei ist n = 0; 1; ...; N - 1, l = 0; 1; ...; L - 1 und m = 0; 1; ...; M - 1, wobei L eine Anzahl von empfangenen Kanälen, N eine Anzahl von Samples pro Chirp und M eine Anzahl von Rampen pro Frame bezeichnet. Die Variable aK bezeichnet die unbekannte komplexe Amplitude und fk, f'k, f''k bezeichnen die unbekannten Bereichs-, Winkel- und Dopplerfrequenzen der k-ten Harmonischen, für k = 1; 2; ...; K. en,l,m beschreibt das Rauschen. Die sinusförmigen Parameter fk^,f'k,^f''k^,embedded imageαk können durch rekursives Minimieren der folgenden nichtlinearen Kleinste-Quadrate-Kostenfunktion ermittelt werden: Cl({fi,f'i,f''i,αi})i=0K=||yk=1KαkW(fk)||2,embedded imagewobei ||||embedded imageder euklidische Betrag, y das dreidimensionale NxLxM Pulssignal in Gleichung (7) und W(fk) = [Wn,l,m] ein Tensor dritter Ordnung ist, so dass Wn,l,m=wn(fk)wn(f'k)wn(f''k)embedded imageist, wobei wn(fk)wn(f'k)wn(f"k) gegeben sind durch wn(fk)=[1ej2πfkej2πfk(N1)]T,wn(f'k)=[1ej2πfk'ej2πfk'(L1)]T,wn(f''k)=[1ej2πfk''ej2πfk''(M1)]T.embedded image

Es sei yk gegeben durch yK=yi=0,ikKα^iW(f^i),embedded imagewobei {f^i,α^i}i=1,ikKembedded imageangenommen wird und die Kostenfunktion gemäß Gleichung (13) bezüglich fk und αk minimiert wird. Somit ergibt sich: (f^k,f^k',f^k'')=maxfk,fk',fk''|<W(fk),yk>|2embedded imageund αk^=1NLM<W(fk),yk>.embedded image

Dabei ist <...> die Summe aller elementweisen Produkte. Die Schätzung von (f^k,f^k',f^k'')embedded imagekann als Ort des dominanten Peaks des Periodogramms bzw. Wellenschaubilds ermittelt werden, wobei das Periodogramm effizient mittels der 3D-Fast-Fourier-Transformation des Datenkubus yk unter Verwendung einer Auffüllung mit Nullen berechnet werden kann.

Somit ist es möglich, den Abstand R vom Radarsensor 3 zum Objekt 2 mit R=fkfscT2B,embedded imageden Azimutwinkel θ des Objekts 2 mit θ=arcsin(fk'λd)embedded imageund die Radialgeschwindigkeit vr mit vr=fk''c2fcTembedded imageaus (f^k,f^k',f^k'')embedded imagezu extrahieren, wobei c die Lichtgeschwindigkeit, fs die Samplingfrequenz und B die Radarbandbreite beschreibt.

Bezugszeichenliste

1
Fahrzeug
2
Objekt
3
Radarsensor
hs
Sensorhöhe
ht
Höhe
R
Abstand
v
Geschwindigkeit
vr
Radialgeschwindigkeit
vs
Sensorgeschwindigkeit
vx
Geschwindigkeitskomponente
vy
Geschwindigkeitskomponente
w
Gierrate
x
Achse
x'
Achse
y
Achse
y'
Achse
β
Sensor-Montagewinkel
ε
Elevationswinkel
θ
Azimuthwinkel
θs
Sensor-Azimutwinkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Patentliteratur

  • DE 102015009382 A1 [0002]

Zitierte Nicht-Patentliteratur

  • „J. Li and P. Stoica: Efficient mixed-spectrum estimation with applications to target feature extraction; Signal Processing, IEEE Transactions on, vol. 44, no. 2, pp. 281-295, 1996“ [0028]