Title:
Verfahren zur Überwachung des Umfeldes eines Kraftfahrzeugs
Kind Code:
A1


Abstract:

Verfahren zur Überwachung des Umfeldes (3) eines Kraftfahrzeugs (1) mit mindestens einem Lidarsensor (4) aufweisend die folgenden Schritte:
a) Erkennung von Reflektierpunkten (8) im Umfeld (3) des Kraftfahrzeuges (1), wobei die Reflektierpunkte (8) eine Reflektanz oberhalb einer vorgebbaren Schwelle aufweisen,
b) Erkennung von bewegten Clustern aus den in Schritt a) erkannten Reflektierpunkten (8), und
c) Identifikation von Objekten (2) anhand von in Schritt b) erkannten Clustern. embedded image




Inventors:
Freienstein, Heiko (71263, Weil Der Stadt, DE)
Drews, Florian (71272, Renningen, DE)
Application Number:
DE102017201490A
Publication Date:
08/02/2018
Filing Date:
01/31/2017
Assignee:
Robert Bosch GmbH, 70469 (DE)
International Classes:



Claims:
Verfahren zur Überwachung des Umfeldes (3) eines Kraftfahrzeugs (1) mit mindestens einem Lidarsensor (4) aufweisend die folgenden Schritte:
a) Erkennung von Reflektierpunkten (8) im Umfeld (3) des Kraftfahrzeuges (1), wobei die Reflektierpunkte (8) eine Reflektanz oberhalb einer vorgebbaren Schwelle aufweisen,
b) Erkennung von bewegten Clustern aus den in Schritt a) erkannten Reflektierpunkten (8), und
c) Identifikation von Objekten (2) anhand von in Schritt b) erkannten Clustern.

Verfahren nach Anspruch 1, wobei in Schritt a) Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle aus einem Signal des Lidarsensors (4) herausgefiltert werden.

Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt c) ein auf Maschinenlernen basierendes System zur Identifikation von Objekten (2) anhand der bewegten Cluster verwendet wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt c) Abstände zwischen Reflektierpunkten eines bewegten Clusters ermittelt werden und diese Abstände zur Identifikation von Objekten (2) ausgewertet werden.

Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren zur Auslösung mindestens einer Sicherheitsfunktion des Kraftfahrzeugs (1) eingerichtet ist und nachfolgend zu Schritt c) folgende Verfahrensschritte durchgeführt werden:
d) Erstellen einer Prognose, ob ein Zusammenstoß mit einem in Schritt c) erkannten Objekt (2) erfolgen kann, und
e) Ausgabe eines Signals zur Auslösung mindestens einer Sicherheitsfunktion, wenn in Schritt d) eine Prognose für einen Zusammenstoß erstellt wurde.

Verfahren nach Anspruch 5, wobei in Schritt d) eine Nachverfolgung der Position von in Schritt c) identifizierten Objekten (2) erfolgt, um die Prognose zu erstellen.

Verfahren nach einem der Ansprüche 5 oder 6, wobei in Schritt d) eine Aufprallschwere zwischen einem identifizierten Objekt (2) und dem Kraftfahrzeug (1) abgeschätzt wird und mindestens ein entsprechender Parameter erzeugt wird, der in Schritt e) an die mindestens eine Sicherheitsfunktion übergeben wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt c) eine Verifikation der identifizierten Objekte (2) mit mindestens einem weiteren Verfahren zur Erkennung von Objekten (2) erfolgt, wobei bevorzugt das weitere Verfahren zur Erkennung von Objekten (2), bevorzugt auf Hauptsteuergerät in einem Kraftfahrzeug durchgeführt wird und die Verfahrensschritte a) bis c) auf einem Nebensteuergerät durchgeführt werden, welches zusätzlich zu einem Hauptsteuergerät in einem Kraftfahrzeug vorgesehen ist.

Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens ein einem erkannten Reflektierpunkt (8) zugeordneter Überprüfungsbereich verstärkt auf Reflektierpunkte (8) überprüft wird.

Steuergerät für ein Kraftfahrzeug (1), welches zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.

Steuergerät nach Anspruch 10, wobei das Steuergerät ein Nebensteuergerät ist, welches für die Verwendung zusätzlich zu einem Hauptsteuergerät in einem Kraftfahrzeug vorgesehen ist, und welches im Vergleich zu dem Hauptsteuergerät eine geringere Rechenleistung aufweist.

Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 auszuführen.

Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.

Description:
Stand der Technik

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung des Umfeldes eines Kraftfahrzeugs.

Moderne Kraftfahrzeuge weisen eine Vielzahl von Sicherheitssystemen auf, die insbesondere Insassen des Kraftfahrzeugs in verschiedensten Unfallsituationen schützen können. Die Auslösung solcher Sicherheitssysteme erfolgt regelmäßig über Sensoren im Kraftfahrzeug, die beispielsweise eine bei einer Kollision innerhalb des Kraftfahrzeugs auftretende Beschleunigung erfassen können. Um Fehlauslösungen von Sicherheitssystemen zu vermeiden, werden diese nach bekannten Verfahren meist erst dann ausgelöst, wenn eine Unfallsituation mit einer hinreichend großen Wahrscheinlichkeit vorliegt. Das bedeutet insbesondere, dass Sicherheitssysteme oft erst spät ausgelöst werden, beispielsweise wenn eine Kollision bereits stattgefunden hat und bereits eine deutlich messbare Beschleunigung innerhalb des Kraftfahrzeugs hervorgerufen hat.

Auch ist es bekannt, das Umfeld des Kraftfahrzeugs zu überwachen, um eine Kollision bereits zu erkennen, bevor diese stattgefunden hat.

Offenbarung der Erfindung

Hier wird ein besonders vorteilhaftes Verfahren zur Überwachung des Umfeldes eines Kraftfahrzeugs vorgestellt. Die abhängigen Ansprüche geben besonders vorteilhafte Weiterbildungen des Verfahrens an.

Die angegebenen Verfahrensschritte a) bis c) werden bevorzugt in der angegebenen Reihenfolge durchlaufen.

Zur Durchführung des beschriebenen Verfahrens wird mindestens ein in dem Kraftfahrzeug integrierter Lidarsensor verwendet. Lidar steht in diesem Zusammenhang für „light detection and ranging“. Bei einem Lidarsensor handelt es sich um einen Sensor, mit dem durch optische Messung insbesondere Abstände zwischen dem Sensor und Objekten in dessen Umfeld gemessen werden können. Von dem Lidarsensor wird bevorzugt ein Laserstrahl ausgesendet, der von Objekten im Umfeld des Lidarsensors reflektiert wird. Durch Messung des aus dem Umfeld des Sensors reflektierten Lichts kann jeder Raumrichtung um den Lidarsensor jeweils (über eine Laufzeitmessung des reflektierten Lichts) ein Abstand und (über eine Messung der Lichtintensität des reflektierten Lichts) eine Reflektanz zugeordnet werden. Bevorzugt wird von dem mindestens einen Lidarsensor ein jeweiliges elektronisches Signal ausgegeben, in dem einer Vielzahl von Messpunkten (entsprechend einer Vielzahl von Raumrichtungen um den Lidarsensor) jeweils zumindest ein Abstandswert und ein Reflektanzswert zugeordnet sind.

Mindestens ein Lidarsensor ist bevorzugt in einem vorderen Bereich des Kraftfahrzeugs angeordnet, so dass zumindest ein Bereich vor dem Kraftfahrzeug durch das beschriebene Verfahren überwacht werden kann. Dabei bezieht sich die Angabe „vor dem Kraftfahrzeug“ auf eine übliche Fahrtrichtung des Kraftfahrzeugs. Es ist auch bevorzugt, dass auch an weiteren Stellen des Kraftfahrzeugs Lidarsensoren vorgesehen sind, so dass auch weitere Bereiche des Umfelds des Kraftfahrzeugs durch das beschriebene Verfahren überwacht werden können. Beispielsweise kann ein Lidarsensor in einem hinteren Bereich des Kraftfahrzeugs vorgesehen sein, so dass ein Bereich hinter dem Kraftfahrzeug überwacht werden kann. Das kann beispielsweise bei einer Rückwärtsfahrt vorteilhaft sein.

In Schritt a) wird das Umfeld des Kraftfahrzeugs bevorzugt mit dem Lidarsensor abgetastet. Dazu wird bevorzugt einer Vielzahl von über einen Raumwinkelbereich um den Lidarsensor verteilten Messpunkten jeweils ein Abstandswert (für einen Abstand zwischen einem Objekt und dem Lidarsensor) und jeweils ein Reflektanzwert zugeordnet. Wird für einen Messpunkt kein reflektiertes Licht empfangen oder liegt ein Messwert für die Lichtintensität des reflektierten Lichts unterhalb einer vorgebbaren Schwelle, so wird diesem Messpunkt bevorzugt kein Abstandswert und kein Reflektanzwert zugeordnet. Alternativ werden derartigen Messpunkten ein fester Abstandswert (beispielsweise unendlich) und ein fester Reflektanzwert (beispielsweise null) zugeordnet, die indizieren, dass sich unter diesem Raumwinkel kein Objekt mit messbarer Reflektivität näher als ein maximal erfassbarer Abstand an dem Lidarsensor befindet. Weiterhin ist es bevorzugt, dass der von dem Lidarsensor überwachte Raumwinkelbereich kontinuierlich und insbesondere zeilenweise abgetastet wird. Unter der Abtastung einer Zeile ist hier insbesondere zu verstehen, dass Messpunkte unter einem festen Winkel beispielsweise zu einer Straßenoberfläche aufgenommen werden. Der Raumwinkelbereich umfasst bevorzugt eine Mehrzahl von Zeilen, die nacheinander abgetastet werden. Sind alle Zeilen abgetastet worden, beginnt die Abtastung mit der ersten abzutastenden Zeile erneut.

Aus dem von dem Lidarsensor aufgenommenen Messsignal werden in Schritt a) bevorzugt solche Punkte erkannt, denen ein Reflektanzwert oberhalb einer vorgebbaren Schwelle zugeordnet ist. Diese Punkte werden hier als Reflektierpunkte bezeichnet, um sie von den übrigen Punkten abzugrenzen. Die vorgebbare Schwelle ist bevorzugt derart gewählt, dass nur besonders gut reflektierende Oberflächen wie beispielsweise Nummernschilder oder Reflektoren (insbesondere Nummernschilder oder Reflektoren von Kraftfahrzeugen) eine Reflektanz erzeugen, die oberhalb der vorgebbaren Schwelle liegt. Das bedeutet, dass in Schritt a) bevorzugt solche Punkte als Reflektierpunkte erkannt werden, die besonders gut reflektierenden Oberflächen zugeordnet werden können. Weiterhin ist es bevorzugt, dass die vorgebbare Schwelle in Abhängigkeit von Einflüssen wie beispielsweise einer Helligkeit des Umfelds des Kraftfahrzeugs gewählt wird. Insbesondere ist es bevorzugt, dass bei Tageslicht ein anderer Wert für die vorgebbare Schwelle gewählt wird als bei Nacht.

Insbesondere aufgrund von gesetzlichen Bestimmungen weisen insbesondere Kraftfahrzeuge Reflektoren und Nummernschilder an vorgegebenen Positionen auf. Derartige besonders gut reflektierende Objekte an Kraftfahrzeugen sind damit besonders gut geeignet, Kraftfahrzeuge von anderen Objekten zu unterscheiden bzw. sogar Informationen über die Position und Ausrichtung von Kraftfahrzeugen zu gewinnen. Besonders starke Reflektionen treten durch retroreflektierende Flächen auf. Retroreflektierende Flächen sind üblicherweise an Reflektoren von Kraftfahrzeugen aber auch an Reflektoren an Fahrrädern oder entsprechender Schutzkleidung vorgesehen. Retroreflektierende Flächen bestehen normalerweise aus mehreren Einzelflächen, welche derart in einem Winkel zueinander angeordnet sind, dass einfallendes Licht zwischen den Einzelflächen derart mehrfach reflektiert wird, dass es parallel zur Einfallsrichtung zur Lichtquelle zurück geworfen wird. Retroreflektierende Flächen können beispielsweise durch in einem Winkel zueinander stehende Teilflächen oder mit linsenförmigen Flächen eingerichtet sein. Scheinwerfer eines Kraftfahrzeug wirken aufgrund Ihrer für die Bündelung des Lichts vorgesehenen Formgestaltung häufig wie retrofeflektierende Flächen.

Hintergrundlicht und Licht von weiteren Lichtquellen, wie beispielsweise von Scheinwerfern (insbesondere von Kraftfahrzeugen), wird bevorzugt bei der Messung des reflektierten Lichts unterdrückt. Das ist mit einem Lidarsensor besonders gut möglich, weil ein Lidarsensor Laserlicht mit einem sehr engen Spektrum an (insbesondere nicht sichtbaren) Wellenlängen verwendet. Gegebenenfalls kann der Lidarsensor auch nur Laserlicht mit einer speziellen Modulation verwenden, welches anhand der Modulation klar von sonstigen Lichtquellen unterscheidbar ist. Bevorzugt wird nur reflektiertes Licht der entsprechenden Wellenlänge und speziellen Modulation gemessen und ausgewertet. Auch können zu den Wellenlängen des Lidarsensors benachbarte Wellenlängen gemessen werden. Enthält Licht nur die Wellenlängen und Modulation des Lidarsensors, so kann davon ausgegangen werden, dass es sich um Licht handelt, das vom Lidarsensor ausgesendet und von einem Objekt reflektiert wurde. Enthält Licht aber auch dazu benachbarte Wellenlängen, so kann davon ausgegangen werden, dass das Licht von einer Lichtquelle wie beispielsweise einem Scheinwerfer stammt, der ein (zumindest über den entsprechenden Bereich) kontinuierliches Spektrum aussendet. Somit kann zwischen reflektiertem Licht und Licht von anderen Lichtquellen unterschieden werden, sofern sich im Umfeld des Lidarsensors keine andere Lichtquelle befindet, die Licht mit gleichem eng begrenzten Wellenlängenspektrum und der identischen Modulation aussendet wie der Lidarsensor.

In Schritt b) werden bevorzugt Cluster von Reflektierpunkten erkannt. Ein Cluster von Reflektierpunkten umfasst bevorzugt eine Mehrzahl von Reflektierpunkten, die einem einzelnen Objekt im Umfeld des Kraftfahrzeugs zugeordnet werden können (beziehungsweise mehreren Objekten gemeinsam, sofern diese derart nah beieinander angeordnet sind, dass eine Unterscheidung nicht möglich ist).

Bevorzugt werden in Schritt c) Abstände zwischen Reflektierpunkten eines bewegten Clusters ermittelt und diese Abstände zur Identifikation von Objekten ausgewertet. Befindet sich beispielsweise ein Kraftfahrzeug mit zwei Reflektoren im überwachten Umfeld des Lidarsensors, so bilden die den Reflektoren zugeordneten Reflektierpunkte bevorzugt ein Cluster. Bewegt sich das derart erfasste Kraftfahrzeug relativ zu dem Lidarsensor, so verschieben sich zwar die den Reflektoren zugeordneten Reflektierpunkte, der Abstand zwischen diesen bleibt aber konstant. Durch die Zusammenfassung von Reflektierpunkten zu Clustern können Objekte, wie beispielsweise Kraftfahrzeuge, besonders zuverlässig erkannt werden. Andere Objekte im überwachten Umfeld des Kraftfahrzeugs können einzelne besonders gut reflektierende Stellen aufweisen, die fälschlicherweise beispielsweise für einen Reflektor eines Kraftfahrzeugs gehalten werden können. Auch können mehrere Objekte gemeinsam derart angeordnet sein, dass besonders gut reflektierende Oberflächen dieser Objekte in einer Anordnung vorliegen, die der von Reflektoren eines Kraftfahrzeugs entspricht. Es ist allerdings sehr unwahrscheinlich, dass in einem solchen Fall der Abstand zwischen dabei erfassten Reflektierpunkten konstant bleibt, wenn sich die Obejkte bewegen. Somit kann in Schritt c) durch die gemäß Schritt b) zu Clustern zusammengefassten Reflektierpunkte besonders gut zwischen Objekten wie Kraftfahrzeugen und anderen Objekten unterschieden werden. Weil Kraftfahrzeuge aufgrund deren Robustheit und Geschwindigkeit bei einer Kollision besonders große Schäden verursachen können, ist es vorteilhaft, insbesondere andere Kraftfahrzeuge im Umfeld des Kraftfahrzeugs zuverlässig zu erkennen.

In Lösungen gemäß dem Stand der Technik werden insbesondere Radar- oder Videosysteme zur Umfeldüberwachung eines Kraftfahrzeugs eingesetzt. Radar- und Videosysteme können die optischen Retroreflektoren in vielen Fällen allerdings nicht erkennen, da z.B. Radar eine Wellenlänge besitzt, in denen Reflektionen an Reflektoren nicht auftreten. Video kann beispielsweise Scheinwerfer (die gut sichtbare Reflektierpunkte bilden) nur im eingeschalteten Zustand gut erkennen, weil Videosysteme selbst nicht aktiv Strahlung aussenden, welche reflektiert wird und als Reflektierpunkt sichtbar ist. Ferner muss zur Auswertung von Videos eines Video-Systems zur Umfeldüberwachung eines Kraftfahrzeugs eine sogenannte Figur-Hintergrundtrennung durchgeführt werden. Eine solche Figur-Hintergrundtrennung ist ein Verfahren zur Auswertung von Videomaterial mit welchem Objekte vor einem Hintergrund erkannt werden können. Durch die einfache Erkennungsaufgabe von Reflekjtierpunkten, die sich gleichartig durch den Raum bewegen, ist die Figur Hintergrundtrennung mit dem beschriebenen Verfahren sehr viel einfacher, als z.B. auf Video Signalen.

Der für das beschriebene Verfahren verwendete Lidarsensor weist bevorzugt einen besonders großen Dynamikumfang auf um sowohl schwach reflektierende Flächen (z.B. lambertsche Oberflächen) als auch retroreflektierende Flächen identifizieren zu können. Die Verwendung eines Lidarsensors kann damit dazu beitragen, dass gemäß dem beschriebenen Verfahren auch beziehungsweise insbesondere Reflektierpunkte ausgewertet werden können. Reflektierpunkte werden bevorzugt nicht nur mit berücksichtigt, sondern sogar bevorzugt und insbesondere auch ausschließlich für das beschriebene Verfahren verwendet. Lidarsensoren für automotive Anwendungen sind weniger universell einsetzbar als Videokameras. Daher kamen bisher in Kraftfahrzeugen üblicherweise keine Lidarsensoren zum Einsatz. Insbesondere im Zusammenhang mit autonomem Fahren werden in Kraftfahrzeugen vermehrt auch Lidarsensoren eingesetzt. Bei Versuchen zum autonomen Fahren hat sich überraschend gezeigt, dass eine besonders zuverlässige Erkennung von Objekten im Umfeld eines Kraftfahrzeugs entgegen der bisher üblichen Vorgehensweise erzielt werden kann, wenn die Reflektierpunkte nicht von der Auswertung ausgenommen werden, sondern, im Gegenteil, gerade bevorzugt oder sogar ausschließlich für diese herangezogen werden.

Weiterhin ist in vielen bekannten Systemen die Berücksichtigung von Reflektierpunkten nicht möglich, weil diese Punkte von einem entsprechenden Sensor (wie beispielsweise einer Videokamera) nicht ausgegeben werden. Insbesondere an Schnittstellen, beispielsweise zwischen Messelektronik und Auswerteelektronik, werden Reflektierpunkte üblicherweise nicht übergeben. Aus diesem Grund ist gemäß Stand der Technik die Verwendung der Reflektierpunkte zur Erkennung von Objekten nicht möglich.

In einer bevorzugten Ausführungsform des Verfahrens werden in Schritt a) Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle aus einem Signal des Lidarsensors herausgefiltert.

Die Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle werden bevorzugt in den Schritten b) und c) nicht verwendet. Bei den Punkten mit einer Reflektanz unterhalb der vorgebbaren Schwelle handelt es sich um die Punkte, die keine Reflektierpunkte sind. Das Herausfiltern der Punkte mit einer Reflektanz unterhalb der vorgebbaren Schwelle erfolgt bevorzugt durch eine entsprechende Software. Alternativ kann der Lidarsensor aber auch derart ausgeführt sein, dass ein Messsignal nur erzeugt wird, wenn eine entsprechende Lichtmenge in den Sensor einfällt.

In einer weiteren bevorzugten Ausführungsform des Verfahrens wird in Schritt c) ein auf Maschinenlernen basierendes System zur Identifikation von Objekten anhand der bewegten Cluster verwendet.

In der Software zum Herausfiltern der Punkte kann beispielsweise ein selbstlernendes System (insbesondere ein selbstlernendes neurales Netz) eingesetzt werden. Die Auswertung der Reflektor Reflexe kann aber auch genutzt werden, um parallel zu einem selbstlernenden System einen redundanten Plausibilitätspfad zu implementieren. Dies kann beispielsweise dadurch erfolgen, dass das Herausfiltern der Punkte bzw. die Auswertung der Punkte in einem (von einem Hauptsteuergerät separaten) Neben-Steuergerät erfolgt. Ein solches Nebensteuergerät kann beispielsweise ein Airbag-Steuergerät sein. Im Vergleich zu einem Hauptsteuergeräten hat das Nebensteuergerät eine geringe Rechenleistung und auf diesem Steuergerät kann gerade kein selbstlernendes System eingesetzt werden. Vielmehr werden auf dem Nebensteuergerät Aufprallzeitpunkt, Aufprallpunkt, Aufprallwahrscheinlichkeit und Aufprallgeschwindigkeit aus den Reflektanzen bzw. Reflektierpunkten direkt über einfachere Formeln ermittelt. Zum Beispiel kann ein sehr kompakter Kalman Filter eingesetzt werden, wie er heutzutage für die effiziente Auswertung von Radarreflexe genutzt wird. Ein solcher Kalmanfilter basiert auf einfachen aber verläßlichen physikalischen Modellen.

Bei einem auf Maschinenlernen basierenden System handelt es sich um ein System, welches durch Training anhand von Beispieldaten eingerichtet wird um die zu erfüllende Aufgabe (hier die Identifikation von Objekten) zu beherrschen. In solchen Systemen ist häufig ein neurales Netz implementiert, welches dazu geeignet ist anhand von Eingangsdaten (hier Reflektierpunkten und Cluster von Reflektierpunkten) Ausgangsdaten (hier Informationen über aus den Daten identifizierte Objekte) zu generieren. Bei einem neuralen Netz handelt es sich insbesondere um ein Computersystem, das einem lernfähigen biologischen System nachgebildet ist. Neurale Netze eignen sich besonders gut zur Mustererkennung. Bei dem beschriebenen Verfahren kann in Schritt c) mit dem neuralen Netz besonders gut erkannt werden, ob es sich bei einem Objekt beispielsweise um ein Kraftfahrzeug handelt oder um ein potentiell weniger gefährliches Objekt. Beispielsweise kann das neurale Netz für die Verwendung gemäß dem beschriebenen Verfahren vorbereitet werden, indem in das neurale Netz Signale des Lidarsensors für eine Vielzahl von möglichen Situationen (d.h. für verschiedenste Anordnungen von verschiedensten Objekten im Umfeld des Kraftfahrzeugs) eingegeben werden zusammen mit von einem Menschen erstellten Informationen zum Gefahrenpotential der jeweiligen Situation. Anhand der so eingegebenen Beispielsituationen kann das neurale Netz lernen, das Gefahrenpotential einer realen Situation im Sinne einer menschlichen Einschätzung richtig zu bewerten.

In einer weiteren bevorzugten Ausführungsform ist das Verfahren zur Auslösung mindestens einer Sicherheitsfunktion des Kraftfahrzeugs eingerichtet, wobei nachfolgend zu Schritt c) folgende Verfahrensschritte durchgeführt werden:

  • d) Erstellen einer Prognose, ob ein Zusammenstoß mit einem in Schritt c) erkannten Objekt erfolgen kann, und
  • e) Ausgabe eines Signals zur Auslösung mindestens einer Sicherheitsfunktion, wenn in Schritt d) eine Prognose für einen Zusammenstoß erstellt wurde.

Die Schritte d) und e) werden bevorzugt in der angegebenen Reihenfolge durchlaufen.

Bei der mindestens einen Sicherheitsfunktion kann es sich beispielsweise um ein Airbag, einen Gurtstraffer, eine automatische Notbremsung, ein automatisches Ausweichmanöver, einen Fußgängerschutz (wie beispielsweise ein Fußgängerairbag) und/oder ein Warnsignal für den Fahrer handeln.

In Schritt d) wird bevorzugt die erwartete Trajektorie des Kraftfahrzeugs bestimmt. Dazu können Informationen von im Kraftfahrzeug vorgesehenen Sensoren beispielsweise für die Geschwindigkeit des Kraftfahrzeugs, eine Lenkradstellung, eine Gaspedalstellung und/oder eine Drehzahl, eine Last und/oder ein Drehmoment einer Verbrennungskraftmaschine verwendet werden. Auch können weitere im Kraftfahrzeug verfügbare Informationen berücksichtigt werden, wie beispielsweise solche betreffend Einstellungen von elektronischen Fahrassistenzsystemen und/oder solche aus einem GPS-Signal.

Weiterhin erfolgt in Schritt d) bevorzugt eine Nachverfolgung der Position von in Schritt c) identifizierten Objekten, um die Prognose zu erstellen, ob eine Kollision bevorsteht. Insbesondere wird bevorzugt jeweils eine erwartete Trajektorie für alle gemäß Schritt c) im Umfeld des Kraftfahrzeugs erfassten Objekte bestimmt. Dazu wird bevorzugt eine zeitliche Veränderung der mit dem Lidarsensor erfassten Signale ausgewertet.

Insbesondere in Schritt d) ist es von Vorteil, nur für solche Objekte eine erwartete Trajektorie zu bestimmen, die gemäß Schritt c) anhand von sich bewegenden Clustern aus Reflektierpunkten erkannt wurden. Damit kann das Verfahren auf potentiell gefährliche Objekte reduziert und somit erheblich beschleunigt werden.

Aus einem Vergleich der erwarteten Trajektorien des Kraftfahrzeugs und der Objekte im Umfeld des Kraftfahrzeugs kann ermittelt werden, ob es zu einer Kollision mit einem Objekt im Umfeld des Kraftfahrzeugs kommen kann.

Reflektoren an Kraftfahrzeugen sind üblicherweise derart angeordnet, dass aus dem Abstand von Reflektoren (und damit aus dem Abstand von entsprechenden Reflektierpunkten) die Breite eines Kraftfahrzeugs erkannt werden kann. Bevorzugt wird eine derart ermittelte Breite eines Kraftfahrzeugs bei dem Vergleich der Trajektorien berücksichtigt.

Wird in Schritt d) eine bevorstehende Kollision prognostiziert, wird bevorzugt gemäß Schritt e) mindestens eine Sicherheitsfunktion ausgelöst. Bevorzugt wird in Schritt d) auch ermittelt, welche Bereiche des Kraftfahrzeugs besonders von der bevorstehenden Kollision betroffen sein werden. In dem Fall können in Schritt e) Sicherheitsfunktionen in Abhängigkeit des besonders betroffenen Bereichs des Kraftfahrzeugs ausgelöst werden. Beispielsweise werden Seitenairbags bevorzugt insbesondere dann ausgelöst, wenn eine seitliche Kollision bevorsteht.

In einer weiteren bevorzugten Ausführungsform des Verfahrens wird in Schritt d) eine Aufprallschwere zwischen einem identifizierten Objekt und dem Kraftfahrzeug abgeschätzt, wobei mindestens ein entsprechender Parameter erzeugt wird, der in Schritt e) an die mindestens eine Sicherheitsfunktion übergeben wird.

Unter der Aufprallschwere ist insbesondere eine Aufprallgeschwindigkeit zu verstehen (also eine im Zeitpunkt einer Kollision vorliegende Relativgeschwindigkeit zwischen dem Kraftfahrzeug und einem Objekt in dessen Umfeld). Ebenso kann die Objektausdehnung des Kollisionsfahrzeugs vermessen und daraus eine Massenschätzung abgeleitet werden, welche wiederum zusammen mit der Geschwindigkeit und Geometrie in eine Aufprallschwere umgerechnet werden kann. Auch kann die Aufprallschwere eine Information darüber umfassen, wie schadensanfällig ein von einer bevorstehenden Kollision betroffener Bereich des Kraftfahrzeugs ist. Beispielsweise kann die Aufprallschwere bei einer bevorstehenden seitlichen Kollision bevorzugt größer angenommen werden als bei einer bevorstehenden frontalen Kollision. Bei einer seitlichen Kollision in die Fahrgastzelle ist eine Verletzungsgefahr für Insassen eines Kraftfahrzeugs regelmäßig erheblich größer als bei einer frontalen Kollision, bei der der Vorderwagen als Knautschzone Schutz bietet.

Bevorzugt wird eine Sicherheitsfunktion nur ausgelöst, wenn eine jeweils dafür vorgegebene Mindestaufprallschwere überschritten wird. Das gilt insbesondere für irreversible Sicherheitssysteme wie beispielsweise Airbags, die nur für ein einmaliges Auslösen eingerichtet sind und anschließend unter erheblichem Reparaturaufwand ersetzt werden müssen. Beispielsweise wird ein Airbag bevorzugt nicht ausgelöst, wenn eine Kollision mit einer Aufprallgeschwindigkeit unterhalb einer vorgegebenen Schwelle prognostiziert wird.

Bei dem gemäß dieser Ausführungsform erzeugten Parameter kann es sich beispielsweise um die erwartete Aufprallgeschwindigkeit einer prognostizierten Kollision handeln. Auch kann beispielsweise eine Information über die von der prognostizierten Kollision besonders betroffenen Bereiche des Kraftfahrzeugs generiert werden.

In einer weiteren bevorzugten Ausführungsform des Verfahrens erfolgt in Schritt c) eine Verifikation der identifizierten Objekte mit mindestens einem weiteren Verfahren zur Erkennung von Objekten.

Das mindestens eine weitere Verfahren zur Erkennung von Objekten kann beispielsweise das Auswerten von einem Signal einer Videokamera, einem Radarsensor und/oder einer Wärmebildkamera oder Ultraschall umfassen. Wird mit mindestens einem derartigen weiteren Verfahren und mit dem hier beschriebenen Verfahren ein Objekt erkannt, so ist die Wahrscheinlichkeit für einen Fehler besonders gering. Bevorzugt wird zumindest verglichen, ob mit den verschiedenen Verfahren ein Objekt erfasst worden ist, mit dem eine Kollision bevorsteht. Beispielsweise kann mit allen Verfahren jeweils individuell eine Entscheidung erhalten werden, ob eine bestimmte Sicherheitsfunktion auszulösen ist. Nur in dem Fall, dass mit mehreren oder vorzugsweise mit allen betrachteten Verfahren ein jeweiliges Auslösesignal zum Auslösen dieser bestimmten Sicherheitsfunktion generiert wird, wird die Sicherheitsfunktion tatsächlich ausgelöst. Alternativ ist es auch möglich, dass die mit den verschiedenen Verfahren ermittelten Daten selbst verglichen werden. Beispielsweise kann verglichen werden, ob Parameter wie Position, Form, Größe, Anzahl, Geschwindigkeit, Bewegungsrichtung und/oder Klassifikation von erfassten Objekten bei den verschiedenen Verfahren übereinstimmen. In dem Fall wird die mindestens eine Sicherheitsfunktion nur dann ausgelöst, wenn mehrere oder vorzugsweise alle betrachteten Verfahren für mehrere oder vorzugsweise alle der genannten Parameter im Rahmen von vorgebbaren Toleranzen gleiche Werte ergeben.

Insbesondere ist es auch möglich, ein Signal eines Lidarsensors nach dem beschriebenen Verfahren (vorzugsweise nur unter Ausnutzung der Reflektierpunkte) auszuwerten und als ein weiteres Verfahren zur Erkennung von Objekten das gleiche Signal unter Verwendung aller Punkte auszuwerten. Wird beispielsweise aus der Gesamtheit aller Punkte ein Objekt erkannt, kann durch Auswertung der Reflektierpunkte gemäß dem beschriebenen Verfahren verifiziert werden, ob das erkannte Objekt ein Kraftfahrzeug ist.

In einer weiteren bevorzugten Ausführungsform des Verfahrens wird mindestens ein einem erkannten Reflektierpunkt zugeordneter Überprüfungsbereich verstärkt auf (insbesondere weitere) Reflektierpunkte überprüft.

Wird ein Reflektierpunkt erkannt, so können weitere Reflektierpunkte besonders wahrscheinlich in dessen unmittelbarer Umgebung vorliegen. Das liegt insbesondere daran, dass Kraftfahrzeuge regelmäßig eine Mehrzahl von Reflektierpunkten aufweisen. Wird also ein Reflektor eines Kraftfahrzeugs als ein Reflektierpunkt erkannt, kann durch verstärkte Überprüfung der Umgebung dieses erkannten Reflektierpunktes ein weiterer Reflektor des Kraftfahrzeugs besonders gut erkannt werden. Entsprechend wird bevorzugt ein Überprüfungsbereich als eine Umgebung eines erkannten Reflektierpunktes festgelegt. Der Überprüfungsbereich kann auch als eine Region of Interest bezeichnet werden.

Unter einer verstärkten Überprüfung des Überprüfungsbereichs ist insbesondere zu verstehen, dass dieser Bereich mit einer besonders hohen Frequenz abgetastet wird. Wird das Umfeld des Kraftfahrzeugs nach Schritt a) beispielsweise mit einem Lidarsensor kontinuierlich und insbesondere zeilenweise abgetastet, so kann ein Abtasten aller abzutastenden Zeilen als ein Zyklus bezeichnet werden. In der vorliegenden Ausführungsform ist es bevorzugt, dass nur in jedem zweiten Zyklus das gesamte abzutastende Umfeld des Kraftfahrzeugs abgetastet wird. In den dazwischen liegenden Zyklen wird bevorzugt nur der mindestens eine Überprüfungsbereich abgetastet. Insbesondere dadurch kann der mindestens eine Überprüfungsbereich eines erkannten Reflektierpunktes verstärkt überprüft werden. Die vorliegende Ausführungsform kann Zykluszeiten reduzieren, wodurch eine besonders schnelle Abtastung der Umgebung des Kraftfahrzeugs erfolgen kann.

Der mindestens eine Überprüfungsbereich ist bevorzugt als ein Bereich des Umfelds des Kraftfahrzeugs mit einer vorgegebenen Größe und Form festgelegt. Dieser Bereich kann insbesondere durch Angabe von entsprechenden Raumwinkeln und Abständen zum Kraftfahrzeug angegeben werden. Die vorgegebene Größe und Form eines Überprüfungsbereichs kann insbesondere von einem Raumwinkel, einem Abstand zum Kraftfahrzeug und/oder einer Reflektanz eines erkannten Reflektierpunktes abhängen. Ein einem weiter entfernten erkannten Reflektierpunkte zugeordneter Überprüfungsbereich kann beispielsweise mit einem kleineren Raumwinkelbereich definiert sein als der Überprüfungsbereich eines näheren erkannten Reflektierpunktes.

Der mindestens eine Überprüfungsbereich ist bevorzugt zeitlich unveränderlich festgelegt. Alternativ ist es bevorzugt, dass der mindestens eine Überprüfungsbereich zeitlich veränderlich festgelegt ist. Insbesondere ist es bevorzugt, dass der mindestens eine Überprüfungsbereich für jeden (oder jeden zweiten) Zyklus einer Abtastung des Umfelds des Kraftfahrzeugs neu auf die beschriebene Weise festgelegt wird.

Der jeweilige Überprüfungsbereich ist bevorzugt symmetrisch um den erkannten Reflektierpunkt festgelegt. Zudem oder alternativ ist es bevorzugt, dass bei der Festlegung des Überprüfungsbereichs eine Bewegung des entsprechenden Reflektierpunktes (beziehungsweise eines diesem zugeordneten Objekts) berücksichtigt wird. Das kann insbesondere dadurch erfolgen, dass der Überprüfungsbereich nicht symmetrisch um den erkannten Reflektierpunkt festgelegt wird. Stattdessen kann der Überprüfungsbereich beispielsweise in Richtung der Bewegung verschoben sein. Auch ist es bevorzugt, dass der in einem Zyklus abzutastende Überprüfungsbereich (insbesondere symmetrisch) um eine Position festgelegt wird, die für den erkannten Reflektierpunkt in dem entsprechenden Zyklus erwartet wird. Dazu kann beispielsweise aus einer vergangenen Veränderung der Position des erkannten Reflektierpunktes dessen Bewegung ermittelt und in die Zukunft extrapoliert werden, beispielsweise unter Annahme unveränderter Geschwindigkeit und Bewegungsrichtung. Dabei kann insbesondere auch berücksichtigt werden, wie sich die Bewegung eines Kraftfahrzeugs verändern kann. Dafür bestehen physikalische Grenzen, die insbesondere durch das Konzept des Kammschen Kreises beschrieben werden können. Auf die Reifen eines Kraftfahrzeugs wirkende Beschleunigungskräfte, Verzögerungskräfte und seitliche Führungskräfte können bei (vektorieller) Addition maximal einer Gesamtkraft entsprechen, die sich aus der Reibung der Reifen auf dem Untergrund ergibt. Bei Überschreiten dieser Kräfte kann es beispielsweise zu einem Durchdrehen eines Reifens, zu einem Ausbrechen und/oder zu einem Rutschen des Kraftfahrzeugs kommen. Die mögliche Veränderung einer Bewegung eines Kraftfahrzeugs ist durch die maximale Gesamtkraft begrenzt. Es kann daher davon ausgegangen werden, dass sich ein Kraftfahrzeug insbesondere im Rahmen der durch den Kammschen Kreis definierten Grenzen bewegt. Unter Berücksichtigung dieser Grenzen kann ein Überprüfungsbereich für einen erkannten Reflektierpunkt (insbesondere der Größe nach) festgelegt werden. Weiterhin ist es bevorzugt, dass die Größe und/oder die Form eines Überprüfungsbereichs eines erkannten Reflektierpunktes entsprechend üblichen Abmessungen beziehungsweise Formen von Kraftfahrzeugen festgelegt wird. Besonders bevorzugt werden dabei übliche Positionen und/oder Abstände von Reflektoren an Kraftfahrzeugen berücksichtigt. Es ist aber regelmäßig nicht erforderlich, dass ein einem erkannten Reflektierpunkt zugeordneter Überprüfungsbereich den erkannten Reflektierpunkt selbst umfasst. Auch kann ein Überprüfungsbereich mehrere nicht zusammenhängende Teilbereiche umfassen. Beispielsweise kann der Überprüfungsbereich eines erkannten Reflektierpunktes derart festgelegt sein, dass dieser an einer Mehrzahl von möglichen Positionen von Reflektoren jeweilige Teilbereiche umfasst. Dabei können die möglichen Positionen der Reflektoren entsprechend üblicher Positionen und Abstände von Reflektoren an Kraftfahrzeugen relativ zu dem erkannten Reflektierpunkt festgelegt werden.

Als weiterer Aspekt wird ein Steuergerät für ein Kraftfahrzeug vorgestellt, wobei das Steuergerät zur Durchführung des beschriebenen Verfahrens eingerichtet ist.

Die weiter vorne beschriebenen besonderen Vorteile und Ausgestaltungsmerkmale des Verfahrens sind auf das beschriebene Steuermodul anwendbar und übertragbar.

Hier auch beschrieben werden sollen ein Computerprogramm zur Durchführung des beschriebenen Verfahrens und ein maschinenlesbares Speichermedium auf dem dieses Computerprogramm gespeichert ist.

Weitere Einzelheiten der Erfindung und ein Ausführungsbeispiel, auf welches die Erfindung jedoch nicht beschränkt ist, werden anhand der Zeichnungen näher erläutert. Es zeigen:

  • 1: eine schematische Darstellung eines Kraftfahrzeugs mit einem Objekt in dessen Umfeld,
  • 2: eine schematische Darstellung eines Signals eines Lidarsensors für die in 1 gezeigte Situation,
  • 3: eine Darstellung eines Kraftfahrzeugs, welches für das beschriebene Verfahren eingerichtet ist, und
  • 4: eine Blockdiagrammdarstellung des beschriebenen Verfahrens.

1 zeigt ein Kraftfahrzeug 1 mit einem Lidarsensor 4. Der Lidarsensor 4 ist dazu bestimmt und eingerichtet, ein Umfeld 3 des Kraftfahrzeugs jedenfalls über einen Raumwinkelbereich 6 zu überwachen. Im Umfeld 3 des Kraftfahrzeugs 1 befindet sich in diesem Beispiel ein Objekt 2. Beispielsweise kann es sich bei dem Objekt 2 um ein anderes Kraftfahrzeug handeln. Das Kraftfahrzeug 1 und das Objekt 2 bewegen sich, wie durch Pfeile angedeutet, aufeinander zu, so dass eine Kollision bevorstehen kann. Das Objekt 2 weist zwei Reflektoren 5 auf.

In 2 ist für die Situation aus 1 ein Signal des Lidarsensors 4 des Kraftfahrzeugs 1 visualisiert. Auch hier ist das Umfeld 3 des Kraftfahrzeugs 1 mit dem überwachten Raumwinkelbereich 6 eingezeichnet. Anstelle des tatsächlich vorhandenen Objekts 2 sind in 2 vom Lidarsensor 4 erfasste Punkte 7 gezeigt. Es ist also in 2 dargestellt, wie die tatsächliche Situation aus 1 mit dem Lidarsensor 4 erfasst werden kann. Das Signal des Lidarsensors 4 umfasst eine Mehrzahl von Punkten 7. Jedem dieser Punkte ist ein Abstandswert und ein Reflektanzwert zugeordnet. Der Reflektanzwert ist in dieser Darstellung durch die Größe der Punkte 7 angedeutet. Dort, wo sich in 1 das Objekt 2 befindet, sind in 2 vier Punkte 7 zu erkennen. An den Positionen der Reflektoren 5 des Objekts 2 sind in 2 drei Reflektierpunkte 8 zu erkennen. Die drei Reflektierpunkte 8 bilden in diesem Beispiel ein Cluster, anhand dessen das Objekt 2 erkannt werden kann. Das Cluster hat hier eine charakteristische Form, die üblicherweise auch „L-Shape“ genannt wird. Anhand solcher charakteristischer Formen der Reflektierpunkte 8 können viele Objekte sehr effizient identifiziert werden. Die übrigen Punkte 7 mit geringerer Reflektanz werden bevorzugt aus einem Signal des Lidarsensors 4 herausgefiltert. Diese Punkte 7 sind hier nur zur Veranschaulichung eingezeichnet.

3 zeigt ein Kraftfahrzeug 1, welches für die Durchführung des beschriebenen Verfahrens eingerichtet ist. Das Kraftfahrzeug weist mindestens einen Lidarsensor 4 auf. Signale des Lidarsensors werden einerseits nach einem üblichen Verfahren verarbeitet, bei welchem Reflektierpunkte nicht gesonderter berücksichtigt werden. Dies geschieht im Hauptsteuergerät 9. Signale des Lidarsensors werden zusätzlich mit dem hier beschriebenen Verfahren in einem weiteren Steuergerät 10 verarbeitet. Das weitere Steuergerät 10 ist insbesondere ein Airbag-Steuergerät, welches (ursprünglich) zur Steuerung eines Airbags vorgesehen ist und auf welchem das beschriebene Verfahren implementiert ist. Für die Durchführung des beschriebenen Verfahrens ist eine kleinere Rechenleistung auf einem Steuergerät erforderlich als für übliche Verfahren zur Auswertung der Signale eines Lidarsensors. Daher kann das weitere Steuergerät kleiner dimensioniert sein als das Hauptsteuergerät. Dies ist bei Airbag-Steuergeräten üblicherweise der Fall.

4 zeigt ein Ablaufdiagramm einer Ausführungsform des beschriebenen Verfahrens. Zu erkennen sind die Verfahrensschritte a) bis d), welche permanent bzw. nach Art einer Schleife iterativ wiederholt durchgeführt werden. Wenn in Schritt d) eine Prognose für einen Zusammenstoß erstellt wurde erfolgt Schritt e) ur Ausgabe eines Signals zur Auslösung mindestens einer Sicherheitsfunktion.