Title:
Verfahren zur Bestimmung einer Bewegung einer Monokamera
Kind Code:
A1


Abstract:

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Bewegung einer Monokamera und zur Bestimmung einer Geometrie einer mittels der Monokamera betrachteten Szene anhand einer mittels der Monokamera erfassten Bildfolge, wobei bei der Geometriebestimmung der Szene ein Stabilisierungsverfahren verwendet wird, bei welchem
eine Kamerapose für ein neu erfasstes Kamerabild geschätzt wird,
eine Geometriebestimmung einer vorhergehenden Szene aktualisiert wird und
eine Geometrie auf die Kamerapose des neu erfassten Kamerabilds projiziert wird. embedded image




Inventors:
Schmid, Stephan, M.Sc. (71034, Böblingen, DE)
Application Number:
DE102017011033A
Publication Date:
05/09/2018
Filing Date:
11/29/2017
Assignee:
Daimler AG, 70327 (DE)
International Classes:
Domestic Patent References:
DE102014209678A1N/A2015-11-26



Claims:
Verfahren zur Bestimmung einer Bewegung einer Monokamera und zur Bestimmung einer Geometrie einer mittels der Monokamera betrachteten Szene anhand einer mittels der Monokamera erfassten Bildfolge, wobei bei der Geometriebestimmung der Szene ein Stabilisierungsverfahren verwendet wird, bei welchem
- eine Kamerapose für ein neu erfasstes Kamerabild geschätzt wird,
- eine Geometriebestimmung einer vorhergehenden Szene aktualisiert wird und
- eine Geometrie auf die Kamerapose des neu erfassten Kamerabilds projiziert wird.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Geometriebestimmung zum neu erfassten Kamerabild regularisiert wird.

Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die bestimmte Geometrie der betrachteten Szene auf einer Tiefenkarte (T) abgebildet wird.

Description:

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Bewegung einer Monokamera und zur Bestimmung einer Geometrie einer mittels der Monokamera betrachteten Szene.

Aus der DE 10 2014 209 678 A1 ist ein Verfahren zum Ermitteln einer Fahrzeugposition eines Fahrzeugs gegenüber einer Referenzposition mit den folgenden Verfahrensschritten bekannt:

  • - Erfassen eines Referenzbilds mittels einer an dem Fahrzeug angeordneten Kamera, welche zumindest einen Teils eines Umfelds des Fahrzeugs abbildet, wobei sich das Fahrzeug in der Referenzposition befindet;
  • - Erfassen eines Vergleichsbilds mittels der an dem Fahrzeug angeordneten Kamera;
  • - Vergleichen des Referenzbilds mit dem Vergleichsbild, wobei eine Lageänderung und eine Größenänderung von zumindest einem Merkmal in dem Vergleichsbild gegenüber dem Referenzbild ermittelt wird; und
  • - Ermitteln einer Fahrzeugposition des Fahrzeugs gegenüber der Referenzposition basierend auf der Lageänderung und der Größenänderung.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Bestimmung einer Bewegung einer Monokamera und zur Bestimmung einer Geometrie einer mittels der Monokamera betrachteten Szene anzugeben.

Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In dem erfindungsgemäßen Verfahren zur Bestimmung einer Bewegung einer Monokamera und zur Bestimmung einer Geometrie einer mittels der Monokamera betrachteten Szene anhand einer mittels der Monokamera erfassten Bildfolge wird bei der Geometriebestimmung der Szene ein Stabilisierungsverfahren verwendet, bei welchem

  • - eine Kamerapose für ein neu erfasstes Kamerabild geschätzt wird,
  • - eine Geometriebestimmung einer vorhergehenden Szene aktualisiert wird und
  • - eine Geometrie auf die Kamerapose des neu erfassten Kamerabilds projiziert wird.

Das Verfahren ermöglicht eine zuverlässige Bestimmung der Bewegung einer insbesondere vorwärtsgerichteten Monokamera und der Geometrie der Szene auch bei schneller Vorwärtsbewegung im Zusammenhang mit Fahrzeuganwendungen.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

  • 1 schematisch eine Tiefenkarte einer Szene und
  • 2 schematisch eine Tiefenkarte einer weiteren Szene.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In 1 ist eine Tiefenkarte T einer Szene dargestellt. 2 zeigt eine weitere, zeitlich später erzeugte Tiefenkarte T einer Szene. Die Tiefenkarten T werden jeweils aus mehreren, zeitlich nacheinander mittels einer Monokamera aufgenommenen Kamerabildern, d. h. einer Bildfolge, erzeugt. Das heißt, die jeweilige Tiefenkarte T zeigt eine Geometrie einer mittels der Monokamera betrachteten Szene. Dabei ist die Monokamera an oder in einem Fahrzeug angeordnet, wobei die Kamerabilder auch während einer Bewegung des Fahrzeugs erfasst werden.

Um eine fehlerfreie Erzeugung der Tiefenkarte T sicherzustellen, ist es erforderlich, eine aus der Bewegung des Fahrzeugs resultierende Bewegung der Monokamera zu bestimmen. Diese Bestimmung der Bewegung der Monokamera und der Geometrie der mittels der Monokamera betrachteten Szene erfolgt mittels einer so genannten monokularen visuellen Odometrie, d. h. einer visuellen Odometrie, welche mit einer einzelnen (= monokularen) Kamera arbeitet.

Dabei erfolgt die Bestimmung der Bewegung der Monokamera und der Geometrie der Szene anhand eines so genannten Online-Verfahrens, d. h. eine aktuelle Kamerapose und die Geometrie der aktuellen Szene werden live bestimmt. Im Unterschied hierzu werden in so genannten Offline- oder Batchverfahren alle Kamerabilder einer Sequenz als Ganzes verarbeitet. Unter einer Kamerapose wird dabei eine Position und Orientierung der Monokamera verstanden.

Bei Online-Verfahren kann es zu Instabilitäten kommen. Das heißt, eine bereits geringfügig falsch geschätzte Kamerapose führt zu Fehlern in der Schätzung der Geometrie der Szene, was wiederum zu Fehlern in der Schätzung der nächsten Kamerapose führt, so dass sich die Fehler fortpflanzen und somit beliebig anwachsen können (= Divergenz des Verfahrens).

Um dies zu vermeiden, werden zu jedem Kamerabild eine Bewegungsschätzung zu einem vorherigen Kamerabild und eine Schätzung der Geometrie in Form der Tiefenkarte T der betrachteten Szene erstellt. Bei einer Propagation der Geometrieschätzung von einem Kamerabild zum darauffolgenden Kamerabild werden Verfahren angewandt, die verhindern, dass falsche Schätzungen das ganze Verfahren destabilisieren.

Hierzu wird ein monokulares visuelles Odometrieverfahren verwendet, welches von dem so genannten LSD-SLAM-Odometrieverfahren abgeleitet ist und sich durch ein spezielles Stabilisierungsverfahren auszeichnet. Ein visuelles SLAM-Odometrieverfahren (SLAM = Simultaneous Localization and Mapping) unterscheidet sich von reinen Odometrie-Verfahren, welche eine lokale Bewegungsschätzung und Erfassung einer aktuellen Umgebung durchführen, dadurch, dass eine globale Karte erstellt wird. Die globale Karte beschreibt dabei die gesamte Umgebung bisher abgefahrener Trajektorien als Ganzes.

Ein iterativer Teil eines möglichen Ausführungsbeispiels eines Verfahrens zur Bestimmung der Bewegung der Monokamera und der Geometrie der Szene verläuft wie im Folgenden beschrieben.

Es werden unter Verwendung einer Geometrieschätzung einer Szene eines aktuellen, d. h. eines alten, Kamerabilds, welches als geschätztes Tiefenbild, bestehend aus einer geschätzten Entfernung und einem Konfidenzwert für jeden Bildpunkt, ausgebildet ist, bei Ankunft eines neuen Kamerabilds die im Folgenden beschriebenen Schritte durchgeführt, wobei eine Initialisierung des Verfahrens entsprechend des LSD-SLAM-Odometrieverfahrens durchgeführt wird, indem jedem Bildpunkt eine zufällige Entfernung zugewiesen wird.

In einem ersten Schritt wird eine Schätzung der Kamerapose für ein neues Kamerabild durchgeführt. Dies geschieht, in dem die geschätzte Geometrie der Szene zum alten Kamerabild mittels einer perspektivischen Projektion auf die Monokamera in einer potenziellen Kamerapose abgebildet wird und das erhaltene Kamerabild, auch als reprojiziertes Kamerabild bezeichnet, mit dem tatsächlich aufgenommen Kamerabild verglichen wird. Durch Optimierungsverfahren wird das aufgenommene Kamerabild möglichst gut mit dem reprojizierten Kamerabild in Überdeckung gebracht, um eine möglichst gute Schätzung der neuen Kamerapose zu finden. Hierbei wird auch eine Schätzung der Bewegung der Monokamera zwischen altem Kamerabild und neuem Kamerabild realisiert.

In einem zweiten Schritt erfolgt eine Aktualisierung der Geometrieschätzung der alten Szene durch eine Stereorechnung. Hierbei wird für die Bildpunkte des alten Kamerabilds die Geometrie der Szene durch Stereomatching mit dem neuen Kamerabild bestimmt. Diese Schätzung der Geometrie der Szene wird mit der bereits vorhandenen Geometrieschätzung fusioniert, um eine aktualisierte Schätzung der Geometrie der Szene zu erhalten.

In einem dritten Schritt erfolgt eine Geometriereprojektion. Hierbei wird die Schätzung der Geometrie der Szene zum alten Kamerabild unter Verwendung der Schätzung der Bewegung der Monokamera auf die Kamerapose des neuen Kamerabilds transformiert. Dadurch ist für das neue Kamerabild eine Schätzung der Geometrie der Szene vorhanden, welche im nächsten Durchlauf verwendet wird.

In einem optionalen weiteren Schritt erfolgt eine Regularisierung der Geometrieschätzung zum neuen Kamerabild, wobei beispielsweise eine Glättung, eine Füllung von Lücken und/oder eine Entfernung von Ausreißern durchgeführt werden bzw. wird.

Bei einer Vorwärtsbewegung des Fahrzeugs und somit der Monokamera kann es vorkommen, dass sich die Monokamera Fehlern in der Geometrieschätzung nähert bzw. auf diese zufährt und somit diese Fehler vergrößert werden. Besonders problematisch sind dabei Bildpunkte, deren Entfernungsschätzung kleiner als eine reale Entfernung ist, da sich solche Bildpunkte in den folgenden Kamerabildern schnell über eine Bildfläche bewegen und damit einen großen Teil der Geometrieschätzung verfälschen können.

Dies ist in den gezeigten Tiefenkarten T näher dargestellt, wobei blaue Bereiche B1, B2 Objekte mit geschätzter großer Entfernung zeigen, grüne Bereiche G1 bis G3 Objekte mit geschätzter mittlerer Entfernung und rote Bereiche R1 bis R5 mit geschätzter großer Entfernung zeigen.

In der Tiefenkarte T gemäß 1 befinden sich in der Bildmitte fehlerhafte Entfernungsschätzungen, insbesondere die roten Bereiche R1, R2, bei denen die Entfernungsschätzung kleiner als die reale Entfernung ist.

Wie die zeitlich später nach einer Vorwärtsbewegung der Monokamera erzeugte Tiefenkarte T gemäß 2 zeigt, wandern die roten Bereiche R1, R2 nach links durch die Tiefenkarte T und verfälschen einen großen Teil der Geometrieschätzung, wie am roten Bereich R3 ersichtlich ist. Das heißt, die fehlerhaften Entfernungsschätzungen sind nach links gewandert und haben dort einen Großteil der Entfernungsschätzungen korrumpiert. Eine Divergenz des Systems würde nur wenige Kamerabilder später folgen.

Entfernungsschätzungen, die kleiner sind als die reale Entfernung, haben die Eigenschaft, dass deren relative Entfernungsänderung bei der Geometriereprojektion, d. h. bei einem Verhältnis von Entfernungsänderung zur Entfernung, größer ist als bei der realen Entfernung. Deswegen werden im Geometriereprojektionsschritt des Verfahrens die Konfidenzen zu denjenigen Entfernungsschätzungen, die eine hohe relative Entfernungsänderung haben, stark verringert. Durch eine solche Robustifizierung des Verfahrens kann der Einfluss von fehlerhaften Entfernungsschätzungen auf das Gesamtverfahren verringert werden.

Beispielsweise erfolgt die Robustifizierung im Geometriereprojektionsschritt durch Multiplikation von Konfidenzen mit folgender Potenz des Verhältnisses aus alter und neuer geschätzter Entfernung gemäß fac:=(distneudistalt)cembedded imagemit:

c
= Exponent,
distneu
= neue geschätzte Entfernung,
distalt
= alte geschätzte Entfernung.

Hohe Exponenten c ergeben dabei eine starke Robustifizierung, d. h. eine starke Konfidenzverringerung bei relativen Entfernungsveränderungen. Kleinere Exponenten c ergeben eine schwächere Robustifizierung. Im Extremfall c = 0 ist fac = 1, d. h. eine Multiplikation einer Konfidenz mit fac lässt die Konfidenz unverändert und es erfolgt somit keine Robustifizierung.

Bei starker Robustifizierung kann das Verfahren mit höheren Geschwindigkeiten der Bewegung der Monokamera umgehen als bei schwächerer Robustifizierung. Beispielsweise wird für den Grad der Robustifizierung ein sinnvoller Bereich von c = 4 bis etwa c = 10 gewählt.

Somit kann das Verfahren bei hoher Stabilität Kameradaten einer vorwärtsgerichteten Monokamera bei schneller Vorwärtsbewegung verwenden.

Bezugszeichenliste

B1, B2
Bereich
G1 bis G3
Bereich
R1 bis R5
Bereich
T
Tiefenkarte

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Patentliteratur

  • DE 102014209678 A1 [0002]