Title:
Parallaxenberechnungsvorrichtung
Kind Code:
A1


Abstract:

Eine Parallaxenberechnungsvorrichtung ist mit Folgendem versehen: einem Prozessor, der eingerichtet ist, bei jeder einer Mehrzahl von Blockformarten, welche sich voneinander unterscheiden, (i) einen Parallaxenberechnungsprozess, (ii) einen Blockgruppenfestlegungsprozess und (iii) einen Kostenberechnungsprozess durchzuführen, indem ein von einer Stereokamera aufgenommenes Bildpaar verwendet wird; und eine Auswahlvorrichtung, welche eingerichtet ist, bei jedem der Mehrzahl von Pixeln, die das Bild bilden, einen Parallaxenauswahlprozess durchzuführen, bei dem ein Parallaxenwert eines Blocks, in dem Kosten, die mit dem Kostenberechnungsprozess assoziiert werden, minimal sind, als Parallaxe für ein Zielpixel, in dem die Parallaxe erhalten werden soll, aus einer Mehrzahl von Blöcken festgelegt wird, von denen jeder das Zielpixel umfasst und welche jeweils der Mehrzahl von Blockformarten entsprechen. embedded image




Inventors:
Ueno, Junya (Aichi-ken, Toyota-shi, JP)
Saneyoshi, Keiji (Tokyo, JP)
Iwata, Hiroaki (Tokyo, JP)
Application Number:
DE102018102691A
Publication Date:
08/16/2018
Filing Date:
02/07/2018
Assignee:
TOKYO INSTITUTE OF TECHNOLOGY (Tokyo, JP)
TOYOTA JIDOSHA KABUSHIKI KAISHA (Aichi-ken, Toyota-shi, JP)



Attorney, Agent or Firm:
KUHNEN & WACKER Patent- und Rechtsanwaltsbüro PartG mbB, 85354, Freising, DE
Claims:
Parallaxenberechnungsvorrichtung (1) aufweisend:
eine Bezugsvorrichtung (10), die eingerichtet ist, ein Bildpaar zu beziehen, welches von einer Stereokamera (50) aufgenommen wurde;
ein Prozessor (20), der eingerichtet ist, bei jeder der Mehrzahl von Blockformarten, die sich voneinander unterscheiden, Folgendes durchzuführen, (i) einen Parallaxenberechnungsprozess, bei dem ein Standardbild, welches ein Bild des Bildpaars ist, in eine Mehrzahl von Blöcken aufgeteilt wird und ein entsprechender Punkt, der in einem Referenzbild, das das andere des Bildpaares ist, beinhaltet ist, für jeden der Mehrzahl von Blöcken gesucht wird, wodurch eine Parallaxe berechnet wird, (ii) einen Blockgruppenfestlegungsprozess bei dem eine Blockgruppe festgelegt wird, welche einen Zielblock aus der Mehrzahl von Blöcken und eine Mehrzahl von umliegenden Blöcken, die den Zielblock umgeben, aus der Mehrzahl von Blöcken umfasst und (iii) einen Kostenberechnungsprozess, bei dem ein Index berechnet wird, der die Einheitlichkeit der mit der festgelegten Blockgruppe assoziierten Parallaxe auf Basis eines Ergebnisses des Parallaxenberechnungsprozesses angibt und bei dem der berechnete Index mit dem Zielblock als Kosten assoziiert wird, die eine mit dem Zielblock assoziierte Auswertung angeben; und
eine Auswahlvorrichtung (30, 40), welche eingerichtet ist, bei jedem der Mehrzahl von Pixeln, die das Standardbild bilden, einen Parallaxenauswahlprozess durchzuführen, bei dem eine Parallaxe, die durch den Parallaxenberechnungsprozess berechnet wird, von einem Block aus einer Mehrzahl von Blöcken, in dem die mit dem Kostenberechnungsprozess assoziierten Kosten minimal sind, als Parallaxe eines Zielpixels festgelegt wird, von denen jeder das Zielpixel aus der Mehrzahl von Pixeln umfasst und welche jeweils der Mehrzahl von Blockformarten entsprechen.

Parallaxenberechnungsvorrichtung (1) gemäß Anspruch 1, wobei der Kostenberechnungsprozess (i) das Berechnen einer Parallaxendifferenz zwischen einem angrenzenden Block in der festgelegten Blockgruppe auf Basis des Ergebnisses des Parallaxenberechnungsprozesses und (ii) das Berechnen des Index auf Basis der berechneten Parallaxendifferenz umfasst.

Parallaxenberechnungsvorrichtung (1) gemäß Anspruch 1 oder 2, wobei besagter Prozessor (20) eingerichtet ist, den Parallaxenberechnungsprozess, den Blockgruppenfestlegungsprozess und den Kostenberechnungsprozess für jede der Mehrzahl von Blockformarten parallel auszuführen.

Description:
HINTERGRUND DER ERFINDUNGGebiet der Erfindung

Ausführungsformen der vorliegenden Erfindung betreffen eine Parallaxenberechnungsvorrichtung.

Beschreibung des Stands der Technik

Für ein Parallaxenberechnungsverfahren, das in dieser Vorrichtungsart verwendet wird, wurde beispielsweise Semi-Global-Matching (SGM) vorgeschlagen, welches ein pixelweises Abgleichen zwischen linken und rechten Bildern durchführt, welche von einer Stereokamera aufgenommen werden, indem, zu einer Kostenfunktion, Glätte auf die Umgebung von einem Pixel von Interesse hinzugefügt wird (siehe Heiko Hirschmüller, „Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information“, aus der IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Diego, CA, USA, 20-26. Juni 2005 (Nichtpatentliteratur 1)). Es wurde eine Vorrichtung vorgeschlagen, die eingerichtet ist, ein dreidimensionales Objekt mittels SGM zu erfassen (siehe japanische Patentoffenlegungsschrift Nr. 2016-062356 (Patentliteratur 1) und ein Verfahren zur Senkung von Verarbeitungskosten bei der Optimierung eines Parallaxenwerts im SGM (siehe japanische Patentoffenlegungsschrift Nr. 2016-001841 (Patentliteratur 2)).

Für ein Parallaxenberechnungsverfahren, welches sich von SGM unterscheidet, wurde ein Verfahren bezüglich der Berechnung von Fensterkosten für ein Stereobild vorgeschlagen, das ein Standardbild und ein Referenzbild umfasst, bezüglich der Berechnung eines Auswertungswert mittels der Fensterkosten für jedes der Pixel, das in dem Standardbild enthalten ist, und bezüglich der Verwendung einer Parallaxe, welche als optimale Parallaxe eines Pixels von Interesse den Auswertungswert in einer Parallaxensuchreichweite auf ein Minimum reduziert (siehe offenbarte japanische Patentoffenlegungsschrift Nr. 2016-099318 (Patentliteratur 3)).

Bei dem in der Nichtpatentliteratur 1 beschriebenen SGM ist eine Optimierungsberechnung für ein Gesamtbild erforderlich, um die Kostenfunktion zu lösen, was den Rechenaufwand (d. h., eine Rechenmenge) relativ erhöht. Um die Parallaxe zu erhalten, müssen zudem Luminanzinformationen über das Gesamtbild in einem Speicher gespeichert werden, was den Speicherbedarf relativ erhöht. Die Techniken/Technologien, die in der Patentliteratur 1 bis 3 beschrieben werden, können diese Probleme nicht lösen.

Kurzfassung

Angesichts der vorstehenden Probleme ist es eine Aufgabe der Ausführungsformen der vorliegenden Erfindung, eine Parallaxenberechnungsvorrichtung bereitzustellen, die den Rechenaufwand und den Speicherbedarf reduzieren kann.

Die obenstehende Aufgabe der Ausführungsformen der vorliegenden Erfindung kann durch eine Parallaxenberechnungsvorrichtung gelöst werden, die mit Folgendem versehen ist: einer Bezugsvorrichtung, welche eingerichtet ist, ein von einer Stereokamera fotografiertes Bildpaar zu beziehen; einem Prozessor, der eingerichtet ist, bei jeder der Mehrzahl von Blockformarten, die sich voneinander unterscheiden, Folgendes durchzuführen: (i) einen Parallaxenberechnungsprozess, bei dem ein Standardbild, welches ein Bild des Bildpaars ist, in eine Mehrzahl von Blöcken aufgeteilt wird und ein entsprechender Punkt, der in einem Referenzbild, das das andere des Bildpaares ist, beinhaltet ist, für jeden der Mehrzahl von Blöcken gesucht wird, wodurch eine Parallaxe berechnet wird, (ii) einen Blockgruppenfestlegungsprozess bei dem eine Blockgruppe festgelegt wird, welche einen Zielblock aus der Mehrzahl von Blöcken und eine Mehrzahl von umliegenden Blöcken, die den Zielblock umgeben, von der Mehrzahl von Blöcken umfasst und (iii) einen Kostenberechnungsprozess, bei dem ein Index berechnet wird, der eine Einheitlichkeit der mit der festgelegten Blockgruppe assoziierten Parallaxe auf Basis eines Ergebnisses des Parallaxenberechnungsprozesses angibt und bei dem der berechneten Index mit dem Zielblock als Kosten assoziiert wird, welche eine mit dem Zielblock assoziierte Auswertung angeben; und einer Auswahlvorrichtung, die eingerichtet ist, bei jedem der Mehrzahl von Pixeln, die das Standardbild bilden, einen Parallaxenauswahlprozess durchzuführen, bei dem eine Parallaxe, die durch den Parallaxenberechnungsprozess berechnet wird, von einem Block, in dem die mit dem Kostenberechnungsprozess assoziierten Kosten minimal sind, als Parallaxe eines Zielpixels aus einer Mehrzahl von Blöcken festgelegt wird, von denen jeder das Zielpixel aus der Mehrzahl von Pixeln umfasst und welche jeweils der Mehrzahl von Blockformarten entsprechen. Hier ist mit „Block“ ein Satz an Pixeln gemeint, die ein Bild bilden. Mit anderen Worten, ein Block umfasst eine Mehrzahl von Pixeln.

Der Parallaxenberechnungsprozess liefert die Berechnung der Parallaxe für jeden Block (d. h. eine „blockweise“ Berechnung). Der Blockgruppenfestlegungsprozess sieht das Festlegen der Blockgruppe vor, welche den Zielblock und die Mehrzahl von umliegenden, den Zielblock umgebenden Blöcke umfasst. Der Kostenberechnungsprozess liefert die Berechnung des Index, der die Einheitlichkeit der Parallaxe angibt, die mit der festgelegten Blockgruppe auf Basis des Ergebnisses des Parallaxenberechnungsprozess assoziiert wird. Der berechnete Index wird mit dem Zielblock als Kosten assoziiert, welche die mit dem Zielblock assoziierte Auswertung angeben. Bei der Parallaxenberechnungsvorrichtung wird eine Reihe an Prozessen für jede der Mehrzahl von Blockformarten durchgeführt, nämlich der Parallaxenberechnungsprozess, der Blockgruppenfestlegungsprozess und der Kostenberechnungsprozess.

Die Parallaxe jedes Pixels wird wie folgt erhalten. Zuerst werden Kosten, die mit einem Block aus mehreren Blöcken einer ersten Blockform (z. B. einem Quadrat) assoziiert werden, welcher das Zielpixel umfasst, in dem die Parallaxe erhalten werden soll, erhalten, Kosten, die mit einem Block aus mehreren Blöcken einer zweiten Blockform (z. B. horizontal länger und rechteckig) assoziiert werden, welcher das Zielpixel umfasst, in dem die Parallaxe erhalten werden soll, erhalten ... und Kosten, die mit einem Block aus mehreren Blöcken einer Blockform N (wobei N eine natürliche Zahl von 2 oder mehr ist) assoziiert werden, welcher das Zielpixel umfasst, in dem die Parallaxe erhalten werden soll, erhalten (z. B. Kosten, die mit einem Block assoziiert werden, der das Zielpixel umfasst, in jeder der Mehrzahl von Blockformarten) und ein mit den geringsten Kosten assoziierter Block wird ausgewählt. Dann wird die Parallaxe, welche aus dem an dem ausgewählten Block durchgeführten Parallaxenberechnungsprozess hervorgeht, als Parallaxe des Zielpixels festgelegt.

Im Übrigen variiert eine optimale Blockform abhängig von einem Ziel, für das die Parallaxe erhalten werden soll. Einzelheiten dazu werden später unter DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN erläutert. In einem zweidimensionalen Bild entsprechen Pixel in einem dem Boden (z. B. einer Straßenoberfläche) entsprechenden Bereich, welche in einer horizontalen Richtung des Bildes aneinander angrenzen, Punkten, welche im Wesentlichen gleichweit von einem Bildpunkt entfernt sind. Alternativ entsprechen Pixel in dem zweidimensionalen Bild in einem einer Wand eines Gebäudes entsprechenden Bereich, die in einer vertikalen Richtung des Bildes aneinander angrenzen, Punkten, welche im Wesentlichen gleichweit von dem Bildpunkt entfernt sind.

Wenn daher beispielsweise ein vertikaler, langer rechteckiger Block verwendet wird, um die Parallaxe des dem Boden entsprechenden Bereichs zu erhalten, wird die Parallaxe für alle in dem Block enthaltenen Pixel gleich sein, da die Parallaxe für jeden Block berechnet wird, obwohl sich die Parallaxe von einem Punkt, der einem Pixel auf der unteren Seite des Blocks entspricht, von derjenigen eines Punktes, der einem Pixel auf der oberen Seite des Blocks entspricht, unterscheidet. Mit anderen Worten, wenn die Blockform invariabel ist, sinkt möglicherweise die Genauigkeit der berechneten Parallaxe. Andererseits ist es kaum möglich, im Voraus zu bestimmen, was in welchem Bereich des Bildes erscheint und im Voraus eine optimale Blockform für jeden Bereich festzulegen.

Bei der oben beschriebenen Parallaxenberechnungsvorrichtung wird die Prozessreihe für jede der Mehrzahl von Blockformarten durchgeführt. Zu diesem Zeitpunkt werden beispielsweise in dem Bereich, der dem Boden entspricht, minimale Kosten erwartet, wenn die Prozessreihe mittels einer optimalen Blockform für den Bereich durchgeführt wird. Ferner wird bei der Parallaxenberechnungsvorrichtung von der Mehrzahl von Blöcken, von denen jeder das Zielpixel umfasst und welche jeweils der Mehrzahl von Blockformarten entsprechen, die Parallaxe des Blocks mit den minimalen Kosten als Parallaxe des Zielpixels festgelegt. Daher wird erwartet, dass die Parallaxe von jedem Pixel automatisch eine Parallaxe ist, welche mittels dem Block in der für jeden Pixel optimalen Blockform berechnet wurde.

Gemäß der Parallaxenberechnungsvorrichtung wird die Parallaxe für jeden Block berechnet. Es ist daher möglich, den Rechenaufwand und den Speicherbedarf im Vergleich zu der Berechnung der Pixel für jeden Pixel (d. h. „pixelweise“ Berechnung) zu reduzieren. Ferner wird die Prozessreihe, die den Parallaxenberechnungsprozess umfasst, für jede der Mehrzahl von Blockformarten durchgeführt, und die Parallaxe wird für jedes Pixel erhalten. Es ist daher möglich, die Parallaxengenauigkeit zu verbessern und ein Parallaxenbild mit relativ hoher Dichte zu erhalten.

In einem Aspekt der Parallaxenberechnungsvorrichtung gemäß Ausführungsformen der vorliegenden Erfindung umfasst der Kostenberechnungsprozess (i) das Berechnen einer Parallaxendifferenz zwischen einem angrenzenden Block in der festgelegten Blockgruppe auf Basis des Ergebnisses der Parallaxenberechnungsprozesses und (ii) das Berechnen des Index auf Basis der berechneten Parallaxendifferenz. Gemäß diesem Aspekt kann der Index, der die Einheitlichkeit der Parallaxe angibt, die mit der Blockgruppe assoziiert werden, relativ einfach berechnet werden.

In einem anderen Aspekt der Parallaxenberechnungsvorrichtung gemäß Ausgestaltungen der vorliegenden Erfindung ist der Prozessor eingerichtet, den Parallaxenberechnungsprozess, den Blockgruppenfestlegungsprozess, und den Kostenberechnungsprozess für jede der Mehrzahl von Blockformarten parallel durchzuführen. Gemäß diesem Aspekt ist es möglich, eine Verarbeitungszeit zu reduzieren, was in der Praxis sehr vorteilhaft ist.

Die Beschaffenheit, Nutzen und weitere Merkmale dieser Erfindung gehen deutlicher aus der folgenden detaillierten Beschreibung mit Bezug auf bevorzugte Ausführungsformen der Erfindung hervor, wenn diese in Verbindung mit den beigefügten Figuren, die nachfolgend kurz beschrieben werden, gelesen wird.

Figurenliste

  • 1 ist ein Blockdiagramm, das eine Konfiguration einer Parallaxenberechnungsvorrichtung gemäß einer Ausführungsform zeigt;
  • FIG. 2A bis 2D sind Diagramme, die ein Beispiel einer Blockform zeigen, die für die Parallaxenberechnung in der Parallaxenberechnungsvorrichtung gemäß der Ausführungsform verwendet wird;
  • 3 ist ein Diagramm, das ein Beispiel eines Bildes darstellt, das für die Parallaxenberechnung verwendet wird; und
  • 4 ist ein Diagramm, das ein Rechenkonzept einer Parallaxendifferenz in der Parallaxenberechnungsvorrichtung gemäß der Ausführungsform darstellt.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Eine Parallaxenberechnungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung wird mit Bezug auf 1 bis 4 erläutert.

Eine Konfiguration der Parallaxenberechnungsvorrichtung gemäß der Ausführungsform wird mit Bezug auf 1 erläutert. 1 ist ein Blockdiagramm, das die Konfiguration der Parallaxenberechnungsvorrichtung gemäß der Ausführungsform zeigt.

In 1 ist eine Parallaxenberechnungsvorrichtung 1 mit einem Verzerrungskorrektor / einer Rektifizierungsvorrichtung 10, einem Prozessor 20, einer Blockgrößenwahleinrichtung 30 und einem Parallaxenbildgenerator 40 als logisch realisierte Verarbeitungsblocks oder als physisch realisierte Verarbeitungsschaltungen in der Parallaxenberechnungsvorrichtung 1 versehen. Der Prozessor 20 umfasst eine Mehrzahl von Parallaxenberechner 21a, 21b ... und 21N, eine Mehrzahl von Blockgruppenfestlegungseinheiten 22a, 22b ... und 22N und eine Mehrzahl von Kostenrechnern 23a, 23b ... und 23N.

Als nächstes wird jede Komponente der Parallaxenberechnungsvorrichtung 1 erläutert, während ein Parallaxenberechnungsverfahren in der Parallaxenberechnungsvorrichtung 1 erwähnt wird.

Der Verzerrungskorrektor / die Rektifizierungsvorrichtung 10 ist eingerichtet, einen Verzerrungskorrekturprozess und einen Rektifizierungsprozess sowohl auf einem linken Bild (d. h. einem von einer Kamera 50L fotografierten Bild) und einem rechten Bild (d. h. von einer Kamera 50R fotografierten Bild) durchzuführen, die von einer Stereokamera 50, die die Kameras 50L und 50R umfasst, fotografiert werden. Auf eine detaillierte Erläuterung des Verzerrungskorrekturprozesses und des Rektifizierungsprozesses wird verzichtet, da verschiedene bekannte Verfahren auf die Prozesse angewendet werden können.

Der Prozessor 20 ist eingerichtet, einen Parallaxenberechnungsprozess auszuführen, einen Parallaxendifferenzberechnungsprozess und einen Kostenberechnungsprozess, indem das linke Bild und das rechte Bild verwendet werden, bei denen der Verzerrungskorrekturprozess und der Rektifizierungsprozess angewandt werden. Selbstverständlich werden das linke Bild und das rechte Bild, die für die drei Prozesse verwendet werden, zeitgleich aufgenommen.

Jeder der Parallaxenberechner 21a, 21b ... und 21N ist eingerichtet, ein Standardbild, das entweder das linke Bild oder das rechte Bild ist, in eine Mehrzahl von Blöcken aufzuteilen (d. h. einen Satz Pixel) und für jeden der Mehrzahl von Blöcken einen entsprechenden Punkt zu suchen, der in dem Referenzbild, welches das andere des linken Bildes und des rechten Bildes ist, enthalten ist, und so die Parallaxe zu berechnen. Mit anderen Worten, jeder der Parallaxenberechner 21a, 21b ... und 21N ist eingerichtet, die Parallaxe für jeden Block zu berechnen.

Insbesondere in der Ausführungsform ist jeder der Parallaxenberechner 21a, 21b ... und 21N eingerichtet, das Standardbild in ein entsprechendes aus verschiedenen Blockformen aufzuteilen. Nun werden die Blockformen mit Bezug auf FIG. 2A bis FIG. 2D und 3 erläutert.

Wie in FIG. 2A bis 2D dargestellt ist, wenn die Blockform viereckig ist, jeder der Parallaxenberechner 21a, 21b ... 21N eingerichtet, das Standardbild 100 in ein entsprechendes Bild aus Vierecken mit verschiedenen Seitenverhältnissen aufzuteilen. Selbst wenn die Blockform anders ist, ist der Bereich eines Blocks (d. h. die Anzahl an Pixeln, die einen Block bilden) üblicherweise der gleiche. Insbesondere wenn, beispielsweise, die Fläche eines Blocks „32“ beträgt, umfasst die Blockform „1 lang und 32 breit“, „2 lang und 16 breit“, „4 lang und 8 breit“, „8 lang und 4 breit“, „16 lang und 2 breit“ und „32 lang und 1 breit“.

Es wird beispielsweise angenommen, dass ein in 3 dargestelltes Bild ein Zielbild bei einer Parallaxenberechnung ist. Beispielsweise bei einer Fläche, die einer Straßenoberfläche entspricht, ist die Parallaxe (im Wesentlichen) die gleiche bei Pixeln, die in Horizontalrichtung des Bildes angeordnet sind, während sich die Parallaxe bei Pixeln, die in Vertikalrichtung des Bildes angeordnet sind, welche einer Tiefenrichtung entspricht, unterscheidet. Wenn daher die Parallaxe in dem Bereich berechnet wird, welcher der Straßenoberfläche entspricht, ist es wünschenswert, einen horizontal langen viereckigen Block zu verwenden, wie beispielsweise einen Block b11.

Beispielsweise in einem Bereich, der einer Seitenfläche eines Gebäudes entspricht, ist die Parallaxe (im Wesentlichen) die gleiche bei Pixeln, die in Vertikalrichtung des Bildes angeordnet sind während sich die Parallaxe bei Pixeln, die in Horizontalrichtung des Bildes angeordnet sind, die der Tiefenrichtung entspricht, unterscheidet. Wenn daher die Parallaxe in dem Bereich berechnet wird, der der Seitenfläche des Gebäudes entspricht, ist es wünschenswert, einen vertikal langen viereckigen Block zu verwenden, wie beispielsweise einen Block b12.

Beispielsweise in einem Bereich, der einem hinteren Teil eines vorausfahrenden Fahrzeugs entspricht, ist die Parallaxe (im Wesentlichen) die Gleiche bei Pixeln, die in Vertikalrichtung des Bildes angeordnet sind und bei Pixeln, die in Horizontalrichtung des Bildes angeordnet sind. Andererseits, ist eine Reichweite in diesem Bereich des Bildes relativ gering, und daher kann ein Block in der Blockform wie beispielsweise die Blöcke b11 und b12 einen Gegenstand umfassen, der sich von dem hinteren Teil des vorausfahrenden Fahrzeugs unterscheidet. Es ist daher wünschenswert, bei der Berechnung der Parallaxe in dem Bereich, der dem hinteren Teil des vorausfahrenden Fahrzeugs entspricht, einen viereckigen Block zu verwenden, der einem Quadrat ähnelt, wie beispielsweise ein Block b13.

Wie oben beschrieben variiert eine optimale Blockform abhängig von einem Ziel, für das die Parallaxe erhalten werden soll. Es ist allerdings kaum möglich, im Voraus zu bestimmen, was in welchem Bereich eines Zielbildes erscheint. Daher wird bei der Ausführungsform die Parallaxe für jeden Block gemäß jeder der Mehrzahl von Blockformarten berechnet und die Blockform wird für jedes Pixel wie später beschrieben auf Basis eines Berechnungsergebnisses der Parallaxe gewählt.

Zurück in 1 ist jede Blockgruppenfestlegungseinheit 22a, 22b ... und 22N eingerichtet, eine Blockgruppe festzulegen, welche einen Zielblock und dessen angrenzenden Blöcke umfasst. Jeder der Kostenrechner 23a, 23b ... und 23N ist eingerichtet, einen Index zu berechnen, der eine Einheitlichkeit der Parallaxe, die mit der Blockgruppe assoziiert ist, die von einer entsprechenden der Blockgruppenfestlegungseinheiten 22a, 22b ... und 22N auf Basis eines Parallaxenberechnungsergebnis eines entsprechenden der Parallaxenberechner 21a, 21b ... und 21N festgelegt wurde. Jeder der Kostenrechner 23a, 23b ... und 23N ist eingerichtet, den berechneten Index mit dem Zielblock zu assoziieren, der in der Blockgruppe umfasst ist, die das Ziel der Berechnung des Index ist, als Kosten, die eine mit dem Zielblock assoziierte Auswertung angeben. Insbesondere wird beispielsweise angenommen, dass ein in 4 dargestellter quadratischer Block b21 der Zielblock ist. In diesem Fall kann eine Blockgruppenfestlegungseinheit (d. h., eine der Blockgruppenfestlegungseinheiten 22a, 22b ... und 22N) eine Blockgruppe aus dem Block b21 und Blöcken b22 bis b29, die an den Block b21 angrenzen, festlegen. Hier wird angenommen, dass die Blöcke b21, b22, b23, b24, b25, b26, b27, b28 und b29 jeweils Parallaxenwerte von p1, p2, p3, p4, p5, p6, p7, p8 und p9 aufweisen.

Ein Kostenrechner (d. h. einer der Kostenrechner 23a, 23b ... und 23N), der der einen Blockgruppenfestlegungseinheit entspricht, kann eine Parallaxendifferenz zwischen angrenzenden Blöcken in der Blockgruppe (d. h. den Blöcken b21 bis b29) berechnen.

Die Parallaxendifferenz zwischen dem Block b21 und dem Block b22 beträgt (p1-p2). Die Parallaxendifferenz zwischen dem Block b21 und dem Block b23 beträgt (p1-p3). Die Parallaxendifferenz zwischen dem Block b21 und dem Block b24 beträgt (p1-p4). Die Parallaxendifferenz zwischen dem Block b21 und dem Block b25 beträgt (p1-p5). Die Parallaxendifferenz zwischen dem Block b22 und dem Block b26 beträgt (p2-p6). Die Parallaxendifferenz zwischen dem Block b22 und dem Block b27 beträgt (p2-p7). Die Parallaxendifferenz zwischen dem Block b23 und dem Block b27 beträgt (p3-p7). Die Parallaxendifferenz zwischen dem Block b23 und dem Block b28 beträgt (p3-p8). Die Parallaxendifferenz zwischen dem Block b24 und dem Block b28 beträgt (p4-p8). Die Parallaxendifferenz zwischen dem Block b24 und dem Block b29 beträgt (p4-p9). Die Parallaxendifferenz zwischen dem Block b25 und dem Block b29 beträgt (p5-p9). Die Parallaxendifferenz zwischen dem Block b25 und dem Block b26 beträgt (p5-p6).

Der eine Kostenrechner kann dann auf Basis der berechneten Parallaxendifferenz die Quadratsumme der Parallaxendifferenz als Index berechnen, der die Einheitlichkeit der Parallaxe angibt, die mit der Blockgruppe assoziiert ist. Der eine Kostenrechner kann die berechnete Quadratsumme der Parallaxendifferenz mit dem Block b21 als Kosten assoziieren, die eine mit dem Block b21 assoziierte Auswertung angibt.

Die Kosten bezüglich dem Block b21 können wie folgt ausgedrückt werden: (p1-p2)2 + (p1-p3)2 + (p1-p4)2 + (p1-p5)2 + (p2-p6)2 + (p2-p7)2 + (p3-p7)2 + (p3-p8)2 + (p4-p8)2 + (p4-p9)2 + (p5-p9)2 + (p5-p6)2.

Wenn die Blockform eine geeignete Form für ein Ziel ist, für das die Parallaxe berechnet werden soll, wird die Parallaxendifferenz zwischen angrenzenden Blöcken als relativ gering angesehen. Mit anderen Worten, es wird angenommen, dass die Parallaxe relativ nahtlos zwischen angrenzenden Blöcken wechselt. Es ist daher möglich, die für das Ziel, für das die Parallaxe berechnet werden soll, geeignete Blockform zu wählen, indem Berechnungsergebnisse der Kostenrechner 23a, 23b ... und 23N verglichen werden.

Wieder zurück in 1 ist die Blockgrößenwahleinrichtung 30 eingerichtet, Kosten einer Mehrzahl von Blöcken, von denen jeder ein Zielpixel umfasst, in dem die Parallaxe erhalten werden soll, aus den Berechnungsergebnissen der Kostenrechner 23a, 23b ... und 23N zu erhalten. Insbesondere wenn beispielsweise ein Pixel, das in FIG. 2A bis 2D durch einen schwarzen Punkt dargestellt ist, das Zielpixel ist, kann die Blockgrößenwahleinrichtung 30 Kosten eines Blocks b1 (2A), eines Blocks b2 (2B), eines Blocks b3 (2C) und eines Blocks b4 (2D) erhalten.

Der Blockgrößenwahleinrichtung 30 ist eingerichtet, die Kosten zu vergleichen und einen Block (oder eine Form) mit minimalen Kosten auszuwählen. Der Parallaxenbildgenerator 40 ist eingerichtet, den Parallaxenwert des von der Blockgrößenwahleinrichtung 30 ausgewählten Blocks als Parallaxenwert des Zielpixels festzulegen. Die Blockgrößenwahleinrichtung 30 und der Parallaxenbildgenerator 40 sind eingerichtet, wiederholt denselben Prozess bei allen Pixeln durchzuführen, die das Standardbild 100 bilden (siehe FIG. 2A bis 2D), wodurch das Parallaxenbild erstellt wird.

(Technischer Effekt)

Die Parallaxenberechnung oder ein gleichartiger Vorgang in dem Prozessor 20 kann in Blockeinheiten (oder blockweiser Berechnung) durchgeführt werden. Es ist daher möglich, den Rechenaufwand und den Speicherbedarf im Vergleich zu der Berechnung der Parallaxe oder dergleichen in Pixeleinheiten (beziehungsweise pixelweiser Berechnung) zu reduzieren. Zudem wird in dem Prozessor 20 die Parallaxenberechnung für jede Blockform oder dergleichen parallel verarbeitet. Es ist daher möglich, eine Verarbeitungszeit im Vergleich zu der Berechnung der Parallaxe oder dergleichen in Pixeleinheiten (beziehungsweise pixelweiser Berechnung) zu reduzieren, obwohl die Parallaxenberechnung oder dergleichen für jede der Mehrzahl von Blockform durchgeführt wird.

Bei der Parallaxenberechnungsvorrichtung 1 wird der Parallaxenwert für jeden Pixel wie oben beschrieben erhalten. Es ist daher möglich, die Parallaxengenauigkeit zu verbessern und ein Parallaxenbild mit relativ hoher Dichte zu erhalten. Insbesondere in der Parallaxenberechnungsvorrichtung 1 wird, wenn der Parallaxenwert des Zielpixels erhalten wird, der Block mit den minimalen Kosten (d. h., die Blockform mit den minimalen Kosten) aus der Mehrzahl von Blöcken in unterschiedlichen Blockformen ausgewählt, von denen jeder das Zielpixel umfasst und der Parallaxenwert des ausgewählten Blocks wird als Parallaxenwert des Zielpixels festgelegt. Daher wird erwartet, dass der Parallaxenwert jedes Pixels automatisch ein Parallaxenwert ist, der anhand des Blocks in der für jedes Pixel optimalen Blockform berechnet wurde.

Der „Verzeichniskorrektor / Rektifizierungsvorrichtung 10“ und der „Prozessor 20“ gemäß der Ausführungsform sind jeweils ein Beispiel für die „Bezugsvorrichtung“ und den „Prozessor“ gemäß den Ausführungsformen der vorliegenden Erfindung. Die „Blockgrößenwahleinrichtung 30“ und der „Parallaxenbildgenerator 40“ gemäß der Ausführungsform sind ein Beispiel für die „Auswahlvorrichtung“ gemäß den Ausführungsformen der vorliegenden Erfindung. C

<Erstes Abwandlungsbeispiel>

Jeder der Kostenrechner 23a, 23b ... und 23N kann anstelle der Quadratsumme der Parallaxendifferenz einen Abweichungswert der Parallaxe in der Blockgruppe als Index berechnen, der die Einheitlichkeit der mit der Blockgruppe assoziierten Parallaxe angibt. In dem in 4 dargestellten Beispiel kann der Index, der die Einheitlichkeit der Parallaxe angibt, wie folgt ausgedrückt werden: {(p1-m)2+(p2-m)2+(p3-m)2+(p4-m)2 + (p5-m)2 + (p6-m)2 + (p7-m)2 + (p8-m)2 + (p9-m)2}/9. Hier ist „m“ ein Mittelwert der Parallaxe in der Blockgruppe. In dem in 4 dargestellten Beispiel: m = (p1+p2+p3+p4+p5+p6+p7+p8+p9)/9.

<Zweites Abwandlungsbeispiel>

Jeder der Kostenrechner 23a, 23b ... und 23N kann eine einfache Summe absoluter Werte von Differenzen berechnen, von denen jede eine Differenz ist zwischen dem Mittelwert m der Parallaxe in der Blockgruppe und einer entsprechenden Parallaxe von der Mehrzahl von Blöcken, die in der Blockgruppe umfasst sind, als Index, der die Einheitlichkeit der Parallaxe anstelle der Quadratsumme der Parallaxendifferenz angibt. In dem in 4 dargestellten Beispiel kann der Index, der die Einheitlichkeit der Parallaxe angibt, wie folgt ausgedrückt werden: |p1-m| + |p2-m| + |p3-m| + |p4-m| + |p5-m| + |p6-m|+|p7-m|+|p8-m|+|p9-m|. In dem in 4 dargestellten Beispiel: m = (p1+p2+p3+p4+p5+p6+p7+p8+p9)/9.

Die Erfindung kann in anderen Ausführungsformen verkörpert sein, ohne von ihrem Geist oder essentiellen Merkmalen derselben abzuweichen. Die vorliegenden Ausführungsformen und Beispiele sollen daher in jeder Hinsicht als erläuternd und nicht einschränkend angesehen werden, wobei der Schutzumfang der Erfindung vielmehr durch die beigefügten Ansprüche angegeben wird als durch die vorstehende Beschreibung und alle Änderungen, die in den Bedeutungs- und Äquivalenzumfang der Ansprüche fallen, sollen hiermit als darin umfasst betrachtet werden.