Title:
3D-Multiaperturabbildungsvorrichtung
Kind Code:
A1
Abstract:

Eine 3D-Multiaperturabbildungsvorrichtung, die einerseits in der Lage ist, eine 3D-Information über die Szene bereitzustellen und andererseits die Erzielung einer hohen lateralen Auflösung und/oder eines weiten Gesichtsfeldes ermöglicht, wird beschrieben. Die 3D-Multiaperturabbildungsvorrichtung ist mit einer ersten Mehrzahl von optischen Kanälen zum Abbilden sich überlappender erster Teilgesichtsfelder eines Gesamtgesichtsfeldes auf erste Bildsensorbereiche eines Bildsensors der 3D-Multiaperturabbildungsvorrichtung ausgestattet sowie mit einer zweiten Mehrzahl von optischen Kanälen zum Abbilden sich überlappender zweiter Teilgesichtsfelder des Gesamtgesichtsfeldes auf zweite Bildsensorbereiche des Bildsensors, wobei die erste und die zweite Mehrzahl von optischen Kanälen um einen Basisabstand voneinander lateral versetzt angeordnet sind, und wenn beim Verschmelzen von Bildern, die durch die erste Mehrzahl von optischen Kanälen aufgenommen sind, zu einem ersten Gesamtbild in einem Überlappbereich von ersten Teilgesichtsfeldern eines Paars von optischen Kanälen der ersten Mehrzahl von optischen Kanälen Disparitäten in einem Paar von Bildern verwendet werden, von denen eines durch einen der zweiten Mehrzahl von optischen Kanälen aufgenommen ist.



Inventors:
Wippermann, Frank (98617, Meiningen, DE)
Brückner, Andreas (07743, Jena, DE)
Bräuer, Andreas (07646, Schlöben, DE)
Oberdörster, Alexander (07749, Jena, DE)
Application Number:
DE102015216140A
Publication Date:
03/02/2017
Filing Date:
08/24/2015
Assignee:
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., 80686 (DE)
Domestic Patent References:
DE102013222780B3N/A2015-04-16
DE102009049387A1N/A2011-04-21
Foreign References:
201400712472014-03-13
Attorney, Agent or Firm:
Schoppe, Zimmermann, Stöckeler, Zinkler, Schenk & Partner mbB Patentanwälte, 81373, München, DE
Claims:
1. 3D-Multiaperturabbildungsvorrichtung mit:
einem Bildsensor (12);
einer ersten Mehrzahl (141) von optischen Kanälen (1411, 1412, 1413, 1414) zum Abbilden sich überlappender erster Teilgesichtsfelder (3011, 3012, 3013, 3014) eines Gesamtgesichtsfeldes (28) auf erste Bildsensorbereiche (1211, 1212, 1213, 1214) des Bildsensors;
einer zweiten Mehrzahl (142) von optischen Kanälen (1421, 1422, 1423, 1424) zum Abbilden sich gegenseitig und mit den ersten Teilgesichtsfeldern überlappender zweiter Teilgesichtsfelder (3021, 3022, 3023, 3024) des Gesamtgesichtsfeldes (28) auf zweite Bildsensorbereiche (1221, 1222, 1223, 1224) des Bildsensors, wobei die erste und die zweite Mehrzahl von optischen Kanälen um einen Basisabstand (15) voneinander lateral versetzt angeordnet sind;
einem Prozessor (85) zum Verschmelzen von Bildern, die durch die erste Mehrzahl von optischen Kanälen aufgenommen sind, zu einem ersten Gesamtbild, wobei der Prozessor (85) ausgebildet ist, um in einem Überlappbereich (86) von ersten Teilgesichtsfeldern eines Paars von optischen Kanälen der ersten Mehrzahl von optischen Kanälen das Verschmelzen unter Verwendung von Disparitäten in einem Paar von Bildern durchzuführen, von denen zumindest eines durch einen der zweiten Mehrzahl von optischen Kanälen aufgenommen ist, dessen abgebildetes zweites Teilgesichtsfeld mit dem Überlappbereich überlappt.

2. 3D-Multiaperturabbildungsvorrichtung gemäß Anspruch 1, bei der der Prozessor (85) ausgebildet ist, um Bilder, die durch die zweite Mehrzahl von optischen Kanälen aufgenommen sind, zu einem zweiten Gesamtbild zu verschmelzen und dabei in einem Überlappbereich von zweiten Teilgesichtsfeldern eines Paars von optischen Kanälen der zweiten Mehrzahl von optischen Kanälen Disparitäten in einem weiteren Paar von Bildern zu verwenden, von denen zumindest eines durch einen der ersten Mehrzahl von optischen Kanälen aufgenommen ist, dessen abgebildetes erstes Teilgesichtsfeld mit dem Überlappbereich der zweiten Teilgesichtsfelder überlappt.

3. 3D-Multiaperturabbildungsvorrichtung gemäß Anspruch 2, bei der der Prozessor (85) ausgebildet ist, um eine Tiefenkarte unter Verwendung von Disparitäten zwischen dem ersten und zweiten Gesamtbild zu erzeugen.

4. 3D-Multiaperturabbildungsvorrichtung gemäß Anspruch 3, bei der der Prozessor (85) ausgebildet ist, um das ersten oder das zweite Gesamtbild in eine virtuelle Ansicht zu warpen oder das erste und zweite Gesamtbild in die virtuelle Ansicht zu warpen und zu verschmelzen, um ein finales Gesamtbild zu erhalten, zu dem die Tiefenkarte gehört.

5. 3D-Multiaperturabbildungsvorrichtung gemäß Anspruch 1 oder 2, bei der der Prozessor (85) ausgebildet ist, um eine Tiefenkarte zu dem ersten Gesamtbild unter Verwendung von Disparitäten in Paaren von Bildern zu erzeugen, die zumindest für jedes der ersten Mehrzahl von optischen Kanälen zumindest ein Paar aufweisen, das ein Bild aufweist, das durch den jeweiligen der ersten Mehrzahl von optischen Kanälen aufgenommen ist, und ein weiteres Bild, das durch eines der zweiten Mehrzahl von optischen Kanälen aufgenommen ist.

6. 3D-Multiaperturabbildungsvorrichtung gemäß einem der Ansprüche 1 bis 5, bei der eine Anzahl der ersten Mehrzahl von optischen Kanälen zwischen 2 und 100, beide inclusive, liegt, und der Überlappbereich der ersten Teilgesichtsfeldern des Paars von optischen Kanälen der ersten Mehrzahl von optischen Kanälen flächenmäßig zwischen 1/2 und 1/1000 einer mittleren Bildgröße der Bilder liegt, die von der ersten Mehrzahl von optischen Kanälen aufgenommen werden.

7. 3D-Multiaperturabbildungsvorrichtung gemäß einem der Ansprüche 1 bis 6, bei der eine Anzahl der zweiten Mehrzahl von optischen Kanälen zwischen 2 und 100, beide inclusive, liegt, und ein Überlappbereich der zweiten Teilgesichtsfelder eines Paars von optischen Kanälen der Zweiten Mehrzahl von optischen Kanälen flächenmäßig zwischen 1/2 und 1/1000 einer mittleren Bildgröße der Bilder liegt, die von der ersten Mehrzahl von optischen Kanälen aufgenommen werden.

8. 3D-Multiaperturabbildungsvorrichtung gemäß einem der Ansprüche 1 bis 7, bei der die Anzahl der ersten und zweiten Mehrzahl von optischen Kanälen gleich ist und eine Aufteilung des Gesamtgesichtsfeldes in die ersten Teilgesichtsfelder in etwa kongruent ist zu der Aufteilung des Gesamtgesichtsfeldes in die zweiten Teilgesichtsfelder.

9. 3D-Multiaperturabbildungsvorrichtung gemäß einem der Ansprüche 1 bis 8, bei der die Teilgesichtsfelder des Paars von optischen Kanälen der ersten Mehrzahl von optischen Kanälen um eine Weite des Überlappbereichs von wenigstes 20 Pixel der Bilder, die durch das Paar von optischen Kanälen der ersten Mehrzahl von optischen Kanälen aufgenommen sind, bei einer Bildentfernung von 10 m ineinander ragen.

10. 3D-Multiaperturabbildungsvorrichtung gemäß einem der Ansprüche 1 bis 9, bei der die erste und zweite Mehrzahl von optischen Kanälen jeweils als ein einzeiliges Array gebildet und auf einer Linie entlang einer Zeilenerstreckungsrichtung derselben unter dem Basisabstand versetzt zueinander nebeneinander angeordnet sind.

11. 3D-Multiaperturabbildungsvorrichtung gemäß einem der Ansprüche 1 bis 10, der der Prozessor (85) ausgebildet ist, um die Disparitäten unter Verwendung einer Kreuzkorrelation lokaler Abschnitte des Paars von Bildern zu bestimmen.

12. Verfahren zum Verschmelzen von Bildern, die durch eine 3D-Multiaperturabbildungsvorrichtung aufgenommen sind, die einen Bildsensor (12), eine ersten Mehrzahl (141) von optischen Kanälen (1411, 1412, 1413, 1414) zum Abbilden sich überlappender erster Teilgesichtsfelder (3011, 3012, 3013, 3014) eines Gesamtgesichtsfeldes (28) auf erste Bildsensorbereiche (1211, 1212, 1213, 1214) des Bildsensors und eine zweiten Mehrzahl (142) von optischen Kanälen (1421, 1422, 1423, 1424) zum Abbilden sich gegenseitig und mit den ersten Teilgesichtsfeldern überlappender zweiter Teilgesichtsfelder (3021, 3022, 3023, 3024) des Gesamtgesichtsfeldes (28) auf zweite Bildsensorbereiche (1221, 1222, 1223, 1224) des Bildsensors, wobei die erste und die zweite Mehrzahl von optischen Kanälen um einen Basisabstand (15) voneinander lateral versetzt angeordnet sind, aufweist, wobei der Verfahren folgendes Merkmal aufweist:
Verschmelzen von Bildern, die durch die erste Mehrzahl von optischen Kanälen aufgenommen sind, zu einem ersten Gesamtbild, und zwar indem in einem Überlappbereich (86) von ersten Teilgesichtsfeldern eines Paars von optischen Kanälen der ersten Mehrzahl von optischen Kanälen das Verschmelzen unter Verwendung von Disparitäten in einem Paar von Bildern durchgeführt wird, von denen zumindest eines durch einen der zweiten Mehrzahl von optischen Kanälen aufgenommen ist, dessen abgebildetes zweites Teilgesichtsfeld mit dem Überlappbereich überlappt.

Description:

Die vorliegende Anmeldung bezieht sich auf eine 3D-Multiaperturabbildungsvorrichtung.

Multiaperturabbildungssysteme mit linearer Kanalanordnung bestehen aus mehreren nebeneinander angeordneten Abbildungskanälen, die jeweils nur einen Teil des Objekts aufnehmen. Das Gesamtbild ergibt sich dabei aus einer Zusammenführung bzw. Verschmelzung der einzelnen Teilbilder. Durch den endlichen Abstand der Abbildungskanäle zueinander tritt Parallaxe auf, die insbesondere bei kurzen Objektabständen merklich ist und zu Artefakten in den zusammengesetzten Gesamtbildern führt. Daneben gibt es Multiaperturabbildungssysteme, bei denen die einzelnen Kanäle ein und dieselbe Szene jeweils gänzlich aufnehmen, wobei aus der Parallaxe zwischen den Kanälen eine Information über die Tiefe des Objekts bzw. der Szene herausgerechnet wird.

Probleme ergeben sich dann, wenn eine hohe räumliche bzw. lateral Auflösung der Szene mit einem relativ weiten Gesichtsfeld einerseits und die Erzeugung von Tiefeninformationen andererseits mit ein und demselben Abbildungssystem gewünscht werden.

Die vorliegende Erfindung schafft eine 3D-Multiaperturabbildungsvorrichtung, die es ermöglicht, eine hohe laterale Auflösung und/oder ein weites Gesichtsfeld zu erzielen, wobei zusätzlich Tiefeninformationen ableitbar sind.

Diese Aufgabe wird durch den Gegenstand des unabhängigen Patentanspruchs gelöst.

Die vorliegende Anmeldung beruht auf der Erkenntnis, dass eine 3D-Multiaperturabbildungsvorrichtung geschaffen werden kann, die einerseits in der Lage ist, eine 3D-Information über die Szene bereitzustellen und andererseits die Erzielung einer hohen lateralen Auflösung und/oder eines weiten Gesichtsfeldes ermöglicht, indem die 3D-Multiaperturabbildungsvorrichtung mit einer ersten Mehrzahl von optischen Kanälen zum Abbilden sich überlappender erster Teilgesichtsfelder eines Gesamtgesichtsfeldes auf erste Bildsensorbereiche eines Bildsensors der 3D-Multiaperturabbildungsvorrichtung ausgestattet wird sowie mit einer zweiten Mehrzahl von optischen Kanälen zum Abbilden sich überlappender zweiter Teilgesichtsfelder des Gesamtgesichtsfeldes auf zweite Bildsensorbereiche des Bildsensors, wobei die erste und die zweite Mehrzahl von optischen Kanälen um einen Basisabstand voneinander lateral versetzt angeordnet sind, und wenn beim Verschmelzen von Bildern, die durch die erste Mehrzahl von optischen Kanälen aufgenommen sind, zu einem ersten Gesamtbild in einem Überlappbereich von ersten Teilgesichtsfeldern eines Paars von optischen Kanälen der ersten Mehrzahl von optischen Kanälen Disparitäten in einem Paar von Bildern verwendet werden, von denen eines durch einen der zweiten Mehrzahl von optischen Kanälen aufgenommen ist. Das Gesamtgesichtsfeld wird also zweimal in einander sich lediglich teilweise überlappende Teilgesichtsfelder aufgeteilt, nämlich einmal in Form der ersten Mehrzahl von optischen Kanälen und das andere Mal in Form der zweiten Mehrzahl von optischen Kanälen, wodurch es möglich ist, eine gewünschte laterale Auflösung und/oder eine gewünschte Weite des Gesamtgesichtsfeldes zu erzielen und Parallaxinformation über das Gesamtgesichtsfeldhinweg zu erhalten. Das Verschmelzen der vermittels die erste Mehrzahl von optischen Kanälen erhaltenen Bilder zu einem Gesamtbild leidet weniger an der Parallaxe, die zwischen den Kanälen der ersten Mehrzahl von optischen Kanälen auftritt, weil das Verschmelzen der Bilder, die durch die erste Mehrzahl von optischen Kanälen aufgenommen wurden, zu dem ersten Gesamtbild durch Disparitätsinformationen unterstützt wird, die durch Auswertung eines Bilds erhalten werden, das durch einen der Kanäle der zweiten Mehrzahl von optischen Kanälen aufgenommen wurde. Insbesondere ist es möglich, die lateralen Abstände zwischen den Kanälen der ersten Mehrzahl von optischen Kanälen gering zu halten. Die unvermeidlich dennoch auftretenden lateralen Abstände führen zu Parallaxe zwischen den Kanälen der ersten Mehrzahl von Kanälen. Bei der Verschmelzung der Bilder der ersten Mehrzahl von Kanälen kann nun aber die Objektabstandsabhängigkeit der Verschmelzung der Bilder im Überlappbereich gegenüber einer Vorgehensweise, die lediglich Disparitäten unter den Bildern der ersten Mehrzahl von optischen Kanälen auswertet, in verbesserter Form realisiert werden, indem die Disparitäten zwischen Bildern eines Paars von Bildern ausgenutzt werden, von denen eines über einen der zweiten Mehrzahl von optischen Kanälen aufgenommen worden ist. Das kann ein Paar von Bildern sein, von denen eines durch die erste und das andere durch die zweiten Mehrzahl von Kanälen aufgenommen wurde, oder ein Paar von Bildern sein, von denen beide durch unterschiedliche Kanäle aus der ersten oder der zweiten Mehrzahl von Kanälen aufgenommen wurden. Für einen Überlappbereich können aber auch Disparitäten aus mehr als einem Paar von Bildern verwendet werden. Darunter könnte sich natürlich zusätzlich auch ein Paar von Bildern befinden, von den beide durch unterschiedliche Kanäle aus der zweiten Mehrzahl von Kanälen aufgenommen wurden, also ein Paar aus den Bildern, die zu verschmelzen sind.

Vorteilhafte Ausgestaltungen der vorliegenden Anmeldung sind Gegenstand der abhängigen Patentansprüche. Bevorzugte Ausführungsbeispiele der vorliegenden Anmeldung werden nachfolgend Bezug nehmend auf die Zeichnungen näher erläutert. Es zeigen:

1 eine teilweise schematische dreidimensionale Teildarstellung einer 3D-Multiaperturabbildungsvorrichtung gemäß einem Ausführungsbeispiel.

2 eine schematische Darstellung der Kanäle und ihrer Bildung von Disparitätsquellen für Überlappbereich von Teilgesichtsfeldern von Kanälen, deren Bild zu verschmelzen sind;

3 ein Raumbild eines mobilen Geräts, um einen Verbau der 3D-Multiaperturabbildungsvorrichtung zu illustrieren;

4 eine dreidimensionale Darstellung eines Moduls einer 3D-Multiaperturabbildungsvorrichtung gemäß einem Ausführungsbeispiel, bei dem exemplarisch die Optiken über ein transparentes, von en Strahlengängen durchdrungenes Substrat getragen werden; und

5a und b Seitenansicht und Draufsicht eins Moduls einer 3D-Multiaperturabbildungsvorrichtung gemäß einem Ausführungsbeispiel, bei dem die optischen Achsen über eine Vorab-Divergenz in der Ebene der optischen Achsen verfügen und die Strahlumlenkvorrichtung die Divergenz in der anderen Richtung übernimmt, wodurch die Anzahl an Facetten der Umlenkvorrichtung verringert werden kann und die Neigungen auf eine Richtung beschränkbar ist.

1 zeigt eine 3D-Multiaperturabbildungsvorrichtung 10 gemäß einem Ausführungsbeispiel. Sie besitzt einen Bildsensor, der, wie es in 1 angedeutet ist, in zwei Komponenten 121 bzw. 122 aufgeteilt sein kann, eine Komponente 121 für die ”rechten” optischen Kanäle 141 und die andere Komponente 122 für die ”linken” Kanäle 142. Die rechten und die linken optischen Kanäle 141 und 142 sind bei dem Beispiel von 1 identisch aufgebaut, allerdings um einen Basisabstand 15 lateral versetzt voneinander angeordnet, um möglichst viele Tiefeninformationen bezüglich der im Gesichtsfeld der Vorrichtung 10 befindlichen Szene zu erhalten. Die Elemente, die mit einem Bezugszeichen versehen sind, das mit einem Index 1 an der ersten Position von links versehen ist, gehören somit zu der ersten Komponente 1 oder einem ersten Modul für die rechten Kanäle, Modul 1, der Vorrichtung 10 und die Elemente, die mit einem Bezugszeichen versehen sind, das mit einem Index 2 an der ersten Position von links versehen ist, gehören somit zu der zweiten Komponente 2 oder einem zweiten Modul für die linken Kanäle, Modul 2, der Vorrichtung 10. Obwohl die Anzahl der Module in 1 zwei ist, könnte die Vorrichtung auch mehr besitzen, die mit einem jeweiligen Basisabstand zueinander angeordnet sind.

In dem exemplarischen Fall von 1 umfasst jede Mehrzahl 141 und 142 von optischen Kanälen vier nebeneinander angeordnete optische Kanäle. Die einzelnen ”rechten” Kanäle seien durch den zweiten tiefgestellten Index unterschieden. Die Kanäle seien dabei von rechts nach links indexiert. D. h., der optische Kanal 1411, der in 1 wegen einer zum Zwecke der Übersichtlichkeit gewählten Teilwegnahme nicht dargestellt ist, ist beispielsweise entlang der Basisabstandsrichtung 17, entlang welcher die linken und die rechten Kanäle voneinander unter dem Basisabstand 15 versetzt zueinander angeordnet sind, am äußersten rechten Rand angeordnet, d. h. am weitesten entfernt von der Mehrzahl 142 linker Kanäle, wobei die anderen rechten Kanäle 14121414 entlang der Basisabstandsrichtung 17 folgen. Die Kanäle 14111414 bilden also ein einzeiliges Array von optischen Kanälen, dessen Zeilenerstreckungsrichtung der Basisabstandsrichtung 17 entspricht. Ebenso sind auch die linken Kanäle 142 aufgebaut. Auch sie seien durch den zweiten tiefgestellten Index voneinander unterschieden. Die linken Kanäle 14211424 sind nebeneinander und in der gleichen Richtung aufeinanderfolgend angeordnet wie die rechten Kanäle 14111414, nämlich so, dass der Kanal 1421 den rechten Kanälen am nächsten ist und der Kanal 1424 am weitesten entfernt von Letztgenannten.

Jeder der rechten Kanäle 14111414 umfasst eine entsprechende Optik, die, wie es in 1 angedeutet ist, aus einem Linsensystem bestehen kann. Alternativ könnte jeder Kanal eine Linse aufweisen. Jeder optische Kanal 14111414 nimmt eines von sich überlappenden Teilgesichtsfeldern eines Gesamtgesichtsfeldes 28 auf, die sich gegenseitig überlappen und zusammen das Gesamtgesichtsfeld 28 abdecken. Der Kanal 1411 bildet beispielsweise das Teilgesichtsfeld 3011 auf einen Bildsensorbereich 1211 ab, der optische Kanal 1412 das Teilgesichtsfeld 3012 auf einen Bildsensorbereich 1212, der optische Kanal 1413 ein zugeordnetes Teilgesichtsfeld 3013 auf einen entsprechenden in 1 nicht sichtbaren Bildsensorbereich 1213 des Bildsensors 12 und der optische Kanal 1414 ein zugeordnetes Teilgesichtsfeld 3014 auf einen entsprechenden Bildsensorbereich 1214, der ebenfalls in 1 wegen Verdeckung nicht gezeigt ist.

In 1 sind die Bildsensorbereiche 12111214 des Bildsensors 12 bzw. der Komponente 121 des Bildsensors 12 in einer Ebene parallel zur Basisabstandsrichtung 15 bzw. parallel zur Zeilenerstreckungsrichtung 17 angeordnet, und zu dieser Ebene sind auch Linsenebenen der Optiken der optischen Kanäle 14111414 parallel. Zudem sind die Bildsensorbereiche 12111214 untereinander mit einem lateralen Interkanalabstand 19 angeordnet, mit welchem auch die Optiken der optischen Kanäle 14111414 untereinander in dieser Richtung angeordnet sind, so dass die optischen Achsen und Strahlengänge der optischen Kanäle 14111414 zwischen den Bildsensorbereichen 12111214 und den Optiken 14111414 parallel zueinander verlaufen. Beispielsweise sind Zentren der Bildsensorbereiche 12111214 und optische Zentren der Optiken der optischen Kanäle 14111414 auf der jeweiligen optischen Achse angeordnet, die senkrecht zu der vorerwähnten gemeinsamen Ebene der Bildsensorbereiche 12111214 verlaufen.

Die optischen Achsen bzw. Strahlengänge der optischen Kanäle 14111414 werden durch eine Strahlumlenkvorrichtung 241 umgelenkt und damit mit einer Divergenz versehen, die dazu führt, dass sich die Teilgesichtsfelder 30113014 der optischen Kanäle 14111414 gegenseitig nur teilweise überlappen, wie z. B. so, dass sich paarweise die Teilgesichtsfelder 30113014 höchstens zu 50% im Raumwinkelsinne überlappen. Die Strahlumlenkvorrichtung 241 kann, wie es in 1 angedeutet ist, beispielsweise für jeden optischen Kanal 14111414 eine reflektive Facette aufweisen, die unter den Kanälen 14111414 unterschiedlich gegeneinander verkippt sind. Eine mittlere Neigung der reflektiven Facetten gegenüber der Bildsensorebene lenkt das Gesamtgesichtsfeld der rechten Kanäle 14111414 in eine Richtung um, die beispielsweise senkrecht zu der Ebene steht, in welcher die optischen Achsen der Optiken der optischen Kanäle 14111414 vor bzw. ohne Strahlumlenkung durch die Vorrichtung 241 verlaufen, oder weicht von dieser senkrechten Richtung weniger als 10° ab. Alternativ könnte die Strahlumlenkvorrichtung 241 auch Prismen zur Strahlumlenkung der einzelnen optischen Achsen bzw. Strahlengänge der optischen Kanäle 14111414 verwenden.

Die Strahlumlenkvorrichtung 241 versieht die Strahlengänge der optischen Kanäle 14111414 mit einer Divergenz derart, dass die eigentlich linear in der Richtung 17 nebeneinander angeordneten Kanäle 14111414 das Gesamtgesichtsfeld 28 zweidimensional abdecken.

Es sei darauf hingewiesen, dass die Strahlengänge bzw. optischen Achsen auch von der beschrieben Parallelität abweichen könnte, dass dennoch die Parallelität der Strahlengänge der optischen Kanäle aber immer noch so ausgeprägt sein könnte, dass sich die Teilgesichtsfelder, die durch die einzelnen Kanäle 14111414 abgedeckt bzw. auf die jeweiligen Bildsensorbereiche 12111214 abgebildet werden, ohne weitere Maßnahmen, wie nämlich die Strahlumlenkung, größtenteils überlappen würden, so dass, um ein größeres Gesamtgesichtsfeld durch die Multiaperturabbildungsvorrichtung 10 abzudecken, die Strahlumlenkvorrichtung 24 die Strahlengänge so mit einer zusätzlichen Divergenz versieht, dass sich die Teilgesichtsfelder der Kanäle 14111414 weniger gegenseitig überlappen. Die Strahlumlenkvorrichtung 241 sorgt beispielsweise dafür, dass das Gesamtgesichtsfeld einen über alle azimutalen Winkel bzw. über alle Transversalrichtungen gemittelten Öffnungswinkel aufweist, der größer ist als 1,5 mal dem entsprechenden mittleren Öffnungswinkel der Teilgesichtsfelder der optischen Kanäle 14111414.

Ebenso wie die rechten Kanäle 14111414 sind nun auch die linken Kanäle 14211424 aufgebaut und relativ zu jeweiligen zugeordneten Bildsensorbereichen 12211224 positioniert, wobei die in der gleichen Ebene wie die optischen Achsen der Kanäle 14111414 parallel zueinander verlaufenden optischen Achsen der optischen Kanäle 14211424 durch eine korrespondierende Strahlumlenkvorrichtung 242 umgelenkt werden, so dass die optischen Kanäle 14211424 das gleiche Gesamtgesichtsfeld 28 in nahezu kongruenter Art und Weise aufnehmen, nämlich in Teilgesichtsfeldern 30213024, in die das Gesamtgesichtsfeld 28 zweidimensional aufgeteilt ist, die sich gegenseitig überlappen, und von denen jedes nahezu vollständig mit dem entsprechenden Teilgesichtsfeld 30113014 eines entsprechenden Kanals der rechten Kanäle 14111414 überlappt. Beispielsweise überlappen die Teilgesichtsfelder 3011 und das Teilgesichtsfeld 3021 nahezu vollständig miteinander, die Teilgesichtsfelder 3012 und 3022 usw.

Die Bildsensorbereiche 12111224 können beispielsweise jeweils aus einem Chip gebildet sein, der ein entsprechendes Pixelarray umfasst, wobei die Chips auf einem gemeinsamen Substrat bzw. einer gemeinsamen Platine montiert sein könnten oder gruppenweise auf mehreren Platinen, wie es in 1 angedeutet ist, und zwar für den Fall der getrennten Platzierung der Chips der Bildsensorbereiche 12111214 der Komponente 121 auf einer Platine und die Chips der Bildsensorbereiche 12211224 der Komponente 122 auf einer weiteren Platine. Alternativ wäre es natürlich auch möglich, dass die Bildsensorbereiche 12111224 zusammen oder gruppenweise, wie z. B. getrennt nach Zugehörigkeit zur Komponente 121 und 122, aus einem Teil eines gemeinsamen Pixelarrays, das sich kontinuierlich über die jeweiligen Bildsensorbereiche erstreckt, gebildet sind, wobei das gemeinsame Pixelarray beispielsweise auf einem einzelnen Chip gebildet ist. Beispielsweise werden dann lediglich die Pixelwerte des gemeinsamen Pixelarrays an den jeweiligen Bildsensorbereichen ausgelesen. Verschiedene Mischungen dieser Alternativen sind natürlich ebenfalls möglich, wie z. B. das Vorhandensein eines Chips für zwei oder mehr Kanäle und eines weiteren Chips für wiederum andere Kanäle oder dergleichen innerhalb einer Komponente 121 und 122.

Zusätzlich den vorerwähnten Komponenten umfasst die 3D-Multiaperturabbildungsvorrichtung einen Prozessor 85, der die Aufgabe übernimmt, beispielsweise die Bilder, die bei einer Aufnahme durch die 3D-Multiaperturabbildungsvorrichtung 10 durch die rechten optischen Kanäle 14111414 aufgenommen worden sind, zu einem ersten Gesamtbild zu verschmelzen. Das Problem, das dabei zu bewältigen ist, ist das Folgende: Aufgrund der Interkanalabstände 19 zwischen benachbarten Kanälen der rechten Kanäle 14111414 können die Bilder, die bei einer Aufnahme durch die Kanäle 14111414 in den Bildbereichen 12111214 aufgenommen werden, nicht einfach bzw. translatorisch gegenseitig verschoben und aufeinander gelegt werden. In anderen Worten ausgedrückt, lassen sie sich nicht ohne Weiteres aneinanderfügen. Disparität nennt man den lateralen Versatz entlang der Richtung 15, 17 bzw. 19 in den Bildern der Bildsensorbereiche 12111214 bei Aufnahme einer gleichen Szene, die einander korrespondieren sich aber in unterschiedlichen Bildern befinden. Die Disparität einander korrespondierender Bildinhalte hängt aber wiederum von der Entfernung dieses Bildinhalts in der Szene ab, d. h. der Entfernung des entsprechenden Objekts von der Vorrichtung 10. Der Prozessor 85 könnte nun versuchen, Disparitäten unter den Bildern der Bildsensorbereiche 12111214 selbst auszuwerten, um diese Bilder miteinander zu einem ersten Gesamtbild, nämlich zu einem ”rechten Gesamtbild” zu verschmelzen. Nachteilig ist allerdings, dass die Interkanalabstand 19 zwar vorhanden ist, und damit eben erst das Problem hervorruft, dass der Interkanalabstand 19 aber andererseits auch relativ gering ist, so dass die Tiefenauflösung bzw. -abschätzung lediglich ungenau ist. Der Versuch, einander korrespondierende Bildinhalte in einem Überlappbereich zwischen zwei Bildern, wie z. B. in dem Überlappbereich 86 zwischen den Bildern der Bildsensorbereiche 1211 und 1212 beispielsweise mittels Korrelation zu ermitteln, ist deshalb schwierig.

Der Prozessor von 1 verwendet deshalb in dem Überlappbereich 86 zwischen den Teilgesichtsfeldern 3011 und 3012 zur Verschmelzung Disparitäten in einem Paar von Bildern, von denen eines durch einen der linken Kanäle 1421 oder 1422 aufgenommen ist, dessen abgebildetes zweites Teilgesichtsfeld, nämlich 3021 bzw. 3022, mit dem Überlappbereich 86 überlappt. Beispielsweise wertet der Prozess 85 zur Verschmelzung der Bilder der Bildsensorbereiche 1211 und 1212 Disparitäten in Bildern aus, von denen eines durch einen der Bildsensorbereiche 1221 oder 1222 und ein anderes durch einen der an dem Überlappbereich 86 beteiligten Kanäle aufgenommen ist, d. h. ein Bild, das durch einen der Bildsensorbereiche 1211 oder 1212 aufgenommen ist. Ein solches Paar besitzt dann einen Basisabstand von Grundbasisabstand 15 plus/minus einem oder keinem eines Kanalbasisabstands 19. Letzterer Basisabstand ist deutlich größer als ein einzelner Kanalbasisabstand 19, weshalb sich die Disparitäten in dem Überlappbereich 86 für den Prozessor 85 leichter ermitteln lassen. Der Prozessor 85 wertet deshalb für die Verschmelzung der Bilder der rechten Kanäle Disparitäten aus, die sich mit einem Bild der linken Kanäle ergibt und zwar vorzugsweise, aber nicht ausschließlich, zwischen Bildern von einem der rechten Kanäle und einem der linken Kanäle.

Spezifischer ausgedrückt, ist es möglich, dass der Prozessor 85 denjenigen Teil des Teilgesichtsfeldes 3011, der nicht mit einem der anderen Teilgesichtsfelder der rechten Kanäle überlappt, mehr oder weniger direkt aus dem Bild 1211 übernimmt und das Gleiche unternimmt für die nicht-überlappenden Bereiche der Teilgesichtsfelder 3012, 3013 und 3014 auf Basis der Bilder der Bildsensorbereiche 12121214, wobei die Bilder der Bildsensorbereiche 12111214 beispielsweise gleichzeitig aufgenommen wurden. Lediglich in den Überlappbereichen benachbarter Teilgesichtsfelder, wie z. B. der Teilgesichtsfelder 3011 und 3012, zieht dann der Prozessor 85 Disparitäten aus Bildpaaren heran, deren Überlapp im Gesamtgesichtsfeld 28 im Überlappbereich überlappt, aber von denen in der Mehrzahl aber nicht ausschließlich eines durch einen der rechten Kanäle aufgenommen wurde und das andere durch einen der linken Kanäle, wie z. B. wiederum zur gleichen Zeit.

Gemäß einer alternativen Vorgehensweise wäre es allerdings ebenfalls möglich, dass der Prozessor 85 alle Bilder des rechten Kanals warpt, und zwar gemäß einer Auswertung von Disparitäten zwischen Paaren von Bildern, von denen jeweils eines durch die rechten Kanäle und das andere durch die linken Kanäle aufgenommen wurde. So könnte beispielsweise das Gesamtbild, das durch den Prozessor 85 für die Bilder der rechten Kanäle berechnet wird, virtuell nicht nur im Überlappbereich der Teilgesichtsfelder 30113014 der rechten Kanäle, sondern auch in dem Nicht-Überlappbereich virtuell auf einen Blick-Punkt ”gewarpt” werden, der beispielsweise lateral in der Mitte zwischen den rechten Kanälen 14111414 liegt, und zwar indem auch für diejenigen Bereiche der Teilgesichtsfelder 30113014, die sich nicht gegenseitig überlappen, Disparitäten aus Bildpaaren durch den Prozessor 85 ausgewertet werden, bei denen ein Bild durch einen der rechten Kanäle und ein anderes Bild durch einen der linken Kanäle aufgenommen wurde.

Die 3D-Multiaperturabbildungsvorrichtung 10 von 1 ist nicht nur in der Lage, ein Gesamtbild aus den Bildern der rechten Kanäle zu erzeugen, sondern die 3D-Multiaperturabbildungsvorrichtung 10 von 1 ist zumindest auch in einem Betriebsmodus in der Lage, aus einer Aufnahme zusätzlich zu dem Gesamtbild der ersten Kanäle auch ein Gesamtbild der Bilder der linken Kanäle und/oder zusätzlich zu dem Gesamtbild der rechten Kanäle eine Tiefenkarte zu erzeugen.

Gemäß der ersten Alternative ist der Prozessor 85 beispielsweise ausgebildet, um Bilder, die durch die linken optischen Kanäle 14211424 bzw. die Bildsensorbereiche 12211224 aufgenommen sind, zu einem zweiten Gesamtbild zu verschmelzen, nämlich einem Gesamtbild linken Kanals, und dabei in einem Überlappbereich von lateral benachbarten der Teilgesichtsfelder 30213024 der linken optischen Kanäle Disparitäten in einem Paar von Bildern zu verwenden, von denen in der Mehrzahl aber nicht ausschließlich eines durch einen rechten optischen Kanal 14111414 aufgenommen ist und mit dem entsprechenden Überlappbereich des Paars von Teilgesichtsfeldern 30213024 überlappt, und das andere vorzugsweise durch einen der linken optischen Kanäle aufgenommen ist, dessen Teilgesichtsfeld mit dem jeweiligen Überlappbereich überlappt.

Gemäß der ersten Alternative gibt also für eine Aufnahme der Prozessor 85 zwei Gesamtbilder aus, nämlich eines für die rechten optischen Kanäle und das andere für die linken optischen Kanäle. Diese beiden Gesamtbilder könnten beispielsweise einem Benutzer der beiden Augen des Benutzers getrennt zugeführt werden und somit zu einem dreidimensionalen Eindruck der aufgenommenen Szene führen.

Gemäß der anderen vorerwähnten Alternative erzeugt der Prozessor 85 zusätzlich zu dem Gesamtbild zu den rechten Kanälen eine Tiefenkarte, und zwar unter Verwendung von Disparitäten in Paaren von Bildern, die zumindest für jedes der rechten Kanäle 14111414 zumindest ein Paar aufweisen, das ein Bild aufweist, das durch den jeweiligen rechten Kanal aufgenommen ist, und ein weiteres Bild, das durch eines der linken Kanäle aufgenommen ist.

Bei dem Ausführungsbeispiel, bei dem die Tiefenkarte durch den Prozessor 85 erzeugt wird, ist es auch möglich, dass vorerwähnte Warpen für die gesamten Bilder, die durch die rechten Kanäle aufgenommen sind, auf Basis der Tiefenkarte vorzunehmen. Da die Tiefenkarte über das Gesamtgesichtsfeld 28 hinweg Tiefeninformationen aufweist, ist es möglich, die gesamten Bilder, die durch die rechten Kanäle aufgenommen sind, d. h. nicht nur in den Überlappbereichen derselben, sondern auch in den Nicht-Überlapp-bereichen, auf einen virtuellen gemeinsamen Aperturpunkt bzw. ein virtuelles optisches Zentrum zu warpen.

Die beiden Alternativen können auch beide durch den Prozessor 85 abgearbeitet werden: Er könnte zunächst die beiden Gesamtbilder, nämlich eines für die rechten optischen Kanäle und das andere für die linken optischen Kanäle, wie oben beschrieben erzeugen, indem bei der Verschmelzung der Bilder der rechten Kanäle in den Überlappbereichen zwischen den Bildern der rechten Kanäle auch Disparitäten aus Paaren von Bildern verwendet werden, von denen eines zu den Bildern der linken Kanäle gehört, und bei der Verschmelzung der Bilder der linken Kanäle in den Überlappbereichen zwischen den Bildern der linken Kanäle auch Disparitäten aus Paaren von Bildern verwendet werden, von denen eines zu den Bildern der rechten Kanäle gehört, um dann aus den so gewonnen Gesamtbildern, die die Szene in dem Gesamtgesichtsfeld aus unterschiedlichen Perspektiven darstellen, ein Gesamtbild mit zugehöriger Tiefenkarte zu erzeugen, wie z. B. ein Gesamtbild, das zu einer virtuellen Ansicht bzw. bzw. zu einem virtuellen optischen Zentrum zwischen den optischen Zentren der Optiken der rechten und linken optischen Kanäle liegt, möglicher Weise aber nicht ausschließlich mittig dazwischen. Zur Berechnung der Tiefenkarte und zum Warpen eines der beiden Gesamtbilder oder Warpen und Verschmelzen beider Gesamtbilder in die virtuelle Ansicht verwendete der Prozessor 85 dann das rechte und linke Gesamtbild, quasi als Zwischenergebnis aus der vorangegangenen Verschmelzung der linken bzw. rechten Einzelbilder. Der Prozessor wertete hier also Disparitäten in den beiden Zwischenergebnisgesamtbildern aus, um die Tiefenkarte zu erhalten und das Warpen oder Warpen/Verschmelzen derselben durchzuführen.

Es sei erwähnt, dass der Prozessor die Auswertung von Disparitäten in einem Paar von Bildern beispielsweise vermittels Kreuzkorrelation von Bildbereichen durchführt.

2 zeigt noch, dass der Prozessor 85 als Basis zur Verschmelzung von Bildern, die durch ein Paar von Bildsensoren ausgenommen wurden, auf die ein Paar von Optiken der linken Kanäle ein Paar von unmittelbar benachbarten Teilgesichtsfeldern abbildet, wie es exemplarisch für die Teilgesichtsfelder 3011 und 3012 der Fall ist, über diese Paar von Bildern hinaus noch Disparitäten in einem oder mehreren weiteren der insgesamt (42), d. h. „Zwei aus Vier”, Disparitätsquellen verwenden kann, d. h. Paare von Bildern von Bildsensorbereichen, die Disparitäten zu Szenenobjekten in dem Überlappbereich zwischen diesem Paar von unmittelbar benachbarten Teilgesichtsfeldern betreffen. In 2 ist dies exemplarisch für den kreuzschraffierten Überlappbereich zwischen den Teilgesichtsfelder 3011 und 3012 angedeutet: Neben dem zu verschmelzenden Paar von Bildern der rechten Kanäle 1411 und 1412 selbst (Disparitätsquelle 1) existieren vier Paare von Bildern, von denen eines durch einen rechten Kanal und eines durch einen linken Kanal auf einen jeweiligen Bildsensorbereich abgebildet und von letzterem aufgenommen wird (Disparitätsquelle 2, 3, 4, 5), nämlich Bilder die vermittels der Kanäle 1411 und 1421 aufgenommen sind (Disparitätsquelle 2), Bilder die vermittels der Kanäle 1411 und 1422 aufgenommen sind (Disparitätsquelle 3), Bilder die vermittels der Kanäle 1412 und 1422 aufgenommen sind (Disparitätsquelle 4) und Bilder die vermittels der Kanäle 1412 und 1421 aufgenommen sind (Disparitätsquelle 5). Ferner existiert ein Paar von Bildern, von denen beide durch einen linken Kanal auf einen jeweiligen Bildsensorbereich abgebildet und von letzterem aufgenommen wird (Disparitätsquelle 6, Paarung 1421 mit 1422). Der Prozessor kann einen oder mehrere der zusätzlichen Quellen 2 bis 5 zur Verschmelzungsunterstützung verwenden. Berechnet der Prozessor 85 gemäß oben angesprochener Alternative auch eine Tiefenkarte für das Gesamtgesichtsfeld 28, so kann der Prozessor entsprechend der Vorgehensweise bei der Bildverschmelzung die Tiefenkarte an jedem Punkt des Gesichtsfeldes 28 aus der Auswertung der Disparitäten von mehr als einem Paar von Bildern bestimmen, von denen eines durch einen rechten Kanal und eines durch einen linken Kanal auf einen jeweiligen Bildsensorbereich abgebildet und von letzterem aufgenommen wird, nämlich an Punkten, an denen sich über das Teilgesichtsfeld eines rechten Kanals und das Teilgesichtsfeld eines linken Kanals hinaus noch ein anderes Paar gegenseitig überlappt. In 2 ist dies lediglich an den Überlappbereichen von Teilgesichtsfeldern rechter Kanäle der Fall, die aufgrund der Kongruenz mit den Teilgesichtsfeldern linker Kanäle mit den Überlappbereichen von Teilgesichtsfeldern linker Kanäle identisch sind, aber bei anderen Ausführungsbeispielen liegt die Kongruenz gegebenenfalls vielleicht nicht vor.

Es sei erwähnt, dass bei einer anderen Abdeckung des Gesamtgesichtsfeldes 28 durch die Teilgesichtsfelder der linken Kanäle einerseits und durch die Teilgesichtsfelder der rechten Kanäle andererseits sich ggf. auch mehr als vier Kanäle (unbeachtlich ihrer Zugehörigkeit zu den linken oder rechten Kanälen) einander gegenseitig überlappen, wie es z. B. ja auch an dem gegenseitigen Überlapp zwischen den Überlappbereichen von in Zeilenrichtung oder Spaltenrichtung benachbarten Teilgesichtsfeldern der bisherigen Beispiele der Fall war, wo die Teilgesichtsfelder der rechten Kanäle sowie die Teilgesichtsfelder der linken Kanäle jeweils für sich in Spalten und Zeilen angeordnet waren. Dann gilt für die Anzahl an Disparitätsquellen ganz allgemein, dass sie (N2), wobei N die Anzahl der Kanäle mit sich miteinander überlappenden Teilgesichtsfeldern bezeichne.

Zusätzlich zur vorhergehenden Beschreibung sei noch erwähnt, dass der Prozessor 85 optional u. a. noch eine kanalweise Korrektur perspektivischer Abbildungsstörungen des jeweiligen Kanals vornimmt.

Es sei darauf hingewiesen, dass das Ausführungsbeispiel von 1 in vielerlei Hinsicht lediglich exemplarisch war. Das betrifft beispielsweise die Anzahl an optischen Kanälen. Beispielsweise beträgt die Anzahl an rechten optischen Kanälen nicht Vier, sondern ist irgendwie größer gleich 2 oder liegt zwischen 2 und 10, beides inklusive, und der Überlappbereich der Teilgesichtsfelder der rechten optischen Kanäle kann, soweit für jedes Teilgesichtsfeld bzw. jeden Kanal, das Paar mit dem größten Überlapp zu dem jeweiligen Teilgesichtsfeld betrachtet wird, flächenmäßig für all diese Paare zwischen 1/2 und 1/1000 einer mittleren Bildgröße der Bilder, die von den Bildbereichen 12111214 aufgenommen werden, liegen, gemessen beispielsweise in der Bildebene, d. h. der Ebene der Bildsensorbereiche. Gleiches gilt beispielsweise für die linken Kanäle. Die Anzahl kann allerdings zwischen den rechten Kanälen und den linken Kanälen unterschiedlich sein. Das heißt, dass die Anzahl der linken optischen Kanäle, NL, und rechten optischen Kanäle, NR, nicht unbedingt gleich sein muss und eine Aufteilung des Gesamtgesichtsfeldes 28 in die Teilgesichtsfelder der linken Kanäle und die Teilgesichtsfelder der rechten Kanäle nicht in etwa gleich zu sein hat, wie dies bei 1 der Fall war. Hinsichtlich der Teilgesichtsfelder und deren Überlapp kann es sich beispielsweise so verhalten, dass die Teilgesichtsfelder beispielsweise um mindestens 20 Pixel ineinander ragen, soweit eine Bildentfernung bzw. Objektentfernung von 10 m betrachtet wird, jedenfalls für alle Paare mit größtem Überlapp, wobei dies für die rechten Kanäle ebenso wie für die linken Kanäle gelten kann.

Anders als im Vorhergehenden erörtert, ist es zudem nicht notwendig, dass die linken optischen Kanäle bzw. die rechten optischen Kanäle einzeilig gebildet sind. Die linken und/oder die rechten Kanäle könnten auch ein zweidimensionales Array von optischen Kanälen bilden. Zudem ist es nicht notwendig, dass die einzeiligen Arrays eine kollineare Zeilenerstreckungsrichtung aufweisen. Die Anordnung von 1 ist allerdings vorteilhaft, da sie zu einer minimalen Bauhöhe senkrecht zu der Ebene ergibt, in welcher die optischen Achsen der optischen Kanäle, d. h. sowohl der rechten als auch der linken Kanäle, vor bzw. ohne Strahlumlenkung, führt. Hinsichtlich des Bildsensors 12 war bereits erwähnt worden, dass selbiger aus ein, zwei oder mehreren Chips gebildet sein kann. Beispielsweise könnte ein Chip pro Bildsensorbereich 12111214 und 12211224 vorgesehen sein, wobei in dem Fall mehrerer Chips selbige auf einem oder mehreren Platinen befestigt sein können, wie z. B. eine Platine für die linken Kanäle bzw. die Bildsensoren der linken Kanäle und eine Platine für die Bildsensoren der rechten Kanäle.

Bei dem Ausführungsbeispiel von 1 ist es also möglich, benachbarte Kanäle innerhalb der Kanäle der rechten oder linken Kanäle so dicht wie möglich zu platzieren, wobei im optimalen Fall der Kanalabstand 19 dem Linsendurchmesser entspricht. Hieraus ergibt sich ein geringer Kanalabstand und mithin eine geringe Disparität. Die rechten Kanäle einerseits und die linken Kanäle andererseits können aber zueinander mit einem beliebigen Abstand 15 angeordnet werden, so dass sich große Disparitäten realisieren lassen. Insgesamt ergibt sich die Möglichkeit einer artefaktreduzierten oder auch -freien Bildfusion und eine Erstellung von Tiefenkarten mit einem passiven optischen Abbildungssystem.

Gegenüber obigen Beispielen wäre es möglich, mehr als nur zwei Gruppen von Kanälen 141 und 142 zu verwenden, sondern mehr. Die Gruppenanzahl könnte mit N bezeichnet werden. Wären dann auch in diesem Fall die Anzahl von Kanälen pro Gruppe gleich sowie die Gesamtgesichtsfeldaufteilung in Teilgesichtsfelder für alle Gruppen gleich, dann ergäbe sich pro Überlappbereich von Teilgesichtsfeldern der Gruppe 141 beispielsweise eine Anzahl von Disparitätsquellen von (N22). Eine unterschiedliche Gesamtgesichtsfeldaufteilung für die Gruppen von Kanälen ist aber ebenfalls denkbar, wie oben schon erwähnt wurde.

Schließlich wird darauf hingewiesen, dass bei der vorhergehenden Beschreibung lediglich der exemplarische Fall aufgegriffen wurde, dass Prozessor 85 die Bilder der rechten Kanäle verschmelzt. Selbiges Vorgehen könnte von dem Prozessor 85 wie im vorhergehenden erwähnt für beide bzw. alle Kanalgruppen durchgeführt werden, oder auch für die linke oder dergleichen.

Die 3D-Multiaperturabbildungsvorrichtung von 1 kann beispielsweise in ein flaches Gehäuse eines mobilen Geräts, wie z. B. eines Mobiltelefons, eingebaut sein. Dabei kann die Ebene der Bildsensorbereiche 12111214 und 12211224 sowie jegliche Linsenebene der Optiken der linken und rechten Kanäle parallel zu einer Dickenrichtung des flachen Gehäuses verlaufen. Durch die Strahlumlenkung durch die Strahlumlenkvorrichtung 241 bzw. 242 läge das Gesamtgesichtsfeld der 3D-Multiaperturabbildungsvorrichtung beispielsweise vor einer Vorderseite, in welcher beispielsweise ein Bildschirm des mobilen Geräts positioniert ist, oder vor einer Rückseite des mobilen Geräts.

3 illustriert beispielswiese, wie die Vorrichtung 10 der vorher beschrieben Alternativen beispielsweise in einem flachen Gehäuse eines tragbaren Geräts 200 eingebaut ist, das zum Beispiel eines Mobiltelefons, ein Smartphone oder ein Mediaplayers oder dergleichen sein kann. Die Ebene der Bildsensorbereiche der Teile 121 und 122 und die Linsenebenen der Optiken der Kanäle 141 und 142 sind senkrecht zu der flachen Erstreckungsrichtung des flachen Gehäuses bzw. parallel zur Dickenrichtung ausgerichtet. Auf diese Weise würde beispielsweise die Strahlumlenkvorrichtung 241 bzw. 242 dafür sorgen, dass das Gesamtgesichtsfeld der Multiaperturabbildungsvorrichtung 10 vor einer Vorderseite 202 des flachen Gehäuses liegt, das beispielsweise auch einen Bildschirm aufweist. Alternativ wäre auch eine Umlenkung derart möglich, dass sich das Gesichtsfeld vor einer Rückseite des flachen Gehäuses, die der Vorderseite 202 gegenüberliegt, befindet. Das Gehäuse könnte ein transparentes Fenster 206 in der durchdrungenen Seite 202 aufweisen, um die Strahlengänge der Gruppen von optischen Kanälen, 141 und 142, durchzulassen. Das Gehäuse des Geräts 200 bzw. das Gerät selbst kann flach sein, da durch die illustrierte Lage der Vorrichtung 10 in dem Gehäuse, die Bauhöhe der Vorrichtung 10, die zur Dicke des Gehäuses parallel ist, gering gehalten werden kann. Ein Verbau der Vorrichtung 10 in ein anderes ggf. nicht tragbares Gerät, wie z. B. eine Auto, wäre natürlich ebenfalls möglich.

Zu der Strahlumlenkvorrichtung 241 bzw. 242 ist zu sagen, dass selbige ein optionales Element darstellt. Die Divergenz der Strahlengänge der optischen Kanäle, d. h. der rechten Kanäle unter sich einerseits und der linken Kanäle unter sich andererseits, könnte auch auf andere Weise erzeugt werden als unter Verwendung einer jeweiligen Strahlumlenkvorrichtung 241242. Beispielsweise könnten die optischen Zentren der Optiken der optischen Kanäle zu den zugehörigen Bildsensorbereichen lateral versetzt sein, um eine lediglich teilweise, d. h. unvollständige, Überlappung der Teilgesichtsfelder unter den linken Kanälen einerseits und unter den rechten Kanälen andererseits zu erzeugen.

Um das noch einmal näher zu veranschaulichen, zeigt 4 noch einmal ein konkretes Beispiel für die Konfiguration gemäß 1, bei der in jedem Modul 1 und 2 die jeweilige Umlenkvorrichtung 241 bzw. 242 die Divergenz aus zunächst zueinander parallelen optischen Achsen 221 bzw. 222 der optischen Kanäle 141# bzw. 142# erzeugt. 4 veranschaulicht der Einfachheit halber nur das Modul 1 mit den rechten Kanälen, aber die Darstellung und Beschreibung gilt natürlich in gleicher Weise für Modul 2.

4 zeigt, dass jeder optische Kanal 1411, 1412, 1413, 1414 vermittels der zugehörigen Optik 16111614 den jeweiligen kanalindividuellen Ausschnitt 30113014 des Gesamtgesichtsfeldes 28 auf den jeweiligen Bildsensorbereich 1211, 1212, 1213 bzw. 1214 des Bildsensors 121 abbildet. Die Optiken 16111614 bestehen beispielsweise jeweils aus einer Linse oder einer Gruppe von Linsen, die, wie es in 4 gezeigt ist, durch einen gemeinsamen Halter 181 gehaltert sein können. Der Halter 181 ist exemplarisch aus transparentem Material gebildet und wird von den Strahlengängen der optischen Kanäle durchdrungen, aber andere Alternativen für Halter existieren natürlich ebenfalls. Die Bildsensorbereiche 12111214 sind in einer gemeinsamen Ebene angeordnet, nämlich der Bildebene der optischen Kanäle 141. In 4 ist diese Ebene exemplarisch parallel zu der Ebene, die durch eine x- und eine y-Achse eines kartesischen Koordinatensystems aufgespannt wird, das in 1 zur Vereinfachung der nachfolgenden Beschreibung eingezeichnet und mit dem Bezugszeichen 20 versehen ist. In einem Ausführungsbeipiel wäre es die gleich Ebene, in welcher die Bildsensorbereiche 12211224 liegen. In einer Ebene parallel zum Bildsensor 12, d. h. parallel zur xy-Ebene, liegen nun beispielsweise auch die Optiken 16111614 nebeneinander angeordnet. In dem Beispiel von 4 sind die relativen Positionen der Bildsensorbereiche 12111214 in der Bildsensorebene zudem kongruent zu den relativen Positionen der Optiken 16111614 und die Optiken 16111614 entlang der x- und y-Achse, d. h. lateral, relativ zu dem Bildsensor 121 so positioniert, dass optische Zentren der Optiken 161164 zentriert zu Zentren der Bildsensorbereiche 12111214 angeordnet sind. Das bedeutet, dass bei dem Beispiel von 4 optische Achsen 22112214 der optischen Kanäle 14111414 zunächst parallel zueinander und parallel zu der z-Achse des Koordinatensystems 20 verlaufen, zu welchen optischen Achsen die Bildsensorbereiche 12111214 und die Optiken 16111614 zentriert positioniert sind. Die Ebene der optischen Zentren wäre gemäß einem Ausführungsbeispiel zwischen den Modulen 1 und 2 wieder gleich. Das optional vorhandene Substrat 181 könnte für jedes Modul getrennt vorgesehen sein oder die Optiken beider Module tragen. Es ist es möglich, dass die Vorrichtung über eine oder mehrere Einrichtungen verfügt, die in der Lage sind, eine relative Lage der Optiken 16111614 zu den Bildsensorbereichen 12111214 in lateraler Richtung, d. h. in x- und/oder y-Richtung, zu verändern, wie z. B. zur Bildstabilisierung. Die Optiken 16111614 bilden Objekte in einer Szene in dem Gesamtgesichtsfeld 28 auf die zugehörigen Bildsensorbereiche 12111214 ab und sind dazu in einer entsprechenden Entfernung bzw. unter einem entsprechenden Abstand von dem Bildsensor 121 positioniert. Während dieser Abstand auch fest eingestellt sein könnte, könnte alternativ eine Einrichtung zum Ändern dieses Bildsensor-zu-Optiken Abstands vorgesehen sein, wie z. B. zur manuellen oder automatischen Fokusänderung. Die Strahlumlenkvorrichtung, 241 lenkt nun die Strahlengänge bzw. die optischen Achsen 22112214 der Mehrzahl von optischen Kanäle 14 um, so dass das Gesamtgesichtsfeld 28 nicht in der Richtung der z-Achse liegt, sondern woanders. 4 stellt den exemplarischen Fall dar, dass das Gesamtgesichtsfeld 28 nach Umlenkung im Wesentlichen entlang der y-Achse liegt, d. h. die Umlenkung im Wesentlichen in der zy-Ebene erfolgt. Nun sind, wie es im Vorhergehenden beschrieben wurde, bei dem Ausführungsbeispiel von 4 die optischen Achsen 22112214 vor der bzw. ohne die Umlenkung durch die Strahlumlenkvorrichtung 241 bzw. an beispielsweise den Optiken 16111614 parallel zueinander. Die damit korrespondierende zentrierte Positionierung von Optiken 16111614 sowie der Bildsensorbereiche 12111214 ist einfach herzustellen und günstig hinsichtlich der Minimierung des Bauraums. Die Parallelität der Strahlengänge der optischen Kanäle bedingt aber auch, dass sich die Teilgesichtsfelder, die durch die einzelnen Kanäle 14111414 abgedeckt bzw. auf die jeweiligen Bildsensorbereiche 12111214 abgebildet werden, ohne weitere Maßnahmen, wie nämlich die Strahlumlenkung, nahezu vollständig überlappen würden. Um ein größeres Gesamtgesichtsfeld 28 abzudecken, besteht nun eine weitere Funktion der Strahlumlenkvorrichtung 241 von 4 darin, die optischen Achsen der Strahlengänge so mit einer Divergenz zu versehen, d. h. die Strahlengänge abzulenken, dass sich die Teilgesichtsfelder 30113014 der Kanäle 14111414 weniger gegenseitig überlappen. Bei dem Beispiel von 4 weisen dazu die den einzelnen optischen Kanälen zugeordneten Facetten 26112614 der Umlenkvorrichtung 241 unterschiedliche Neigung gegenseitig zueinander bzw. relativ zum Bildsensor 121 auf, und zwar Neigungen sowohl um die x-Achse als auch senkrecht dazu.

Nun wurde bereits weiter oben darauf hingewiesen, dass die Strahlengänge bzw. optischen Achsen von einer Parallelität vor bzw. Strahlumlenkung abweichen könnten. Dieser Umstand wird im Folgenden damit umschrieben, dass die Kanäle mit einer Art Vorab-Divergenz der optischen Achsen versehen sein können. Mit dieser Vorab-Divergenz der optischen Achsen 22112214 wäre es möglich, dass sich beispielsweise nicht alle Facettenneigungen unterscheiden, sondern dass manche Gruppen von Kanälen beispielsweise die Facetten mit gleicher Neigung besitzen. Letztere können dann einstückig bzw. kontinuierlich ineinander übergehend gebildet werden, quasi als eine Facette, die dieser Gruppe von in Zeilenerstreckungsrichtung benachbarten Kanälen zugeordnet ist. Die Divergenz der optischen Achsen dieser Kanäle könnte dann von der Divergenz dieser optischen Achsen stammen, wie sie durch lateralen Versatz zwischen optischen Zentren der Optiken und Bildsensorbereichen der Kanäle erzielt wird. Die Vorab-Divergenz könnte sich beispielsweise auf eine Ebene beschränken. Die optischen Achsen könnten beispielsweise vor bzw. ohne Strahlumlenkung in einer gemeinsamen Ebene verlaufen, aber in dieser divergent, und die Facetten bewirken lediglich nur noch eine zusätzliche Divergenz, d. h. Ablenkung oder auch Richtungsänderung in der anderen Transversalebene, d. h. sind alle parallel zur Zeilenerstreckungsrichtung und gegeneinander nur noch unterschiedlich zur vorerwähnten gemeinsamen Ebene der optischen Achsen geneigt, wobei hier wiederum mehrere Facetten gleichen Neigung besitzen können bzw. einer Gruppe von Kanälen gemeinsam zugeordnet sein könnten, deren optischen Achsen sich beispielsweise bereits in der vorerwähnten gemeinsamen Ebene der optischen Achsen paarweise vor bzw. ohne Strahlumlenkung unterscheiden.

Die erwähnte möglicher Weise vorliegende Vorab-Divergenz kann beispielsweise erzielt werden, indem die optischen Zentren der Optiken auf einer Geraden entlang der Zeilenerstreckungsrichtung liegen, während die Zentren der Bildsensorbereiche von der Projektion der optischen Zentren entlang der Normalen der Ebene der Bildsensorbereiche auf Punkte auf einer Geraden in der Bildsensorebene abweichend angerordnet sind, wie z. B. an Punkten, die von den Punkten auf vorerwähnter Gerade in der Bildsensorebene kanalindividuell entlang der Zeilenerstreckungsrichtung und/oder entlang der Richtung senkrecht zur sowohl der Zeilenerstreckungsrichtung als auch der Bildsensornormalen abweichen. Alternativ kann Vorab-Divergenz erzielt werden, indem die Zentren der Bildsensoren auf einer Geraden entlang der Zeilenerstreckungsrichtung liegen, während die Zentren der Optiken von der Projektion der optischen Zentren der Bildsensoren entlang der Normalen der Ebene der optischen Zentren der Optiken auf Punkte auf einer Geraden in der Optikzentrenebene abweichend angerordnet sind, wie z. B. an Punkten, die von den Punkten auf vorerwähnter Gerade in der Optikzentrenebene kanalindividuell entlang der Zeilenerstreckungsrichtung und/oder entlang der Richtung senkrecht zur sowohl der Zeilenerstreckungsrichtung als auch der Normalen der Optikzentrenebene abweichen. Es wird bevorzugt, wenn vorerwähnte kanalindividuelle Abweichung von der jeweiligen Projektion lediglich in Zeilenerstreckungsrichtung verläuft, also die optischen Achsen sich lediglich in einer gemeinsamen Ebene befinden mit einer Vorabdivergenz versehen werden. Sowohl optische Zentren als auch Bildsensorbereichszentren liegen dann jeweils auf einer Geraden parallel zur Zeilenerstreckungsrichtung, aber mit unterschiedlichen Zwischenabständen. Ein lateraler Versatz zwischen Linsen und Bildsensoren in senkrechter lateraler Richtung zur Zeilenerstreckungsrichtung führte demgegenüber zu einer Vergrößerung der Bauhöhe. Ein rein In-Ebene-Versatz in Zeilenerstreckungsrichtung ändert die Bauhöhe nicht, aber es resultieren ggf. weniger Facetten und/oder die Facetten weisen nur eine Kippung in einer Winkelorientierung auf, was den Aufbau vereinfacht. Das ist in 5a und 5b veranschaulicht, bei denen die benachbarten Kanäle 1411 und 1412 einerseits und die benachbarten Kanäle 1413 und 1414 in der gemeinsamen Ebene verlaufende, jeweils gegeneinander schielende, also mit einer Vorab-Divergenz versehene, optische Achsen 2211 und 2212 bzw. 2213 und 2214 aufweisen. Die Facetten 2611 und 2612 können durch eine Facette gebildet werden und die Facetten 2613 und 2614 können durch eine andere Facette gebildet werden, wie es durch gestrichelte Linien zwischen den jeweiligen Paaren von Facetten gezeigt ist, und die einzigen zwei Facetten sind lediglich in einer Richtung geneigt und beide parallel zur Zeilenerstreckungsrichtung.

Es sei darauf hingewiesen, dass alternativ zu 5a und 5b auch die optischen Kanäle 1 und 2 zueinander konvergent sowie die der Kanäle 3 und 4 andererseits zueinander konvergent verlaufen könnten, und die beiden Paare wiederum zueinander divergent, wobei aber wiederum alle optischen Achsen in einer Ebene verlaufen. Die Facetten könnten auf diese Wiese in Zeilenerstreckungsrichtung kleiner ausgeführt sein.

Noch einmal sei darauf hingewiesen, dass die 4 und 5a, b lediglich der Übersichtlichkeit halber lediglich ein Modul zeigten, dass das jeweils andere Modul aber ebenso aufgebaut sein kann. Ferner sei noch einmal erwähnt, dass die Anzahl an Kanälen pro Modul nicht auf vier beschränkt ist.

Ferner könnte es vorgesehen sein, dass in einem Modul manche optische Kanäle dem gleichen Teilgesichtsfeld zugeordnet sind, wie z. B. zum Zwecke der Superresolution bzw. zur Erhöhung der Auflösung, mit welcher das entsprechende Teilgesichtsfeld durch diese Kanäle abgetastet wird. Die optischen Kanäle innerhalb einer solchen Gruppe verliefen dann beispielsweise vor Strahlumlenkung parallel und würden durch eine Facette auf ein Teilgesichtsfeld umgelenkt werden. Vorteilhafter Weise lägen Pixelbilder des Bildsensors eines Kanals einer Gruppe in Zwischenpositionen zwischen Bildern der Pixel des Bildsensors eines anderen Kanals dieser Gruppe. Ferner gilt für die Strahlumlenkvorrichtung und den Bildsensor ähnliches wie im Vorhergehenden zu dem Optiksubstrat erwähnt, nämlich dass sich die Module 1 und 2 auch ein jeweiliges Element teilen könnten. Die Strahlumlenkvorrichtung könnte zu Bildstabilisierungszwecken drehbar um eine Achse parallel zu der x-Achse sein. Zusammen mit der translatorischen Bewegung der Optiken entlang der x-Achse ergibt das eine Bildstabilisierung des Gesamtgesichtsfeldes in zwei Richtungen, wobei über eine translatorische Bewegung der Optiken entlang der z-Achse die Fokussteuerung realisierbar ist.