Title:
Rundumüberwachungssystem
Kind Code:
A1
Abstract:

Die vorliegende Erfindung betrifft eine Vorrichtung zur Erfassung optischer Bildinformationen, wobei die Vorrichtung einen Sensor sowie ein Mikrolinsen-Array aufweist. Der Sensor weist eine Vielzahl von Bildpunkten auf, wobei das Mikrolinsen-Array oberhalb des Sensors angeordnet ist. Eine Mehrzahl von Bildpunkten ist unter jeder Mikrolinse angeordnet. Der Sensor ist auf einer nicht ebenen Fläche angeordnet. Die Vorrichtung ermöglicht eine optische Erfassung von mindestens 270°.



Inventors:
Ebeling, Bastian, Dr. (25495, Kummerfeld, DE)
Popall, Christian, Dipl.-Ing. (22303, Hamburg, DE)
Application Number:
DE102015215232A
Publication Date:
02/16/2017
Filing Date:
08/10/2015
Assignee:
ThyssenKrupp AG, 45143 (DE)
ThyssenKrupp Marine Systems GmbH, 24143 (DE)
Domestic Patent References:
DE102011103555A1N/A2012-12-13
DE19651566A1N/A1998-06-18
Foreign References:
CA2570955A12008-06-12
EP24225252012-02-29
EP22444842010-10-27
82894402012-10-16
Other References:
V.K. Narasimhan, Y. Cui: Nanofabricated optical and detector elements for light-field camera sensors. In: Proc. of SPIE Vol. 8463, 2012, 84630F-1 bis 84630F-8
Claims:
1. Vorrichtung zur Erfassung optischer Bildinformationen, wobei die Vorrichtung einen Sensor sowie ein Mikrolinsen-Array aufweist, wobei der Sensor eine Vielzahl von Bildpunkten aufweist, wobei das Mikrolinsen-Array oberhalb des Sensors angeordnet ist, wobei eine Mehrzahl von Bildpunkten unter jeder Mikrolinse angeordnet ist, dadurch gekennzeichnet, dass der Sensor auf einer nicht ebenen Fläche angeordnet ist und die Vorrichtung eine optische Erfassung von mindestens 270° ermöglicht.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Sensor polygonal, gebogen oder zylinderförmig ausgebildet ist.

3. Vorrichtung nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass jeder Bildpunkt aus wenigstes zwei Subpixeln aufgebaut ist.

4. Vorrichtung nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass jeder Bildpunkt zusätzlich einen Infrarot-sensitiven Subpixel aufweist.

5. Vorrichtung nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass jeder Bildpunkt zusätzlich einen UV-sensitiven Subpixel aufweist.

6. Schiff mit einer Vorrichtung nach einem der vorstehenden Ansprüche.

7. Schiff nach Anspruch 6, dadurch gekennzeichnet, dass die Vorrichtung in einem Periskop angeordnet ist.

8. Verwendung einer Vorrichtung nach einem der Ansprüche 1 bis 5 zur Überwachung auf einem Schiff.

9. Verfahren zur Überwachung auf einem Schiff umfassen folgende Verfahrensschritte:
a) Erfassen von Bildinformation mittels einer Vorrichtung nach einem der Ansprüche 1 bis 5,
b) Bearbeitung der Bildinformationen aus Schritt a) zur Erzeugung konventioneller Bilddaten mit verschiedenem Fokus,
c) Identifikation von Gefahren aus den Bilddaten gemäß Schritt b),
d) ermitteln der Entfernung der in Schritt c) identifizierten Gefahr aus den Fokuswerten der Bilddaten.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Verfahrensschritte a) bis c) kontinuierlich wiederholt werden, bis eine Gefahr identifiziert werden kann.

Description:

Die Erfindung betrifft eine Lichtfeldkamera zur Überwachung insbesondere auf Schiffen.

Eine Lichtfeldkamera erfasst nicht nur ein Bild wie eine herkömmliche Kamera, sondern erfasst Intensität und Richtung der einzelnen Lichtstrahlen, welche auf die Lichtfeldkamera treffen. Dieses wird ermöglicht, in dem vor dem eigentlichen Sensor eine Vielzahl von Mikrolinsen angeordnet ist. Unter einer Mikrolinse befindet sich jeweils eine Mehrzahl an Bildpunkten, auch Pixel genannt. Hierdurch werden Lichtstrahlen, welche aus verschiedener Richtung eintreffen, auf verschiedenen Pixeln erfasst. Vorteil dieser Technologie ist zum einen, dass ein vorheriges fokussieren nicht notwendig ist. Aus den Rohdaten kann ein konventionelles Bild für jede beliebige Fokussierung errechnet werden. Hierdurch ist eine extrem schnelle Erfassung möglich, da das Fokussieren entfällt. Zum anderen ergibt sich die Möglichkeit Bilder mit nahezu unendlicher Tiefenschärfe zu berechnen, indem Fokus-Stacking-Techniken eingesetzt werden.

Lichtfeldkameras an sich sind aus dem Stand der Technik bekannt. Beispielsweise ist aus der US 8,289,440 ist eine Lichtfeldkamera bekannt. Aus der EP 2 244 484 ist ein digitales Bildgebungsverfahren zum Gebrauch mit einem ein- oder zwei-dimensionalen Mikrolinsen-Array für eine Mikrolinsen-Einrichtung bekannt, die in einer Mikrolinsen-Ebene angeordnet ist, und einem Photosensor-Array, das in einer Bildebene angeordnet ist, um ein Bild aus einem Satz von Lichtstrahlen zu synthetisieren. Aus der EP 2 422 525 ist ein digitales Bildgebungssystem bekannt, das zur Synthetisierung eines Bildes einer plenoptischen optischen Einrichtung konfiguriert ist.

Eine Lichtfeldkamera weist gegenüber herkömmlichen Kameras viele Vorteile auf. Zum einen ist ein extrem schnelles Fotografieren möglich, da nicht vor der Erfassung des Bildes fokussiert werden muss. Da nicht fokussiert werden muss, scheidet eine falsche Fokussierung aus, zum Beispiel wenn ein Autofokussystem nicht die richtige Brennweite einstellt. Zum anderen können keine Bildinformationen verloren gehen, da sich aus den Informationen an erfassten Lichtstrahlen alle Informationen für alle Brennweiten nachträglich gewinnen lassen. Durch die nachträgliche Bildbearbeitung ist eine Fokussierung auf jede beliebige Brennweite möglich, sodass alle Bildbereiche selektive scharf gestellt werden können. Hierdurch ist ebenfalls eine Entfernungsmessung der verschiedenen Objekte, welche erfasst werden, möglich, was eine 3-D-Auswertung ermöglicht.

Aufgabe der Erfindung ist es, eine Vorrichtung zu schaffen, welche eine schnelle und umfassende Datenerfassung eines bildgebenden Verfahrens ermöglicht. Ferner ist die Aufgabe der Erfindung die Verwendung einer solchen Vorrichtung zur Überwachung der Umgebung eines Schiffes, ein Schiff mit einer entsprechenden Vorrichtung sowie die Schaffung eines Verfahrens zur Rundumüberwachung eines Schiffes.

Gelöst wird diese Aufgabe durch eine Vorrichtung mit den in Anspruch 1 angegebenen Merkmalen, ein Schiff mit den in Anspruch 6 angegebenen Merkmalen, eine Verwendung einer Vorrichtung mit den in Anspruch 8 angegebenen Merkmalen und ein Verfahren mit den in Anspruch 9 angegebenen Merkmalen. Vorteilhafte Weiterbildungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.

Die erfindungsgemäße Vorrichtung zur Erfassung optischer Bildinformationen weist einen Sensor sowie ein Mikrolinsen-Array auf, wobei der Sensor eine Vielzahl von Bildpunkten aufweist. Das Mikrolinsen-Array ist oberhalb des Sensors angeordnet, wobei eine Mehrzahl von Bildpunkten unter jeder Mikrolinse angeordnet ist. Der Sensor ist auf einer nicht ebenen Fläche angeordnet. Die Vorrichtung ermöglicht eine optische Erfassung von mindestens 270°. Bevorzugt ermöglicht die Vorrichtung eine optische Erfassung von mindestens 300°, weiter bevorzugt von mindestens 330°, besonders bevorzugt von mindestens 350° und ganz besonders bevorzugt von 360°.

Unter einem Sensor wird im Sinne der Erfindung eine Vorrichtung verstanden, welche eine Erfassung einer Vielzahl an Bildpunkten erlaubt. Typische Sensoren bildgebende Verfahren sind beispielsweise CMOS oder CCD Sensoren. Diese sind üblicherweise mittels Standart-Silizium-Technologien hergestellt. Typischerweise weisen die Bildpunkt Subpixel auf. Bei normalen Kameras weisen die Sensoren rote, gelbe und grüne Subpixel auf, wobei teilweise zwei grüne Subpixel auf einen roten Subpixel und einen grünen Subpixel kommen. Außer der Verwendung von Silizium sind als Ausgangsbasis auch andere Halbleitermaterialen, insbesondere InGaAs, denkbar. Konventionelle Sensoren sind üblicherweise in einer Ebene angeordnet, was sich bereits aus der Herstellung auf einem Silizium-Wafer und den konventionellen Herstellungsverfahren siliziumbasierter Bauteile ergibt. Derartige Sensoren erlauben mit speziellen Objektiven, sogenannten Fisheye-Objektiven, einen Blickwinkel bis etwa 180°. Um eine möglichst umfassende und schnelle Erfassung der Umgebung zu ermöglichen, ist eine Erfassung von mindestens 270° notwendig. Um dieses zu realisieren muss der Sensoren eine von einer ebenen Fläche abweichende Geometrie aufweisen, da sich mit einem ebenen Sensor nur ein Blickwinkel mit knapp über 180° realisieren lässt. Vorzugsweise ist der Sensor polygonal, gebogen oder zylinderförmig ausgebildet. Zur polygonalen Anordnung können mehrere Sensorelemente, welche jeweils eben ausgeführt sind, verkippt aneinander gesetzt werden. Beispielsweise werden vier Sensorelemente jeweils um 90° zueinander verkippt aneinandergesetzt, um eine 360° Erfassung zu ermöglichen. Weiter beispielsweise werden sechs Sensorelemente jeweils um 60° zueinander verkippt aneinandergesetzt, um ebenfalls eine 360° Erfassung zu ermöglichen. Ganz besonders bevorzugt wird eine sehr große Anzahl an Sensorelementen jeweils zueinander verkippt aneinandergesetzt, sodass der Winkel zwischen den Sensorelementen praktisch vernachlässigbar ist. Vorzugsweise weist das Sensorelement in diesem Ausführungsbeispiel die gleiche Breite wie eine Mikrolinsen auf. Eine gebogene oder zylinderförmige Anordnung ist ganz besonders bevorzugt mit einem gedünnten Sensor möglich. Unter einem gedünnten Sensor wird ein Sensor mit einer Dicke von maximal 100 μm, vorzugsweise mit einer Dicke von maximal 50 μm, weiter bevorzugt mit einer Dicke von maximal 25 μm und ganz besonders bevorzugt mit einer Dicke von maximal 10 μm verstanden. Siliziumbauteile, welche eine derartige Dicke aufweisen, sind flexibel und können leicht gebogen werden. Zur Herstellung gedünnten Siliziumbauteile werden diese regelmäßig auf der funktionellen Seite mit Kunststoff beschichtet. Daher ist besonders bevorzugt das Mikrolinsen-Array aus Kunststoff hergestellt und bildet die flexible Stabilisierung des Siliziumbauteils. Gedünnte Siliziumbauteile sind beispielsweise aus der DE 196 51 566 A1 bekannt.

Durch die Möglichkeit der Erfassung von mindestens 270° ergeben sich Vorteile für die Vorrichtung. So kann mit einer einzigen Vorrichtung eine Rundumüberwachung erfolgen. Dieses ist beispielsweise besonders zweckdienlich, wenn die Überwachung beispielsweise von einem Unterseeboot durch ein Periskop erfolgen soll. In diesem Fall muss lediglich eine Vorrichtung ausgefahren werden. Ebenso kann eine erfindungsgemäße Vorrichtung auch die Überwachung für den Bereich vor und neben dem Schiff auf beiden Seiten gleichzeitig auf einem Überwasserschiff erleichtern, da nur eine Erfassungsvorrichtung angeordnet werden muss. Dieses hat gegenüber der Verwendung einer Vielzahl von Erfassungsvorrichtungen den Vorteil, dass nur ein Kabelstrang verlegt werden muss. Dieses ist insbesondere auf militärischen Schiffen, welche eine hohe Integrationsdichte aufweisen, besonders vorteilhaft.

Durch die Kombination der Verwendung einer Lichtfeldkamera für die Überwachung ergibt sich der Vorteil, dass alle Daten, welche optisch erfassbar sind, erfasst werden. So ist zum Beispiel kein einziges Objekt unscharf abgebildet, weil es sich außerhalb der Fokusebene einer Erfassungsvorrichtung befindet. Die so gewonnenen Daten können neben der unmittelbaren Reaktion auf eine potentielle Gefahr auch zur späteren Auswertung gespeichert werden. Dieses kann beispielsweise hilfreich sein, um später gerichtsverwertbare Beweise zu sichern.

Ein weiterer Vorteil der erfindungsgemäßen Vorrichtung liegt darin, dass ein hoher Grad an Automatisierung erreicht werden kann. Durch die Erfassung mittels einer einzigen Vorrichtung wird die Analyse vereinfacht und kann durch ein einziges System automatisch erfolgen, sofern potentielle Gefahren automatisiert erkennbar sind. Dieses ist beispielsweise bei Mündungsfeuer oder anfliegenden Objekten gegeben. Die automatische Erkennung ermöglicht eine rasche Reaktion.

Vorteilhafterweise erfolgt die Auswertung der erfassten Bildinformationen im combat information centre (CIC). Hierdurch sind eine einfache Verknüpfung der gewonnenen Informationen mit Informationen aus weiteren Informationsquellen sowie die direkte Weitergabe der gewonnenen Informationen möglich.

Da als Sensoren klassische siliziumbasierte Technologien zum Einsatz kommen ist keine Kühlung oder aufwändige Wartung der Sensoren notwendig. Alternativ können beispielsweise auch Sensoren auf InGaAs-, PbS- oder PbSe-Basis verwendet werden.

In einer weiteren Ausführungsform der Erfindung ist jeder Bildpunkt aus wenigstens zwei Subpixeln aufgebaut. Besonders bevorzugt jeder Bildpunkt die klassischen drei Subpixel RGB auf, wie diese bei herkömmlichen Digitalkameras Verwendung finden. Neben dem Vorteil der Farbinformation ist auch die Verwendung herkömmlicher Sensoren somit leicht möglich.

In einer weiteren Ausführungsform der Erfindung weist jeder Bildpunkt zusätzlich einen Infrarot-sensitiven Subpixel auf. Vorteil der Infrarot-sensitiven Subpixel ist, dass eine erhöhte Sensitivität für heiße Objekte gegeben ist. Hierdurch können zum Beispiel Mündungsfeuer oder raketengetriebene Flugobjekte besonders leicht identifiziert und vom Hintergrund getrennt werden. Des Weiteren wird hierdurch die Verwendung auch bei Nacht optimiert.

In einer weiteren Ausführungsform der Erfindung weist jeder Bildpunkt zusätzlich einen UV-sensitiven Subpixel auf. Durch die Verwendung von UV-sensitiven Subpixel können auch für das menschliche Auge nicht erfassbare Informationen im UV-Bereich erfasst werden.

In einem weiteren Aspekt betrifft die Erfindung ein Schiff mit einer erfindungsgemäßen Vorrichtung. Gerade bei Schiffen ist eine Rundumüberwachung sinnvoll und oft notwendig. Des Weiteren ist gerade im maritimen Bereich eine Überwachung über verschiedene Abstände wichtig, sodass die Verwendung einer Lichtfeldkamera besonders vorteilhaft ist. Dieses ist besonders im küstennahen Bereich relevant, ganz besonders im Bereich von Häfen oder Flüssen.

In einer weiteren Ausführungsform der Erfindung ist die Vorrichtung in einem Periskop angeordnet. Hierdurch kann ein Unterseeboot durch Ausfahren eines Periskops die gesamte Umgebung schnell erfassen. Hierdurch kann die Zeit, welche ein Periskop sich oberhalb der Wasseroberfläche befindet, minimiert werden. Hierdurch wird auch die Wahrscheinlichkeit minimiert, dass das Unterseeboot beobachtet wird.

In einem weiteren Aspekt betrifft die Erfindung die Verwendung einer erfindungsgemäßen Vorrichtung zur Überwachung auf einem Schiff.

In einem weiteren Aspekt betrifft die Erfindung ein Verfahren zur Überwachung auf einem Schiff, welches die Verfahren folgende Verfahrensschritte umfasst:

  • a) Erfassen von Bildinformation mittels einer Vorrichtung nach einem der Ansprüche 1 bis 5,
  • b) Bearbeitung der Bildinformationen aus Schritt a) zur Erzeugung konventioneller Bilddaten mit verschiedenem Fokus,
  • c) Identifikation von Gefahren aus den Bilddaten gemäß Schritt b),
  • d) ermitteln der Entfernung der in Schritt c) identifizierten Gefahr aus den Fokuswerten der Bilddaten.

In Schritt a) werden zunächst die Bildinformationen erfasst. Dieses erfolgt durch Belichten des Sensors sowie Auslesen der gewonnenen Informationen. In Schritt b) werden die in Schritt a) gewonnenen Bildinformationen bearbeitet, um konventionelle Bilddaten zu erhalten. Hierbei werden die Bilddaten für verschiedene Brennweiten und somit Entfernungen berechnet. In Schritt c) werden die in Schritt b) erhaltenen Bilddaten analysiert, um Gefahren zu identifizieren. Beispielsweise kann es sich hierbei um Mündungsfeuer oder Flugobjekte handeln. In Schritt d) wird die Entfernung der in Schritt c) identifizierten Gefahr aus dem Fokuswert ermittelt. Da das Objekt welches die Gefahr repräsentiert, in einem Satz von Bilddaten optimal scharf abgebildet wird, ergibt sich aus dem Fokuswert die Entfernung des Objekts.

Besonders bevorzugt erfolgt das Verfahren vollständig automatisiert. Hierdurch kann eine schnelle Auswertung der gewonnenen Informationen erfolgen. Neben einer schnellen Auswertung ist für heutige insbesondere militärische Schiffe auch relevant, dass hierdurch kein Personal für die Überwachung und Auswertung der gewonnenen Informationen gebunden wird.

In einer weiteren Ausführungsform werden die Verfahrensschritte a) bis c) kontinuierlich wiederholt, bis eine Gefahr identifiziert werden kann. Im Regelfall wird keine Gefahr identifiziert werden, sondern die Gefahr wird die Ausnahme darstellen.

Selbstverständlich kann eine kontinuierliche Wiederholung des Verfahrens auch nach Identifikation einer Gefahr erfolgen dieses ist sogar bevorzugt, um die Veränderung beispielsweise der Entfernung der Gefahr zu detektieren. Auf diese Weise kann zum Beispiel ein Einschlagspunkt für ein Flugobjekt vorausgesagt werden.

ZITATE ENTHALTEN IN DER BESCHREIBUNG

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.

Zitierte Patentliteratur

  • US 8289440 [0003]
  • EP 2244484 [0003]
  • EP 2422525 [0003]
  • DE 19651566 A1 [0008]