Title:
Lichtlaufzeitkamera mit einer Bewegungserkennung
Kind Code:
B4


Abstract:

Verfahren zum Betreiben einer Lichtlaufzeitkamera (1) mit einem Lichtlaufzeitsensor (22), der ein Array von Lichtlaufzeitpixel mit mindestens zwei Integrationsknoten (Ga, Gb) aufweist,
bei dem in einem 3D-Modus der Lichtlaufzeitsensor (22) und eine Beleuchtung (15) mit einem Modulationssignal betrieben werden,
und ausgehend von den an den mindestens zwei Integrationsknoten (Ga, Gb) gesammelten Ladungen (q) Entfernungswerte (d) ermittelt werden,
dadurch gekennzeichnet,
dass in einem Energiespar-Modus der Lichtlaufzeitsensor (22) mit einem Steuersignal zur Bewegungserkennung betrieben wird, dessen Frequenz kleiner ist als eine kleinste Frequenz des Modulationssignals zur Entfernungsbestimmung im 3D-Modus,
wobei eine Objektbewegung anhand eines Differenzwerts (A-B) an den mindestens zwei Integrationsknoten (Ga, Gb) ermittelt wird. embedded image




Inventors:
Lange, Robert, Dr. (57250, Netphen, DE)
Application Number:
DE102013225676A
Publication Date:
06/18/2014
Filing Date:
12/11/2013
Assignee:
pmdtechnologies ag, 57076 (DE)
International Classes:
Domestic Patent References:
DE102011089629A1N/A2012-06-28
DE102005045484A1N/A2007-02-01
DE19704496C2N/A2001-02-15



Foreign References:
65871862003-07-01
EP17777472008-03-26
WO2004021546A22004-03-11
Attorney, Agent or Firm:
Schuhmann, Jörg, Dipl.-Phys. Dr. rer. nat., 88069, Tettnang, DE
Claims:
Verfahren zum Betreiben einer Lichtlaufzeitkamera (1) mit einem Lichtlaufzeitsensor (22), der ein Array von Lichtlaufzeitpixel mit mindestens zwei Integrationsknoten (Ga, Gb) aufweist,
bei dem in einem 3D-Modus der Lichtlaufzeitsensor (22) und eine Beleuchtung (15) mit einem Modulationssignal betrieben werden,
und ausgehend von den an den mindestens zwei Integrationsknoten (Ga, Gb) gesammelten Ladungen (q) Entfernungswerte (d) ermittelt werden,
dadurch gekennzeichnet,
dass in einem Energiespar-Modus der Lichtlaufzeitsensor (22) mit einem Steuersignal zur Bewegungserkennung betrieben wird, dessen Frequenz kleiner ist als eine kleinste Frequenz des Modulationssignals zur Entfernungsbestimmung im 3D-Modus,
wobei eine Objektbewegung anhand eines Differenzwerts (A-B) an den mindestens zwei Integrationsknoten (Ga, Gb) ermittelt wird.

Verfahren nach Anspruch 1, bei dem im Energiespar-Modus der Differenzwert (A-B) mit einem Schwellenwert verglichen wird und ein Überschreiten des Schwellenwertes als Objektbewegung erkannt wird.

Verfahren nach einem der vorhergehenden Ansprüche, bei dem vom Energiespar-Modus in den 3D-Modus umgeschaltet wird, sobald im Energiespar-Modus eine Objektbewegung erkannt wird.

Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Energiespar-Modus die Erfassung der Differenzwerte (A-B) mit einer gegenüber dem 3D-Modus geringeren Erfassungsrate erfolgt.

Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Energiesparmodus die Frequenz des Steuersignals kleiner als 10 % der kleinsten Frequenz des Modulationssignals zur Entfernungsbestimmung im 3D-Modus ist.

Lichtlaufzeitkamera (1) mit einem Lichtlaufzeitsensor (22), der ein Array von Lichtlaufzeitpixel mit mindesten zwei Integrationsknoten (Ga, Gb) aufweist,
wobei die Lichtlaufzeitkamera derart ausgestaltet ist, dass in einem 3D-Modus ein Modulator (30) ein Modulationssignal zur Verfügung stellt anhand dessen eine Beleuchtung (15) ein moduliertes Licht aussendet und der Lichtlaufzeitsensor (22) ein erfasstes Licht zur Ermittlung eines Entfernungswertes demoduliert,
dadurch gekennzeichnet,
dass die Lichtlaufzeitkamera (1) zur Durchführung eines der vorgenannten Verfahren ausgebildet ist.

Description:

Die Erfindung betrifft eine Lichtlaufzeitkamera mit einer Bewegungserkennung und ein entsprechendes Verfahren nach Gattung der unabhängigen Ansprüche.

Die Lichtlaufzeitkamera betrifft insbesondere Lichtlaufzeitkamerasysteme bzw. TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 B1, US 6 587 186 B2 und auch DE 197 04 496 C2 beschrieben und beispielsweise von der Firma ,ifm electronic GmbH' oder ‚PMD-Technologies GmbH‘ als Frame-Grabber O3D bzw. als CamCube oder PMD[Vision] CamBoardNano zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.

Aufgabe der Erfindung ist es, die Einsatzmöglichkeiten einer Lichtlaufzeitkamera im Hinblick auf Überwachungsaufgaben zu verbessern.

Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße Lichtlaufzeitkamera und ein entsprechendes Verfahren nach Gattung der unabhängigen Ansprüche gelöst.

Besonders vorteilhaft ist ein Verfahren zum Betreiben einer Lichtlaufzeitkamera vorzusehen, mit einem Lichtlaufzeitsensor, der ein Array von Lichtlaufzeitpixel mit mindestens zwei Integrationsknoten aufweist, bei dem in einem 3D-Modus der Lichtlaufzeitsensor und eine Beleuchtung mit einem Modulationssignal betrieben werden und ausgehend von den an den Integrationsknoten gesammelten Ladungen Entfernungswerte ermittelt werden, wobei in einem Energiespar-Modus der Lichtlaufzeitsensor vorzugsweise unabhängig von der Beleuchtung mit einem Steuersignal zur Bewegungserkennung betrieben wird, dessen Frequenz kleiner ist als eine kleinste Frequenz des Modulationssignals zur Entfernungsbestimmung im 3D-Modus, wobei eine Objektbewegung anhand eines Differenzwerts an den Integrationsknoten ermittelt wird.

Dieses Vorgehen hat den Vorteil, dass die Lichtlaufzeitkamera mit ein und demselben Sensor in unterschiedlichen Erkennungsmoden betrieben werden kann. Neben der reinen Entfernungsmessung ist es im Energiespar-Modus möglich, allein aufgrund von Helligkeitsunterschiede, die ein sich bewegendes Objekt erzeugt, eine solche Bewegung zu erkennen.

Bevorzugt ist es vorgesehen, dass im Energiespar-Modus der Differenzwert mit einem Schwellenwert verglichen wird und ein Überschreiten des Schwellenwertes als Objektbewegung erkannt wird.

Dieses Vorgehen hat den Vorteil, dass sich die Bewegungserkennung im Wesentlichen auf die Auswertung eines Differenzwertes reduziert und keine zusätzlichen Bildanalysen notwendig sind.

Insbesondere ist es von Vorteil, dass vom Energiespar-Modus in den 3D-Modus umgeschaltet wird, sobald im Energiespar-Modus eine Objektbewegung erkannt wird.

Der Energiespar-Modus kann hier insbesondere derart ausgebildet sein, dass die Beleuchtung der Lichtlaufzeitkamera nicht aktiviert ist und die Bewegungserkennung nur anhand des vorhandenen Umgebungslichts durchgeführt wird. Ferner ist es auch denkbar, dass im Energiespar-Modus die Beleuchtung mit einer geringeren Leistung als im 3D-Modus betrieben wird. Auch muss im Energiespar-Modus die Beleuchtung nicht zwingend moduliert werden, sondern kann mit Gleichlicht betrieben werden. Sollte die Beleuchtung während des Energiespar-Modus weiter moduliert werden, ist es von Vorteil, wenn die Modulationsfrequenz der Beleuchtung deutlich höher ist als die Frequenz des Steuersignals mit dem der Lichtlaufzeitsensor betrieben wird.

Bevorzugt ist im Energiesparmodus die Frequenz des Steuersignals kleiner als 10 % der kleinsten Frequenz des Modulationssignals zur Entfernungsbestimmung im 3D-Modus. Dieses Vorgehen hat zum einem den Vorteil, dass die Beleuchtung, wenn sie mit einer Modulationsfrequenz betrieben wird, die einem 3D-Modus entspricht, die Aufteilung des Helligkeitssignals in die beiden A- und B-Kanäle nicht weiter stört. Zum anderen ergeben sich durch niedrigere Taktfrequenzen des Steuersignals größere Signalunterschiede zwischen den beiden Integrationskonten bei einer Helligkeitsänderung.

In einer bevorzugten Ausgestaltung ist es vorgesehen, dass im Energiespar-Modus ein Differenzwert mit einer Rate von weniger als 200 Hz und insbesondere weniger als 50 Hz erfasst wird. Durch Absenken der Erfassungsrate kann, wenn es die Applikation zulässt, weitere Energie eingespart werden. In bestimmten Applikation mit geringen Anforderungen sind auch Erfassungsraten von 1 Hz oder noch länger denkbar.

Ebenso vorteilhaft ist es, eine Lichtlaufzeitkamera zur Durchführung eines der vorgenannten Verfahren auszubilden.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.

Es zeigen schematisch:

  • 1 ein Lichtlaufzeitkamerasystem,
  • 2 eine modulierte Integration photonisch erzeugter Ladungsträger,
  • 3 einen Querschnitt eines PMD-Pixel,
  • 4 eine zeitliche Ansteuerung eines Lichtlaufzeitkamerasystems,
  • 5 einen typischen Betrieb eines TOF-Sensors,
  • 6 eine erfindungsgemäße zeitliche Ansteuerung eines Lichtlaufzeitsensors für eine Bewegungserfassung,
  • 7 Beispiele möglicher Kanal und Differenzbilder,
  • 8 ein erfindungsgemäße Ansteuerung mit zwei Takten pro Kanal,
  • 9 ein Ausführungsbeispiel einer Lichtlaufzeitkamera mit einem Aufweckmodus.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeit-Kamera, wie sie beispielsweise aus der DE 197 04 496 C2 bekannt ist.

Das Lichtlaufzeit-Kamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtungslichtquelle 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit, Lichtlaufzeit- bzw. TOF-Kamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist ein Array von Lichtlaufzeitpixeln auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einer bestimmten Modulationsfrequenz bzw. Modulationssignal mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Signal der ersten Phasenlage a des Modulators 30 mit dem empfangenen Signal, das die laufzeitbedingte zweiten Phasenlage b aufweist, gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.

Zur genaueren Bestimmung der zweiten Phasenlage b und somit der Objektentfernung d kann es vorgesehen sein, die Phasenlage a mit der der Lichtlaufzeitsensor 22 betrieben wird, um vorgestimmte Phasenverschiebungen Δφ zu verändern. Gleichwirkend kann es auch vorgesehen sein, die Phase, mit der die Beleuchtung angetrieben wird, gezielt zu verschieben.

Das Prinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22, hier ohne Phasenverschiebung, angesteuert werden. Das vom Objekt 40 reflektierte Licht b trifft entsprechend seiner Lichtlaufzeit tL phasenverschoben auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q während der ersten Hälfte der Modulationsperiode in einem ersten Integrationsknoten Ga und in der zweiten Periodenhälfte in einem zweiten Integrationsknoten Gb. Die Ladungen werden typischerweise über mehrere Modulationsperioden gesammelt bzw. integriert. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung und somit eine Entfernung des Objekts bestimmen.

Wie aus der DE 197 04 496 C2 bereits bekannt, kann die Phasenverschiebung des vom Objekt reflektierten Lichts und somit die Distanz, beispielsweise durch ein so genanntes IQ-(Inphase-Quadratur)-Verfahren ermittelt werden. Zur Bestimmung der Distanz werden vorzugsweise zwei Messungen mit um 90° verschobenen Phasenlagen des Modulationssignals durchgeführt, also beispielsweise φmod + φ0 und φmod + φ90, wobei aus der in diesen Phasenlagen ermittelte Ladungsdifferenz Δq(0°), Δq(90°) die Phasenverschiebung des reflektierten Lichts über die bekannte arctan-Beziehung ermittelt werden kann. φ=arctanΔq(90°)Δq(0°)embedded image

Zur Verbesserung der Genauigkeit können ferner weitere Messungen mit um beispielsweise 180° verschobenen Phasenlagen durchgeführt werden. φ=arctanΔq(90°)Δq(270°)Δq(0°)Δq(180°)embedded image

Selbstverständlich sind auch Messungen mit mehr als vier Phasen und deren Vielfachen und einer entsprechend angepassten Auswertung denkbar.

3 zeigt einen Querschnitt durch einen Pixel eines Photomischdetektors wie er beispielsweise aus der DE 197 04 496 C2 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates Gam, G0, Gbm angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate bzw. Integrationsknoten Ga, Gb gelenkt.

3b zeigt einen Potenzialverlauf, bei dem die Ladungen q in Richtung des ersten Integrationskonten Ga abfließen, während das Potenzial gemäß 3c die Ladung q in Richtung des zweiten Integrationsknoten Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationssignale vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.

In 3a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Lichtlaufzeitsensors sein kann. Die als Kapazitäten bzw. Dioden ausgebildeten Integrationsknoten Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Gates Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Integrationsknoten und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.

Darüber hinaus sind weitere Time-of-Flight-Prinzipien bekannt, bei denen beispielsweise die photoempfindlichen Bereiche über einen Shutter verfügen und die Lichtlaufzeit über die, in der durch den Shutter vorbestimmten Integrationszeit, gesammelten Ladungsträger bestimmt wird.

Diesen TOF-Sensoren zeichnen sich durch folgende Gemeinsamkeiten aus: 1. Die Sensoren weisen lichtempfindliche und lichtunempfindliche Bereiche aus. 2. Die Sensoren weisen Vorrichtungen auf, die ein optisch generiertes Signal aus dem lichtempfindlichen Bereich durch eine elektrische Steuergröße, beispielsweise Strom, Spannung oder Ladung, in unterschiedliche Speicherbereiche (einen, zwei oder mehrere) verschieben. 3. Ggf. können diese gewonnenen Signale nach oder während der Zwischenspeicherung auch schon weiterverarbeitet werden. Ein Beispiel ist die Differenzbildung durch eine SBI Schaltung (Suppression of background illumination) in PMD Sensoren.

In der Regel werden solche Demodulationssensoren für ToF-3D-Entfernungsmessungen eingesetzt, aber auch andere Applikationen wie Fluoreszenzlebensdauer-Mikroskopie (FLIM) sind denkbar. In jedem Falle wird der Sensor aber benutzt, um (ähnlich einem Lock-in Verstärker) ein optisches Signal bestimmter Frequenz in Amplitude und Phase zu bestimmen.

4 zeigt ein typisches Timing für TOF-Sensoren allgemein und insbesondere für einen PMD-Sensor gemäß 2. Hierbei liegt die Überlegung zugrunde, dass die Ladungssignale in einen A- und B-Kanal entsprechend der Integrationsknoten Ga, Gb aufgeteilt werden. Die Modulation der beiden Kanäle A, B erfolgt um 180° phasenversetzt. Für typische Modulationsfrequenzen zwischen 100 MHz und 20 MHz liegt die Periodendauer der Modulation zwischen 10 ns und 50 ns.

5 zeigt einen typischen Betrieb eines TOF-Sensors, bei dem zwischen den TOF-Entfernungsmessungen die Integrationsknoten in einer Messpause ausgelesen werden. Die obere Kurve zeigt schematisch mehrere Modulationsabschnitte in denen die Beleuchtung mit unterschiedlichen Phasenlagen Δφi betrieben wird und der TOF-Sensor die photonisch erzeugten Ladungsträger in A- und B-Kanälen bzw. den entsprechenden Integrationsknoten Ga, Gb sammelt bzw. demoduliert.

Je nach Anwendungsfall kann die Zeitdauer tE der Modulationsabschnitte bzw. Entfernungsmessungen beispielsweise 200 µs und 10 ms variieren. Die Integrationsknoten Ga, Gb werden in den Messpausen ausgelesen, wobei die Auslesezeit tR beispielsweise zwischen 500 µs und 1 ms variiert.

Zur Aufnahme eines 3D-Bilders sind mindestens zwei Differenz-Phasenbilder - A-Kanal minus B-Kanal - erforderlich. Typischerweise werde jedoch vier Phasenbilder mit unterschiedlicher Phasenlage Δφi aufgenommen.

Gemäß der vorliegenden Erfindung ist es jedoch vorgesehen, Lichtlaufzeitsensoren in einem abweichenden Betriebsmodus anzusteuern um beispielsweise auch Energie einsparen zu können und insbesondere einen Bereitschaftsmodus für eine Überwachungsaufgabe zur Verfügung stellen zu können. Die Trenneigenschaft des Lichtlaufzeitpixels wird genutzt, um Differenzbilder der Szene aufzunehmen. Das wird im einfachsten Falle erreicht, indem in der ersten Hälfte der Bildaufnahme auf die Knoten A und in der zweiten Hälfte der Bildaufnahme auf die Knoten B integriert wird. Dieses Vorgehen ist nicht zwingend auf einen PMD-Sensor beschränkt, sondern ist grundsätzlich auch auf andere ToF-Sensoren anwendbar. Ebenso kann das Prinzip bei Sensoren verwendet werden, die mehr als zwei Speicher- / Akquisitionsknoten aufweisen.

Insbesondere ist es von Vorteil, dass das erfindungsgemäße Verfahren unabhängig von der Beleuchtung des Lichtlaufzeitkamerasystems betrieben werden kann. Ist die Umgebung ausreichend hell wird für die erfindungsgemäße Bewegungserkennung kein zusätzliches Licht benötigt. Bei Bedarf kann die Beleuchtung 22 des Lichtlaufzeitkamerasystems hinzugeschaltet werden.

6 zeigt ein übergeordnetes Timing, eine Modulationsansteuerung und Auslese mehrerer derartigen Differenzbildaufnahmen. Im Gegensatz zu der hochfrequenten Ansteuerung der A- und B-Knoten werden im dargestellten Fall für die reine Bildaufnahme innerhalb einer Erfassungszeit tE die A- und B-Knoten jeweils nur einmal angesprochen. Die beiden Knoten werden dann nach der Erfassungszeit tE ausgelesen (Auslese/Readout R) und miteinander verglichen bzw. ein Differenzwert A-B gebildet.

Die Erfassungszeit tE kann ggf. in Abhängigkeit der vorliegenden Lichtintensität verändert werden. Auch kann es vorgesehen sein, die Länge der Erfassungszeit tE in aufeinander folgenden Erfassungszyklen zu variieren. Bevorzugt wird eine Erfassungszeit tE verwendet, die länger als 1 ms andauert. Auch können die Pausenzeiträume tP zwischen den Erfassungszeiträumen applikationsabhängig angepasst werden. Ist beispielsweise eine Bewegungserfassung mit einer Framerate bzw. Bildrate von 20 Hz gewünscht, könnte beispielsweise eine Erfassungszeit tE von 10 ms und eine Pausenzeit tP von 40 ms gewählt werden, so dass in Summe alle 50 ms, also mit 20 Hz, ein Differenzbild erfasst werden kann. Im Energiespar-Modus wird somit der Lichtlaufzeitsensor nicht mit dem üblichen hochfrequenten Modulationssignal, sondern mit einem niederfrequenten Steuersignal bzw. Schaltsignal angesteuert, wobei im dargestellten Beispiel innerhalb eines Erfassungszeitraums tE jedes Gate Ga, Gb nur einmal angesteuert wird.

Während der der Erfassungszeit tE liegt für die erste halbe Erfassungszeit tE/2 ein Steuersignal bzw. ein Potenzial am ersten Gate Ga und in der zweiten Hälfte tE/2 ein Steuersignal am zweiten Gate Gb an, so dass die im lichtempfindlichen Bereich des Lichtlaufzeitsensors 22 photonisch erzeugten Ladungen q in der ersten Hälfte der Erfassungszeit zum ersten Gate bzw. Integrationsknoten Ga und in der zweiten Hälfte zum zweiten Integrationsknoten Gb fließen und dort akkumuliert werden. In der nachfolgenden Pause tP werden die an beiden Gates Ga, Gb akkumulierten Ladungen ausgelesen R und eine Ladungsdifferenz Δq bzw. eine entsprechende elektrische Größe ΔU, ΔI bestimmt. Die Framerate 1/tF bzw. die Framelänge tF ergibt sich aus der Summe der Erfassungszeit tE und der Pausenzeit tP.

Die grundlegende Idee der Bewegungserkennung ausgehend von Differenzwerten ist beispielhaft anhand einer bewegten und unbewegten Hand in 7 dargestellt. Liegt in der abzubildenden Szene keine Bewegung vor, so sind die Bilder der Knoten A und B identisch. Die Differenzbildung führt, unter Vernachlässigung sämtlicher Rauschgrößen, zu Null. Liegt während der Bildaufnahme eine Bewegung vor, so wird in den A-Knoten bzw. A-Speichern der Pixel ein anderes Bild gespeichert als in den B-Knoten bzw. B-Speichern. Die Differenzbildung „A-B“ ergibt ein Differenzbild ungleich „Null“.

Ein „anderes Bild“ heißt, auf ein einzelnes Lichtlaufzeitpixel bezogen, dass sich bei einer Bewegung eines Objektes die Objekthelligkeit und somit der Lichtstrom und die Menge der photonisch erzeugten Ladungsträger im Pixel ändert. Bewegt sich das Objekt nicht, bleibt die Objekthelligkeit konstant. Die symmetrisch angesteuerten Integrationsknoten Ga, Gb akkumulieren daher gleich viele Ladungsträger und der Differenzwert zwischen beiden Integrationsknoten Ga, Gb ist Null. Bei einem sich bewegenden Objekt ändern sich die Helligkeitswerte, so dass die symmetrisch angesteuerten Integrationsknoten Ga, Gb unterschiedliche Ladungsmengen akkumulieren und der Differenzwert ungleich Null ist.

Die Erkennung von Helligkeitsänderungen funktioniert grundsätzlich auch, wenn innerhalb der Erfassungszeit die Ladungsintegration mehrfach zwischen den Integrationsknoten Ga, Gb wechselt, wie es beispielhaft in 8 gezeigt ist. Mit zunehmender Taktrate bzw. Frequenz des Steuersignals verringert sich jedoch im Ergebnis der Ladungsunterschied zwischen den beiden Integrationsknoten, so dass die Taktfrequenz des Steuersignals im Energiespar-Modus vorzugsweise kleiner bleiben sollte als die Modulationsfrequenz im 3D-Modus.

Liegt das Differenzbild bzw. die Differenzwerte über einem applikationsspezifischen Schwellenwert, so wird dies als eine Bewegung erkannt. Zur Auswertung können beispielsweise alle erfassten Differenzwerte, die ggf. als Spannungswerte vorliegen, aufsummiert werden. Wird eine vorgegebene Schwellspannung überschritten, kann dies als ein Signal für eine Bewegung erkannt werden.

Letztendlich ist es bei der vorgeschlagenen Auswertung nicht notwendig, dass die Auswerteeinheit oder eine Bilderfassung ausgehend von den an den Integrationsknoten Ga, Gb akkumulierten Ladungsträgern 2D-Bilder generiert. Für die Erkennung einer Bewegung reicht es aus, nur die Ladungsdifferenzen der Integrationsknoten Ga, Gb der Lichtlaufzeitpixel zu betrachten.

Dieses Verfahren lässt sich auf den gesamten Bildsensor oder auch auf Teilbereiche des Sensors anwenden. So kann es insbesondere vorgesehen sein, besonders kritische oder bevorzugte Bereiche, so genannte Region of Interest, zu überwachen. Auch ist es möglich einen Subsampling Modus anzuwenden, bei dem beispielsweise nur jede N-te Zeile und/oder N-te Spalte ausgelesen wird. Auch ist es denkbar, für besonders kritische Überwachungen die Taktrate der Bilderfassung zu erhöhen, beispielsweise auf über 50 Bilder pro Sekunde.

Das Verfahren kann mit einer aktiven Beleuchtung oder passiv eingesetzt werden. Ist hinreichend ambiente Beleuchtung vorhanden, so können Bewegungen auch ohne aktive Beleuchtung erkannt werden.

Im Fall aktiver Beleuchtung kann diese HF-moduliert sein, muss es aber nicht. Wichtig ist, sicherzustellen, dass die aktive Beleuchtung während der erstens Aufnahmehälfte (A) die gleiche Intensität hat wie während der zweiten Aufnahmehälfte (B). Andernfalls ist geeignet zu kalibrieren.

Eine mögliche Anwendung ist das Aufwecken einer 3D-Kamera aus einem Energiespar-Modus bzw. low-power- oder Standby-Modus in einen aktiven Betriebsmodus, beispielsweise für Applikationen wie Gestenbedienung über 3D-Kamera bei mobilen Endgeräten. Ein derartiges Vorgehen ist beispielhaft in 9 gezeigt. In einem Energiesparmodus wird die Umgebung im Hinblick auf Bewegungen überwacht. Hierzu könnte beispielsweise die aktive, modulierte Beleuchtung deaktiviert oder mit geringer Leistung betrieben werden, darüber hinaus kann es auch vorgesehen sein, gegenüber einem Normalbetrieb die Messintervalle in einem größeren zeitlichen Abstand zu betreiben. Wird eine Geste erkannt, schaltet dann die Lichtlaufzeitkamera in einen 3D-Aufnahmemodus.

Ferner kann es vorgesehen sein, dass bei einer Nichtbenutzung der 3D-Kamera, also wenn innerhalb einer vorgegebenen Zeitspanne keine Aktivität, Geste, Distanzänderung etc. erkannt wird, die 3D-Kamera in den Energiespar-Modus umschaltet.

Zusätzlich zur bisher beschriebenen Verwendung der Modulationsansteuerung kann auch eine individuelle Ansteuerung der Ausleseschaltungen (Reset / Hold) für A- und B-Kanäle verwendet werden, um das Differenzbild aufzunehmen.

Bezugszeichenliste

10
Sendeeinheit
12
Beleuchtungslichtquelle
15
Strahlformungsoptik
20
Empfangseinheit, TOF-Kamera
22
Lichtlaufzeitsensor
24
Lichtlaufzeitpixel
25
Empfangsoptik
30
Modulator
40
Objekt
400
Ausleseeinheit
Gam, G0, Gbm
Modulationsphotogate
Ga, Gb
Integrationsknoten
q
Ladungen
qa, qb
Ladungen am Integrationsknoten Ga, Gb