BILDVERARBEITUNGSVORRICHTUNG, BILDVERARBEITUNGSVERFAHREN UND PROGRAMM

German Patent DE112016002564

Die Aufgabe der Erfindung ist die Vereinfachung des Speicherns von Bildern, die gewünschte Kompositionen aufweisen, mit einer geeigneten Frequenz während einer Operation zum automatischen Speichern von Bildern. Eine Schwellwertbedingung, die zur Bestimmung hinsichtlich der Ausführung einer automatischen Bildsteuerung verwendet wird, wird erstellt. Dann wird ein Grad an Entsprechung mit einer Komposition für jedes einiger oder sämtlicher der Frames erhalten, die aufeinanderfolgend als Bilddaten auf der Zeitachse erscheinen. Wenn die Komposition eines Frames die erstellte Schwellwertbedingung erfüllt, wird bestimmt, dass die Bilddaten, die diesem Frame entsprechen, zu speichernde Bilddaten sind.

Ono, Toshiki (Tokyo, JP)

DE112016002564T

03/22/2018

03/31/2016

Click for automatic bibliography generation

Sony Corporation (Tokio/Tokyo, JP)

H04N5/225 G03B15/00 H04N5/232 H04N5/91

2SPL Patentanwälte PartG mbB Schuler Schacht Platzer Lehmann, 81373, München, DE

1. Bildverarbeitungsvorrichtung, die umfasst:
eine Schwellwertsetzeinheit, die so ausgeführt ist, dass sie eine Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition setzt; und
eine Bildspeicherungsbestimmungseinheit, die so ausgeführt ist, dass sie in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, bestimmt, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

2. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei in einem Fall, in dem die Komposition in dem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, die Bildspeicherungsbestimmungseinheit entsprechend einer Bestimmung einer weiteren Bedingung bestimmt, dass Bilddaten des Frames zu speichende Bilddaten sind.

3. Bildverarbeitungsvorrichtung nach Anspruch 1, die umfasst:
eine Score-Berechnungseinheit, die so ausgeführt ist, dass sie sämtliche oder einen Teil von aufeinanderfolgenden Frames als Frames annimmt, die für eine Score-Berechnung vorgesehen sind, und einen Score berechnet, der als Bewertungswert für eine Komposition eines Bilds für die Frames dient, die für die Score-Berechnung vorgesehen sind, wobei
in einem Fall, in dem der Score, der von der Score-Berechnungseinheit für ein bestimmtes Frame berechnet wird, die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, die Bildspeicherungsbestimmungseinheit bestimmt, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

4. Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Score-Berechnungseinheit in der Lage ist, eine Verarbeitung zum Berechnen von Scores auf der Basis einer Vielzahl von Kompositionen durchzuführen.

5. Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Score-Berechnungseinheit eine Komposition zur Verwendung als Basis für die Score-Berechnung entsprechend einem Bildinhalt eines Frames auswählt und einen Score für jede einer oder einer Vielzahl von Kompositionen, die ausgewählt worden sind, berechnet.

6. Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Bildspeicherungsbestimmungseinheit beurteilt, ob ein Maximalwert aus den Scores, die von der Score-Berechnungseinheit für ein bestimmtes Frame auf der Basis der Vielzahl von Kompositionen berechnet werden, einen Schwellwert erfüllt, der von der Schwellwertsetzeinheit gesetzt wird.

7. Bildverarbeitungsvorrichtung nach Anspruch 2, wobei als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmt, ob ein Score eines Zielframes in der Nähe eines Spitzenwerts eines Score-Werts liegt, der in einer Vielzahl von aufeinanderfolgenden Frames variiert.

8. Bildverarbeitungsvorrichtung nach Anspruch 2, wobei als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmt, ob ein Bild eines Zielframes im Fokus liegt.

9. Bildverarbeitungsvorrichtung nach Anspruch 2, wobei als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmt, ob ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt.

10. Bildverarbeitungsvorrichtung nach Anspruch 2, wobei als Bestimmung der weiteren Bedingung in einem Fall, in dem ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt, die Bildspeicherungsbestimmungseinheit eine Verschlussgeschwindigkeit während der Bildaufnahme des Frames bestimmt.

11. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Schwellwertsetzeinheit die Schwellwertbedingung entsprechend einer Eingabeoperation variabel setzt.

12. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei nachdem von der Bildspeicherungsbestimmungseinheit bestimmt worden ist, dass Bilddaten, die einem bestimmten Frame entsprechen, zu speichernde Bilddaten sind, verhindert wird, dass die Bildspeicherungsbestimmungseinheit bestimmt, dass Bilddaten, die einem Frame während einer Standby-Zeit entsprechend einem Schwellwert, der von der Schwellwertsetzeinheit gesetzt wird, entsprechen, zu speichernde Bilddaten sind.

13. Bildverarbeitungsvorrichtung nach Anspruch 1, die umfasst:
eine Anzeigesteuereinheit, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass Kompositionsinformationen in das Bild eingeblendet angezeigt werden.

14. Bildverarbeitungsvorrichtung nach Anspruch 1, die umfasst:
eine Anzeigesteuereinheit, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass ein Score jedes Frames und Informationen über die Schwellwertbedingung angezeigt werden.

15. Bildverarbeitungsvorrichtung nach Anspruch 1, die umfasst:
eine Anzeigesteuereinheit, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass ein vergrößertes Bild als Führung zum Anpassen eines Bildinhalts mit einer spezifischen Komposition angezeigt wird.

16. Bildverarbeitungsverfahren, das von einer Operationsverarbeitungsvorrichtung ausgeführt wird, wobei das Bildverarbeitungsverfahren umfasst:
einen Schwellwertsetzschritt zum Setzen einer Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition; und
einen Bildspeicherungsbestimmungsschritt zum Bestimmen in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

17. Programm, das bewirkt, dass eine Operationsverarbeitungsvorrichtung ausführt:
einen Schwellwertsetzschritt zum Setzen einer Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition; und
einen Bildspeicherungsbestimmungsschritt zum Bestimmen in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

Technisches Gebiet

Die vorliegende Technologie betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm und insbesondere ein technisches Gebiet der automatischen Standbildspeicherung.

Liste der angeführte PatentschriftenPatentschriften

• Patentschrift 1: JP 2011-30163A
• Patentschrift 2: JP2009-302835A

Stand der Technik

In den letzten Jahren sind Bilderzeugungsvorrichtungen, wie z. B. Digitalfotokameras und Digitalvideokameras, in weitverbreiteten Gebrauch gekommen, und viele von ihnen weisen eine Funktion des automatischen Optimierens der Fokussierung und der Belichtung entsprechend einer Bildaufnahme-Szene auf. Eine Kompositionseinstellung bei einer Bildaufnahme beruht jedoch immer noch in hohem Maß auf den Fertigkeiten eines Benutzers, und es ist somit insbesondere schwierig für einen Anfänger, der keine Kenntnisse bezüglich einer Kamera besitzt, ein Bild mit einer guten Komposition aufzunehmen.

Außerdem wurde eine Technologie zum Beispiel zum Detektieren eines Lächelns oder dergleichen eines Menschen und zum automatischen Durchführen einer Standbildaufnahme ebenfalls vorgeschlagen.

Die oben angeführte Patentschrift 1 legt eine Technologie bezüglich einer automatischen Standbildaufnahme offen, bei der die Frequenz der Standbildaufnahme entsprechend der Absicht eines Benutzers oder einem Zustand einer Bilderzeugungsvorrichtung, wie z. B. Batteriebetrieb, verändert wird.

Die oben angeführte Patentschrift 2 legt eine Technologie offen, bei der bei einer automatischen Standbildaufnahme verhindert wird, dass Bilder mit einem im Wesentlichen gleichen Gegenstandsinhalt oder einer im Wesentlichen gleichen Komposition in einer großen Anzahl aufgenommen werden.

Offenlegung der ErfindungTechnisches Problem

Die automatische Standbildaufnahme dient zum Beispiel der Durchführung der Detektion eines menschlichen Gesichts, der Bestimmung eines Lächelns und der Bestimmung einer Gesichtsgröße oder dergleichen aus Frames von aufgenommenen Bilddaten eines Gegenstands, die mittels der Bilderzeugungsvorrichtung mit einem Bildsensor erfasst werden, und zum Extrahieren und zum Speichern von Bilddaten in einem Frame, das ein geeignetes Bild aufweist, als Standbild. In der vorliegenden Spezifikation wird zum Zweck der Beschreibung eine solche automatische Standbildaufnahme als "automatische Standbildspeicherung" bezeichnet.

Methoden in einem Fall des Durchführens einer automatischen Standbildspeicherung umfassen einen Fall, in dem eine Bilderzeugungsvorrichtung auf einem Tilt-Kopf montiert ist, und einen Fall, in dem ein Benutzer eine Bilderzeugungsvorrichtung mit der Hand hält.

In einem Fall, in dem eine Bilderzeugungsvorrichtung auf einem Tilt-Kopf montiert ist, der sich automatisch in die Blickrichtung der Bilderzeugungsvorrichtung bewegt, ermöglicht eine automatische Steuerung eine Einstellung der Blickrichtung der Bilderzeugungsvorrichtung so, dass ein Bild eines Gegenstands eine gewünschte Komposition aufweist, wobei der Ort und der Blickwinkel, in dem ein Bild aufgenommen wird, begrenzt sind.

Beim Durchführen einer automatischen Standbildaufnahme in einem Zustand, in dem ein Benutzer eine Bilderzeugungsvorrichtung mit der Hand oder dergleichen hält, ohne einen Tilt-Kopf zu verwenden, ist es möglich, eine automatische Standbildspeicherung in verschiedenen Situationen durchzuführen. Es gibt jedoch viele Fälle, in denen ein gespeichertes Standbild keine bevorzugte Komposition aufweist, obwohl dies von den Fertigkeiten des Benutzers abhängig ist.

In einem Fall, in dem Standbilder automatisch ohne Zutun eines Benutzers gespeichert werden, ist es für den Benutzer wünschenswert, dass eine moderate Anzahl von Standbildern gespeichert wird und diese Bilder von guter Qualität sind. Es sei darauf hingewiesen, dass das gleiche in einem Fall gilt, in dem eine automatische Videospeicherung angenommen wird.

Daher liegt der vorliegenden Offenlegung die Aufgabe zugrunde, eine Technologie zu schaffen, bei der bei der automatischen Bildspeicherung Bilder mit hoher Qualität, deren Speicherungsfrequenz (die Anzahl von gespeicherten Bildern) in gewissem Maß mit der Absicht eines Benutzers in Einklang steht und deren Komposition nicht nur hinsichtlich des Zustands eines Lächeln eines Menschen oder dergleichen geeignet ist, erhalten werden.

Lösung des Problems

Eine Bilderzeugungsvorrichtung gemäß der vorliegenden Technologie weist auf: eine Schwellwertsetzeinheit, die so ausgeführt ist, dass sie eine Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition setzt; und eine Bildspeicherungsbestimmungseinheit, die so ausgeführt ist, dass sie in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, bestimmt, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

Bei dieser Ausführung ist es möglich, automatisch ein Frame mit einem Bild, das eine gute Komposition aufweist, aus den aufeinanderfolgenden Frames zu bestimmen, die als Video oder Live-Ansicht dienen.

Bei der Bildverarbeitungsvorrichtung kann in einem Fall, in dem die Komposition in dem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, die Bildspeicherungsbestimmungseinheit entsprechend einer Bestimmung einer weiteren Bedingung bestimmen, dass Bilddaten des Frames zu speichernde Bilddaten sind.

Das heißt, dass es durch ein weiteres Beurteilen einer weiteren Bedingung zusätzlich zu der Komposition möglich ist, automatisch ein Frame mit einer bestmöglichen Qualität als Bild zu bestimmen.

Die Bildverarbeitungsvorrichtung kann eine Score-Berechnungseinheit aufweisen, die so ausgeführt ist, dass sie sämtliche oder einen Teil von aufeinanderfolgenden Frames, die für eine Score-Berechnung vorgesehen sind, als Frames annimmt und einen Score berechnet, der als Bewertungswert für eine Komposition eines Bilds für die Frames dient, die für die Score-Berechnung vorgesehen sind. In einem Fall, in dem der Score, der von der Score-Berechnungseinheit für ein bestimmtes Frame berechnet wird, die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, kann die Bildspeicherungsbestimmungseinheit bestimmen, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

Das heißt, dass bestimmt wird, ob Bilddaten eines Frames für eine bevorzugte Komposition relevant sind und ein Score, der den Grad an Relevanz angibt, berechnet wird.

Bei der Bildverarbeitungseinheit ist es wünschenswert, dass die Score-Berechnungseinheit in der Lage ist, eine Verarbeitung zum Berechnen von Scores auf der Basis einer Vielzahl von Kompositionen durchzuführen.

Zum Beispiel gibt es verschiedene bevorzugte Kompositionen für ein Standbild. Daher wird eine Vielzahl von Kompositionen als Basis zum Berechnen eines Scores verwendet.

Bei der Bildverarbeitungsvorrichtung kann die Score-Berechnungseinheit eine Komposition zur Verwendung als Basis für die Score-Berechnung entsprechend dem Bildinhalt eines Frames auswählen und einen Score für jede einer oder einer Vielzahl von Kompositionen, die ausgewählt worden sind, berechnen.

Es gibt eine wünschenswerte Komposition oder eine geeignete Komposition entsprechend dem Bildinhalt, zum Beispiel dem Typ des Gegenstands oder dergleichen. Beispiele umfassen eine Komposition, die in einem Fall geeignet ist, in dem eine Person ein Gegenstand ist, und eine Komposition, die in einem Fall geeignet ist, in dem eine Landschaft und dergleichen ein Gegenstand ist. Somit wird durch Auswählen einer Komposition zur Verwendung bei einer Score-Berechnung entsprechend dem Bildinhalt eines Frames der Grad an Relevanz für eine Komposition, die für den Bildinhalt geeignet ist, berechnet.

Bei der Bildverarbeitungsvorrichtung kann die Bildspeicherungsbestimmungseinheit beurteilen, ob ein Maximalwert aus den Scores, die von der Score-Berechnungseinheit für ein bestimmtes Frame auf der Basis der Vielzahl von Kompositionen berechnet werden, einen Schwellwert einhält, der von der Schwellwertsetzeinheit gesetzt wird.

Wenn mindestens ein Score die Schwellwertbedingung erfüllt, kann dieses Frame als für eine bestimmte Komposition relevant bewertet werden. Somit wird beurteilt, ob ein Score, der der Maximalwert ist, die Schwellwertbedingung erfüllt.

Bei der Bildverarbeitungsvorrichtung kann als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmen, ob ein Score eines Zielframes nahe an einem Spitzenwert eines Score-Werts liegt, der in einer Vielzahl von aufeinanderfolgenden Frames variiert.

Das heißt, dass es ohne bloßes Speichern von Frames, deren Scores die Schwellwertbedingung erfüllen, als Standbilder ermöglicht wird, ein Frame, dessen Score in der Nähe eines Spitzenwerts liegt, aus denselben auszuwählen.

Bei der Bildverarbeitungsvorrichtung kann als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmen, ob ein Bild eines Zielframes im Fokus liegt.

Das heißt, dass ohne bloßes Speichern von Frames, deren Scores die Schwellwertbedingung erfüllen, als Standbilder verhindert wird, dass ein außerhalb des Fokus liegendes Bild als Standbild gespeichert wird.

Bei der Bildverarbeitungsvorrichtung kann als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmen, ob ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt.

Das heißt, dass ohne bloßes Speichern von Frames, deren Scores die Schwellwertbedingung erfüllen, als Standbilder verhindert wird, dass ein Bild, das als unscharf angesehen wird, als Standbild gespeichert wird.

Bei der Bildverarbeitungsvorrichtung kann als Bestimmung der weiteren Bedingung in einem Fall, in dem ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt, die Bildspeicherungsbestimmungseinheit eine Verschlussgeschwindigkeit bei der Bildaufnahme des Frames bestimmen.

Das heißt, dass ohne bloßes Speichern von Frames, deren Scores die Schwellwertbedingung erfüllen, als Standbilder in einem Fall, in dem ein Bild, das wahrscheinlich unscharf ist, dieses als Standbild gespeichert wird in einem Fall, in dem beurteilt werden kann, dass es keine Unschärfe in einer Verschlussgeschwindigkeits-Situation gibt.

Bei der Bildverarbeitungsvorrichtung kann die Schwellwertsetzeinheit die Schwellwertbedingung entsprechend einer Operationseingabe variabel setzen.

Wenn die Schwellwertbedingung strikt einzuhalten ist, verringert sich die Frequenz der Standbildspeicherung, und wenn die Schwellwertbedingung leicht zu erfüllen ist, erhöht sich die Frequenz der Standbildspeicherung. Daher wird ermöglicht, die Frequenz in Abhängigkeit von der Absicht eines Benutzers hinsichtlich des Grads an Frequenz, mit der der Benutzer eine Standbildspeicherung durchzuführen wünscht, einzustellen.

Bei der Bildverarbeitungsvorrichtung kann, nachdem von der Bildspeicherungsbestimmungseinheit bestimmt worden ist, dass Bilddaten, die einem bestimmten Frame entsprechen, zu speichernde Bilddaten sind, verhindert werden, dass die Bildspeicherungsbestimmungseinheit bestimmt, dass Bilddaten, die einem Frame während einer Standby-Zeit entsprechend einem Schwellwert, der von der Schwellwertsetzeinheit gesetzt wird, zu speichernde Bilddaten sind.

Das heißt, dass in einem Fall, in dem Bilddaten, die einem bestimmten Frame entsprechen, gespeichert werden, eine Speicherung danach während einer vorbestimmten Standby-Zeit nicht durchgeführt wird. In diesem Fall ist die Standby-Zeit entsprechend der gesetzten Schwellwertbedingung.

Die Bildverarbeitungsvorrichtung kann eine Anzeigesteuereinheit aufweisen, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass Kompositionsinformationen in das Bild eingeblendet angezeigt werden.

Das heißt, dass ein aufgenommenes Bild in einem Zustand angezeigt wird, der den Grad an Bewertung des Bildinhalts desselben in Bezug auf eine spezifische Komposition darlegt.

Die Bildverarbeitungsvorrichtung kann eine Anzeigesteuereinheit aufweisen, die bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass ein Score jedes Frames und Informationen über die Schwellwertbedingung angezeigt werden.

Das heißt, dass einem Benutzer dargelegt wird, ob der Score die Schwellwertbedingung erfüllt.

Die Bildverarbeitungsvorrichtung kann eine Anzeigesteuereinheit aufweisen, die bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass ein vergrößertes Bild als Führung zum Anpassen eines Bildinhalts mit einer spezifischen Komposition angezeigt wird.

Zum Beispiel wird ermöglicht, einen Benutzer mit einem vergrößerten Bild so zu führen, dass der Benutzer das Zentrum eines Hauptgegenstands leicht mit dem Zentrum eines Musters, das als Komposition dient, übereinbringen kann.

Ein Bildverarbeitungsverfahren gemäß der vorliegenden Technologie wird von einer Operationsverarbeitungsvorrichtung ausgeführt, wobei das Bildverarbeitungsverfahren umfasst: einen Schwellwertsetzschritt zum Setzen einer Schwellwertbedingung für eine Ausführung einer Bestimmung einer Bildspeicherung entsprechend einer Komposition; und einen Bildspeicherungsbestimmungsschritt zum Bestimmen, in einem Fall, in dem eine Komposition eines Frames die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

Entsprechend ist es möglich, ein Standbild, das eine geeignete Komposition aufweist, durch die Operation zur automatischen Standbildspeicherung zu erhalten.

Ein Programm gemäß der vorliegenden Technologie ist ein Programm, das bewirkt, dass eine Operationsverarbeitungsvorrichtung eine Verarbeitung jedes der oben beschriebenen Schritte durchführt.

Dieses Programm ermöglicht es der Operationsverarbeitungsvorrichtung, eine Bildverarbeitung, die für die automatische Standbildspeicherung geeignet ist, durchzuführen.

Vorteilhafte Effekte der Erfindung

Gemäß der vorliegenden Technologie ist es möglich, eine automatische Bildspeicherung durchzuführen, bei der Bilder mit einer bevorzugten Komposition ohne Zutun eines Benutzers erhalten werden und die Frequenz der Bildspeicherung ebenfalls bis zu einem gewissen Grad gemäß dem Wunsch eines Benutzers realisiert wird.

Es sei darauf hingewiesen, dass die hier beschriebenen Effekte nicht als Einschränkung verstanden werden dürfen, sondern jeder Effekt sein können, der in der vorliegenden Offenlegung beschrieben ist.

Kurzbeschreibung der Zeichnungen

1 ist ein Blockschaltbild einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie.

2 ist ein Ablaufdiagramm eines Bestimmungsprozesses bezüglich einer automatischen Standbildspeicherung in einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform.

3 ist ein Blockschaltbild einer Bilderzeugungsvorrichtung gemäß einer Ausführungsform.

4 ist ein Ablaufdiagramm eines automatischen Standbildspeicherungsprozesses in einer Bilderzeugungsvorrichtung gemäß einer Ausführungsform.

5 ist ein Ablaufdiagramm einer Kompositionsbestimmungsverarbeitung für einen Menschen gemäß einer Ausführungsform.

6 ist ein Ablaufdiagramm einer Landschaftskompositionsbestimmungs-Verarbeitung gemäß einer Ausführungsform.

7 ist ein Ablaufdiagramm einer Impressionskompositionsbestimmungs-Verarbeitung gemäß einer Ausführungsform.

8 ist ein Ablaufdiagramm einer Standbildspeicherungsbestimmungs-/-ausführungs-Verarbeitung gemäß einer Ausführungsform.

9 ist eine erläuternde schematische Darstellung von Score-Berechnungen, die Kompositionsmustern entsprechen, gemäß einer Ausführungsform.

10 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine zentrale Einpunktkomposition gemäß einer Ausführungsform.

11 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Drittel-Regel-Komposition gemäß einer Ausführungsform.

12 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Ganzkörperkomposition gemäß einer Ausführungsform.

13 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Brustbildkomposition gemäß einer Ausführungsform.

14 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Zwei-Personen-Drittel-Regel-Komposition gemäß einer Ausführungsform.

15 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine diagonale Zwei-Personen-Komposition gemäß einer Ausführungsform.

16 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Mehr-Personen-Komposition gemäß einer Ausführungsform.

17 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine halbierte/Drittel-Regel-Landschaftskomposition gemäß einer Ausführungsform.

18 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine diagonale/gekrümmte Landschaftskomposition gemäß einer Ausführungsform.

19 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine dreieckige Landschaftskomposition gemäß einer Ausführungsform.

20 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Landschaftsfluchtpunktkomposition gemäß einer Ausführungsform.

21 ist eine erläuternde schematische Darstellung eines Score-Berechnungsbeispiels für eine Landschaftsimpressionskomposition gemäß einer Ausführungsform.

22 ist eine erläuternde schematische Darstellung eines Anzeigebeispiels eines Kompositionsmusters gemäß einer Ausführungsform.

23 ist eine erläuternde schematische Darstellung eines Anzeigebeispiels eines Kompositionsmusters gemäß einer Ausführungsform.

24 ist eine erläuternde schematische Darstellung eines Anzeigebeispiels eines Kompositions-Scores und eines vergrößerten Bilds gemäß einer Ausführungsform.

25 ist ein Blockschaltbild einer Computervorrichtung gemäß einer Ausführungsform.

Methoden zum Durchführen der Erfindung

Nachstehend wird eine Ausführungsform in der folgenden Reihenfolge beschrieben.

• <1. Konfiguration und Prozess der Bildverarbeitungsvorrichtung>
• <2. Konfiguration der Bilderzeugungsvorrichtung>
• <3. Automatischer Standbildspeicherungsprozess>
• [3-1: Gesamtprozess]
• [3-2: Kompositionsbestimmung/Score-Berechnung]
• [3-3: Standbildspeicherungsbestimmung/-ausführung]
• [3-4: Anzeigebeispiele]
• <4. Programm und Anwendung für Computervorrichtung>
• <5. Schlussbemerkung und Variation>

Es sei darauf hingewiesen, dass eine Ausführungsform beschrieben wird, die sich auf eine Technologie einer automatischen Standbildaufnahme, -speicherung (automatische Standbildspeicherung), Auswahl eines Frames aus aufeinanderfolgenden Frames und Speicherung des Frames als Standbilddaten und insbesondere eine Technologie zum Auswählen eines Frames mit einer geeigneten Komposition bezieht.

Frames beziehen sich auf Frames, die Bilder bilden, welche als Video dienen und entlang einer Zeitachse aufeinanderfolgend sind. Beispiele umfassen Frames, die als Bilddaten dienen, welche entlang der Zeitachse aufeinanderfolgend sind und von einem Bildsensor aufgenommen werden, und Frames mit aufeinanderfolgenden Bilddaten, die als Video dienen, das aus einem externen Gerät geliefert wird.

Zum Beispiel wird die automatische Standbildspeicherung gemäß einer Ausführungsform in einer Situation durchgeführt, in der Bilddaten von aufeinanderfolgenden Frames, die von einem Bildsensor aufgenommen werden, das heißt Framedaten, die als Video dienen, erhalten werden. Zum Beispiel kann die automatische Standbildspeicherung in einem Zustand, in dem eine Bildaufnahme durch einen Bildsensor kontinuierlich als automatischer Aufnahmemodus durchgeführt wird, oder einem Verschluss-Standby-Zustand (einem Zustand, in dem eine Live-Ansicht erzeugt wird, so dass ein Benutzer einen Gegenstand überwachen kann) in einem normalen manuellen Aufnahmemodus durchgeführt werden.

Es wird ferner angenommen, dass eine Situation, in der Bilddaten von aufeinanderfolgenden Frames auf im Wesentlichen gleiche Weise aus einem Bildsensor erhalten werden, während einer Videoaufnahme auftritt und es ferner einen Fall gibt, in dem die Standbildspeicherung während der Videoaufnahme durchgeführt wird.

Ferner wird auch angenommen, dass die automatische Standbildspeicherung in einer Situation durchgeführt wird, in der Bilddaten von aufeinanderfolgenden Frames, die als Video dienen, aus einem externen Gerät geliefert werden.

Eine Bildverarbeitungsvorrichtung 1, die nachstehend beschrieben wird, ist eine Vorrichtung, die zumindest einen Prozess zum Bestimmen eines als Standbild zu speichernden Frames in Bilddaten von jeweiligen Frames, die eingegeben worden sind, durchführt.

Außerdem ist eine Bilderzeugungsvorrichtung 10, die nachstehend beschrieben wird, eine Vorrichtung, bei der eine automatische Standbildspeicherung, bei der ein geeignetes Frame unabhängig von einer Benutzeroperation in einem des automatischen Aufnahmemodus, des manuellen Aufnahmemodus, eines Videoaufnahmemodus und dergleichen als Standbild gespeichert wird, durch geführt wird.

Ferner bezieht sich eine Komposition auf eine Bildschirmkonfiguration, wobei hauptsächlich die Position eines interessierenden Gegenstands in einem Frame berücksichtigt wird. Ob eine Komposition geeignet ist, wird entsprechend dem Abstand zwischen einer idealen Position eines interessierenden Gegenstands, die für einen Betrachter, der ein Frame betrachtet, komfortabel ist, und einem tatsächlichen interessierenden Gegenstand bewertet.

<1. Konfiguration und Prozess der Bildverarbeitungsvorrichtung>

1 zeigt ein Konfigurationsbeispiel der Bildverarbeitungsvorrichtung 1 gemäß einer Ausführungsform.

Die Bildverarbeitungsvorrichtung 1 weist eine Score-Berechnungseinheit 1a, eine Schwellwertsetzeinheit 1b und eine Bildspeicherungsbestimmungseinheit 1c auf.

Mit Bezug auf eingegebene Bilddaten Din gibt diese Bildverarbeitungseinheit 1 Bestimmungsinformationen SS über ein Frame aus, das als Standbild zu speichern ist.

Als Bilddaten Din werden Bilddaten von jeweiligen Frames, die entlang einer Zeitachse aufeinanderfolgend sind, das heißt, Framedaten, die ein Video bilden, geliefert. Diese Bilddaten Din können durch eine Bildaufnahme mittels eines nicht gezeigten Bildsensors erhalten werden oder können als Videodaten aus einem externen Gerät übertragen werden.

Mit Bezug auf die jeweiligen Frames, die als Bilddaten Din geliefert werden, oder intermittierende Frames berechnet die Score-Berechnungseinheit 1a einen Score, der als Bewertungswert für eine Komposition eines Bilds dient. Zum Beispiel basieren Kompositionen, die als Basis für eine Score-Berechnung dienen, auf Informationen über einen oder eine Vielzahl von Typen von allgemein bekannten Abbildungskompositionen. Beispiele für Kompositionen umfassen die Hinomaru-Komposition (zentrale Einpunktkomposition), Drittel-Regel-Komposition, Brustbildkomposition und dergleichen.

In einem Fall des Verwendens der Hinomaru-Komposition als Basis wird zum Beispiel ein Bewertungswert als Hinomaru-Komposition, zum Beispiel ein Bewertungswert des Grads an Relevanz für die Hinomaru-Komposition für ein Bild eines Frames, das für eine Verarbeitung vorgesehen ist, quantifiziert.

Insbesondere führt die Score-Berechnungseinheit 1a eine Bildanalyse eines Frames, das für eine Verarbeitung vorgesehen ist, durch, um eine Komposition und einen Gegenstand zu bestimmen, und wählt dementsprechend eine Komposition zur Verwendung als Basis für eine Score-Berechnung aus. Dann wird ein Score als Bewertungswert für diese Komposition berechnet.

Die Schwellwertsetzeinheit 1b setzt variabel eine Schwellwertbedingung für eine Ausführungsbestimmung einer automatischen Standbildspeicherung. Die Schwellwertbedingung wird zum Beispiel entsprechend einer Benutzeroperation, einem Bildinhalt, einem Vorrichtungszustand oder dergleichen gesetzt.

Ein Schwellwert ist ein Wert, der mit einem Score, der von der Score-Berechnungseinheit 1a berechnet wird, zu vergleichen ist, und unter der Voraussetzung, dass der Maximalwert des Scores "100" ist, kann der Schwellwert selektiv auf "90", "80", "70" oder dergleichen gesetzt werden. Dann wird zum Beispiel angenommen, dass die Schwellwertbedingung erfüllt ist, wenn der Score den Schwellwert übersteigt.

In einem Fall, in dem der Score, der von der Score-Berechnungseinheit 1a für ein bestimmtes Frame berechnet wird, die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit 1b gesetzt wird, bestimmt die Bildspeicherungsbestimmungseinheit 1c, dass Bilddaten dieses Frames Bilddaten sind, die entsprechend einer Bestimmung einer weiteren Bedingung als Standbild zu speichern sind. Dann wird ein Bestimmungsergebnis als Steuerinformationen SS ausgegeben.

Das heißt, dass zuerst bestimmt wird, ob das Frame, das für eine Verarbeitung vorgesehen ist, ein Frame ist, das auf der Basis der Schwellwertbedingung für den Score als Standbild zu speichern ist. Dann wird in einem Fall, in dem die Schwellwertbedingung erfüllt ist, bestimmt, ob das Frame weiterhin auf der Basis einer Bestimmung einer weiteren Bedingung als Standbild zu speichern ist.

Die Bestimmung einer weiteren Bedingung bezieht sich auf eine Bestimmung eines Fokussierungszustands, eine Bestimmung, ob der Score-Wert um einen Spitzenwert herum liegt, eine Bestimmung, ob das Bild keine Unschärfe aufweist, und dergleichen.

In einem Fall, in dem die Bildspeicherungsbestimmungseinheit 1c bestimmt hat, dass ein bestimmtes Frame ein Frame ist, das als Standbild zu speichern ist, wird eine vorbestimmte Verarbeitung, die für Bilddaten dieses Frames notwendig ist, wie z. B. eine Auflösungsumwandlung und Kodierung, in einem Bildverarbeitungssystem und einem Speicherungsverarbeitungssystem, die beide nicht gezeigt sind, durchgeführt und werden die Bilddaten in einem Speicherungsmedium als Standbilddaten gespeichert. Entsprechend wird eine automatische Standbildspeicherung ausgeführt.

2 zeigt ein Beispiel für einen Bestimmungsprozess für eine automatische Standbildspeicherung in der Bildverarbeitungsvorrichtung 1. Dies ist ein Prozess, der mittels der Funktionen der oben beschriebenen Score-Berechnungseinheit 1a, der Schwellwertsetzeinheit 1b und der Bildspeicherungsbestimmungseinheit 1c der Bildverarbeitungsvorrichtung 1 ausgeführt wird.

Die Bildverarbeitungsvorrichtung 1 setzt einen Schwellwert in Schritt S1. Zum Beispiel wird ein Schwellwert entsprechend einer Benutzeroperation ausgewählt, und er wird als Schwellwert für die Verarbeitung gesetzt.

In Schritt S2 erfasst die Bildverarbeitungsvorrichtung 1 Bilddaten eines Frames, das für eine Verarbeitung vorgesehen ist, aus den Frames, die aufeinanderfolgend als Bilddaten Din geliefert werden.

In Schritt S3 führt die Bildverarbeitungsvorrichtung 1 eine Kompositionsbestimmung und eine Gegenstandsbestimmung für das Frame durch, das für eine Verarbeitung vorgesehen ist, und sie führt dementsprechend eine Score-Berechnung auf der Basis einer spezifischen Komposition durch.

In Schritt S4 prüft die Bildverarbeitungsvorrichtung 1, ob der Score die Schwellwertbedingung erfüllt. Wenn diese nicht erfüllt ist, geht der Prozess in dieser Reihenfolge zu Schritten S4, S8 und S2 weiter, um zu einer Verarbeitung für ein nächstes Frame, das für eine Verarbeitung vorgesehen ist, überzugehen.

In einem Fall, in dem die Schwellwertbedingung erfüllt ist, treibt die Bildverarbeitungsvorrichtung 1 den Prozess von Schritt S4 zu S5 vor und führt eine Bestimmung einer weiteren Bedingung für Bilddaten dieses Frames durch. Wenn die weitere Bedingung nicht erfüllt ist, geht der Prozess in dieser Reihenfolge zu Schritten S6, S8 und S2 weiter, um zu einer Verarbeitung für ein nächstes Frame, das für eine Verarbeitung vorgesehen ist, überzugehen. In einem Fall, in dem die weitere Bedingung erfüllt ist, treibt die Bildverarbeitungsvorrichtung 1 den Prozess von Schritt S6 zu S7 vor und bestimmt, dass das Frame ein Frame ist, das als Standbild zu speichern ist, und gibt die Bestimmungsinformationen SS aus.

Wenn die Operation zur automatischen Standbildspeicherung beendet ist, schließt die Bildverarbeitungsvorrichtung 1 den Prozess von 2 bei Schritt S8 ab.

Dieser Prozess von 2 ermöglicht es der Bildverarbeitungsvorrichtung 1, für Bilddaten von jeweiligen Frames, die als Video geliefert werden, zu bestimmen, dass Bilddaten, die eine gute Komposition aufweisen und eine weitere Bedingung, wie z. B. einen Fokussierungszustand, erfüllen, ein Frame sind, das als Standbild zu sichern ist.

Entsprechend ist es möglich zu bestimmen, dass ein Standbild, das eine Komposition mit einer hohen Qualität aufweist, für die automatische Standbildspeicherung zu speichern ist. Des Weiteren kann durch variables Setzen der Schwellwertbedingung die Frequenz einer Speicherung als Standbild eingestellt werden.

Es sei darauf hingewiesen, dass bei der Konfiguration von 1 die Bildverarbeitungsvorrichtung 1, die die Score-Berechnungseinheit 1a, die Schwellwertsetzeinheit 1b und die Bildspeicherungsbestimmungseinheit 1c aufweist, in einer zentralen Verarbeitungseinheit (central processing unit – CPU) oder einem Digitalsignalprozessor (DSP) als Operationsverarbeitungsvorrichtung enthalten sein kann. Es ist ferner denkbar, dass die jeweiligen Einheiten zum Beispiel verteilt in einer Vielzahl von CPUs oder CPU und DSP für die Bildverarbeitung und dergleichen enthalten sein können, um die Funktionen der Bildverarbeitungsvorrichtung 1 als koordinierte Verarbeitung durch diese Operationsverarbeitungsvorrichtungen zu verkörpern.

<2. Konfiguration der Bilderzeugungsvorrichtung>

Nachstehend werden anhand eines Beispiels der Bilderzeugungsvorrichtung 10, die Funktionen umfasst, welche äquivalent zu denjenigen der oben beschriebenen Bildverarbeitungsvorrichtung 1 sind, die Konfiguration und die automatische Standbildspeicherungsoperation genauer beschrieben.

3 zeigt ein Beispiel für eine Konfiguration der Bilderzeugungsvorrichtung 10 gemäß einer Ausführungsform.

Die Bilderzeugungsvorrichtung 10 ist eine sogenannte Digitalfotokamera oder Digitalvideokamera, die ein Gerät ist, das das Aufnehmen/Aufzeichnen eines Standbilds und eines Videos durchführt und eine Bildverarbeitungsvorrichtung aufweist, wie in den Patentansprüchen aufgeführt ist. Diese Bilderzeugungsvorrichtung 10 ist in der Lage, eine automatische Bildspeicherung durchzuführen, wenn sie sich im Modus zur automatischen Erfassung oder im Videoerfassungsmodus befindet.

Wie in 3 gezeigt ist, umfasst die Bilderzeugungsvorrichtung 10 ein optisches System 11, einen Bildwandler 12, eine Ansteuerungseinheit 13 für das optische System, eine Sensoreinheit 14, eine Speicherungseinheit 15, eine Kommunikationseinheit 16, eine Digitalsignalverarbeitungseinheit 20, eine Steuereinheit 30, eine Anzeigeeinheit 34 und eine Operationseinheit 35.

Das optische System 11 umfasst Objektive, wie z. B. ein Abdeckobjektiv, ein Zoomobjektiv und ein Fokussierungsobjektiv und einen Blendenöffnungsmechanismus. Dieses optische System 11 ermöglicht, dass Licht aus einem Gegenstand auf den Bildwandler 12 konzentriert wird.

Der Bildwander 12 umfasst einen Bildsensor zum Beispiel vom Typ einer ladungsgekoppelten Vorrichtung (charge coupled device – CCD), vom Typ eines komplementären Metalloxidhalbleiters (complementary metal oxide semiconductor – CMOS) oder dergleichen.

Dieser Bildwandler 12 führt zum Beispiel eine Verarbeitung zur korrelierten doppelten Abtastung (correlated double sampling – CDS), eine Verarbeitung zur automatischen Verstärkungssteuerung (automatic gain control – AGC) und dergleichen für ein elektrisches Signal aus, das durch fotoelektrischen Umwandlung in dem Bildsensor erhalten wird, und führt ferner eine Verarbeitung zur Analog/Digital-(A/D-)Umwandlung durch. Dann wird ein Bilderzeugungssignal in Form von digitalen Daten zu der Digitalsignalverarbeitungseinheit 20 einer späteren Stufe ausgegeben.

Die Geschwindigkeit des elektronischen Verschlusses des Bildsensors in dem Bildwandler 12 wird von der Steuereinheit 30 variabel gesteuert.

Die Ansteuerungseinheit 13 für das optische System steuert das Fokussierungsobjektiv in dem optischen System 11 auf der Basis der Steuerung der Steuereinheit 30 zum Ausführen einer Fokussierungsoperation an. Die Ansteuerungseinheit 13 für das optische System steuert ferner den Blendenöffnungsmechanismus in dem optischen System 11 auf der Basis der Steuerung der Steuereinheit 30 zum Ausführen einer Belichtungseinstellung an. Ferner steuert die Ansteuerungseinheit 13 für das optische System das Zoomobjektiv in dem optischen System 11 auf der Basis der Steuerung der Steuereinheit 30 zum Ausführen einer Zoomoperation an.

Die Digitalsignalverarbeitungseinheit 20 ist zum Beispiel als Bildverarbeitungsprozessor für einen DSP oder dergleichen ausgeführt. Diese Digitalsignalverarbeitungseinheit 20 unterzieht ein digitales Signal (aufgenommene Bilddaten) aus dem Bildwandler 12 verschiedenen Typen von Signalverarbeitung.

Zum Beispiel umfasst die Digitalsignalverarbeitungseinheit 20 eine Vorverarbeitungseinheit 21, eine Synchronisationseinheit 22, eine YC-Erzeugungseinheit 23, eine Auflösungsumwandlungseinheit 24, eine Codec-Einheit 25, eine Anzeigedatenerzeugungseinheit 26, eine Bildanalyseeinheit 27 und eine Fokussierungsverarbeitungseinheit 28.

Die Vorverarbeitungseinheit 21 unterzieht aufgenommene Bilddaten aus dem Bildwandler 12 einer Klemmverarbeitung zum Klemmen des RGB-Schwarzpegels auf einem vorbestimmten Pegel, einer Korrekturverarbeitung zwischen RGB-Farbkanälen und dergleichen.

Die Synchronisationseinheit 22 führt eine Demosaicing-Verarbeitung durch, so dass Bilddaten auf jedem Pixel sämtliche der RGB-Farbkomponenten aufweisen.

Die YC-Erzeugungseinheit 23 erzeugt (trennt) ein Luminanz-(Y-)Signal und ein Farb-(C-)Signal aus RGB-Bilddaten.

Die Auflösungsumwandlungseinheit 24 führt eine Auflösungsumwandlungsverarbeitung an Bilddaten durch, die verschiedenen Typen von Signalverarbeitung unterzogen worden sind.

Die Codec-Einheit 25 führt eine Kodierungsverarbeitung zum Beispiel zum Aufzeichnen oder für eine Kommunikation an Bilddaten durch, die einer Auflösungsumwandlung unterzogen worden sind.

Die Anzeigedatenerzeugungseinheit 26 erzeugt Anzeigedaten, die zum Beispiel als Live-Ansicht dienen und entsprechend der Steuerung der Steuereinheit 30 zu der Anzeigeeinheit 34 auszugeben sind.

Diese Anzeigedaten, die als Live-Ansicht dienen, sind grundsätzlich Daten jedes Frames, die als aufgenommene Bilddaten dienen, welche einer Auflösungsumwandlung in der Auflösungsumwandlungseinheit 24 unterzogen worden sind.

Des Weiteren führt die Anzeigedatenerzeugungseinheit 26 auch eine Verarbeitung zum Bewirken durch, dass verschiedene Führungsbilder, Zeichenbilder, Operationsbilder und dergleichen zum Beispiel eingeblendet in ein Bild, wie z. B. eine Live-Ansicht, auf der Basis von Anweisungen der Steuereinheit 30 angezeigt werden.

Die Bildanalyseeinheit 27 führt eine Bildanalyseverarbeitung auf der Basis jedes Frames (oder für jedes intermittierende Frame) mit Bezug auf aufgenommen Bilddaten (Luminanzsignal/Farbsignal), die zum Beispiel in der YC-Erzeugungseinheit 23 erhalten werden, durch und führt eine Detektion eines Gegenstandstyps und eines Hauptgegenstands, eine Verarbeitung bezüglich einer Kompositionsbestimmung, eine Verarbeitung zum Bestimmen einer Luminanz- oder Farbsituation und dergleichen als Bildinhalt durch. Dann werden diese Analyseergebnisse für eine Verarbeitung in der Steuereinheit 30 bereitgestellt. Des Weiteren ist mit Bezug auf den Gegenstandstyp die Bildanalyseeinheit 27 zum Beispiel auch in der Lage, eine Detektion eines menschlichen Gesichts, eine Körperdetektion, eine Detektion eines Tiers, wie z. B. eines Haustiers, und dergleichen durchzuführen.

Des Weiteren kann die Bildanalyseeinheit 27 auch eine Detektion eines Attributs einer Person oder dergleichen durchführen. Zum Beispiel wird ein charakteristischer Punkt eines Gesichtsbilds, der durch eine Bildanalyse detektiert wird, zum Identifizieren eines Attributs unterschieden und werden Attributinformationen erzeugt. Die Attributinformationen sind zum Beispiel Informationen darüber, ob der Gegenstand ein Erwachsener oder ein Kind ist, oder Informationen darüber, ob der Gegenstand eine Frau oder ein Mann ist. Genauere Informationen, wie z. B. die Altersgruppe, können ebenfalls unterschieden werden.

Des Weiteren führt die Bildanalyseeinheit 27 verschiedene Typen von Analyseverarbeitung durch, wie z. B. Detektion einer Linie, wie z. B. einer horizontalen Linie oder einer vertikalen Linie, in einem Bild, eine Bestimmung von Farbton/Sättigung/Helligkeit und dergleichen.

Die Fokussierungsverarbeitungseinheit 28 prüft einen Fokussierungszustand von Bilddaten des aktuellen Frames für eine Autofokussierungsoperation. Ein Bewertungswert zum Bestimmen des Fokussierungszustands wird mittels einer Technik, wie zum Beispiel Detektion einer hochfrequenten Komponentenenergie von Bilddaten, berechnet. Für eine Autofokussierung bewirkt die Steuereinheit 30, dass die Ansteuerungseinheit 13 für das optische System ein Ansteuern eines Fokussierungsobjektivs ausführt, wobei sie den Bewertungswert aus der Fokussierungsverarbeitungseinheit 28 zu Steuerzwecken prüft, um eine Fokussierungsbedingung zu erreichen.

Es sei darauf hingewiesen, dass jede der Anzeigedatenerzeugungseinheit 26, der Bildanalyseeinheit 27 und der Fokussierungsverarbeitungseinheit 28 als Funktionskomponente gezeigt ist, die bei diesem Beispiel von 3 in der Digitalsignalverarbeitungseinheit 20 ausgeführt wird, wobei dies ein Beispiel ist und die Verarbeitung in jeder dieser Einheiten durch die Steuereinheit 30 ausgeführt werden kann.

Die Steuereinheit 30 ist mit einem Mikrocomputer (Operationsverarbeitungsvorrichtung) ausgeführt, der eine CPU, einen Nurlesespeicher (read only memory – ROM), einen Schreib-/Lesespeicher (random access memory – RAM), einen Flashspeicher und dergleichen aufweist.

Wenn die CPU ein Programm ausführt, das in dem ROM, dem Flashspeicher oder dergleichen gespeichert ist, wird diese Bilderzeugungsvorrichtung 10 als Ganzes zentral gesteuert.

Der RAM wird für eine temporäre Speicherung von Daten, Programmen und dergleichen als Arbeitsbereich bei verschiedenen Typen der Datenverarbeitung der CPU verwendet.

Der ROM und der Flashspeicher (nichtflüchtige Speicher) werden zur Speicherung von Anwendungsprogrammen für verschiedene Operationen, Firmware und dergleichen zusätzlich zu einem Betriebssystem (operating system – OS) für die CPU zum Steuern jeder Einheit und einer Inhaltsdatei, wie z. B. einer Bilddatei, verwendet. Insbesondere wird bei dem vorliegenden Beispiel ein Programm zum Ausführen einer Verarbeitung zur automatischen Standbildspeicherung ebenfalls gespeichert.

Eine solche Steuereinheit 30 steuert Operationen von notwendigen jeweiligen Einheiten hinsichtlich Anweisungen für verschiedene Typen von Signalverarbeitung in der Digitalsignalverarbeitungseinheit 20, eine Bildaufnahmeoperation und eine Aufzeichnungsoperation entsprechend einer Benutzeroperation, eine Operation zum Wiedergeben einer aufgezeichneten Bilddatei, eine Kameraoperation, wie z. B. Zoomen, Fokussieren oder Belichtungseinstellung, eine Benutzerschnittstellenoperation und dergleichen.

Außerdem umfasst in einem Fall der vorliegenden Ausführungsform die Steuereinheit 30 Funktionen als Score-Berechnungseinheit 30a, Schwellwertsteuereinheit 30b, Bildspeicherungsbestimmungseinheit 30c und Anzeigesteuereinheit 30d, und sie führt eine Steuerung einer Operation zur automatischen Standbildspeicherung durch, die nachstehend beschrieben wird. Die Score-Berechnungseinheit 30a, die Schwellwertsteuereinheit 30b und die Bildspeicherungsbestimmungseinheit 30c sind Funktionen als Score-Berechnungseinheit 1a, Schwellwertsteuereinheit 1b und Bildspeicherungsbestimmungseinheit 1c, die mit Bezug auf 1 und 2 beschrieben worden sind. Das heißt, dass bei der Bilderzeugungsvorrichtung 10 Funktionen der Bildverarbeitungsvorrichtung 1 in 1 als Softwarefunktionen in der Steuereinheit 30 implementiert sind.

Die Anzeigesteuereinheit 30d übt eine Steuerung aus zum Bewirken, dass zum Beispiel Kompositionsinformationen in einem eingeblendeten Format in einer Live-Ansicht oder dergleichen während der Operation zur automatischen Standbildspeicherung angezeigt werden, zum Bewirken, dass Informationen über den Score jedes Frames und eine Schwellwertbedingung angezeigt werden, und zum Bewirken, dass ein vergrößertes Bild, das als Führung beim Anpassen von Bildinhalt mit einer spezifischen Komposition dient, angezeigt wird.

Die Anzeigeeinheit 34 ist eine Anzeigeeinheit, die verschiedene Anzeigen für einen Benutzer (Fotografen oder dergleichen) durchführt und mit einer Anzeigevorrichtung ausgebildet ist, wie z. B. einer Flüssigkristallanzeige (liquid crystal display – LCD) oder einer organischen Elektroluminiszenz-(EL-)Anzeige, die zum Beispiel an einem Gehäuse der Bilderzeugungsvorrichtung 10 ausgebildet ist. Es sei darauf hingewiesen, dass die Anzeigeeinheit 34 unter Verwendung einer LCD, einer organischen EL-Anzeige oder dergleichen in Form eines sogenannten Suchers ausgebildet sein kann.

Diese Anzeigeeinheit 34 ist aus der oben beschriebenen Anzeigevorrichtung und einem Anzeigetreiber gebildet, der bewirkt, dass die Anzeigevorrichtung eine Anzeige ausführt. Der Anzeigetreiber bewirkt, dass verschiedene Anzeigen auf der Basis von Anweisungen der Steuereinheit 30 auf der Anzeigevorrichtung ausgeführt werden. Zum Beispiel bewirkt der Anzeigetreiber, dass ein Standbild oder ein Video, das aufgenommen und auf einem Aufzeichnungsmedium aufgezeichnet wird, zur Wiedergabe angezeigt wird, und bewirkt, dass eine Live-Ansicht auf der Basis von Anzeigedaten aus der Anzeigedatenerzeugungseinheit 26 auf einem Bildschirm der Anzeigevorrichtung angezeigt werden. Des Weiteren bewirkt der Anzeigetreiber, dass verschiedene Operationsmenüs, Icons, Mitteilungen, Führungsanzeigen und dergleichen, das heißt eine Anzeige als grafische Benutzerschnittstellt (graphical user interface – GUI) auf dem Bildschirm angezeigt werden.

Die Operationseinheit 35 weist eine Eingabefunktion zum Eingeben einer Benutzeroperation auf und sendet ein Signal entsprechend einer Eingabeoperation zu der Steuereinheit 30.

Diese Operationseinheit 35 ist zum Beispiel in Form von verschiedenen Steuereinrichtungen, die an dem Gehäuse der Bilderzeugungsvorrichtung 10 vorgesehen sind, eines Bildschirmtastfelds, das an der Anzeigeeinheit 34 ausgebildet ist, oder dergleichen ausgeführt.

Als Steuereinrichtungen an dem Gehäuse sind eine Wiedergabemenü-Aktivierungstaste, eine Entscheidungstaste, eine Vierwege-Steuereinrichtung, eine Abbruchtaste, ein Zoomtaster, ein Schiebetaster, eine Verschlusstaste (Auslösetaste) und dergleichen vorgesehen.

Des Weiteren können verschiedene Operationen von einer Bildschirmtastfeldoperation durch Verwendung eines Bildschirmtastfelds und von Icons, eines Menüs und dergleichen, die auf der Anzeigeeinheit 34 angezeigt werden, ermöglicht werden.

Die Speicherungseinheit 15 weist zum Beispiel einen nichtflüchtigen Speicher und Funktionen als Speicherungsbereich auf, in dem eine Bilddatei (Inhaltsdatei) von Standbilddaten, Videodaten oder dergleichen, Attributinformationen der Bilddatei, ein Miniaturbild und dergleichen gespeichert werden.

Eine Bilddatei wird zum Beispiel in einem Format, wie z. B. Joint Photographic Experts Group (JPEG), Tagged Image File Format (TIFF) oder Graphics Interchange Format (GIF) gespeichert.

Die tatsächliche Form der Speicherungseinheit 15 ist auf verschiedene Weise denkbar. Zum Beispiel kann die Speicherungseinheit 15 ein Flashspeicher sein, der in die Bilderzeugungsvorrichtung 10 eingebaut ist, oder sie kann eine Form aufweisen, die mittels einer Speicherkarte (zum Beispiel eines tragbaren Flashspeichers), die an der Bilderzeugungsvorrichtung 10 angebracht/von dieser abgenommen werden kann, und einer Kartenaufzeichnungs-Wiedergabeeinheit, die einen Zugriff auf die Speicherkarte zwecks Wiedergabe der Aufzeichnung bietet, realisiert wird. Alternativ kann die Speicherungseinheit 15 als Festplattenlaufwerk (hard disk drive – HDD), das in die Bilderzeugungsvorrichtung 10 eingebaut ist, ausgeführt sein.

Des Weiteren kann bei dem vorliegenden Beispiel ein Programm zum Ausführen einer Verarbeitung zur automatischen Standbildspeicherungsfunktion in der Speicherungseinheit 15 gespeichert sein.

Die Kommunikationseinheit 16 führt eine drahtgebunden oder drahtlose Datenkommunikation oder Netzkommunikation mit einem externen Gerät durch.

Zum Beispiel führt die Kommunikationseinheit 16 eine Kommunikation von aufgenommenen Bilddaten (einer Standbilddatei oder einer Videodatei) mit einer externen Anzeigevorrichtung, Aufzeichnungsvorrichtung, Wiedergabevorrichtung oder dergleichen durch.

Außerdem kann die Kommunikationseinheit 16 als Netzkommunikationseinheit zum Beispiel eine Kommunikation über verschieden Netze, wie z. B. das Internet, ein Heimnetz und ein lokales Netz (local area network – LAN) durchführen, um verschiedene Typen von Daten zu einem Server in einem Netz, einem Endgerät oder dergleichen zu senden/von diesem zu empfangen.

Die Sensoreinheit 14 zeigt umfassend verschiedene Sensoren. Zum Beispiel sind ein Gyrosensor (Winkelgeschwindigkeitssensor), ein Beschleunigungssensor und dergleichen zum Detektieren der Gesamtbewegung der Bilderzeugungsvorrichtung 10, wie z. B. ein Schütteln, oder der Haltung und Bewegung (wie z. B. Schwenken oder Neigen) der Bilderzeugungsvorrichtung 10 und dergleichen, vorgesehen.

Des Weiteren können ein Beleuchtungssensor, der eine externe Beleuchtung für eine Belichtungseinstellung oder dergleichen detektiert, und ferner ein Entfernungsmesssensor, der einen Abstand zu dem Gegenstand misst, vorgesehen sein.

Des Weiteren gibt es auch einen Fall, in dem ein Zoomobjektivpositionssensor, der die Position des Zoomobjektivs in dem optischen System 11 detektiert, und ein Fokussierungsobjektivpositionssensor, der die Position des Fokussierungsobjektivs detektiert, als Sensoreinheit 14 vorgesehen sind.

Des Weiteren gibt es auch einen Fall, in dem ein Sensor, der einen Blendenöffnungsgrad einer mechanischen Iris (Blendenöffnungsmechanismus) detektiert, als Sensoreinheit 14 vorgesehen ist.

Jeder der verschiedenen Sensoren der Sensoreinheit 14 transportiert detektierte Informationen zu der Steuereinheit 30. Die Steuereinheit 30 kann verschiedene Typen von Steuerung unter Verwendung von Informationen, die in der Sensoreinheit 14 detektiert werden, ausüben.

<3. Automatischer Standbildspeicherungsprozess>[3-1: Gesamtprozess]

Ein Überblick über eine automatische Standbildspeicherungsoperation, die in der Bilderzeugungsvorrichtung 10 gemäß der vorliegenden Ausführungsform durchgeführt wird, ist wie folgt.

Für Bilddaten von aufeinanderfolgenden Frames, die von dem Bildwandler 12 aufgenommen werden, werden eine Gegenstandsbestimmung und eine Kompositionsbestimmung in der Bildanalyseeinheit 27 für jedes Frame (oder jedes intermittierende Frame) durchgeführt. Die Steuereinheit 30 (die Score-Berechnungseinheit 30a) verwendet Informationen über ein Analyseergebnis zum Berechnen eines Scores.

Zum Beispiel wird beim Anvisieren eines Hauptgegenstands in dem Rahmengitter eines Frames, zum Beispiel ein Gesicht in einem Fall des Durchführens einer Gesichtsdetektion, ein Score, der den Grad an Relevanz für eine spezifische Komposition angibt, berechnet.

Zuerst wird bestimmt, ob dieser Score eine Schwellwertbedingung erfüllt. Ein Frame, das die Schwellwertbedingung nicht erfüllt, wird nicht für eine Standbildspeicherung vorgesehen.

Die Schwellwertbedingung wird zum Beispiel mittels einer Benutzeroperation variabel gesetzt. Wenn die Schwellwertbedingung strikt einzuhalten ist, verringert sich die Frequenz, mit der eine Standbildspeicherung durchgeführt wird, und wenn die Schwellwertbedingung leicht zu erfüllen ist, erhöht sich die Frequenz der Standbildspeicherung.

Dann wird ein Frame, das einen guten Score aufweist, das heißt, einen Score aufweist, der die Schwellwertbedingung erfüllt, den folgenden Bedingungsbestimmungen 1) bis 3) unterzogen.

• 1) Spitzenwertbestimmung: durch Vergleichen eines Scores eines vorhergehenden Frames mit einem temporär gespeicherten Puffer-Score (nachstehend als "Puf-Score" bezeichnet) wird der Spitzenwert bestimmt. Ein Frame, dessen Score um einen Spitzenwert herum liegt, aus den aufeinanderfolgenden Frames, die für eine Verarbeitung vorgesehen sind, verbleibt als Standbild.
• 2) Fokussierungsbestimmung: es wird bestimmt, ob ein Hauptgegenstand (zum Beispiel ein Gesicht) im Fokus liegt, und ein außerhalb des Fokus liegendes Frame wird nicht für eine Standbildspeicherung vorgesehen.

Es sei darauf hingewiesen, dass Faktoren, aufgrund derer der Gegenstand im Fokus liegt, das Drücken des Verschlusses über den halben Weg/den ganzen Weg durch einen Benutzer, Autofokussierung (AF), kontinuierliche AF, manuelle Fokussierung und dergleichen umfassen.

• 3) Bestimmen, ob sich der Gegenstand bewegt: in einem Fall, in dem sich der Gegenstand bewegt, wird geprüft, ob die Verschlussgeschwindigkeit während der Bildaufnahme größer ist als eine Sekunde dividiert durch eine Brennweite. Da ein Frame, bei dem die Verschlussgeschwindigkeit kleiner ist als eine Sekunde dividiert durch die Brennweite, höchstwahrscheinlich ein unscharfes Bild ist, wird das Frame nicht für eine Standbildspeicherung vorgesehen.

In einem Fall, in dem diese Bedingungen erfüllt sind, wird dieses Frame für eine Standbildspeicherung vorgesehen und wird eine Speicherungssteuerung ausgeübt.

4, 5, 6, 7 und 8 zeigen ein Beispiel für einen Prozess der Steuereinheit 30 zur automatischen Standbildspeicherung. Die Steuereinheit 30 führt die Verarbeitung mittels der Funktionen der Score-Berechnungseinheit 30a, der Schwellwertsteuereinheit 30b, der Bildspeicherungsbestimmungseinheit 30c und der Anzeigesteuereinheit 30d durch.

Zuerst zeigt 4 einen Gesamtprozess für eine automatische Standbildsteuerung.

In einem Fall des Startens einer automatischen Standbildspeicherung treibt die Steuereinheit 30 den Prozess von Schritt S101 zu S102 von 4 vor.

Beispiele umfassen einen Fall, in dem ein Benutzer eine Operation zum Durchführen einer automatischen Standbildsteuerung während einer Videoaufnahme durchführt, oder auch in einem Fall, in dem keine Videoaufnahme speziell durch geführt wird, einem Fall, in dem ein Benutzer eine Operation zum Anweisen einer automatischen Standbildspeicherung durchgeführt hat.

In dem Fall des Startens einer Standbildspeicherung setzt die Steuereinheit 30 in Schritt S102 einen Schwellwert zur Verwendung in dem Prozess. Ein Zeitintervall entsprechend dem Schwellwert wird ebenfalls gesetzt.

Der Schwellwert wird mit einem Score verglichen, wie oben beschrieben worden ist, und die Frequenz der Standbildspeicherung kann in gewissem Maß mittels des Schwellwerts eingestellt werden.

Bei der automatischen Standbildspeicherung kann der Benutzer einen Modus hinsichtlich des Grads der Frequenz auswählen, mit der Standbilder aus Videoframes aufzunehmen sind. Zum Beispiel wählt der Benutzer "hoch", "mittel", "niedrig" oder dergleichen im Voraus als Modus der Frequenz der Standbildspeicherung mittels einer vorbestimmten Operation. Die Steuereinheit 30 speichert diese Operation als Modus der Frequenz der automatischen Standbildspeicherung. Dann wird auf der Stufe von Schritt S102 ein Schwellwert entsprechend dem Modus (eine der "hohen", "mittleren", "niedrigen" Frequenz), der durch die letzte Operation des Benutzers gesetzt worden ist, gesetzt. Zum Beispiel wird in einem Fall einer "niedrigen" Frequenz ein relativ strikt einzuhaltender Schwellwert th1 gesetzt, in einem Fall einer "mittleren" Frequenz wird ein Zwischenschwellwert th2 gesetzt, und in einem Fall einer "hohen" Frequenz wird ein relativ leicht einzuhaltender Schwellwert th3 gesetzt. Ein spezifisches Beispiel für die Schwellwerte th1 bis th3 wird nachstehend anhand eines Score-Beispiels mit Bezug auf eine Komposition beschrieben.

Des Weiteren bezieht sich das Zeitintervall unter der Annahme, dass ein Standbild zu speichern ist, auf eine Standby-Zeit, bis ein Frame als nächstes Standbild ausgewählt wird. Wenn Frames auf der Basis eines Scores und einer weiteren Bedingung als Standbilder ausgewählt werden, tritt möglicherweise ein Fall ein, in dem viele Bilder mit im Wesentlichen gleichem Bildinhalt in aufeinanderfolgenden Frames als Standbilder gespeichert werden. Somit wird in einem Fall, in dem ein bestimmtes Frame als Standbild gespeichert wird, die nächste Standbildspeicherung danach während der Standby-Periode nicht durchgeführt.

Dieses Zeitintervall ist entsprechend dem oben beschriebenen Modus der Frequenz und ist zum Beispiel auf alle 10 Sekunden gesetzt im Fall einer "niedrigen" Frequenz, 6 Sekunden im Fall einer "mittleren" Frequenz, 3 Sekunden im Fall einer "hohen" Frequenz und dergleichen.

Wenn der Schwellwert und das Zeitintervall gesetzt worden sind, führt die Steuereinheit 30 nacheinander eine Verarbeitung zur Bestimmung einer Standbildspeicherung für tatsächliche jeweilige Frames in und nach Schritt S103 durch.

In Schritt S103 wird ein Frame spezifiziert, das für eine Verarbeitung zum Bestimmen, ob es als Standbild zu speichern ist, vorgesehen ist. In einem Fall, in dem sämtliche der Frames, die von dem Bildwandler 12 aufgenommen werden, für eine Verarbeitung vorgesehen sind, werden in Schritt S103 die Frames nacheinander eins nach dem anderen als Verarbeitungsziele gesetzt. Es gibt auch einen Fall, in dem Frames in Schritt S103 nacheinander intermittierend als Verarbeitungsziele gesetzt werden, wie zum Beispiel alle n Frames.

Wenn ein bestimmtes Frame als Verarbeitungsziel gesetzt worden ist, prüft die Steuereinheit 30 anschließend ein Analyseergebnis in der Bildanalyseeinheit 27 für dieses Zielframe. Bei diesem Beispiel von 4 wird auf das Ergebnis einer Gesichtsbilddetektion Bezug genommen, und es wird geprüft, ob ein menschliches Gesicht als Gegenstand eines Bilds dieses Frames enthalten ist. Die Orientierung des Gesichtsbilds wird ebenfalls als Ergebnis der Gesichtsbildanalyse geprüft.

Dann treibt in einem Fall, in dem ein Gesicht in dem Bild dieses Frames vorhanden ist, die Steuereinheit 30 den Prozess von Schritt S104 zu S105 vor, um eine Kompositionsbestimmung für einen Menschen durchzuführen, und sie treibt in einem Fall, in dem kein Gesicht vorhanden ist, den Prozess von Schritt S104 zu S106 vor, um eine Landschaftskompositionsbestimmung durchzuführen.

Bei der Kompositionsbestimmungsverarbeitung für einen Menschen in Schritt S105 vergleicht die Steuereinheit 30 die Komposition des Bilds dieses Frames mit einem oder einer Vielzahl von Kompositionsmustern, die wünschenswert sind in einem Fall, in dem ein menschliches Gesicht enthalten ist, um zu bestimmen, ob dieses Frame mit einer gewünschten Komposition in Einklang steht, und berechnet einen Score als Bewertungswert (zum Beispiel den Grad an Relevanz für diese Komposition) auf der Basis dieser Komposition.

Außerdem vergleicht bei einer Landschaftskompositionsbestimmungs-Verarbeitung in Schritt S106 die Steuereinheit 30 die die Komposition des Bilds dieses Frames mit einem oder einer Vielzahl von Kompositionsmustern, die als Landschaftskomposition wünschenswert sind, um zu bestimmen, ob dieses Frame mit einer gewünschten Komposition in Einklang steht, und berechnet einen Score als Bewertungswert auf der Basis dieser Komposition. Spezifische Beispiele für die Kompositionsbestimmung für einen Menschen und die Landschaftskompositionsbestimmung werden nachstehend beschrieben.

In Schritt S107 bewirkt die Steuereinheit 30, dass die Anzeigeeinheit 34 Informationen auf der Basis des Kompositionsbestimmungsergebnisses anzeigt, eine Anzeige einer Führung zum Erzielen einer besseren Komposition und dergleichen.

Zum Beispiel werden verschiedene Bilder, Icons, vergrößerte Bilder und dergleichen zu diesem Zeitpunkt in eine Live-Ansicht eingeblendet angezeigt. Anzeigenbeispiele werden nachstehend beschrieben.

In Schritt S108 bestimmt die Steuereinheit 30, ob ein Frame, das für eine Verarbeitung vorgesehen ist, ein Frame ist, das als Standbild zu speichern ist, und in einem Fall, in dem es als Frame bestimmt worden ist, das als Standbild zu speichern ist, übt sie eine Steuerung aus zum Bewirken, dass eine Speicherungsoperation ausgeführt wird. Details der Bestimmungsverarbeitung werden nachstehend beschrieben.

In Schritt S109 beurteilt die Steuereinheit 30, ob ein Trigger, der die Operation zur automatischen Standbildsteuerung beendet, aufgetreten ist, und in einem Fall, in dem der Trigger, der die automatische Standbildsteuerung beendet, als Benutzeroperation aufgetreten ist, wird durch ein Stoppen einer Videoaufnahme oder dergleichen der Prozess von 4 beendet.

In einer Periode bis zur Beendigung der automatischen Standbildspeicherungsoperation verzweigt sich der Prozess in Schritt S110 in Abhängigkeit davon, ob eine Standbildspeicherung in dem vorhergehenden Schritt S108 ausgeführt worden ist. Wenn keine Standbildspeicherung ausgeführt worden ist, kehrt der Prozess zu Schritt S103 zurück, um auf im Wesentlichen gleiche Weise eine Verarbeitung an dem nächsten Frame durchzuführen.

In einem Fall, in dem eine Standbildspeicherung unmittelbar zuvor ausgeführt worden ist, geht der Prozess von Schritt S110 zu S111 weiter, um zu warten, bis das oben beschriebene Zeitintervall abgelaufen ist. Es sei darauf hingewiesen, dass die Zeitzählung des Zeitintervalls zum Beispiel zum Zeitpunkt des Ausführens einer Standbildspeicherungssteuerung in Schritt S108 gestartet werden kann. Dann kehrt der Prozess während der Standby-Zeit zu Schritt S109 zurück, um zu warten, bis die Zeit abgelaufen ist, und wenn die Standby-Zeit abgelaufen ist, kehrt der Prozess zu Schritt S103 zurück. In diesem Fall werden Frames während der Standby-Periode in und nach Schritt S104 nicht zur Verarbeitung vorgesehen und werden Frames zu und nach dem Zeitpunkt, zu dem die Standby-Periode abgelaufen ist, nacheinander als Frames gesetzt, die für eine Verarbeitung vorgesehen sind.

[3-2: Kompositionsbestimmung/Score-Berechnung]

Die Steuereinheit 30 führt in Schritten S105 und S106 von 4 eine Verarbeitung zur Kompositionsbestimmung für einen Menschen und eine Landschaftskompositionsbestimmung durch. Diese Kompositionsbestimmungen werden beschrieben.

5 zeigt in Schritt S105 von 4 genauer eine Verarbeitung zur Kompositionsbestimmung für einen Menschen. In einem Fall, in dem in Schritt S104 von 4 bestimmt wird, dass ein Gesichtsbild in einem Zielframe vorhanden ist, treibt die Steuereinheit 30 den Prozess zu Schritt S105 vor. In diesem Fall wird eine Komposition zur Verwendung als Basis für eine Score-Berechnung in Abhängigkeit von einem Bestimmungsergebnis hinsichtlich der Anzahl von Gesichtsbildern, die in dem Zielframe vorhanden sind, das heißt, wie viele Menschen vorhanden sind, und der Gesichtsorientierung, die in 5 gezeigt ist, umgeschaltet.

In einem Fall, in dem anhand des Bildanalyseergebnisses für das Zielframe geprüft worden ist, dass es ein Gesichtsbild (einen Mensch) gibt, und das Gesichtsbild ein nach vorn gerichtetes Bild ist, treibt die Steuereinheit 30 den Prozess so vor, dass er in der Reihenfolge von Schritten S201, S202 und S203 weitergeht, und unter Verwendung der Ganzkörperkomposition, der Hinomaru-Komposition, und der Brustbildkomposition bezüglich des Zielframes als Kompositionen als Basis für eine Score-Berechnung berechnet sie jeden Score auf der Basis jeder dieser Kompositionen. Das heißt, dass ein Score, der durch Quantifizieren einer Bewertung auf der Basis der Ganzkörperkomposition erhalten wird, ein Score, der durch Quantifizieren einer Bewertung auf der Basis der Hinomaru-Komposition erhalten wird, und ein Score, der durch Quantifizieren einer Bewertung auf der Basis der Brustbildkomposition erhalten wird, berechnet werden.

Des Weiteren treibt in einem Fall, in dem anhand des Bildanalyseergebnisses für das Zielframe geprüft worden ist, dass es ein Gesichtsbild (einen Mensch) gibt und das Gesichtsbild nicht nach vorn gerichtet ist, die Steuereinheit 30 den Prozess so vor, dass er in der Reihenfolge von Schritten S201, S202 und S204 weitergeht, und sie berechnet einen Score auf der Basis der Drittel-Regel-Komposition für das Zielframe.

Des Weiteren treibt in einem Fall, in dem anhand des Bildanalyseergebnisses für das Zielframe geprüft worden ist, dass es zwei Gesichtsbilder (zwei Menschen) gibt und die Gesichtsbilder nach vorn gerichtete Gesichtsbilder sind, die Steuereinheit 30 den Prozess so vor, dass er in der Reihenfolge von Schritten S201, S205, S206 und S207 weitergeht, und sie berechnet jeweilige Scores als Bewertungen auf der Basis der Drittel-Regel-Komposition und der diagonalen Komposition für das Zielframe.

Die Bestimmung in Schritt S206, ob die Gesichter nach vorn gerichtet sind, macht erforderlich, dass beide der zwei nach vorn gerichtet sind, und in einem Fall, in dem nicht bestimmt wird, dass ein Gesicht der beiden nach vorn gerichtet ist, wird keine Score-Berechnung durchgeführt. Somit ist in einem Fall eines Frames, bei dem die zwei Personen nach vorn gerichtet sind, die Möglichkeit einer Standbildspeicherung gegeben.

Ein solches Beispiel, bei dem dann, wenn zum Beispiel eines von ihnen nach vorn gerichtet ist, der Prozess zu Schritt S207 weitergeht, ist jedoch auch denkbar.

Des Weiteren treibt in einem Fall, in dem anhand des Bildanalyseergebnisses für das Zielframe geprüft worden ist, dass es drei oder mehr Gesichtsbilder (drei oder mehr Menschen) gibt und die Gesichtsbilder nach vorn gerichtete Gesichtsbilder sind, die Steuereinheit 30 den Prozess so vor, dass er in der Reihenfolge von Schritten S201, S205, S208 und S209 weitergeht, und sie berechnet einen Score als Bewertung auf der Basis einer Mehr-Personen-Komposition für das Zielframe.

Auch in diesem Fall macht die Bestimmung in Schritt S208, ob die Gesichter nach vorn gerichtet sind, erforderlich, dass die Gesichtsorientierungen sämtlicher von ihnen nach vorn gerichtet sind, und in einem Fall, in dem nicht beurteilt wird, dass ein Gesicht von ihnen nach vorn gerichtet ist, wird keine Score-Berechnung durchgeführt. Somit ist im Fall eines Frames, bei dem sämtliche von ihnen nach vorn gerichtet sind, die Möglichkeit einer Standbildspeicherung gegeben.

Ein solches Beispiel, bei dem der Prozess zu Schritt S209 weitergeht in einem Fall, in dem zum Beispiel mindestens eines von ihnen nach vorn gerichtet ist oder die Mehrzahl nach vorn gerichtet ist, ist jedoch auch denkbar. Das ist darauf zurückzuführen, dass es in einem Fall, in dem es eine Anzahl von Leuten gibt, weniger wahrscheinlicher ist, dass das Frame ein Kandidat für eine Standbildspeicherung ist, wenn die Gesichtsorientierungen sämtlicher Menschen strikt beurteilt werden.

Spezifische Beispiele für eine Score-Berechnung in den vorgenannten Schritten S203, S204, S207 und S209 werden beschrieben.

Zuerst wird unter Verwendung der Fälle der Hinomaru-Komposition und der Brustbildkomposition als Beispiele in 9 eine Beziehung zwischen der Score-Berechnung und dem Schwellwert, der in Schritt S102 von 4 gesetzt wird, beschrieben.

Der Schwellwert ist ein Schwellwert zum Beurteilen, ob ein Hauptgegenstand oder dergleichen in welchem Abstand zu einer idealen Position (idealen Koordinaten) einer Komposition, die als Basis verwendet wird, für eine Standbildspeicherung vorzusehen ist.

9A zeigt einen Fall der Hinomaru-Komposition. Die Hinomaru-Komposition ist eine Komposition, bei der ein Hauptgegenstand im Zentrum eines Bilds vorhanden ist.

Eine ideale Position IP bei der Hinomaru-Komposition wird ausgedrückt als: IP = (Hx, Hy) unter Verwendung von xy-Koordinaten. Als Schwellwerte für eine Beabstandung von dieser idealen Position IP sind der Schwellwert th1 (angegeben durch die durchgezogene Linie), der Schwellwert th2 (angegeben durch die gestrichelte Linie) und der Schwellwert th3 (angegeben durch die mit langen Strichen und kurzen Strichen dargestellte Linie) vorgesehen. Zum Beispiel wird angenommen, dass der Schwellwert th1 ein Wert äquivalent zu einem Bereich von ±20 Pixeln zu der idealen Position IP in der x-Richtung und der y-Richtung ist, der Schwellwert th2 ein Wert äquivalent zu einem Bereich von ±40 Pixeln zu der idealen Position IP in der x-Richtung und der y-Richtung ist und der Schwellwert th3 ein Wert äquivalent zu einem Bereich von ±60 Pixeln zu der idealen Position IP in der x-Richtung und der y-Richtung ist oder dergleichen.

9B ist ein Fall der Brustbildkomposition. In diesem Fall wird angenommen, dass eine bestimmte Höhenposition (eine y-Koordinaten-Position) auf dem Bildschirm die ideale Position IP ist. Das heißt, dass die ideale Position IP eine Position ist, an der y-Koordinaten-Wert = Hy gilt. Die Schwellwerte th1 (durchgezogene Linie), th2 (gestrichelte Linie) und th3 (mit langen Strichen und kurzen Strichen dargestellte Linie) geben in diesem Fall Bereiche an, bei denen sich die Beabstandungen zu der idealen Position IP unterscheiden, wie in der Zeichnung gezeigt ist. Zum Beispiel wird angenommen, dass der Schwellwert th1 ein Wert äquivalent zu dem Bereich von ±20 Pixeln zu der idealen Position IP in y-Richtung ist, der Schwellwert th2 ein Wert äquivalent zu dem Bereich von ±40 Pixeln zu der idealen Position IP in der y-Richtung ist und der Schwellwert th3 ein Wert äquivalent zu dem Bereich von ±60 Pixeln zu der idealen Position IP in der y-Richtung ist oder dergleichen.

Die Schwellwerte th1, th2 und th3 werden zum Beispiel in Abhängigkeit von der Komposition auf diese Weise erstellt, und jeder dieser Schwellwerte th1, th2 und th3 wird mittels einer Benutzeroperation oder dergleichen ausgewählt. Dann wird in Schritt S102 von 4 als Schwellwert zur Verwendung bei der automatischen Standbildspeicherung ein Schwellwert, der aus den Schwellwerten th1, th2 und th3 ausgewählt ist, als Schwellwert zur Verwendung bei der Verarbeitung gesetzt.

Zum Beispiel wird in einem Fall, in dem der Schwellwert th1 verwendet wird, in Schritt S108 von 4 beurteilt, ob der Score eines Zielframes ein Score äquivalent zu dem Bereich des Schwellwerts th1 ist.

Daher wird der Score als Wert berechnet, der einen Abstand d einer zentralen Position CP zum Beispiel eines Hauptgegenstands zu der idealen Position IP in jeder Komposition darstellt.

Zum Beispiel kann in einem Fall, in dem ein Gesichtsbild vorhanden ist, der Score aus dem Abstand zwischen den Koordinaten der idealen Position IP und der zentralen Koordinatenposition des detektierten Gesichts berechnet werden.

Im Fall der Hinomaru-Komposition von 9A sind die Koordinaten der idealen Position IP (Hx, Hy). Außerdem werden die Koordinaten der zentralen Position CP des Gesichts als (Fx, Fy) angenommen. Der Score kann in diesem Fall berechnet werden als: Score = (SCmax) – (√(Hx – Fx)² + (Hy – Fy)²)(Beisp. 1)

"SCmax" ist der höchste Wert des Scores (perfekte Score-Wert) und wird zum Beispiel als "100" angenommen. Dann wird angenommen, dass 1 Pixel = 1 (Score) gilt.

In diesem Fall wird angenommen, dass Schwellwert th1 = 80, Schwellwert th2 = 60 und Schwellwert th3 = 40 gilt.

Im Fall einer idealen Komposition gilt Score = 100 (= SCmax).

In einem Fall, in dem der Schwellwert th1 ausgewählt worden ist, erfüllt das Bild des Frames die Schwellwertbedingung in einem Fall, in dem der Score 80 bis 100 ist.

Des Weiteren ist in einem Fall, in dem der Schwellwert th2 ausgewählt worden ist, die Schwellwertbedingung erfüllt in einem Fall, in dem der Score 60 bis 100 ist, und in einem Fall, in dem der Schwellwert th3 ausgewählt worden ist, ist die Schwellwertbedingung erfüllt in einem Fall, in dem der Score 40 bis 100 ist.

Das heißt, dass die Wahrscheinlichkeit (Frequenz), mit der ein Zielframe die Schwellwertbedingung erfüllt, in Abhängigkeit von der Auswahl des Schwellwerts th1, th2 oder th3 variiert.

Ein Beispiel für eine Score-Berechnung für die Hinomaru-Komposition wird beschrieben.

10A stellt die Orientierungen von Gesichtsbildern dar. Fälle, in denen seitliche Orientierungsrichtungen von Gesichtsbildern (YAW-R2 bis YAW-L2) unterschiedlich sind, sind in der horizontalen Richtung der Zeichnung angeordnet und gezeigt, und Fälle, in denen Achsendrehrichtungen (ROLL-R1 bis ROLL-L1) unterschiedlich sind, sind in der vertikalen Richtung der Zeichnung angeordnet und gezeigt.

Bei der Verarbeitung von 5 wird in einem Fall, in dem es ein Gesicht (Mensch) gibt und das Gesicht nach vorn gerichtet ist, ein Score für die Hinomaru-Komposition in Schritt S203 berechnet. Daher werden nur Fälle, in denen Gesichtsbilder diejenigen sind, die von einer gestrichelten Linie T in 10A umgeben sind, zum Ziel genommen.

10B zeigt einen Zustand, in dem die Koordinaten der zentralen Position CP des Gesichtsbilds mit den Koordinaten der idealen Position IP übereinstimmen. Der Score wird mittels des oben beschriebenen (Beisp. 1) als Wert berechnet, der darstellt, ob die Koordinaten der zentralen Position CP des Gesichts nahe an den Koordinaten der idealen Position IP liegen. In diesem Fall von 10B gilt Score = 100. Wenn sich das Gesicht von der idealen Position IP entfernt, verringert sich der Score.

Ein Beispiel für eine Score-Berechnung für die Drittel-Regel-Komposition in einem Fall, in dem nur ein Gegenstand vorhanden ist, wird beschrieben. 11A zeigt Gesichtsorientierungen, die denen von 10A im Wesentlichen gleich sind.

Bei der Verarbeitung von 5 wird in Schritt S204 der Score für die Drittel-Regel-Komposition in einem Fall berechnet, in dem es ein Gesicht (Mensch) gibt und das Gesicht nicht nach vorn gerichtet ist.

Ideale Positionen im Fall der Drittel-Regel-Komposition sind ideale Positionen IPa, IPb, IPc und IPd, die in 11B gezeigt sind, das heißt vier Positionen, die in drei geteilte Punkte in der x-Richtung und in drei geteilte Punkte in der y-Richtung sind. In diesem Fall wird von einem Score dargestellt, ob die Gesichtsorientierung in Richtung eines leeren Raums gerichtet ist und die Koordinaten der zentralen Position des Gesichts (der oben beschriebenen CP) nahe an den Koordinaten einer idealen Position liegen.

Insbesondere in einem Fall, in dem die Gesichtsorientierung eine derjenigen ist, die von einer gestrichelten Linie Ta in 11A umgeben ist, wird ein Score entsprechend dem Abstand zwischen der zentralen Position des Gesichts und der idealen Position IPa mittels (Beisp. 1) berechnet.

In einem Fall, in dem die Gesichtsorientierung eine derjenigen ist, die von einer gestrichelten Linie Tb in 11A umgeben ist, wird ein Score entsprechend dem Abstand zwischen der zentralen Position des Gesichts und der idealen Position IPb mittels (Beisp. 1) berechnet.

In einem Fall, in dem die Gesichtsorientierung eine derjenigen ist, die von einer gestrichelten Linie Tc in 11A umgeben ist, wird ein Score entsprechend dem Abstand zwischen der zentralen Position des Gesichts und der idealen Position IPc mittels (Beisp. 1) berechnet.

In einem Fall, in dem die Gesichtsorientierung eine derjenigen ist, die von einer gestrichelten Linie Td in 11A umgeben ist, wird ein Score entsprechend dem Abstand zwischen der zentralen Position des Gesichts und der idealen Position IPd mittels (Beisp. 1) berechnet.

Im Fall des Verwendens der idealen Position IPa oder IPc wird jedoch dann, wenn die Gesichtsgröße gleich der oder größer als diejenige eines Brustbilds ist, eine Komposition, bei der der Mensch am Hals abgeschnitten ist, erhalten. Somit kann die Gesichtsgröße bestimmt werden, und in einem Fall, in dem sie gleich der oder größer als eine vorbestimmte Größe ist, kann keine Score-Berechnung durchgeführt werden.

Es sei darauf hingewiesen, dass 11B die Schwellwerte th1, th2 und th3 entsprechend der idealen Position IPa zeigt. Ein Fall, in dem die Gesichtsorientierung eine von denjenigen ist, die von der gestrichelten Linie Ta umgeben ist, und ein Fall, in dem der Score 80 oder mehr ist, bedeutet zum Beispiel ein Bild, bei dem das Zentrum des Gesichts innerhalb der durchgezogenen Linie (th1) in 11B vorhanden ist.

Ein Beispiel für eine Score-Berechnung für die Ganzkörperkomposition wird beschrieben.

Bei der Verarbeitung von 5 wird in Schritt S203 der Score für die Ganzkörperkomposition in einem Fall berechnet, in dem es ein Gesicht (Mensch) gibt und das Gesicht nach vorn gerichtet ist.

Wie in 12A und 12C gezeigt ist, ist der x-Koordinaten-Wert der idealen Position IP im Fall der Ganzkörperkomposition ein Medianwert und wird der y-Koordinaten-Wert entsprechend dem Gegenstand verändert.

Zum Beispiel wird für das Gesichtsbild eine Unterscheidung zwischen einem Erwachsenen, einem Kind und einem Baby getroffen und wird die ideale Position IP entsprechend gesetzt.

Im Fall eines Erwachsenen wird der y-Koordinaten-Wert der idealen Position IP an einer um eine Länge äquivalent zu einer Größe Sf des Gesichtsbilds unteren Position von dem oberen Ende des Bildschirms gesetzt, wie in 12A gezeigt ist.

Im Fall eines Kinds wird der y-Koordinaten-Wert der idealen Position IP an einer um ein Zweifaches der Länge (2Sf) der Größe Sf des Gesichtsbilds unteren Position von dem oberen Ende des Bildschirms gesetzt, wie in 12C gezeigt ist.

Im Fall eines Babys wird unter der Annahme, dass dieses sich hochzieht, der y-Koordinaten-Wert der idealen Position IP an einer um ein Zweifaches der Länge (2Sf) der Größe Sf des Gesichtsbilds unteren Position von dem oberen Ende des Bildschirm gesetzt, und zwar auf im Wesentlichen gleiche Weise wie im Fall des Kinds.

In diesen Fällen sollte jedoch die Größe Sf des Gesichtsbilds eine Größenordnung von 10 % bis 15 % einer vertikalen Größe dy des Bilds aufweisen. In einem Fall, in dem die Größe Sf des Gesichtsbilds nicht in diesen Bereich von 10 % bis 15 % fällt, ist es zum Beispiel denkbar, den Score für die Ganzkörperkomposition nicht zu berechnen.

Der Score wird mittels des oben beschriebenen (Beisp. 1) als Wert berechnet, der darstellt, ob die Koordinaten der zentralen Position CP des Gesichts nahe an den Koordinaten der idealen Position IP liegen.

Es sei darauf hingewiesen, dass 12B und 12D die Schwellwerte th1, th2 und th3 entsprechend der idealen Position IP zeigen. Zum Beispiel bedeutet ein Fall, in dem der Score für die Ganzkörperkomposition 80 oder mehr beträgt, ein Bild, bei dem das Zentrum des Gesichts innerhalb der durchgezogenen Linie (th1) vorhanden ist.

Ein Beispiel für die Score-Berechnung für die Brustbildkomposition wird beschrieben.

Bei der Verarbeitung von 5 wird in Schritt S203 der Score für die Brustbildkomposition in einem Fall berechnet, in dem es ein Gesicht (Mensch) gibt und das Gesicht nach vorn gerichtet ist.

Wie in 13A und 13C gezeigt ist, befinden sich die Koordinaten der idealen Position IP im Fall der Brustbildkomposition an einer bestimmten y-Koordinaten-Position und wird der y-Koordinaten-Wert entsprechend dem Gegenstand verändert.

Zum Beispiel wird für das Gesichtsbild eine Unterscheidung zwischen einem Erwachsenen, einem Kind und einem Baby getroffen und wird die ideale Position IP entsprechend gesetzt.

Im Fall eines Erwachsenen oder im Fall eines Kinds wird der y-Koordinaten-Wert der idealen Position IP an einer um das 2,5-Fache (2,5Sf) der Größe Sf des Gesichtsbilds oberen Position von dem unteren Ende des Bildschirms gesetzt, wie in 13A gezeigt ist.

Im Fall eines Babys wird unter der Annahme, dass dieses sitzt oder krabbelt, der y-Koordinaten-Wert der idealen Position IP an einer um ein Zweifaches der Länge (2Sf) der Größe Sf des Gesichtsbilds unteren Position von dem unteren Ende des Bildschirms gesetzt, wie in 13C gezeigt ist.

In diesen Fällen sollte jedoch die Größe Sf des Gesichtsbilds eine Größe von 22 % bis 30 % der vertikalen Größe des Bilds dy sein im Fall eines Erwachsenen, eine Größe von 15 % bis 25 % im Fall eines Kinds und eine Größe von 25 % bis 35 % im Fall eines Babys. In einem Fall, in dem die Größe Sf des Gesichtsbilds nicht in diese Bereiche fällt, ist es zum Beispiel denkbar, keine Brustbildkomposition zu berechnen.

Der Score wird als Wert berechnet, der darstellt, ob die Koordinaten der zentralen Position CP des Gesichts nahe an den Koordinaten der idealen Position IP liegen. Da eine Differenz bei der y-Koordinate nur in diesem Fall berücksichtigt werden soll, kann eine Berechnung zum Beispiel wie folgt erfolgen: Score = (SCmax) – |(Hy – Fy)|(Beisp. 2)

Es sei darauf hingewiesen, dass 13B und 13D die Schwellwerte th1, th2 und th3 entsprechend der idealen Position IP zeigen. Zum Beispiel bedeutet ein Fall, in dem der Score für die Ganzkörperkomposition 80 oder mehr beträgt, ein Bild, bei dem das Zentrum des Gesichts in dem y-Richtungs-Bereich der durchgezogenen Linien (th1) vorhanden ist.

Ein Beispiel für eine Score-Berechnung für die Drittel-Regel-Komposition in einem Fall, in dem es zwei Menschen gibt, wird beschrieben. 14A zeigt Gesichtsorientierungen, die denen von 10A im Wesentlichen gleich sind.

Bei der Verarbeitung von 5 wird in Schritt S207 der Score für die Drittel-Regel-Komposition in einem Fall berechnet, in dem es zwei Gesichter (Menschen) gibt und die Gesichter nach vorn gerichtet sind.

14B zeigt die idealen Positionen IPa, IPb, IPc und IPd im Fall der Drittel-Regel-Komposition. In einem Fall, in dem es zwei Menschen gibt, soll der Score einen höheren Wert aufweisen in einem Fall, in dem die jeweiligen Gesichter nahe an unterschiedlichen idealen Positionen (IPa, IPb, IPc, IPd) liegen.

Zum Beispiel stimmen in der Zeichnung zentrale Positionen CP1 und CP2 der Gesichter von zwei Personen mit den idealen Positionen IPd und IPb überein. In einem solchen Fall wird der perfekte Score-Wert von "100" erhalten.

Insbesondere wird ein Score mittels des vorstehenden (Beisp. 1) für die zentrale Position CP1 und eine bestimmte ideale Position IP nahe an der zentralen Position CP1 berechnet und wird ein Score mittels des vorstehenden (Beisp. 1) für die zentrale Position CP2 und eine weitere ideale Position IP nahe an der zentralen Position CP2 berechnet. Dann ist es denkbar, einen Durchschnittswert der zwei Scores als Score in diesem Fall zu setzen.

Da dieser Fall dadurch bedingt ist, dass die Gesichter nach vorn gerichtet sind, wird der Score in einem Fall berechnet, in dem die Orientierungen der Gesichter der zwei Personen diejenigen sind, die von einer gestrichelten Linie T in 14A umgeben sind.

Es sei darauf hingewiesen, dass die geeignete Drittel-Regel-Komposition nicht in einem Fall erhalten wird, in dem die zentralen Positionen CP1 und CP2 der Gesichter der zwei Personen nahe an einer identischen idealen Position aus den idealen Positionen IPa, IPb, IPc und IPd liegen, und somit ist es denkbar, keine Score-Berechnung durchzuführen.

14B zeigt die Schwellwerte th1, th2 und th3 entsprechend der idealen Position IPc zu Referenzzwecken.

Ein Beispiel für eine Score-Berechnung für die diagonale Komposition in einen Fall, in dem es zwei Menschen gibt, wird beschrieben. 15A zeigt eine ideale Neigung IA in einem Fall der diagonalen Komposition. Im Fall der diagonalen Komposition wird die ideale Neigung IA anstelle der idealen Position IP verwendet. Die Neigung des gesamten Blickwinkels eines Bilds wird als die ideale Neigung IA angenommen.

Bei der Verarbeitung von 5 wird in Schritt S207 der Score für die diagonale Komposition in einem Fall berechnet, in dem es zwei Gesichter (Menschen) gibt und die Gesichter nach vorn gerichtet sind.

15A zeigt einen Fall, in dem sich jede der zentralen Positionen CP1 und CP2 der Gesichter der zwei Menschen auf einer diagonalen Linie befindet. Dies ist der Fall, in dem der Score einen perfekten Score-Wert von "100" aufweist.

Als Score wird zum Beispiel die Neigung der Koordinaten der zentralen Positionen CP1 und CP2 der zwei Gesichter berechnet, und diese wird mit der Neigung der idealen Position IP als diagonale Linie verglichen.

Zum Beispiel gilt in einem Fall des Setzens eines Bilds auf eine VGA-Größe (640e e Pixel) die ideale Neigung IA = 640/360 = 1,8.

Dann wird die Neigung der Linie, die die zentralen Positionen CP1 und CP2 verbindet, berechnet und in einen Score umgewandelt, wie in 15B gezeigt ist. Zum Beispiel gilt dann, wenn die Neigung der Linie, die die zentralen Positionen CP1 und CP2 verbindet, 1,8 beträgt, der Score = 100, und wenn die Neigung von 1,8 entfernt ist, verringert sich der Score.

Es sei darauf hingewiesen, dass 15B eine Beziehung zu den Schwellwerten th1, th2 und th3 in einem Fall zeigt, in dem die ideale Neigung IA = 1,8 gilt. Schwellwert th1 = 80, Schwellwert th2 = 60, Schwellwert th3 = 40 und dergleichen gilt, wie oben beschrieben worden ist, und Werte der Neigung äquivalent zu 80, 60 und 40 werden hier mittels des Scores zugeordnet. Das heißt, dass die Differenz bei der Neigung der zentralen Positionen CP1 und CP2 zu der idealen Neigung IA in einen Score (maximal 100) umgewandelt wird und die Schwellwerte th1, th2 und th3 als Basis für diesen Score verwendet werden.

Ein Beispiel für eine Score-Berechnung für die Mehr-Personen-Komposition in einem Fall, in dem es drei oder mehr Menschen gibt, wird beschrieben.

Bei der Verarbeitung von 5 wird in Schritt S209 der Score für die Mehr-Personen-Komposition in einem Fall beschrieben, in dem es drei oder mehr Gesichter (Menschen) gibt und das Gesicht jedes Menschen nach vorn gerichtet ist.

Bei der Mehr-Personen-Komposition sind die Koordinaten der idealen Position IP so gesetzt, dass eine Anordnung des Gravitationszentrums der dreieckigen Komposition in einem Fall dargestellt wird, in dem es drei Gesichter oder mehr gibt und die Gesichter nach vorn gerichtet sind.

Zum Beispiel wird in einem Fall, in dem es drei Personen gibt, ein Score in Abhängigkeit davon erhalten, ob die Koordinaten der zentralen Position des mittleren Gesichts nahe an den Koordinaten der idealen Position IP liegen.

Wie in 16A und 16B gezeigt ist, werden bei Betrachtung eines Dreiecks TR, wobei die zentralen Positionen CP1 und CP2 von anderen Gesichtern U1 und U2 als dem mittleren Gesicht U3 als Eckpunkte dienen, die Koordinaten des Gravitationszentrums des Dreiecks TR als ideale Position IP2 angenommen. Dann wird der Score mittels des vorstehenden (Beisp. 1) für die zentrale Position CP3 des mittleren Gesichts U3 und die ideale Position IP berechnet.

In einem Fall, in dem es vier oder mehr Menschen gibt, kann die gleiche Idee wie bei der Drei-Personen-Komposition angewendet werden, mit Ausnahme der Berechnung der Koordinaten des Gravitationszentrums von dazwischen befindlichen Personen.

Anschließend wird die Verarbeitung zur Landschaftskompositionsbestimmung in Schritt S106 von 4 beschrieben.

In einem Fall, in dem in Schritt S104 von 4 bestimmt wird, dass kein Gesichtsbild in einem Zielframe vorhanden ist, treibt die Steuereinheit 30 den Prozess zu der Landschaftsbestimmungsverarbeitung in Schritt S106 vor. Ein Beispiel für eine Landschaftskompositionsbestimmungs-Verarbeitung ist in 6 gezeigt.

In Schritt S301 von 6 prüft die Steuereinheit 30 ein Liniendetektionsergebnis, das mittels einer Bildanalyse eines Bilds des Zielframes erhalten wird. Das heißt, dass mit Bezug auf ein Kantendetektionsergebnis von Luminanz, Farbe und dergleichen in dem Bild für das Zielframe, das mittels der Bildanalyseeinheit 27 erhalten wird, die Steuereinheit 30 ein Detektionsergebnis von verschiedenen Linien prüft. Dann wird ein Score bei einer nachfolgenden Verarbeitung entsprechend dem Typ einer vorhandenen Linie berechnet.

In einem Fall, in dem eine horizontale Linie oder eine vertikale Linie in dem Bild detektiert worden ist, treibt die Steuereinheit 30 den Prozess von Schritt S302 zu S303 vor und berechnet einen Score für die halbierte Komposition und die Drittel-Regel-Komposition.

In einem Fall, in dem eine diagonale Linie in dem Bild detektiert worden ist, treibt die Steuereinheit 30 den Prozess von S304 zu S305 vor und berechnet einen Score für die diagonale Komposition.

In einem Fall, in dem eine Dreieckslinie in dem Bild detektiert worden ist, treibt die Steuereinheit 30 den Prozess von Schritt S306 zu S307 vor und berechnet einen Score für die dreieckige Komposition.

In einem Fall, in dem eine Krümmung in dem Bild detektiert worden ist, treibt die Steuereinheit 30 den Prozess von Schritt S308 zu S309 vor und berechnet einen Score für die gekrümmte Komposition.

In einem Fall, in dem ein Fluchtpunkt in dem Bild detektiert worden ist, treibt die Steuereinheit 30 den Prozess von Schritt S310 zu S311 vor und berechnet einen Score für die Fluchtpunktkomposition.

Die Steuereinheit berechnet in Schritt S312 ferner einen Score für die Impressionskomposition.

Jede Score-Berechnung wird beschrieben.

Zuerst wird eine Score-Berechnung für die halbierte Komposition und die Drittel-Regel-Komposition in Schritt S303 in einem Fall, in dem eine horizontale Linie oder eine vertikale Linie detektiert worden ist, mit Bezug auf 17 beschrieben.

17A ist ein Beispiel für ein Bild, bei dem eine horizontale Linie E1 detektiert worden ist, und 17B ist ein Beispiel für ein Bild, bei dem eine horizontale Linie E2 und eine vertikale Linie E3 detektiert worden sind.

Solche Bilder werden zum Beispiel einer Anpassung mit Schablonen unterzogen, wie in 17C bis 17H gezeigt ist, und ob die Länge und Position der detektierten Linie nahe an denjenigen der idealen Linie liegen, wird als Score dargestellt.

17C zeigt eine ideale Linie IL1 einer horizontalen Linie für die halbierte Komposition.

17D zeigt eine ideale Linie IL2 einer vertikalen Linie für die halbierte Komposition.

17E zeigt eine ideale Linie IL3 der oberen horizontalen Linie für die Drittel-Regel-Komposition.

17F zeigt eine ideale Linie IL4 der unteren horizontalen Linie für die Drittel-Regel-Komposition.

17G zeigt eine ideale Linie IL5 der linken vertikalen Linie der Drittel-Regel-Komposition.

17H zeigt eine ideale Linie IL6 der rechten vertikalen Linie der Drittel-Regel-Komposition.

Diese werden mit der Länge und der Position derjenigen der horizontalen Linie oder der vertikalen Linie in dem Bild verglichen.

Zum Beispiel wird in einem Fall des Bilds von 17A, da die horizontale Linie E1 nahe an der idealen Linie IL3 von 17E liegt, ein hoher Score für die Drittel-Regel-Komposition erhalten. Für die halbierte Komposition wird der Score niedrig, da die horizontale Linie E1 relativ weit von der idealen Linie IL3 von 17C entfernt ist.

Des Weiteren wird in einem Fall des Bilds von 17B, da die horizontale Linie E2 nahe an der idealen Linie IL4 von 17F liegt, ein hoher Score für die Drittel-Regel-Komposition erhalten. Des Weiteren wird für die halbierte Komposition der Score hoch, da die vertikale Linie E3 nahe an der idealen Linie IL2 von 17D liegt.

Es sei darauf hingewiesen, dass es denkbar ist, dass eine Score-Berechnung dadurch bedingt ist, dass eine Linie jeweils als horizontale Linie und vertikale Linie detektiert wird.

Des Weiteren ist es mit Bezug auf den Score auch denkbar, einen Score, der für die horizontale Linie berechnet wird, und einen Score, der für die vertikale Linie berechnet wird, zu addieren oder einen Durchschnittswert zu ermitteln.

Beispiele für die Score-Berechnung für die diagonale Komposition in Schritt S305 und die Score-Berechnung für die gekrümmte Komposition in Schritt S309 werden mit Bezug auf 18 beschrieben.

18A ist ein Beispiel für ein Bild, bei dem eine diagonale Linie E10 detektiert worden ist. Außerdem ist 18B ein Beispiel für ein Bild, bei dem eine Krümmung E11 detektiert worden ist.

18C zeigt ideale Linien IL10 und IL11 zur Verwendung bei der diagonalen Komposition.

18D zeigt eine ideale Linie IL12 zur Verwendung bei der gekrümmten Komposition.

Die diagonale Linie E10, die in dem Bild detektiert wird, wird mit der Schablone von 18C verglichen, und der Score wird in Abhängigkeit davon, ob die Länge und Position der detektierten diagonalen Linie E10 nahe an denjenigen der idealen Linie IL10 liegen, dargestellt. Wie im Fall der diagonalen Komposition von zwei Personen, die oben beschrieben worden ist, kann der Score unter Verwendung des Grads an Nähe der Neigung dargestellt werden.

Außerdem wird die Krümmung E11, die in dem Bild detektiert wird, mit der Schablone von 18D verglichen, und der Score wird in Abhängigkeit davon, ob die Länge und Position der detektierten diagonalen Linie E10 nahe an denjenigen der idealen Linie IL10 liegen, dargestellt.

Es sei darauf hingewiesen, dass es denkbar ist, dass eine Score-Berechnung für die diagonale Komposition dadurch bedingt ist, dass eine Linie als diagonale Linie detektiert wird. Auf im Wesentlichen gleiche Weise ist es denkbar, dass eine Score-Berechnung für die gekrümmte Komposition dadurch bedingt ist, dass eine Linie als Krümmung detektiert wird.

Ein Beispiel für eine Score-Berechnung für die dreieckige Komposition in Schritt S307 wird mit Bezug auf 19 beschrieben.

19A zeigt ein Beispiel für ein Bild, bei dem eine Dreieckslinie E20 detektiert worden ist.

19B zeigt idealen Linien IL20 und IL21 zur Verwendung in der dreieckigen Komposition.

Die Dreieckslinie E20, die in dem Bild detektiert wird, wird mit der Schablone von 19B verglichen, und der Score wird in Abhängigkeit davon, ob die Länge und Position der detektierten Dreieckslinie E20 nahe an denjenigen der idealen Linie IL20 oder IL21 liegen, dargestellt.

In einem Fall, in dem die Dreieckslinie von zwei Linien gebildet ist, wird diese Score-Berechnung durchgeführt.

Ein Beispiel für eine Score-Berechnung für die Fluchtpunktkomposition in Schritt S311 wird mit Bezug auf 20 beschrieben.

20A ist ein Beispiel für ein Bild, in dem zwei Linien E30 und E31 detektiert worden sind.

20B ist eine Schablone, die ideale Linien IL30 und IL31 zeigt.

20C zeigt die ideale Position IPct als Zentrum und die idealen Positionen IPa, IPb, IPc und IPd als in drei geteilte Punkte.

In diesem Fall wird der Score in Abhängigkeit davon, ob eine Schnittstelle der zwei Linien E30 und E31, die in dem Bild detektiert werden, das heißt ein Fluchtpunkt der Linien in dem Bild, nahe an den Koordinaten der idealen Position (IPct, IPa, IPb, IPc, IPd) liegen, dargestellt.

Als Score-Berechnung für die Impressionskomposition in Schritt S312 führt die Steuereinheit 30 zum Beispiel eine Verarbeitung durch, wie in 7 gezeigt ist.

In Schritt S320 von 7 bestimmt die Steuereinheit 30 den Farbton eines Zielframes. Dabei wird zum Beispiel auf das Farbanalyseergebnis, das mittels der Bildanalyseeinheit 27 erhalten wird, Bezug genommen, um die oberen zwei Farben (erste Farbe und zweite Farbe) zu prüfen und zu bestimmen, ob sie zum Beispiel eine Beziehung als Komplementärfarben aufweisen, ob die erste Farbe und die zweite Farbe eine Kombination aus Farben ergeben, die eine Beziehung aufweisen und in dem Farbtonkreis gegenüber positioniert sind, wie z. B. "rot und blaugrün", "violett und gelbgrün" oder "gelb und blauviolett".

Dann treibt in einem Fall, in dem sie eine Beziehung als Komplementärfarben aufweisen, die Steuereinheit 30 den Prozess von Schritt S321 zu S322 vor und berechnet einen Score der Komplementärfarben. Zum Beispiel wird der Score entsprechend einem Verhältnis der Anzahl von Pixeln zwischen der ersten Farbe und der zweiten Farbe berechnet.

21A zeigt ein Beispiel für einen Score entsprechend dem Verhältnis zwischen der ersten Farbe und der zweiten Farbe. Es sei angenommen, dass Score = 100 gilt, wenn die erste Farbe und die zweite Farbe 50:50 sind, und der Score verringert wird, wenn ein Teil des Verhältnisses größer wird. Das heißt, dass der Score entsprechend der Ausgeglichenheit zwischen der ersten Farbe und der zweiten Farbe sein soll.

Es sei darauf hingewiesen, dass 21A eine Beziehung zwischen dem Verhältnis zwischen der ersten Farbe und der zweiten Farbe und den Schwellwerten th1, th2 und th3 zeigt. Wie oben beschrieben worden ist, wird angenommen, dass Schwellwert th1 = 80, Schwellwert th2 = 60, Schwellwert th3 = 40 und dergleichen gilt und Werte der Verhältnisse äquivalent zu 80, 60 und 40 hier mittels des Scores zugeordnet werden.

In Schritt S323 von 7 bestimmt die Steuereinheit 30 den Farbton, die Sättigung und die Helligkeit. Dies dient zum Prüfen der oberen zwei Farben (der ersten Farbe und der zweiten Farbe) und Bestimmen, ob diese eine Beziehung als zusammenliegende Farben aufweisen. Zum Beispiel wird dann, wenn die erste Farbe und die zweite Farbe eine Beziehung als zusammenliegende Farben aufweisen, wie z. B. "rot und schwarz", "blau und schwarz", "grün und schwarz", "blau und weiß", "grün und weiß" oder "rot und weiß", beurteilt, dass sie die Beziehung als zusammenliegende Farben aufweisen.

Dann treibt in einem Fall, in dem diese die Beziehung als zusammenliegende Farben aufweisen, die Steuereinheit 30 den Prozess von Schritt S324 zu S325 vor, und sie berechnet einen Score von zusammenliegenden Farben. Zum Beispiel wird ein Verhältnis der Anzahl von Pixel zwischen der ersten Farbe und der zweiten Farbe in einen Score umgewandelt, der in 21A gezeigt ist, und zwar auf im Wesentlichen gleiche Weise wie im Fall der Komplementärfarben.

In Schritt S326 von 7 bestimmt die Steuereinheit 30 die Luminanz. Zum Beispiel wird der Grad an Trennung der Luminanz unter Verwendung des Diskriminanzanalyseverfahrens oder dergleichen gemessen. Dann wird die Stärke des Kontrasts bestimmt. Dann wird in Schritt S327 ein Score für den Kontrast berechnet.

21B und 21C zeigen jeweils ein Histogramm der Luminanz für ein bestimmtes Bild. Zum Beispiel ist 21B ein Fall eines kontrastreichen Bilds und ist 21C ein Fall eines kontrastarmen Bilds.

Bei einer Score-Berechnung wird eine Quantifizierung aus einer Perspektive, ob der Kontrast hoch ist, und einer Perspektive, ob er nahe an der Ausgeglichenheit des Histogramms (dunkler Teil/heller Teil ist 50/50) liegt, durchgeführt, um einen Score zu berechnen.

Spezifische Beispiele für die Kompositionsbestimmung für einen Menschen und die Landschaftskompositionsbestimmung sind oben beschrieben worden, wobei noch mehr verschiedene Beispiele für eine Score-Berechnung für die Komposition eines Menschen und eine Score-Berechnung für die Landschaftskomposition denkbar sind.

Bei dem Prozess von 4 wird entweder die Kompositionsbestimmung für einen Menschen oder die Landschaftskompositionsbestimmung in Abhängigkeit davon, ob es ein Gesicht in dem Zielframe gibt, durchgeführt, wobei ein solcher Prozess nicht als Einschränkung verstanden werden darf. Zum Beispiel können in einem Fall, in dem es ein Gesicht in dem Zielframe gibt, sowohl die Kompositionsbestimmung für einen Menschen (S105) als auch die Landschaftskompositionsbestimmung (S106) durchgeführt werden.

Des Weiteren basiert das Prozessbeispiel von 4 auf der Prämisse, dass ein menschliches Gesicht als Beispiel für eine Personendetektion detektiert wird, wobei ferner angenommen wird, dass eine andere Detektion als die eines menschlichen Gesichts, zum Beispiel die Detektion eines Hunde-/Katzengesichts, Blumendetektion, Nahrungsmitteldetektion, Objektdetektion und dergleichen, durchgeführt wird und eine Kompositionsbestimmung und eine Score-Berechnung entsprechend der Detektion und Erkennung durchgeführt werden.

[3-3: Standbildspeicherungsbestimmung/-ausführung]

In Schritt S108 von 4 wird eine Verarbeitung zur Standbildspeicherungsbestimmung/-ausführung durchgeführt.

Hier bestimmt die Steuereinheit 30, ob ein Frame, das für eine Verarbeitung vorgesehen ist, ein Frame ist, das als Standbild zu speichern ist, und zwar unter Verwendung des Scores, der entsprechend der Komposition, die wie oben beschrieben bestimmt worden ist, berechnet wird, und in einem Fall, in dem bestimmt wird, dass das Frame als Standbild gespeichert werden soll, übt sie eine Steuerung zum Bewirken aus, dass eine Speicherungsoperation ausgeführt wird.

Diese Verarbeitung von Schritt S108 ist in 8 genauer gezeigt.

In einem Fall, in dem der Prozess für ein bestimmtes Zielframe zu Schritt S108 weitergeht, prüft in Schritt S400 von 8 die Steuereinheit 30 zuerst den Score, der für dieses Zielframe berechnet wird, und wählt einen Max. Score (einen Score, der den größten Wert aufweist) aus diesen aus. Es versteht sich von selbst, dass dann, wenn nur ein Score berechnet wird, dieser als Max. Score gesetzt wird.

Bei den oben beschriebenen Schritten S105 und S106 wird ein oder eine Vielzahl von Scores für das aktuelle Zielframe berechnet. In einem Fall, in dem ein Gesicht vorhanden ist, können zum Beispiel drei Scores, d. h. ein Score für die Ganzkörperkomposition, ein Score für die Hinomaru-Komposition und ein Score für die Brustbildkomposition, berechnet werden. Andererseits können in einem Fall, in dem kein Gesicht vorhanden ist, zwei Scores, d. h. ein Score für die gekrümmte Komposition und ein Score für die zusammenliegenden Farben, berechnet werden.

In einem Fall, in dem ein oder eine Vielzahl von Scores auf diese Weise berechnet worden ist, wird ein Score, der den maximalen Wert aufweist, aus diesen ausgewählt. Dann geht der Prozess von Schritt S401 zu S402 weiter.

Es sei darauf hingewiesen, dass aus der vorstehenden Beschreibung auch ein Fall hervorgeht, in dem kein Score für das Zielframe berechnet worden ist. In einem Fall, in dem kein Score für das Zielframe berechnet worden ist, geht der Prozess von Schritt S401 zu S405 weiter, um einen Puffer-Score (nachstehend als "Puf-Score" bezeichnet) zu Vergleichszwecken zu leeren, und wird die Verarbeitung von 8 (Schritt S108 von 4) beendet. Der Puf-Score bezieht sich auf einen Score, der gespeichert wird, um bei der Verarbeitung von 8 mit dem aktuellen Max. Score verglichen zu werden.

In Schritt S402 wird geprüft, ob sich der Typ des Scores, der als Max. Score ausgewählt ist, von dem Typ des Scores unterscheidet, der als Max. Score für ein vorhergehendes Zielframe ausgewählt ist. Der Typ bezieht sich auf den Typ der Komposition zur Verwendung als Basis für eine Score-Berechnung, wie oben beschrieben worden ist, wie zum Beispiel die Hinomaru-Komposition, die Brustbildkomposition und die Ganzkörperkomposition. Das Prüfen einer Veränderung dieses Typs von Score dient zum Bestimmen eines Spitzenwerts als Score eines bestimmten Typs im Vergleich zu dem Puf-Score.

In einem Fall, in dem der Typ des Scores verändert worden ist, treibt die Steuereinheit 30 den Prozess von Schritt S402 zu S403 vor, um den Puf-Score zu leeren.

Des Weiteren führt die Steuereinheit 30 ein Setzen des Schwellwerts entsprechend dem Typ durch. Dies ist nicht die oben beschriebene Auswahl des Schwellwerts th1, th2 oder th3, sondern ein Setzen des Werts des Schwellwerts selbst. Mit Bezug auf den Fall, in dem der Schwellwert th1 verwendet wird (siehe Schritt S102 von 4), ist dieser ein solcher Fall des Veränderns des Werts als Schwellwert th1 zum Beispiel zwischen dem Score für die Drittel-Regel-Komposition und dem Score für die gekrümmte Komposition. Zum Beispiel ist dies ein solches Beispiel, bei dem Schwellwert th1 = 80 bei der Hinomaru-Komposition und der Drittel-Regel-Komposition gelten soll und Schwellwert th1 = 85 bei der gekrümmten Komposition gelten soll.

Wenn jedoch der gleiche Wert für alle Typen von Scores verwendet wird, ist es nicht erforderlich, dieses Setzen des Schwellwerts durchzuführen.

Die Steuereinheit 30 vergleicht in Schritt S404 den Max. Score und den Schwellwert. In einem Fall, in dem dieser in Schritt S102 von 4 so gesetzt worden ist, dass der Schwellwert th1 zu verwenden ist, werden der Max. Score und der Schwellwert th1 verglichen.

In einem Fall, in dem der Max. Score den Schwellwert nicht überschritten hat, wird angenommen, dass das aktuelle Zielframe die Schwellwertbedingung nicht erfüllt, und leert die Steuereinheit 30 den Puf-Score in Schritt S405, um die Verarbeitung von 8 zu beenden. Dies ist ein Fall, in dem das aktuelle Zielframe eine niedrige Relevanz für jede der Kompositionen hat, für die eine Score-Berechnung durchgeführt worden ist (nicht den Grad an Relevanz aufweist, der durch den Schwellwert gesetzt ist), und eine Bewertung für eine Komposition relativ niedrig ist und somit beurteilt wird, dass keine Standbildspeicherung durchgeführt wird.

In einem Fall, in dem der Max. Score den Schwellwert th1 überschritten hat, wird angenommen, dass das aktuelle Zielframe die Schwellwertbedingung erfüllt, und führt die Steuereinheit 30 in und nach Schritt S406 eine Bestimmung einer weiteren Bedingung durch.

In Schritt S406 vergleicht die Steuereinheit 30 den Max. Score und den Puf-Score hinsichtlich einer Spitzenwertbestimmung. Wenn Max. Score < Puf-Score nicht gilt, wird der Wert des Max. Scores in Schritt S408 in den Puf-Score substituiert und wird die Verarbeitung von 8 beendet.

Wenn Max. Score < Puf-Score gilt, wird bestimmt, dass ein Score (Max. Score) des aktuellen Zielframes für eine bestimmte Komposition einen Wert um einen Spitzenwert herum erreicht hat. Somit wird unter der Annahme, dass das aktuelle Frame einen Score um einen Spitzenwert herum aufweist, beurteilt, dass die Bedingung bezüglich der Nähe zu dem Spitzenwert erfüllt ist.

Für aufeinanderfolgend Zielframes wird zum Beispiel angenommen, dass Scores für die Brustbildkomposition nacheinander zu Max. Scores geworden sind. Zum Beispiel wird angenommen, dass die Max. Scores von sechs Zielframes Scores für die Brustbildkomposition sind und deren Werte einen Übergang in der Reihenfolge von 85, 86, 86, 90, 92 und 91 erfahren haben. In diesem Fall wird zum Zeitpunkt der Verarbeitung für jedes Zielframe der Puf-Score in der Reihenfolge von 85, 86, 86, 90 und 92 aktualisiert, und bei der Verarbeitung von 8 für das sechste Zielframe gilt in Schritt S406 Max. Score (91) < Puf-Score (92). Daher kann davon ausgegangen werden, dass das sechste Zielframe einen Score unmittelbar hinter einem Spitzenwert aufweist, und es wird beurteilt, dass dieses Zielframe eine Bedingung erfüllt, dass der Score einen Wert um den Spitzenwert herum erreicht hat.

In einem Fall, in dem bestimmt wird, dass der Score um den Spitzenwert herum liegt, beurteilt die Steuereinheit 30 in Schritt S407, ob ein interessierender Gegenstand in dem aktuellen Zielframe im Fokus liegt. Zum Beispiel kann die Steuereinheit 30 einen Fokussierungszustand durch Prüfen von Verarbeitungsinformationen der Fokussierungsverarbeitungseinheit 28 für einen interessierenden Gegenstand, der aus der Bildanalyseeinheit 27 extrahiert wird, zum Beispiel eine Person, ein Gesicht oder dergleichen, erkennen.

In einem Fall eines außerhalb des Fokus liegenden Frames wird der Wert des Max. Scores in Schritt S408 in den Puf-Score substituiert, um die Verarbeitung von 8 zu beenden. Das heißt, dass beurteilt wird, dass ein außerhalb des Fokus liegendes Frame nicht für die Standbildspeicherung geeignet ist.

Wenn beurteilt wird, dass es im Fokus liegt, beurteilt die Steuereinheit 30 in Schritt S409, ob der interessierende Gegenstand ein sich bewegender Gegenstand (dynamischer Gegenstand) ist. Ob er ein dynamischer Gegenstand ist, kann mittels der Bildanalyseeinheit 27, die Positionsänderungen eines Hauptgegenstands in Bildern von aufeinanderfolgenden jeweiligen Frames analysiert, beurteilt werden, und somit sollte die Steuereinheit 30 nur das Analyseergebnis prüfen, das von der Bildanalyseeinheit 27 erhalten wird.

Es sei darauf hingewiesen, dass sich der dynamische Gegenstand, auf den hier Bezug genommen wird, nicht auf einen Gegenstand bezieht, der sich bewegen kann, wie z. B. eine Person oder ein Tier oder ein Auto oder ein Zug, sondern sich auf einen Gegenstand bezieht, der sich während der Bildaufnahme dieses Frames tatsächlich bewegt. Das heißt, es wird beurteilt, ob es ein Frame ist, in dem ein Bild eines Gegenstands, der sich gerade bewegt, aufgenommen worden ist.

In einem Fall, in dem ein interessierender Gegenstand kein dynamischer Gegenstand ist, treibt die Steuereinheit 30 den Prozess von Schritt S409 zu S411 vor, um eine Steuerung zum Bewirken, dass ein Bild des aktuellen Zielframes als Standbild gespeichert wird, auszuüben.

Zum Beispiel spezifiziert die Steuereinheit 30 Bilddaten des aktuellen Frames für die Digitalsignalverarbeitungseinheit 20, um zu bewirken, dass eine vorbestimmte Kodierungsverarbeitung, eine notwendige Auflösungsumwandlung und dergleichen ausgeführt werden, und um zu bewirken, dass die Bilddaten von der Speicherungseinheit 15 als Standbilddaten auf einem Aufzeichnungsmedium gespeichert werden.

Wenn der interessierende Gegenstand ein dynamischer Gegenstand ist, kann ein Bild des interessierenden Gegenstands unscharf sein. Daher treibt die Steuereinheit 30 den Prozess von Schritt S409 zu S410 vor, um zu beurteilen, ob das Zielframe in einem Zustand aufgenommen worden ist, in dem die Verschlussgeschwindigkeit des Bildwandlers 12 größer ist als eine Sekunde dividiert durch die Brennweite.

Wenn die Verschlussgeschwindigkeit größer ist als eine Sekunde dividiert durch die Brennweite, ist ein Bild des dynamischen Gegenstands höchstwahrscheinlich ohne Unschärfe aufgenommen worden. Somit treibt die Steuereinheit 30 den Prozess zu Schritt S411 vor, um eine Steuerung zum Bewirken, dass das aktuelle Zielframe als Standbild gespeichert wird, auszuüben.

Andererseits ist in einem Fall, in dem die Verschlussgeschwindigkeit kleiner ist als eine Sekunde dividiert durch die Brennweite, das Bild höchstwahrscheinlich unscharf. Somit wird nicht bestimmt, dass das Bild als Standbild gespeichert werden soll, sondern substituiert die Steuereinheit 30 in Schritt S408 den Wert des Max. Scores in den Puf-Score, um die Verarbeitung von 8 zu beenden.

Durch die oben dargelegte Verarbeitung von 8 wird das Zielframe automatisch als Standbild gespeichert in einem Fall, in dem der Max. Score die Schwellwertbedingung erfüllt und dann davon ausgegangen wird, dass er in der Nähe eines Spitzenwerts liegt und ein interessierender Gegenstand im Fokus liegt, und ferner davon ausgegangen wird, dass er nicht unscharf ist (in einem Fall, in dem ein Bild, das sich gerade bewegt, nicht enthalten ist, oder wenn es enthalten ist, die Verschlussgeschwindigkeit ausreichend hoch ist).

Es sei darauf hingewiesen, dass in einem Fall, in dem die Bedingungen in Schritten S407 und S410 nicht erfüllt worden sind, selbst wenn in Schritt S406 beurteilt wird, dass das Zielframe in der Nähe des Spitzenwerts liegt, der Puf-Score aktualisiert wird. Daher kann ein Frame, das einen Score aufweist, der in einem gewissen Maß von dem Spitzenwert entfernt ist in einem Bereich, in dem die Schwellwertbedingung erfüllt ist, obwohl die Bedingung in Schritt S406, S407, S409 oder S410 tatsächlich erfüllt ist, einer Standbildspeicherung unterzogen werden. Daher folgt eine Idee des Speicherns, als Standbild, eines Frames zumindest hinter dem Spitzenwert oder nahe an dem Spitzenwert aus den Frames ohne Fokusunschärfe oder Verschwommenheit.

Im Gegensatz dazu ist es in einem Fall, in dem in Schritt S407 beurteilt wird, dass der interessierende Gegenstand außerhalb des Fokus liegt, oder wenn beurteilt wird, dass ein dynamischer Gegenstand vorhanden ist und die Verschlussgeschwindigkeit nicht ausreichend hoch ist, auch denkbar, den Puf-Score in Schritt S408 nicht zu aktualisieren. Dann ist es auch möglich zu bewirken, dass ein Bild, das tatsächlich um den Spitzenwert herum liegt, für eine Standbildspeicherung vorgesehen wird.

[3-4: Anzeigebeispiele]

Eine Kompositionsanzeigesteuerung in Schritt S107 von 4 wird beschrieben.

In diesem Schritt S107 bewirkt die Steuereinheit 30, dass eine Anzeige zum Führen eines Benutzers so, dass ein Standbild, das eine bestmögliche Komposition aufweist, automatisch gespeichert wird, wenn eine automatische Standbildspeicherung wie oben beschrieben durchgeführt wird, mittels der Funktion als Anzeigesteuereinheit 30d ausgeführt wird.

Es folgt eine Beschreibung mit Bezug auf ein Beispiel in einem Fall, in dem ein Bild eines Menschen aufgenommen wird.

22, 23 und 24 zeigen Anzeigebeispiele in der Anzeigeeinheit 34. Es wird angenommen, dass eine Bilderzeugung in dem Bildwandler 12 ausgeführt wird und eine Live-Ansicht auf der Anzeigeeinheit 34 angezeigt wird.

Zuerst sind 22 und 23 Beispiele für das Anzeigen von Kompositionsinformationen (der zentralen Position CP und von Schwellwertinformationen) eingeblendet in die Live-Ansicht.

22A ist ein Fall, in dem der Schwellwert th1 ausgewählt worden ist, und ein Beispiel, bei dem zum Beispiel die ideale Position IP in der Hinomaru-Komposition und ein Frame Wth1, das den Schwellwert th1 für die ideale Position IP angibt, angezeigt werden.

22B ist ein Beispiel, bei dem ein Frame Wth2, das auf im Wesentlichen gleiche Weise den Schwellwert th2 für die ideale Position IP angibt, in einem Fall angezeigt wird, in dem der Schwellwert th2 ausgewählt worden ist.

22C ist ein Beispiel, bei dem ein Frame Wth3, das auf im Wesentlichen gleiche Weise den Schwellwert th3 für die ideale Position IP angibt, in einem Fall angezeigt wird, in dem der Schwellwert th3 ausgewählt worden ist.

Des Weiteren ist in den Fällen von 22A, 22B und 22C ein menschliches Gesicht in jedem Bild einer Live-Ansicht detektiert worden und wird ein Frame WF, das eine Gesichtsregion und die zentrale Position CP des Gesichts angibt, in die Live-Ansicht eingeblendet angezeigt.

23A ist in Fall, in dem der Schwellwert th1 ausgewählt worden ist, und ein Beispiel, bei dem zum Beispiel die ideale Position IP in der Brustbildkomposition und eine Linie Lth1, die den Schwellwert th1 angibt, angezeigt werden.

23B ist ein Beispiel, bei dem die ideale Position IP und eine Linie Lth2, die den Schwellwert th2 angibt, angezeigt werden in einem Fall, in dem der Schwellwert th2 ausgewählt worden ist.

23C ist ein Beispiel, bei dem die ideale Position IP und eine Linie Lth3, die den Schwellwert th3 angibt, angezeigt werden in einem Fall, in dem der Schwellwert th3 ausgewählt worden ist.

Auch in diesen Fällen von 23A, 23B und 23C ist ein menschliches Gesicht in jedem Bild einer Live-Ansicht detektiert worden und wird das Gesichtsframe WF, das eine Gesichtsregion und die zentrale Position CP des Gesichts angibt, in die Live-Ansicht eingeblendet angezeigt.

Auf der Stufe von Schritt S107 von 4 weist die Steuereinheit 30 die Anzeigedatenerzeugungseinheit 26 an, die ideale Position IP, Schwellwertinformationen (das Frame Wth (Wth1, Wth2, Wth3) oder die Linien Lth (Lth1, Lth2, Lth3), das Gesichtsframe WF, die zentrale Position CP und dergleichen für das aktuelle Zielframe anzuzeigen, so dass Bilder, wie sie in den Zeichnungen gezeigt sind, angezeigt werden.

Wenn eine solche Anzeige durchgeführt wird, kann eine geeignet Führung für einen Benutzer erfolgen. Zum Beispiel ist es dann, wenn der Benutzer die Bildaufnahmerichtung der Bilderzeugungsvorrichtung 10 so einstellt, dass die zentrale Position CP des Gesichts an die ideale Position IP angepasst ist oder zumindest in das Frame Wth oder die Linie Lth fällt, möglich, die Wahrscheinlichkeit zu erhöhen, dass eine Standbildspeicherung mit einer guten Komposition durchgeführt wird.

Es sei darauf hingewiesen, dass, da die ideale Position IP in Abhängigkeit von der Komposition variiert, auf verschiedene Weise denkbar ist, für welchen Kompositionstyp die ideale Position IP in der Anzeige angegeben wird. Zum Beispiel ist es denkbar, zu dem Zeitpunkt von Schritt S107 eine der Kompositionen auszuwählen, für die die Scores in dem unmittelbar vorhergehenden Schritt S105 oder S106 berechnet worden sind, und zu bewirken, dass die ideale Position IP und die Schwellwertinformationen (Wth, Lth) derselben angezeigt werden. Hinsichtlich der Auswahl des Kompositionstyps in diesem Fall ist es denkbar, eine Komposition auszuwählen, die den höchsten Score aufweist.

Des Weiteren kann es für einen Benutzer möglich sein, den Kompositionstyp zu spezifizieren, und können die ideale Position IP oder dergleichen für die spezifizierte Komposition und die Schwellwertinformationen angezeigt werden.

Des Weiteren kann der Kompositionstyp entsprechend dem Bildinhalt ausgewählt werden. Zum Beispiel wird dann, wenn das Gesichtsbild zur Seite gerichtet ist, bewirkt, dass die ideale Position IP für die Drittel-Regel-Komposition angezeigt wird oder dergleichen.

Es sei darauf hingewiesen, dass hinsichtlich der Schwellwertinformationen (Wth, Lth) die Farbe von Linien oder die Farbe einer Region in einem Bereich, der für die Schwellwertbedingung relevant ist, in Abhängigkeit von dem Auswahlzustand des Schwellwerts th1, th2 oder th3 verändert werden kann.

24A und 24B sind Beispiele für das Anzeigen des aktuellen Scores und der Schwellwertbedingung.

In der Anzeigeeinheit 34 werden ein max. Pegel 60, ein Schwellwertpegel 61 und ein Score-Balken 62 in eine Live-Ansicht eingeblendet angezeigt.

Das heißt, dass ein Score, der für das aktuelle Frame berechnet wird, durch den Score-Balken 62 ausgedrückt wird. Aufgrund einer Score-Anzeige, die jedem Frame als Live-Ansicht entspricht, variiert der Score-Balken 62 in der Länge entsprechend dem Score jedes Frames.

Zum Beispiel liegt in einem Fall von 24A die zentrale Position CP nahe an der idealen Position IP innerhalb des Bereichs des Frames Wth1 und ist der Score hoch. Somit erstreckt sich der Score-Balken 62 über den Schwellwertpegel 61 hinaus.

In einem Fall von 24B liegt die zentrale Position CP außerhalb des Bereichs des Frames Wth1 und entfernt von der idealen Position IP und ist der Score niedrig. Somit ist der Score-Balken 62 kurz.

Auf diese Weise kann dann, wenn der Score-Balken 62 entsprechend dem Score angezeigt wird und der max. Pegel 60 und der Schwellwertpegel 61 relativ zu dem Score-Balken 62 angezeigt werden, ein Benutzer den Grad an Relevanz der Komposition des aktuellen Frames für eine bestimmte Komposition erkennen. Wenn der Benutzer die Richtung des Gegenstands so einstellt, dass der Score-Balken 62 insbesondere derart verlängert wird, dass er zumindest den Schwellwertpegel 61 übersteigt, ist es möglich, die Wahrscheinlichkeit zu erhöhen, dass eine automatische Standbildspeicherung ausgeführt wird. Des Weiteren ist es dann, wenn dafür gesorgt wird, dass der Score-Balken 62 nahe an dem Max. Score liegt, möglich zu bewirken, dass ein Standbild mit einer bestmöglichen Komposition gespeichert wird.

Ferner ist es durch Verändern der Farbe des Score-Balkens 62 entsprechend der Länge möglich, es für einen Benutzer einfach zu machen, den Score zu erkennen.

Die Position des Schwellwertpegels 61 wird in Abhängigkeit von dem Auswahlzustand des Schwellwerts th1, th2 oder th3 angehoben oder abgesenkt.

Es sei darauf hingewiesen, dass die Anzeige des Score-Balkens 62 in einer anderen Region auf der Endseite der Anzeigebildschirm oder dergleichen in einer von der Live-Ansicht getrennten Region ohne Einblenden in die Live-Ansicht angezeigt werden kann.

24C ist ein Beispiel für das Anzeigen eines vergrößerten Bilds 65.

Zum Beispiel wird dann, wenn die zentrale Position CP in den Schwellwertbereich (zum Beispiel in das Frame Wth1) fällt, die Nachbarschaft der idealen Position IP vergrößert angezeigt, wie in der Zeichnung gezeigt ist. Ein Benutzer stellt die Bildaufnahmerichtung so ein, dass die zentrale Position CP1 an die ideale Position IP angepasst wird, es ist jedoch schwierig, eine Anpassung zu erreichen, wenn der Anzeigebildschirm klein ist und die Bilderzeugungsvorrichtung 10 beim Einstellen der Bildaufnahmerichtung in der Hand gehalten wird. Daher ermöglicht das vergrößerte Bild 65, dass eine Verschiebung zwischen der zentralen Position CP und der idealen Position IP leicht anhand einer vergrößerten zentralen Position CPL und einer vergrößerten idealen Position IPL erkannt wird, so dass es für den Benutzer leicht ist, die zentrale Position CP an die ideale Position IP anzupassen.

Des Weiteren ist es durch Durchführen der Anzeige des vergrößerten Bilds 65 nur dann, wenn die zentrale Position CP in den Schwellwertbereich fällt, möglich zu verhindern, dass ein vergrößertes Bild unnötigerweise in der Live-Ansicht verborgen ist.

Die Anzeigebeispiele sind vorstehend beschrieben worden, wobei diese nur Beispiele sind. Hinsichtlich der anzuzeigenden Informationen sind verschiedene Beispiele denkbar. Zum Beispiel sind

• – Erstellen allein eines Kompositionsbereichs (der idealen Position IP und der Schwellwertinformationen),
• – Erstellen allein eines Score-Balkens,
• – Erstellen allein eines vergrößerten Bilds,
• – Anzeigen einer Vielzahl von Kompositionsbereichen/Score-Balken einer angenommenen Komposition,
• – Anzeigen allein eines benutzerspezifizierten Kompositionstyps und dergleichen denkbar.

<4. Programm und Anwendung für Computervorrichtung>

Eine Ausführungsform der Bildverarbeitungsvorrichtung 1 und der Bilderzeugungsvorrichtung 10 ist bis hierher beschrieben worden, wobei die oben beschriebene Verarbeitung zur automatischen Standbildspeicherung auch von einer Hardware ausgeführt werden kann oder auch von einer Software ausgeführt werden kann.

Ein Programm gemäß einer Ausführungsform bewirkt, dass eine Operationsverarbeitungsvorrichtung, wie z. B. eine zentrale Verarbeitungseinheit (CPU) und ein Digitalsignalprozessor (DSP) die Verarbeitung ausführt, die in den Ausführungsformen gezeigt ist.

Das heißt, dass das Programm gemäß einer Ausführungsform bewirken kann, dass eine Operationsverarbeitungsvorrichtung einen Schwellwertsetzschritt (S1 von 2) zum Setzen einer Schwellwertbedingung für eine Ausführungsbestimmung der Bildspeicherung entsprechend einer Komposition und einen Bildspeicherungsbestimmungsschritt (S4) zum Bestimmen in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, dass Bilddaten, die diesem Frame entsprechen, Bilddaten sind, die als Standbild zu speichern sind, ausführt.

Es sei darauf hingewiesen, dass bei dem Bildspeicherungsbestimmungsschritt bestimmt werden kann, dass Bilddaten des Frames Bilddaten sind, die als Standbild zu speichern sind entsprechend einer weiteren Bedingung in einem Fall, in dem die Komposition in dem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird (S4 bis S7).

Des Weiteren können sämtliche oder ein Teil von aufeinanderfolgenden Frames Frames sein, die für eine Score-Berechnung vorgesehen sind, und kann ein Score-Berechnungsschritt (S3) zum Berechnen eines Scores, der ein Bewertungswert für eine Komposition eines Bilds für die Frames ist, die für eine Score-Berechnung vorgesehen sind, vorgesehen sein und kann bei dem Bildspeicherungsbestimmungsschritt in einem Fall, in dem der Score, der in dem Score-Berechnungsschritt für ein bestimmtes Frame berechnet wird, die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, bestimmt werden, dass Bilddaten, die dem Frame entsprechen, Bilddaten sind, die die als Standbild zu speichern sind (S4).

Ein solches Programm ermöglicht, dass eine Bildverarbeitungsvorrichtung, die eine Steuerung der oben beschriebenen automatischen Standbildspeicherung ausübt, unter Verwendung einer Operationsverarbeitungsvorrichtung realisiert wird.

Diese Programme können im Voraus auf einem HDD aufgezeichnet werden, das als Aufzeichnungsmedium dient, welches in eine Vorrichtung, wie z. B. eine Computervorrichtung, einen ROM oder dergleichen in einem Mikrocomputer, der eine CPU aufweist, oder dergleichen, eingebaut ist.

Alternativ können diese Programme auch temporär oder dauerhaft auf einem Wechselaufzeichnungsmedium, wie z. B. einer Floppy Disc, einem Kompaktdisketten-Nurlesespeicher (CD-ROM), einer magnetooptischen (MO) Platte, einer digitalen vielseitig verwendbaren Platte (digital versatile disc – DVD), einer Blu-ray Disc (eingetragene Marke), einer Magnetplatte, einem Halbleiterspeicher und einer Speicherkarte gespeichert (aufgezeichnet) werden. Ein solches Wechselaufzeichnungsmedium kann als sogenannte Paket-Software bereitgestellt werden.

Die Programme können nicht nur von dem Wechselaufzeichnungsmedium auf einen Personalcomputer und dergleichen installiert werden, sondern auch über ein Netz, wie z. B. ein lokales Netz (LAN) und das Internet, von einer Download-Seite heruntergeladen werden.

Diese Programme sind für eine weitverbreitete Bereitstellung für die Bildverarbeitungsvorrichtung 1 gemäß einer Ausführungsform geeignet. Zum Beispiel kann das Herunterladen der Programme auf einen Personalcomputer, eine tragbare Informationsverarbeitungsvorrichtung, ein Mobiltelefon, eine Spielekonsole, eine Videovorrichtung, einen persönlichen digitalen Assistenten (PDA) oder dergleichen bewirken, dass der Personalcomputer und dergleichen als Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenlegung dient.

Zum Beispiel ist es bei einer Computervorrichtung, die in 25 gezeigt ist, auch möglich zu bewirken, dass eine Verarbeitung, die der Verarbeitung zur automatischen Standbildspeicherung in der Bildverarbeitungsvorrichtung 1 und der Bilderzeugungsvorrichtung 10, die oben beschrieben worden ist, im Wesentlichen gleich ist, ausgeführt wird.

25 stellt dar, dass eine CPU 71 einer Computervorrichtung 70 verschiedene Arten von Verarbeitung entsprechend einem Programm durchführt, das in einem ROM 72 gespeichert ist, oder einem Programm, das aus einem Speicherungsabschnitt 78 in einen RAM 73 geladen wird. Der RAM 73 speichert wie erforderlich Daten oder dergleichen, die notwendig sind, damit die CPU 71 verschiedene Arten von Verarbeitung ausführen kann.

Die CPU 71, der ROM 72 und der RAM 73 sind über einen Bus 74 miteinander verbunden. Der Bus 74 ist auch mit einer Eingabe-/Ausgabeschnittstelle 75 verbunden.

Die Eingabe-/Ausgabeschnittstelle 75 ist mit einem Eingabeabschnitt 76, der eine Tastatur und eine Maus, aufweist, einer Anzeige, die eine Kathodenstrahlröhre (cathode ray tube – CRT), eine LCD oder eine organische EL-Platte aufweist, einem Ausgabeabschnitt 77, der einen Lautsprecher aufweist, dem Speicherungsabschnitt 78, der eine Festplatte aufweist, und einem Kommunikationsabschnitt 79, der ein Modem aufweist, verbunden. Der Kommunikationsabschnitt 79 führt über ein Netz, das das Internet umfasst, eine Kommunikationsverarbeitung durch.

Die Eingabe-/Ausgabeschnittstelle 75 ist wie benötigt mit einem Laufwerk 80 verbunden und umfasst ein Wechselmedium 81, wie z. B. eine Magnetplatte, eine optische Platte oder einen Halbleiterspeicher, das wie erforderlich daran montiert ist. Ein Computerprogramm, das aus diesem ausgelesen wird, ist wie benötigt in dem Speicherungsabschnitt 78 installiert.

In einem Fall des Bewirkens, dass die Software die oben beschriebene Verarbeitung zur automatischen Standbildspeicherung ausführt, wird ein Programm, das die Software bildet, aus einem Netz oder einem Aufzeichnungsmedium installiert.

Das Aufzeichnungsmedium ist mit einem Wechselmedium 81 ausgeführt, das eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, einen Halbleiterspeicher oder dergleichen umfasst, auf dem ein Programm aufgezeichnet ist, und wird zur Lieferung des Programms zu einem Benutzer verteilt. Alternativ ist das Aufzeichnungsmedium auch mit dem ROM 72 ausgeführt, der ein darauf aufgezeichnetes Programm aufweist, und wird in einem Zustand, in dem es zuvor in einen Vorrichtungskörper, eine Festplatte, die in dem Speicherungsabschnitt 78 enthalten ist, oder dergleichen aufgenommen worden ist, zu einem Benutzer verteilt.

Wenn Videodaten durch eine Empfangsoperation mittels des Kommunikationsabschnitts 79, einer Wiedergabeoperation in dem Laufwerk 80 (dem Wechselmedium 81) oder des Speicherungsabschnitts 78 oder dergleichen eingegeben werden, führt die CPU 71 den oben beschriebenen Prozess, der in 2 gezeigt ist, auf der Basis eines Programms aus, so dass eine solche Computervorrichtung 70 eine Verarbeitung zum Auswählen eines Frames, für das eine automatische Standbildspeicherung für die eingegebenen Bilddaten durchzuführen ist, ausführen kann.

<5. Schlussbemerkung und Variation>

Bei der oben dargelegten Ausführungsform werden die folgenden Effekte erzielt. Die Bildverarbeitungsvorrichtung 1 oder die Bilderzeugungsvorrichtung 10 gemäß einer Ausführungsform umfasst eine Schwellwertsetzeinheit (1b, 30b), die eine Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition setzt, und eine Bildspeicherungsbestimmungseinheit (1c, 30c), die in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, bestimmt, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

Bei dieser Konfiguration ist es möglich, ein Frame automatisch als Standbild, das eine gute Komposition aufweist, aus aufeinanderfolgenden Frames zu bestimmen, die als Video oder Live-Ansicht dienen, und ein geeignetes Frame bei der automatischen Standbildspeicherung auszuwählen.

Des Weiteren bestimmt in einem Fall, in dem die Komposition in dem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit (1b, 30b) gesetzt wird, die Bildspeicherungsbestimmungseinheit (1c, 30c) entsprechend einer Bestimmung einer weiteren Bedingung, dass Bilddaten des Frames Bilddaten sind, die als Standbild zu speichern sind (S406 bis S410 von 8).

Das heißt, dass es durch weiteres Beurteilen einer weiteren Bedingung zusätzlich zu der Komposition möglich ist, ein Frame, das eine bestmögliche Qualität aufweist, automatisch als Bild zu bestimmen.

Des Weiteren wird eine Score-Berechnungseinheit (1a, 30a) bereitstellt, die sämtliche oder einen Teil von aufeinanderfolgenden Frames als Frames annimmt, die für eine Score-Berechnung vorgesehen sind, und einen Score als Bewertungswert für eine Komposition eines Bilds für die Frames, die für die Score-Berechnung vorgesehen sind, berechnet. Dann bestimmt in einem Fall, in dem der Score, der von der Score-Berechnungseinheit (1a, 30a) für ein bestimmtes Frame berechnet wird, die Schwellwertbedingung erfüllt, die Bildspeicherungsbestimmungseinheit (1c, 30c), dass Bilddaten, die dem Frame entsprechen, Bilddaten sind, die als Standbild zu speichern sind.

Das heißt, dass die Score-Berechnungseinheit (1a, 30a) bestimmt, ob Bilddaten eines Frames für eine vorteilhafte Komposition relevant sind, und einen Score berechnet, der den Grad an Relevanz angibt. Der Score bezieht sich auf einen Wert, der den Grad angibt, in dem ein Bild eines Frames nahe an einem idealen Zustand einer Komposition zur Verwendung als Basis für eine Score-Berechnung liegt.

In diesem Fall wird zum automatischen Extrahieren eines Frames aus aufeinanderfolgenden Frames, die als Video, Live-Ansicht oder dergleichen dienen, und Speichern des Frames als Standbild ein Score berechnet, der als Bewertungswert dahingehend dienen soll, ob Bilddaten eines Frames für eine Komposition, die als Standbild vorteilhaft ist, relevant sind. Wenn dieser Score die Schwellwertbedingung erfüllt, wird angenommen, dass das Frame zumindest für eine Standbildspeicherung geeignet ist. Ferner wird eine weitere Bedingung beurteilt, um über eine Speicherung als Standbild zu entscheiden.

Es ist daher möglich, ein Standbild, das eine Komposition mit hoher Qualität aufweist, ohne Zutun des Benutzers mittels einer Operation zur automatischen Standbildspeicherung zu speichern.

Des Weiteren ist es durch variables Setzen der Schwellwertbedingung möglich, die Frequenz der Standbildspeicherung einzustellen. Da eine Einstellung der Frequenz der Standbildspeicherung insbesondere anhand der Schwellwertbedingung keine zeitliche Frequenzeinstellung ist, ist es möglich zu verhindern, dass die Gelegenheit zur Standbildaufnahme unnötig verringert wird.

Des Weiteren bedeutet eine ideale Komposition, dass der Score in dem oben beschriebenen Fall gleich dem höchsten Wert (100) wird, wobei dies selbst mit Zutun des Benutzers wahrscheinlichkeitstheoretisch schwierig ist. Aufgrund der Tatsache, dass der Schwellwert ausgewählt werden kann, können Standbilder, die eine relativ gute Komposition aufweisen, automatisch mit einer für einen Benutzer wünschenswerten Frequenz gespeichert werden.

Des Weiteren wird bei einer Ausführungsform der Score unter Verwendung einer Vielzahl von Kompositionen, d. h. vieler Kompositionen, wie zum Beispiel der Hinomaru-Komposition und der Brustbildkomposition, als Basis für eine Score-Berechnung berechnet (5, 6, 7). Das ist darauf zurückzuführen, dass es verschiedene vorteilhafte Kompositionen für Standbilder gibt und somit eine Vielzahl von Kompositionen als Basis zum Berechnen eines Scores verwendet werden sollte.

Entsprechend ist es für jedes Frame, wenn eine Komposition von Bilddaten desselben einen hohen Grad an Relevanz für jede Komposition aufweist, möglich, die Wahrscheinlichkeit zu erhöhen, dass die Bilddaten als Standbild gespeichert werden. Das heißt, dass es unter Verwendung verschiedener vorteilhafter Kompositionen als Basis möglich ist, ein Standbild zu speichern, das für jedes von ihnen relevant ist. Des Weiteren kann dadurch verhindert werden, dass die Gelegenheit zur Standbildspeicherung aufgrund eines alleinigen Verwendens einer spezifischen Komposition als Basis verloren geht.

Des Weiteren werden bei einer Ausführungsform eine oder mehrere Kompositionen zur Verwendung als Basis für die Score-Berechnung aus einer Vielzahl von Kompositionen entsprechend einem Bildinhalt eines Frames ausgewählt und wird ein Score für jede der einen oder der mehreren Kompositionen, die ausgewählt worden sind, berechnet (4, 5, 6, 7).

Es gibt eine wünschenswerte Komposition oder eine geeignete Komposition entsprechend dem Bildinhalt, das heißt, dem Typ des Gegenstands. Beispiele umfassen eine Komposition, die in einem Fall geeignet ist, in dem eine Person ein Gegenstand ist, und eine Komposition, die in einem Fall geeignet ist, in dem eine Landschaft ein Gegenstand ist, und dergleichen. Somit wird durch Auswählen einer Komposition zur Verwendung bei einer Score-Berechnung entsprechend dem Bildinhalt eines Frames ein Bewertungswert auf der Basis einer Komposition, die für den Bildinhalt geeignet ist, berechnet.

Entsprechend ist es möglich, die Wahrscheinlichkeit zu erhöhen, dass ein Frame, das als eine wünschenswerte Komposition aufweisend bestimmt wird, als Standbild entsprechend dem Typ eines Gegenstands gespeichert wird.

Des Weiteren wird bei einer Ausführungsform beurteilt, ob ein Maximalwert (der Max. Score, der in Schritt S400 von 8 ausgewählt wird) aus den Scores, die für ein bestimmtes Frame auf der Basis einer Vielzahl von Kompositionen berechnet werden, den Schwellwert einhält (S404).

Wenn mindestens ein Score die Schwellwertbedingung erfüllt, kann dieses Frame als für eine bestimmte Komposition relevant beurteilt werden. Somit ist es durch Beurteilen der Schwellwertbedingung mittels eines Scores, der den Maximalwert aufweist, möglich zu beurteilen, ob er geeignet ist, als Standbild zu verbleiben.

In diesem Fall ist es dann, wenn eine Vielzahl von Scores berechnet wird, möglich, die Relevanz für eine Komposition akkurat durch eine einfache Verarbeitung zu beurteilen.

Des Weiteren wird bei einer Ausführungsform als Bestimmung der anderen Bedingung als der Schwellwertbedingung bestimmt, ob ein Score eines Zielframes in der Nähe eines Spitzenwerts eines Score-Werts liegt, der in einer Vielzahl von aufeinanderfolgenden Frames variiert (S406).

Das heißt, dass ohne bloßes Speichern von Frames, deren Scores die Schwellwertbedingung erfüllen, als Standbilder ein Frame, dessen Score in der Nähe des Spitzenwerts liegt, aus diesen ausgewählt wird.

Zum Beispiel werden dann, wenn Frames nur dann als Standbilder gespeichert werden, wenn ihre Scores die Schwellwertbedingung während einer Periode von aufeinanderfolgenden Frames erfüllen, im Wesentlichen gleiche Bilder in einer großen Anzahl gespeichert. Somit ist es durch Auswählen eines Frames um einen Spitzenwert herum möglich, ein Bild zu speichern, das für eine Komposition als Standbild besser geeignet ist. Entsprechend ist es möglich, die Qualität eines zu speichernden Standbilds zu verbessern und zu verhindern, dass im Wesentlichen gleiche Bilder in einer großen Anzahl gespeichert werden.

Des Weiteren ist es selbst in einem Fall, in dem der Schwellwert niedrig ist, durch Bestimmen eines Spitzenwerts möglich, ein Standbild zu speichern, das eine bestmögliche Komposition aufweist, wobei die Gelegenheit zur Bildaufnahme erhöht wird.

Es sei darauf hingewiesen, dass ein Zielframe unmittelbar vor einem Frame, bei dem Max. Score < Puf-Score in Schritt S406 von 8 gilt, als Frame angenommen wird, das einen Spitzen-Score aufweist, und dieses Frame bei einer Bestimmung einer weiteren Bedingung als Standbild gespeichert werden kann. Entsprechend ist es möglich, ein Frame, das den höchsten Score aufweist, als Standbild zu speichern.

Des Weiteren wird bei einer Ausführungsform als Bestimmung der anderen Bedingung als der Schwellwertbedingung bestimmt, ob ein Bild eines Zielframes, zum Beispiel ein Bild eines interessierenden Gegenstands, im Fokus liegt (S407).

Das heißt, dass ohne bloßes Speichern von Frames, deren Scores die Schwellwertbedingung erfüllen, als Standbilder verhindert wird, dass ein außerhalb des Fokus liegendes Bild als Standbild gespeichert wird. Entsprechend kann ein gespeichertes Standbild ein im Fokus liegendes Bild (keine Unschärfe aufweisendes Bild) sein, und es ist möglich, die Qualität eines gespeicherten Standbilds zu verbessern.

Des Weiteren wird bei einer Ausführungsform als Bestimmung der anderen Bedingung als der Schwellwertbedingung bestimmt, ob ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt (S409). Dann wird in einem Fall, in dem kein Bild, das sich gerade bewegt, vorhanden ist, angenommen, dass eine Bedingung für eine Standbildspeicherung erfüllt ist. In einem Fall eines dynamischen Gegenstands, der sich gerade bewegt, ist der Gegenstand oft unscharf. Somit ist es möglich, das Speichern desselben als Standbild zu vermeiden. Entsprechend wird die Qualität eines gespeicherten Standbilds verbessert.

Des Weiteren wird in einem Fall, in dem das Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt, die Verschlussgeschwindigkeit bei der Bildaufnahme dieses Frames bestimmt. Insbesondere wird bestimmt, ob die Bildaufnahme in einem Zustand durchgeführt wird, in dem die Verschlussgeschwindigkeit eine Geschwindigkeit, die von einer Gegenstandsbedingung gefordert wird, oder schneller ist (S410). Das heißt, dass in einem Fall eines Bilds, in dem wahrscheinlich eine Unschärfe aufgrund des Vorhandenseins eines dynamischen Gegenstands aufgetreten ist, dieses als Standbild gespeichert wird in einem Fall, in dem beurteilt werden kann, dass es keine Unschärfe in der Verschlussgeschwindigkeitssituation gibt.

In einem Fall eines dynamischen Gegenstands, der sich gerade bewegt, ist es dann, wenn dieses Frame in einem Zustand aufgenommen worden ist, in dem die Verschlussgeschwindigkeit hoch ist, weniger wahrscheinlich, dass es ein unscharfes Bild ist. Entsprechend wird selbst in einem Fall eines sich bewegenden Gegenstands ein Standbild mit einer guten Qualität gespeichert.

Des Weiteren setzt die Schwellwertsetzeinheit die Schwellwertbedingung (th1, th2, th3) variabel entsprechend einer Operationseingabe. Wenn die Schwellwertbedingung strikt einzuhalten ist, verringert sich die Frequenz der Standbildspeicherung, und wenn die Schwellwertbedingung leicht zu erfüllen ist, erhöht sich die Frequenz der Standbildspeicherung. Daher ist es möglich, die Frequenz in Abhängigkeit von der Absicht eines Benutzers hinsichtlich des Grads der Frequenz, mit der der Benutzer eine Standbildspeicherung durchzuführen wünscht, einzustellen.

Aufgrund der Tatsache, dass der Benutzer die Schwellwertbedingung mittels einer Operation anweisen kann, ist es möglich, dass eine automatische Standbildspeicherung mit einer Frequenz entsprechend der Absicht eines Benutzers durchgeführt wird.

Des Weiteren wird, nachdem bestimmt worden ist, dass Bilddaten eines bestimmten Frames Bilddaten sind, die als Standbild zu speichern sind, nicht bestimmt, dass Frames während einer Standby-Zeit entsprechend einem gesetzten Schwellwert Bilddaten sind, die als Standbild zu speichern sind (S111).

Durch Vorsehen der Standby-Periode ist es möglich zu vermeiden, dass im Wesentlichen gleiche Bilder in einer großen Anzahl als Standbilder gespeichert werden. In diesem Fall verringert sich die Frequenz der Standbildspeicherung, wenn die Schwellwertbedingung strikt einzuhalten ist, und erhöht sich die Frequenz der Standbildspeicherung, wenn die Schwellwertbedingung leicht zu erfüllen ist. Somit entspricht die Standby-Zeit auch der Frequenz in Abhängigkeit von der Schwellwertbedingung durch Ansprechen auf die Schwellwertbedingung.

Es sei darauf hingewiesen, dass dann, wenn die Standby-Zeit zu lang ist, die Gelegenheit zur Standbildspeicherung in zu hohem Maß verloren geht. Dies beeinflusst auch eine Frequenzeinstellung. Daher ist eine relativ kurze Zeit geeignet.

Des Weiteren werden bei einer Ausführungsform Bilddaten von aufeinanderfolgenden Frames entlang der Zeitachse (zum Beispiel einer Live-Ansicht) auf dem Anzeigebildschirm angezeigt und werden Kompositionsinformationen (zum Beispiel die ideale Position IP) eingeblendet in dieses Bild angezeigt (22, 23). Das heißt, dass für ein aufgenommenes Bild ein Zustand, der den Grad an Relevanz des Bildinhalts desselben für eine spezifische Komposition darlegt, angezeigt wird. Dadurch wird es einem Benutzer ermöglicht, auf einfache Weise zu beurteilen, ob eine Komposition während der Bildaufnahme eine gute Komposition ist.

Des Weiteren wird durch Anzeigen des Scores jedes Frames und von Informationen über die Schwellwertbedingung (den Score-Balken 62, den Schwellwertpegel 61) (24A, 24B), einem Benutzer dargelegt, ob der Score die Schwellwertbedingung erfüllt. Dadurch wird es einem Benutzer ermöglicht, die Richtung des Gegenstands so anzuordnen, dass ein Frame, das einen hohen Score aufweist, wahrscheinlich erhalten wird.

Des Weiteren wird das vergrößerte Bild 65, das als Führung gilt, mittels derer ein Bildinhalt mit einer spezifischen Komposition angepasst wird, angezeigt (24C).

Mit dem vergrößerten Bild ist es möglich, einen Benutzer so zu führen, dass er auf einfache Weise das Zentrum eines Hauptgegenstands auf die für die Komposition ideale Position IP bringt, so dass der Blickwinkel und die Bildaufnahmerichtung während der Bildaufnahme leicht einzustellen sind und ein Frame, das einen hohen Score aufweist, leicht erhalten werden kann.

Es sei darauf hingewiesen, dass diese Anzeigesteuerungen auch als Führungen in einem anderen Fall als der automatischen Standbildsteuerung geeignet sind, das heißt, in einem Fall des Durchführens einer Standbildspeicherung mittels einer Verschlussoperation des Benutzers. Somit ist es auch in dem Fall der Standbildspeicherung mittels einer Verschlussoperation sinnvoll, einen Score mit Bezug auf eine Komposition zu berechnen und Kompositionsinformationen und Informationen über den Score darzulegen.

Des Weiteren werden bei einer Ausführungsform als Operation zur automatischen Standbildsteuerung die Verarbeitung zum Bestimmen eines Frames mit einer geeigneten Komposition als Standbild aus den Frames, die als Video dienen, und das Speichern von Bilddaten, die diesem Frame entsprechen, durchgeführt, wobei die Anwendung der vorliegenden Technologie nicht auf eine solche Standbildspeicherung begrenzt ist. Das heißt, dass eine automatische Speicherung als Video auch möglich ist.

Zum Beispiel ist es entsprechend dem Bestimmen eines Frames, das eine gute Komposition aufweist, auch möglich, ein Video über eine vorbestimmte Zeitperiode, die bei diesem Frame beginnt, automatisch zu speichern.

Des Weiteren können in diesem Fall intermittierende Frames, die eine niedrige Framerate aufweisen, gespeichert werden und kann ferner die Anzahl von ausgedünnten Frames zur Speicherung als pseudo-videoartige Bilddaten oder dergleichen erhöht werden.

Des Weiteren können dann, wenn ein Frame, das eine gute Komposition aufweist, zum Beispiel ein Frame, das die Schwellwertbedingung erfüllt, bestimmt wird, aufeinanderfolgende Frames unmittelbar vor einem Frame, das die Schwellwertbedingung nicht länger erfüllt, als Videodaten gespeichert werden.

Des Weiteren wird bei dem Prozess von 2 und 8 gemäß einer Ausführungsform ferner eine weitere Bedingung zusätzlich zu der Komposition beurteilt, um ein zu speicherndes Frame zu bestimmen, wobei dann, wenn zumindest die Kompositionsbedingung, das heißt, die Schwellwertbedingung, erfüllt ist, dieses als zu speicherndes Frame bestimmt werden kann. Dadurch kann der Prozess zur automatischen Bildspeicherung vereinfacht werden.

Es sei darauf hingewiesen, dass die in der vorliegenden Spezifikation beschriebenen Effekte lediglich Beispiele sind und nicht als Einschränkung verstanden werden dürfen und andere Effekte wirksam sein können.

Des Weiteren kann die vorliegende Technologie auch wie nachstehend dargelegt ausgeführt sein.

• (1) Bildverarbeitungsvorrichtung, die aufweist:
  eine Schwellwertsetzeinheit, die so ausgeführt ist, dass sie eine Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition setzt; und
  eine Bildspeicherungsbestimmungseinheit, die so ausgeführt ist, dass sie in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, bestimmt, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.
• (2) Bildverarbeitungsvorrichtung nach (1), bei der
  in einem Fall, in dem die Komposition in dem Frame die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, die Bildspeicherungsbestimmungseinheit entsprechend einer Bestimmung einer weiteren Bedingung bestimmt, dass Bilddaten des Frames zu speichende Bilddaten sind.
• (3) Bildverarbeitungsvorrichtung nach (1) oder (2), die aufweist:
  eine Score-Berechnungseinheit, die so ausgeführt ist, dass sie sämtliche oder einen Teil von aufeinanderfolgenden Frames als Frames annimmt, die für die Score-Berechnung vorgesehen sind, und einen Score berechnet, der als Bewertungswert für eine Komposition eines Bilds für die Frames dient, die für eine Score-Berechnung vorgesehen sind, bei der
  in einem Fall, in dem der Score, der von der Score-Berechnungseinheit für ein bestimmtes Frame berechnet wird, die Schwellwertbedingung erfüllt, die von der Schwellwertsetzeinheit gesetzt wird, die Bildspeicherungsbestimmungseinheit bestimmt, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.
• (4) Bildverarbeitungsvorrichtung nach (3), bei der
  die Score-Berechnungseinheit in der Lage ist, eine Verarbeitung zum Berechnen von Scores auf der Basis einer Vielzahl von Kompositionen durchzuführen.
• (5) Bildverarbeitungsvorrichtung nach (4), bei der
  die Score-Berechnungseinheit eine Komposition zur Verwendung als Basis für die Score-Berechnung entsprechend einem Bildinhalt eines Frames auswählt und einen Score für jede einer oder einer Vielzahl von Kompositionen, die ausgewählt worden sind, berechnet.
• (6) Bildverarbeitungsvorrichtung nach (4) oder (5), bei der
  die Bildspeicherungsbestimmungseinheit beurteilt, ob ein Maximalwert aus den Scores, die von der Score-Berechnungseinheit für ein bestimmtes Frame auf der Basis der Vielzahl von Kompositionen berechnet werden, einen Schwellwert erfüllt, der von der Schwellwertsetzeinheit gesetzt wird.
• (7) Bildverarbeitungsvorrichtung nach (2), bei der
  als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmt, ob ein Score eines Zielframes in der Nähe eines Spitzenwerts eines Score-Werts liegt, der in einer Vielzahl von aufeinanderfolgenden Frames variiert.
• (8) Bildverarbeitungsvorrichtung nach (2) oder (7), bei der
  als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmt, ob ein Bild eines Zielframes im Fokus liegt.
• (9) Bildverarbeitungsvorrichtung nach einem von (2), (7) und (8), bei der
  als Bestimmung der weiteren Bedingung die Bildspeicherungsbestimmungseinheit bestimmt, ob ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt.
• (10) Bildverarbeitungsvorrichtung nach einem von (2), (7), (8) und (9), bei der
  als Bestimmung der weiteren Bedingung in einem Fall, in dem ein Zielframe ein Bild aufweist, in dem sich ein interessierender Gegenstand gerade bewegt, die Bildspeicherungsbestimmungseinheit eine Verschlussgeschwindigkeit während der Bildaufnahme des Frames bestimmt.
• (11) Bildverarbeitungsvorrichtung nach einem von (1) bis (10), bei der
  die Schwellwertsetzeinheit die Schwellwertbedingung entsprechend einer Eingabeoperation variabel setzt.
• (12) Bildverarbeitungsvorrichtung nach einem von (1) bis (11), bei der
  nachdem von der Bildspeicherungsbestimmungseinheit bestimmt worden ist, dass Bilddaten, die einem bestimmten Frame entsprechen, zu speichernde Bilddaten sind, verhindert wird, dass die Bildspeicherungsbestimmungseinheit bestimmt, dass Bilddaten, die einem Frame während einer Standby-Zeit entsprechend einem Schwellwert, der von der Schwellwertsetzeinheit gesetzt wird, entsprechen, zu speichernde Bilddaten sind.
• (13) Bildverarbeitungsvorrichtung nach einem von (1) bis (12), die aufweist:
  eine Anzeigesteuereinheit, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass Kompositionsinformationen in das Bild eingeblendet angezeigt werden.
• (14) Bildverarbeitungsvorrichtung nach einem von (1) bis (13), die aufweist:
  eine Anzeigesteuereinheit, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass ein Score jedes Frames und Informationen über die Schwellwertbedingung angezeigt werden.
• (15) Bildverarbeitungsvorrichtung nach einem von (1) bis (14), die aufweist:
  eine Anzeigesteuereinheit, die so ausgeführt ist, dass sie bewirkt, dass Bilddaten von Frames, die entlang einer Zeitachse aufeinanderfolgend sind, auf einem Anzeigebildschirm angezeigt werden, und bewirkt, dass ein vergrößertes Bild als Führung zum Anpassen eines Bildinhalts mit einer spezifischen Komposition angezeigt wird.
• (16) Bildverarbeitungsverfahren, das von einer Operationsverarbeitungsvorrichtung ausgeführt wird, wobei das Bildverarbeitungsverfahren umfasst:
  einen Schwellwertsetzschritt zum Setzen einer Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition; und
  einen Bildspeicherungsbestimmungsschritt zum Bestimmen in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.
• (17) Programm, das bewirkt, dass eine Operationsverarbeitungsvorrichtung ausführt:
  einen Schwellwertsetzschritt zum Setzen einer Schwellwertbedingung für eine Ausführungsbestimmung einer Bildspeicherung entsprechend einer Komposition; und
  einen Bildspeicherungsbestimmungsschritt zum Bestimmen in einem Fall, in dem eine Komposition in einem Frame die Schwellwertbedingung erfüllt, die in dem Schwellwertsetzschritt gesetzt wird, dass Bilddaten, die dem Frame entsprechen, zu speichernde Bilddaten sind.

Bezugszeichenliste

1

Bildverarbeitungsvorrichtung

1a, 30a

Score-Berechnungseinheit

1b, 30b

Schwellwertsetzeinheit

1c, 30c

Bildspeicherungsbestimmungseinheit

30d

Anzeigesteuereinheit

10

Bilderzeugungseinheit

11

Optisches System

12

Bildwandler

13

Ansteuerungseinheit für das optische System

14

Sensoreinheit

15

Speicherungseinheit

16

Kommunikationseinheit

20

Digitalsignalverarbeitungseinheit

21

Vorverarbeitungseinheit

22

Synchronisationseinheit

23

YC-Erzeugungseinheit

24

Auflösungsumwandlungseinheit

25

Codec-Einheit

26

Anzeigedatenerzeugungseinheit

27

Bildanalyseeinheit

28

Fokussierungsverarbeitungseinheit

30

Steuereinheit

34

Anzeigeeinheit

35

Operationseinheit

70

Computervorrichtung

71

CPU