Title:
HERSTELLEN VON VERBINDUNGEN ÜBER HEAD-UP-DISPLAYS MITHILFE VON AUGENKONTAKTEN
Document Type and Number:
Kind Code:
T5

Abstract:

Gemäß einer Ausführungsform der vorliegenden Erfindung ermittelt ein System zur Einheiteninteraktion über ein Head-up-Display einen Sichtbereich einer ersten Einheit, die ein erstes Head-up-Display nutzt, und stellt eine Interaktion zwischen mindestens einer ersten Einheit und dem ersten Head-up-Display als Reaktion darauf her, dass mindestens ein Einfluss des ermittelten Sichtbereichs auf mindestens eine zweite Einheit erkannt wurde. Ausführungsformen der vorliegenden Erfindung enthalten ferner ein Verfahren und ein Computerprogrammprodukt, um im Wesentlichen in derselben Weise wie oben beschrieben mit einer Einheit über ein Head-up-Display zu interagieren.





Inventors:
Gullo Jr., Richard Salvatore (Ohio, Dublin, US)
Myers, Andrew (Ohio, Dublin, US)
Bedell Jr., Stephen Richard, Calif. (San Jose, US)
O'Meilia, Casey Michael (Ohio, Dublin, US)
Application Number:
DE112016000470T
Publication Date:
10/05/2017
Filing Date:
02/09/2016
Assignee:
International Business Machines Corporation (N.Y., Armonk, US)
International Classes:
G06F3/01; G02B27/01; H04M1/725; H04W84/00
Attorney, Agent or Firm:
LifeTech IP Spies & Behrndt Patentanwälte PartG mbB, 80687, München, DE
Claims:
1. Verfahren zur Einheiteninteraktion über Head-up-Displays, aufweisend:
Ermitteln eines Sichtbereichs einer ersten Einheit unter Nutzung eines ersten Headup-Displays;
Einleiten einer Interaktion zwischen mindestens einer ersten Einheit und dem ersten Head-up-Display als Reaktion auf ein Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs auf mindestens eine zweite Einheit.

2. Verfahren nach Anspruch 1, wobei der Sichtbereich eine Sichtlinie und einen Sichtkegel enthält.

3. Verfahren nach Anspruch 1 oder Anspruch 2, wobei die Interaktion zwischen der mindestens einen ersten Einheit und dem ersten Head-up-Display eines oder mehreres aus einer Gruppe enthält aus: Steuern eines oder mehrerer aus einer Gruppe aus der mindestens einen ersten Einheit und dem ersten Head-up-Display, Erkennen eines Status eines oder mehrerer aus einer Gruppe aus der mindestens einen ersten Einheit und dem ersten Head-up-Display, Erkennen einer Nachricht, die zu einem oder mehreren aus einer Gruppe aus der mindestens einen ersten Einheit und dem ersten Head-up-Display gehört, einer Server-Client-Beziehung zwischen der mindestens einen ersten Einheit und dem ersten Head-up-Display, Übertragen einer Datei zwischen der mindestens einen ersten Einheit und dem ersten Head-up-Display, Einleiten einer Verbindung zur Audiokommunikation zwischen der mindestens einen ersten Einheit und dem ersten Head-up-Display und Authentifizierung der ersten Einheit gegenüber einem oder mehreren aus einer Gruppe aus der mindestens einen ersten Einheit und dem ersten Head-up-Display.

4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste Head-up-Display mit der mindestens einen zweiten Einheit verbunden ist und das Einleiten der Interaktion aufweist:
Bereitstellen einer Schnittstelle der mindestens einen ersten Einheit am ersten Headup-Display;
Beeinflussen der bereitgestellten Schnittstelle auf der Grundlage mindestens eines oder mehrerer aus einer Gruppe aus dem ermittelten Sichtbereich der ersten Einheit an der mindestens einen zweiten Einheit, die mit dem ersten Head-up-Display verbunden ist, und mindestens einem Sprachbefehl; und
Steuern der mindestens einen ersten Einheit auf der Grundlage der Beeinflussung der bereitgestellten Schnittstelle.

5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine erste Einheit eines oder mehreres aus einer Gruppe aus einem zweiten Head-up-Display und einer Verarbeitungseinheit enthält.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs eines oder mehreres aus einer Gruppe aufweist aus:
Erkennen elektromagnetischer Signale, die von einem Sender übertragen wurden, der zu der mindestens einen ersten Einheit gehört, an einer Erkennungseinheit für elektromagnetische Signale einer entsprechenden der mindestens einen zweiten Einheit, die zum ersten Head-up-Display gehört; und
Erkennen elektromagnetischer Signale, die von einem Sender übertragen wurden, der zum ersten Head-up-Display gehört, an einer Erkennungseinheit für elektromagnetische Signale einer entsprechenden der mindestens einen zweiten Einheit, die zu der mindestens einen ersten Einheit gehört.

7. Verfahren nach Anspruch 6, wobei die übertragenen elektromagnetischen Signale, die zu der mindestens einen ersten Einheit und dem ersten Head-up-Display gehören, jeweils Daten zur Einleitung der Interaktion enthalten.

8. Verfahren nach Anspruch 5, wobei das erste Head-up-Display eine Sendeeinheit zur Übertragung von Signalen entlang einer Sichtrichtung der ersten Einheit enthält und jede der mindestens einen ersten Einheit zu einer entsprechenden der mindestens einen zweiten Einheit gehört, die einen Empfänger zum Empfang der Signale aufweist und das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs aufweist:
am Empfänger, der zu der mindestens einen ersten Einheit gehört, Erkennen der Signale, die vom ersten Head-up-Display übertragen wurden.

9. Verfahren nach Anspruch 8, wobei die vom ersten Head-up-Display übertragenen Signale Daten zur Einleitung der Interaktion enthalten.

10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält und das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs eines oder mehreres aus einer Gruppe aufweist aus:
am Empfänger einer entsprechenden der mindestens einen zweiten Einheit, die zum ersten Head-up-Display gehört, Erkennen von Signalen, die durch eine Sendeeinheit vom zweiten Head-up-Display entlang einer Sichtrichtung einer zweiten Einheit ausgesendet wurden; und
am Empfänger einer entsprechenden der mindestens einen zweiten Einheit, die zum zweiten Head-up-Display gehört, Erkennen von Signalen, die durch eine Sendeeinheit vom ersten Head-up-Display entlang einer Sichtrichtung der ersten Einheit ausgesendet wurden;

11. Verfahren nach Anspruch 10, wobei die vom ersten und zweiten Head-up-Display übertragenen Signale Daten zur Einleitung der Interaktion enthalten.

12. Verfahren nach Anspruch 8, wobei das erste Head-up-Display ferner eine Bilderfassungseinheit enthält und das Ermitteln eines Sichtbereichs aufweist:
Überwachen des Sichtbereichs der ersten Einheit über die Bilderfassungseinheit; und
Ausrichten der Sendeeinheit zur Übertragung der Signale in Richtung des überwachten Sichtbereichs.

13. Verfahren nach Anspruch 8, wobei die erste Einheit eine Kontaktlinse mit einer Mehrzahl von Objekten nutzt, die den Sichtbereich definieren, und das Ermitteln des Sichtbereichs aufweist:
Feststellen des durch die Mehrzahl von Objekten definierten Sichtbereichs; und
Ausrichten der Sendeeinheit zur Übertragung der Signale in Richtung des festgestellten Sichtbereichs.

14. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Mehrzahl erster Einheiten jeweils ein entsprechendes erstes Head-up-Display nutzt und die mindestens eine erste Einheit ein zweites Head-up-Display aufweist, das die mindestens eine zweite Einheit enthält, und wobei das Ermitteln eines Sichtbereichs ferner aufweist:
Ermitteln eines Sichtbereichs jeder ersten Einheit, die ein entsprechendes der ersten Head-up-Displays nutzt;
wobei das Ermitteln ferner aufweist:
Einleiten einer Interaktion zwischen dem zweiten Head-up-Display und jedem ersten Head-up-Display als Reaktion auf das Erkennen eines Einflusses des ermittelten Sichtbereichs einer ersten Einheit dieses ersten Head-up-Displays auf die mindestens eine zweite Einheit des zweiten Head-up-Displays.

15. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit eine gemeinsame Einheit enthält, die durch ermittelte Sichtbereiche der ersten Einheit und der zweiten Einheit beeinflusst wird.

16. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit eine anfängliche Einheit enthält, die durch den ermittelten Sichtbereich der ersten Einheit und einer weiteren anderen Einheit beeinflusst wird, die sich entfernt von der anfänglichen Einheit befindet, die durch einen ermittelten Sichtbereich der zweiten Einheit beeinflusst wird.

17. Verfahren nach einem der vorhergehenden Ansprüche, wobei jede der mindestens einen ersten Einheit als Symbol im ersten Head-up-Display dargestellt ist, um als Reaktion auf das Einleiten der Interaktion mit dieser ersten Einheit Informationen bereitzustellen.

18. Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste Head-up-Display und die mindestens eine erste Einheit jeweils eine entsprechende der mindestens einen zweiten Einheit enthalten, die einen Sender und Empfänger zur Übertragung und zum Empfang von Signalen enthalten, und wobei das Einleiten der Interaktion ferner aufweist:
Durchführen der Interaktion über eines oder mehreres aus einer Gruppe aus einer Netzwerkverbindung und Signalen, die zwischen dem Sender und Empfänger des ersten Head-up-Displays und der mindestens einen ersten Einheit ausgetauscht werden.

19. System zur Einheiteninteraktion über Head-up-Displays, aufweisend mindestens einen Prozessor, der konfiguriert ist, um:
einen Sichtbereich einer ersten Einheit unter Nutzung eines ersten Head-up-Displays zu ermitteln; und
eine Interaktion zwischen mindestens einer ersten Einheit und dem ersten Head-up-Display als Reaktion auf das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs auf mindestens eine zweite Einheit einzuleiten.

20. System nach Anspruch 19, wobei das erste Head-up-Display mit der mindestens einen zweiten Einheit verbunden ist und das Einleiten der Interaktion aufweist:
Bereitstellen einer Schnittstelle der mindestens einen ersten Einheit am ersten Headup-Display;
Beeinflussen der bereitgestellten Schnittstelle auf der Grundlage mindestens eines oder mehrerer aus einer Gruppe aus dem ermittelten Sichtbereich der ersten Einheit an der mindestens einen zweiten Einheit, die mit dem ersten Head-up-Display verbunden ist, und mindestens einem Sprachbefehl; und
Steuern der mindestens einen ersten Einheit auf der Grundlage der Beeinflussung der bereitgestellten Schnittstelle.

21. System nach Anspruch 19 oder Anspruch 20, wobei die mindestens eine erste Einheit eines oder mehreres aus einer Gruppe aus einem zweiten Head-up-Display und einer Verarbeitungseinheit enthält.

22. System nach einem der Ansprüche 19 bis 21, wobei das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs eines oder mehreres aus einer Gruppe aufweist aus:
Erkennen elektromagnetischer Signale, die von einem Sender übertragen wurden, der zu der mindestens einen ersten Einheit gehört, an einer Erkennungseinheit für elektromagnetische Signale einer entsprechenden der mindestens einen zweiten Einheit, die zum ersten Head-up-Display gehört; und
Erkennen elektromagnetischer Signale, die von einem Sender übertragen wurden, der zum ersten Head-up-Display gehört, an einer Erkennungseinheit für elektromagnetische Signale einer entsprechenden der mindestens einen zweiten Einheit, die zu der mindestens einen ersten Einheit gehört.

23. System nach Anspruch 22, wobei die übertragenen elektromagnetischen Signale, die zu der mindestens einen ersten Einheit und dem ersten Head-up-Display gehören, jeweils Daten zur Einleitung der Interaktion enthalten.

24. System nach Anspruch 21, wobei das erste Head-up-Display eine Sendeeinheit zur Übertragung von Signalen entlang einer Sichtrichtung der ersten Einheit enthält und jede der mindestens einen ersten Einheit zu einer entsprechenden der mindestens einen zweiten Einheit gehört, die einen Empfänger zum Empfang der Signale aufweist und das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs aufweist:
am Empfänger, der zu der mindestens einen ersten Einheit gehört, Erkennen der Signale, die vom ersten Head-up-Display übertragen wurden.

25. System nach Anspruch 24, wobei die vom ersten Head-up-Display übertragenen Signale Daten zur Einleitung der Interaktion enthalten.

26. System nach einem der Ansprüche 19 bis 25, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit eine gemeinsame Einheit enthält, die durch ermittelte Sichtbereiche der ersten Einheit und der zweiten Einheit beeinflusst wird.

27. System nach einem der Ansprüche 19 bis 26, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit eine anfängliche Einheit enthält, die durch den ermittelten Sichtbereich der ersten Einheit und einer weiteren anderen Einheit beeinflusst wird, die sich entfernt von der anfänglichen Einheit befindet, die durch einen ermittelten Sichtbereich der zweiten Einheit beeinflusst wird.

28. System nach einem der Ansprüche 19 bis 27, wobei jede der mindestens einen ersten Einheit als Symbol im ersten Head-up-Display dargestellt ist, um als Reaktion auf das Einleiten der Interaktion mit dieser ersten Einheit Informationen bereitzustellen.

29. System nach einem der Ansprüche 19 bis 28, wobei das erste Head-up-Display und die mindestens eine erste Einheit jeweils eine entsprechende der mindestens einen zweiten Einheit enthalten, die einen Sender und Empfänger zur Übertragung und zum Empfang von Signalen enthalten, und wobei das Einleiten der Interaktion ferner aufweist:
Durchführen der Interaktion über eines oder mehreres aus einer Gruppe aus einer Netzwerkverbindung und Signalen, die zwischen dem Sender und Empfänger des ersten Head-up-Displays und der mindestens einen ersten Einheit ausgetauscht werden.

30. Computerprogrammprodukt zur Einheiteninteraktion über Head-up-Displays, aufweisend:
ein computerlesbares Speichermedium mit auf einem Verarbeitungssystem verkörpertem computerlesbaren Programmcode, wobei der computerlesbare Programmcode computerlesbaren Programmcode aufweist, der konfiguriert ist, um:
einen Sichtbereich einer ersten Einheit unter Nutzung eines ersten Head-up-Displays zu ermitteln; und
eine Interaktion zwischen mindestens einer ersten Einheit und dem ersten Head-up-Display als Reaktion auf das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs auf mindestens eine zweite Einheit einzuleiten.

31. Computerprogrammprodukt nach Anspruch 30, wobei das erste Head-up-Display mit der mindestens einen zweiten Einheit verbunden ist und das Einleiten der Interaktion aufweist:
Bereitstellen einer Schnittstelle der mindestens einen ersten Einheit am ersten Headup-Display;
Beeinflussen der bereitgestellten Schnittstelle auf der Grundlage mindestens eines oder mehrerer aus einer Gruppe aus dem ermittelten Sichtbereich der ersten Einheit an der mindestens einen zweiten Einheit, die mit dem ersten Head-up-Display verbunden ist, und mindestens einem Sprachbefehl; und
Steuern der mindestens einen ersten Einheit auf der Grundlage der Beeinflussung der bereitgestellten Schnittstelle.

32. Computerprogrammprodukt Anspruch 30 oder Anspruch 31, wobei die mindestens eine erste Einheit eines oder mehreres aus einer Gruppe aus einem zweiten Headup-Display und einer Verarbeitungseinheit enthält.

33. Computerprogrammprodukt nach einem der Ansprüche 30 bis 32, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit eine gemeinsame Einheit enthält, die durch ermittelte Sichtbereiche der ersten Einheit und der zweiten Einheit beeinflusst wird.

34. Computerprogrammprodukt nach einem der Ansprüche 30 bis 33, wobei die mindestens eine erste Einheit ein zweites Head-up-Display enthält, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit eine anfängliche Einheit enthält, die durch den ermittelten Sichtbereich der ersten Einheit und einer weiteren anderen Einheit beeinflusst wird, die sich entfernt von der anfänglichen Einheit befindet, die durch einen ermittelten Sichtbereich der zweiten Einheit beeinflusst wird.

35. Computerprogrammprodukt nach einem der Ansprüche 30 bis 34, wobei jede der mindestens einen ersten Einheit als Symbol im ersten Head-up-Display dargestellt ist, um als Reaktion auf das Einleiten der Interaktion mit dieser ersten Einheit Informationen bereitzustellen.

36. Computerprogrammprodukt nach einem der Ansprüche 30 bis 35, wobei das erste Head-up-Display und die mindestens eine erste Einheit jeweils eine entsprechende der mindestens einen zweiten Einheit enthalten, die einen Sender und Empfänger zur Übertragung und zum Empfang von Signalen enthalten, und wobei das Einleiten der Interaktion ferner aufweist:
Durchführen der Interaktion über eines oder mehreres aus einer Gruppe aus einer Netzwerkverbindung und Signalen, die zwischen dem Sender und Empfänger des ersten Head-up-Displays und der mindestens einen ersten Einheit ausgetauscht werden.

Description:
HINTERGRUND

Ausführungsformen der vorliegenden Erfindung betreffen Head-up-Displays und insbesondere das Interagieren mit Einheiten über ein Head-up-Display auf der Grundlage eines Augenkontakts eines Head-up-Display-Benutzers und mindestens einer anderen Einheit.

Ein Ansatz, um Benutzern von Head-up-Display-Einheiten (HUD-Einheiten) ein Interagieren zu ermöglichen (um z.B. eine Datei von einer Einheit zu einer anderen zu übertragen), besteht darin, herkömmliche Übertragungen über eMail, FTP, Textnachrichten oder USB-Laufwerke zu verwenden. Diese Verfahren sind jedoch für Träger von HUDs unbequem und langsam, da sie viele präzise Aktionen in einer Schnittstelle erfordern, bei der aufgrund des Fehlens präziser Eingabeeinheiten, zum Beispiel Mäuse, Tastaturen oder Touchscreens, Präzision schwierig ist. Als Beispiel soll die Schwierigkeit dienen, an einem HUD ohne derartige präzise Eingabeeinheiten eine eMail zu senden. Techniken der Nahfeldkommunikation (Near Field Communication, NFC) sind für Benutzer eventuell leichter zu aktivieren als andere herkömmliche Verfahren, können Benutzern aber auch Unannehmlichkeiten bereiten, da sie eine unmittelbare körperliche Nähe erfordern. Zum Beispiel wäre es für zwei Menschen lästig, sich jedes Mal mit den Köpfen zu berühren, wenn sie Dateien übertragen möchten.

KURZDARSTELLUNG

Gemäß Ausführungsformen der vorliegenden Erfindung ermittelt ein System zur Einheiteninteraktion über ein Head-up-Display einen Sichtbereich einer ersten Einheit, die ein erstes Head-up-Display nutzt, und leitet eine Interaktion zwischen mindestens einer ersten Einheit und dem ersten Head-up-Display als Reaktion darauf ein, dass mindestens ein Einfluss des ermittelten Sichtbereichs auf mindestens eine zweite Einheit erkannt wurde. Ein Vorteil von Ausführungsformen der vorliegenden Erfindung besteht darin, dass die Geschwindigkeit und die Einfachheit des Interagierens mit Einheiten für Benutzer von HUDs verbessert werden, indem im Vergleich zu herkömmlichen Ansätzen ohne die durch die Nahfeldkommunikation bedingte unmittelbare Nähe die Anzahl langsamer oder unbequemer Aktionen verringert wird.

Gemäß weiteren Ausführungsformen der vorliegenden Erfindung ist das erste Head-up-Display mit der (den) zweiten Einheit(en) verbunden, und ein Einleiten der Interaktion umfasst ein Bereitstellen einer Schnittstelle der ersten Einheit(en) am ersten Head-up-Display, ein Beeinflussen der bereitgestellten Schnittstellen auf der Grundlage des ermittelten Sichtbereichs der ersten Einheit auf die zweite(n) Einheit(en), die mit dem ersten Headup-Display verbunden ist bzw. sind, und/oder mindestens eines Sprachbefehls, und Steuern der ersten Einheit(en) auf der Grundlage der Beeinflussung der bereitgestellten Schnittstelle. Derartige Ausführungsformen bieten den Vorteil des einfacheren Steuerns von Einheiten (z.B. eines Notebooks, einer Workstation, eines Tablet-Computers usw.) mit einem tragbaren HUD, zu dessen Bedienung die Hände nicht in Situationen benötigt werden, in denen es unbequem, schwierig oder unmöglich ist, die Einheit in der Hand zu halten.

Bei einigen Ausführungsformen weist das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs auf (1) ein Erkennen elektromagnetischer Signale, die von einem Sender übertragen wurden, der zu mindestens einer der ersten Einheit(en) gehört, an einer Erkennungseinheit für elektromagnetische Signale einer entsprechenden Einheit, die zu einem Head-up-Displays gehört, und/oder (2) ein Erkennen elektromagnetischer Signale, die von einem Sender übertragen wurden, der zum ersten Head-up-Display gehört, an einer Erkennungseinheit einer entsprechenden Einheit für elektromagnetische Signale, die zu mindestens einer der ersten Einheit(en) gehört.

Bei weiteren Ausführungsformen enthält das erste Head-up-Display eine Sendeeinheit zur Übertragung von Signalen entlang einer Sichtrichtung der ersten Einheit, und jede der ersten Einheit(en) gehört zu einer entsprechenden der zweiten Einheit(en), die einen Empfänger zum Empfang der Signale aufweist, und das Erkennen mindestens eines Einflusses des ermittelten Sichtbereichs weist an einem Empfänger, der zu der bzw. den ersten Einheit(en) gehört, ein Erkennen der Signale auf, die vom ersten Head-up-Display übertragen wurden.

Bei noch weiteren Ausführungsformen enthält das erste Head-up-Display ferner eine Bilderfassungseinheit, und das Ermitteln eines Sichtbereichs weist ein Überwachen des Sichtbereichs der ersten Einheit über die Bilderfassungseinheit und ein Ausrichten der Sendeeinheit auf, um die Signale in der Richtung des überwachten Sichtbereichs zu übertragen.

Bei noch weiteren Ausführungsformen enthält die erste Einheit ein zweites Headup-Display, das durch eine zweite Einheit genutzt wird, und die mindestens eine zweite Einheit enthält eine gemeinsame Einheit, die durch ermittelte Sichtbereiche der ersten Einheit und der zweiten Einheit beeinflusst wird.

Ausführungsformen der vorliegenden Erfindung enthalten ferner ein Verfahren und ein Computerprogrammprodukt, um im Wesentlichen in derselben Weise wie oben beschrieben mit einer Einheit über ein Head-up-Display zu interagieren.

KURZBESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN IN DEN ZEICHNUNGEN

In den Figuren werden im Allgemeinen gleiche Bezugsnummern zur Bezeichnung gleicher Komponenten verwendet.

1 ist eine schematische Veranschaulichung einer beispielhaften Umgebung für eine Ausführungsform der vorliegenden Erfindung.

2 ist ein Blockschema beispielhafter Sichtkomponenten für den Augenkontakt gemäß einer Ausführungsform der vorliegenden Erfindung.

3 ist eine schematische Darstellung einer beispielhaften Kontaktlinse zur Erleichterung der Sichtlinienüberwachung gemäß einer Ausführungsform der vorliegenden Erfindung.

4 ist ein Blockschema zweier Head-up-Displaysysteme, die gemäß einer Ausführungsform der vorliegenden Erfindung interagieren.

5 ist ein Flussdiagramm, das eine beispielhafte Weise veranschaulicht, in der zwei Head-up-Displaysysteme gemäß einer Ausführungsform der vorliegenden Erfindung interagieren können.

6 ist ein Flussdiagramm, das eine beispielhafte Weise des Herstellens eines Augenkontakts zwischen Trägern zweier Head-up-Displaysysteme gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.

7 ist ein Blockschema eines Head-up-Displaysystems, das gemäß einer Ausführungsform der vorliegenden Erfindung in einer Eins-zu-vielen-Beziehung mit anderen Head-up-Displaysystemen interagiert.

8 ist ein Flussdiagramm, das eine beispielhafte Weise veranschaulicht, in der ein Headup-Displaysystem gemäß einer Ausführungsform der vorliegenden Erfindung in einer Einszu-vielen-Beziehung mit anderen Head-up-Displaysystemen interagieren kann.

9 ist ein Blockschema von Head-up-Displaysystemen, die gemäß einer Ausführungsform der vorliegenden Erfindung über eine zwischengeschaltete Wahrnehmungseinheit unter Verwendung eines Augenkontakts interagieren.

10 ist ein Blockschema von Head-up-Displaysystemen, die gemäß einer Ausführungsform der vorliegenden Erfindung über eine Mehrzahl vernetzter zwischengeschalteter Wahrnehmungseinheiten unter Verwendung eines Augenkontakts interagieren.

11 ist ein Blockschema eines Head-up-Displaysystems, das gemäß einer Ausführungsform der vorliegenden Erfindung in einer Eins-zu-eins-Beziehung mit einer Wahrnehmungseinheit unter Verwendung eines Augenkontakts interagiert.

12 ist ein Flussdiagramm, das eine beispielhafte Weise des Herstellens eines Augenkontakts zwischen einem Head-up-Displaysystem und einer Wahrnehmungseinheit unter Verwendung eines auf Kameras beruhenden Augenkontakts gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.

13 ist ein Flussdiagramm, das eine beispielhafte Weise des Herstellens eines Augenkontakts zwischen einem Head-up-Displaysystem und einer Wahrnehmungseinheit unter Verwendung eines auf einer fokussierten Sendeeinheit beruhenden Augenkontakts gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG

Ausführungsformen der vorliegenden Erfindung stellen Techniken zum Interagieren mit Einheiten über ein Head-up-Display (HUD) auf der Grundlage eines Augenkontakts des HUD-Benutzers und mindestens einer anderen Person oder Einheit bereit. Um zum Beispiel Dateien von einer HUD-Einheit zu einer anderen zu übertragen, zeigt ein Träger einer HUD-Einheit einen Wunsch an, eine Datei zu senden; ein Träger einer anderen HUD-Einheit zeigt einen Wunsch an, die Datei zu empfangen; zwischen den Trägern wird ein Augenkontakt hergestellt; und infolgedessen beginnt der Dateiübertragungsvorgang. Eine HUD-Einheit kann direkt oder über eine oder mehrere zwischengeschaltete Einheiten in einer Eins-zu-eins- oder Eins-zu-vielen-Beziehung mit einer oder mehreren anderen HUD-Einheiten interagieren. Bei einem Szenario kann ein erster HUT-Benutzer mit einem zweiten HUD-Benutzer, der sich entfernt vom ersten (z.B. in einer anderen Stadt) befindet, durch Herstellen eines Augenkontakts (z.B. indem er darauf blickt) mit einer lokalen Einheit (z.B. mit einer Einheit im selben Raum) interagieren, die eine Verbindung zur HUD des zweiten Benutzers über ein entferntes Netzwerk aufweist. Darüber hinaus kann ein HUD über Augenkontakt mit einer anderen Einheit als einem HUD interagieren. Beispielsweise kann ein HUD-Träger eine Interaktion mit einer Einheit einleiten, indem er auf einen Sensor an der Einheit blickt. Des Weiteren kann ein HUD-Träger mit einer Einheit (z.B. mit einem Notebook-Computer, einem Tablet-Computer usw.) interagieren, die eine am HUD bereitgestellte Zeige- und Klick-Schnittstelle aufweist, indem der Blick des HUD-Trägers verwendet wird, um einen Cursor zu dirigieren.

Zu Beispielen des Interagierens mit Einheiten über ein HUD gehören die folgenden Beziehungen zwischen einem HUD (z.B. einem tragbaren HUD) und einer Einheit: Dateiübertragung, Einleiten einer Verbindung zwecks Audiokommunikation (z.B. eines Mobiltelefons, eines Internetanrufs oder dergleichen zwischen HUDs, die ein Mikrofon und einen Lautsprecher enthalten), Einheitensteuerung (z.B. steuert das HUD eine Einheit oder eine Einheit steuert das HUD), Erkennen (Erfassen, Sehen) eines Gerätestatus, Erkennen einer zur Einheit gehörenden öffentlichen Nachricht (z.B. eines „schwarzen Bretts“), Client-Server-Beziehungen (wobei ein tragbares HUD entweder Client oder Server sein kann), Anmeldung/Authentifizierung (z.B. über einen gespeicherten Schlüssel, gespeicherte biometrische Daten (z.B. Irismuster) usw.) und dergleichen.

Eine Einheit kann den Augenkontakt vonseiten eines HUD-Benutzers oder -Trägers aktiv oder passiv erkennen. Zum Beispiel kann die Einheit eine Kamera enthalten und Bilddaten von der Kamera aktiv analysieren, um festzustellen, dass eine Person auf die Einheit blickt. Eine Einheit kann den Augenkontakt vonseiten eines HUD-Benutzers oder -Trägers aktiv oder passiv erkennen. Zum Beispiel kann die Einheit von dem HUD ein fokussiertes Signal empfangen, das anzeigt, dass der Träger des HUD auf die Einheit blickt.

Ein Vorteil einer Ausführungsform der vorliegenden Erfindung besteht darin, dass im Vergleich zu herkömmlichen Ansätzen die Geschwindigkeit und die Einfachheit des Interagierens mit Einheiten für Benutzer von HUDs verbessert werden. Zum Beispiel erfordert die Datenübertragung über ein HUD mithilfe von eMails sowohl beim Absender als auch beim Adressaten viele Aktionen, die in der durch das HUD bereitgestellten Benutzeroberfläche (User Interface, UI) vorgenommen werden müssen: Der Absender und/oder Adressat müssen bzw. muss Aktionen vornehmen, um die Adresse des Adressaten anzugeben, den eMail-Client aufzurufen und sich dort anzumelden, die Anhänge auszuwählen, die heruntergeladen werden sollen, usw. Eine Ausführungsform der vorliegenden Erfindung vereinfacht die Interaktion. Dateiübertragungen können ohne die Zuhilfenahme der Hände durchgeführt werden und daher stattfinden, wenn der Benutzer mit anderen Aufgaben beschäftigt ist.

Alternative Ansätze unter Verwendung von Techniken der Nahfeldkommunikation (NFC) (z.B. „Kopplungen“ zum Austausch von Informationen zwischen Telefonen) erfordern, dass beide Benutzer eine Einheit mit NFC-Fähigkeit haben, diese Einheiten zum Zeitpunkt eingeschaltet sind und die Benutzer Zeit und die Hände frei haben, um die Einheiten zu nutzen. Des Weiteren würde die Verwendung von NFC-Techniken mit tragbaren HUDs erfordern, dass die Träger zwei HUD-Einheiten (z.B. Brillen) koppeln, was lästig und nicht intuitiv ist. Ausführungsformen der vorliegenden Erfindung stellen eine intuitive, freihändige, schnellere und bequemere Art des Interagierens über tragbare HUDs bereit.

Eine beispielhafte Umgebung für Ausführungsformen der vorliegenden Erfindung ist in 1 veranschaulicht. Insbesondere kann die Umgebung ein oder mehrere Head-up-Display-Systeme (HUD-Systeme) 110, ein oder mehrere Serversystem 120, eine oder mehrere Wahrnehmungseinheiten 130 und ein oder mehrere ferne Systeme 140 enthalten. Die HUD-Systeme 110, Serversysteme 120, Wahrnehmungseinheiten 130 und fernen Systeme 140 können über ein Netzwerk 12 Daten austauschen. Das Netzwerk 12 kann durch eine beliebige Anzahl beliebiger geeigneter Datenaustauschmedien (z.B. Weitverkehrsnetzwerk (Wide Area Network, WAN), lokales Netzwerk (Local Area Network, LAN), Internet, Intranet, fest verdrahtete Verbindung, drahtlose Verbindung usw.) realisiert sein.

Ein HUD-System 110 weist ein Head-up-Display 40 auf und kann in Form einer am Kopf getragenen Einheit (z.B. am Kopf befestigte Anzeige, am Helm befestigte Anzeige, Brille usw.), einer anderen tragbaren Einheit (z.B. Kontaktlinsen, Kleidung usw.) oder einer anderen Konfiguration vorliegen, die eine interaktive Benutzeroberfläche aufweist. Das HUD-System 110 und/oder die Wahrnehmungseinheit 130 können bzw. kann Sichtkomponenten 50 zum Herstellen eines Augenkontakts zwischen Personen und/oder Einheiten aufweisen. Die Sichtkomponenten 50 können sich innerhalb, am und/oder nahe dem HUD-System 110 befinden. Alternativ können sich die Sichtkomponenten fern von einem zugehörigen HUD-System befinden und mit dem HUD-System Daten austauschen, z.B. über das Netzwerk 12. Darüber hinaus kann eine beliebige Anzahl von Wahrnehmungseinheiten 130 Sichtkomponenten 50 enthalten. Das HUD-System 110 kann eine beliebige grafische Benutzeroberfläche (z.B. GUI usw.) oder eine andere Schnittstelle (z.B. Steuertasten, Berührungssensoren, optische Sensoren, Beschleunigungsmesser, Mikrofon und Sprachbefehlsschnittstelle usw.) bereitstellen, um Befehle von Benutzern zu empfangen und Benutzern Informationen anzuzeigen. Den Wahrnehmungseinheiten130 fehlt normalerweise eine integrierte Anzeige, und diese werden nicht durch einen Benutzer getragen, können jedoch eine Anzeige enthalten und/oder durch einen Benutzer getragen werden.

Das HUD-System 110, die Serversysteme 120, Wahrnehmungseinheiten 130 und fernen Systeme 140 können mindestens einen Prozessor 20, Speicher 30 und/oder interne oder externe Netzwerkschnittstellen- oder Datenaustauscheinheiten 10 (z.B. Modem, Netzwerkkarten, WLAN, drahtlos (z.B. 3G, 4G usw.) usw.) und beliebige handelsübliche und kundenspezifisch angepasste Software (z.B. Benutzerschnittstellensoftware, Netzwerksoftware, Serversoftware usw.) enthalten. Die Serversysteme 120 sind vorzugsweise mit einer Anzeige oder einem Monitor und wahlweise mit Eingabeeinheiten (z.B. einer Tastatur, einer Maus oder einer anderen Eingabeeinheit) ausgestattet.

Die HUD-Systeme, Serversysteme, Wahrnehmungseinheiten und/oder fernen Systeme können ein oder mehrere Module oder Einheiten (z.B. Sichtlinienmodul, Analysemodul, Signalmodul usw.) enthalten, um die verschiedenen nachstehend beschriebenen Funktionen (z.B. Überwachen der Richtung eines Blicks des Benutzers, Erkennen eines Augenkontakts vonseiten eines anderen, Senden und Empfangen von Infrarotsignalen oder anderen Signalen usw.) durchzuführen, können durch eine beliebige Kombination einer beliebigen Anzahl von Software- und/oder Hardwaremodulen oder -einheiten realisiert sein und sich innerhalb des Speichers 30 eines HUD-Systems, Servicesystems, einer Wahrnehmungseinheit, eines fernen Systems oder anderer Systeme (z.B. Sichtkomponenten 50) befinden, um durch den Prozessor 20 ausgeführt zu werden.

Beispielhafte Sichtkomponenten 50 gemäß einer Ausführungsform der vorliegenden Erfindung sind in 2 veranschaulicht. Insbesondere weisen die Sichtkomponenten 50 eine Sendeeinheit 220 und eine Erkennungseinheit 230 zum Senden von Signalen an andere Einheiten bzw. Empfangen von anderen Einheiten (z.B. Einheiten innerhalb einer Sichtlinie, eines Sichtkegels, Sichtbereichs oder eines Sichtfeldes eines HUD-Systems oder Benutzers) auf. Die Sichtkomponenten 50 können ferner eine Sichtlinienüberwachungseinheit 226 aufweisen. Die Sendeeinheit 220 kann eine Weitbereichssendeeinheit 222 und/oder eine fokussierte Sendeeinheit 224 enthalten, die in Verbindung mit der Sichtlinienüberwachungseinheit 226 arbeiten.

Die Weitbereichssendeeinheit 222 kann durch eine herkömmliche oder andere elektromagnetische Sendeeinheit (EM-Sendeeinheit) 222 (z.B. eine Infrarotlichtquelle) realisiert sein und EM-Signale in einen beliebigen Bereich oder in ein beliebiges Feld (z.B. konisch, ungerichtet usw.) aussenden. Bei der fokussierten Sendeeinheit 224 kann es sich um eine fokussierte, kollimierte oder andere schmale gerichtete elektromagnetische (z.B. Infrarot) Quelle (z.B. einen Laser, eine optisch kollimierte Quelle usw.) handeln. Ein Sensor 234 kann durch eine Kamera oder einen herkömmlichen oder anderen Fotodetektor realisiert sein. Die Erkennungseinheit 230 erkennt Signale, die zum Beispiel von einer Sendeeinheit 220 eines anderen HUD auf die Erkennungseinheit auftreffen. Die Erkennungseinheit 230 kann unter Verwendung einer Kamera 232 und/oder des Sensors 234 (z.B. eines herkömmlichen oder eines anderen Fotodetektors) realisiert sein.

Gemäß einer Ausführungsform der vorliegenden Erfindung enthält ein HUD-System 110 oder eine Wahrnehmungseinheit 130, die die Kamera 232 aufweist, ein Analysemodul, das mit der Kamera zusammenarbeitet, um Personen zu erkennen, die einen Augenkontakt mit dem System oder dem Träger des Systems herstellen. Zum Beispiel kann das Analysemodul feststellen, dass sich die Kamera innerhalb der Sichtlinie, des Sichtbereichs oder des Sichtfeldes der Person befindet. Herkömmliche oder andere Mustererkennungstechniken zum Erkennen der Sichtlinie oder des Sichtbereichs einer Person aus Kamerabilddaten können verwendet werden, um das Analysemodul zu realisieren. Darüber hinaus kann die Kamera 232 verwendet werden, um Signale von der Sendeeinheit 220 eines anderen HUD-Systems 110 oder einer anderen Wahrnehmungseinheit 130 zu empfangen. Ein Signalmodul empfängt und decodiert Signale von der Kamera und codiert und sendet Signale über die Sendeeinheit. Gemäß dieser Ausführungsform kann das andere System eine nicht fokussierte Sendeeinheit verwenden und muss nicht (aber kann) eine fokussierte Sendeeinheit oder eine Sichtlinienüberwachungseinheit enthalten.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung weist ein HUD-System 110 eine fokussierte Sendeeinheit 224 und eine Sichtlinienüberwachungseinheit 226 auf. Die Sichtlinienüberwachungseinheit 226 und die fokussierte Sendeeinheit 224 sind normalerweise an ein durch den Benutzer getragenes HUD montiert. Die Sichtlinienüberwachungseinheit 226 überwacht die Richtung, in die der Träger des HUD blickt. Ein Sichtlinienmodul empfängt von der Sichtlinienüberwachungseinheit 226 Daten über die Richtung, in die der Träger blickt, und manövriert die fokussierte Sendeeinheit 224 so, dass sie in dieselbe Richtung zeigt. Wenn der Benutzer auf ein anderes HUD-System 110 oder eine andere Wahrnehmungseinheit 130 blickt, kann das andere System (z.B. über den Sensor 234) ein Signal von der fokussierten Sendeeinheit erkennen und dadurch feststellen, dass der Träger auf die Einheit blickt. Gemäß dieser Ausführungsform muss das andere System nicht (kann aber) eine nach außen gerichtete Kamera 232 enthalten.

Die Sichtlinienüberwachungseinheit 226 kann unter Verwendung bekannter Techniken realisiert sein. Zum Beispiel kann die Sichtlinienüberwachungseinheit eine oder mehrere Kameras aufweisen, die in Richtung der Augen des Trägers blicken. Das Sichtlinienmodul kann die Kameradaten mithilfe bekannter Techniken analysieren, um die Blickrichtung des Benutzers zu ermitteln. Alternativ oder darüber hinaus kann die Sichtlinienüberwachungseinheit 226 Kontaktlinsen nutzen, um die Ermittlung der Blickrichtung des Benutzers zu erleichtern.

Eine beispielhafte Kontaktlinse zur Erleichterung der Sichtlinienüberwachung gemäß einer Ausführungsform der vorliegenden Erfindung ist in 3 veranschaulicht. Da eine Linie durch zwei Punkte im Raum definiert ist, kann eine winzige Einheit an jedem der beiden Punkte an einer Kontaktlinse angebracht werden: Beispielsweise kann die Ausrichtungseinheit 2 in der Nähe der inneren Oberfläche der Linse in der Mitte angebracht werden, und die Ausrichtungseinheit 1 kann in der Nähe der äußeren Oberfläche der Linse in der Mitte angebracht werden. Die Sichtlinienüberwachungseinheit 226 erkennt die durch diese beiden Punkte definierte Linie und richtet die fokussierte Sendeeinheit entlang dieser Linie aus. Diese Einheiten können am blinden Fleck (Punctum caecum) in der Mitte des Auges angebracht werden.

Eine beispielhafte Art, in der zwei HUD-Systeme 110 gemäß einer Ausführungsform der vorliegenden Erfindung interagieren, ist in den 4 und 5 veranschaulicht. Ein HUD-System 110 (mit HA bezeichnet) wird durch einen Benutzer A getragen, und ein zweites HUD-System 110 (mit HB bezeichnet) wird durch einen Benutzer B getragen. Die Benutzer A und B können sich gegenseitig sehen und sind nur so weit voneinander entfernt, dass jedes ihrer HUD-Systeme den Augenkontakt vonseiten des anderen Benutzers erkennt. Die Benutzer A und B können über HA bzw. HB interagieren. Benutzer A kann beispielsweise HA nutzen, um zu übertragende Dateien auszuwählen. Diese Dateien können sich z.B. lokal auf HA oder entfernt (z.B. in einem Speicher 440 für Benutzer A auf dem Serversystem 120) befinden. Benutzer B kann HB nutzen, um Dateien anzuzeigen, die sich z.B. lokal auf HB oder entfernt (z.B. in einem Speicher 450 für Benutzer B auf dem Serversystem) befinden. Benutzer A möchte eine Datei an Benutzer B senden, und Benutzer B möchte die Datei von Benutzer A empfangen.

Bei Schritt 510 sendet Benutzer A einen Befehl an HA (z.B. mittels Sprache oder anderweitig), um eine Interaktion einzuleiten. Zum Beispiel kann Benutzer A einen Befehl an HA senden, um eine ausgewählte Datei zu übertragen. Bei Schritt 520 sendet Benutzer B einen Befehl an HB (z.B. mittels Sprache oder anderweitig), um eine Transaktion einzuleiten. Zum Beispiel kann Benutzer B einen Befehl an HB senden, um eine ausgewählte Datei zu empfangen. Bei Schritt 530 wird ein Augenkontakt zwischen A und B hergestellt. Im Verlauf des Herstellens des Augenkontakts können HA und HB Signale 410 austauschen, und HA kann eine eindeutige Kennung für HB erhalten. Ebenso kann HB eine eindeutige Kennung zu HA erhalten. Die eindeutige Kennung eines HUD 110 oder einer Wahrnehmungseinheit 130 kann verwendet werden, um eine Adresse zum Austauschen von Daten mit dem HUD oder der Wahrnehmungseinheit zu ermitteln. Zum Beispiel kann die eindeutige Adresse verwendet werden, um eine IP-Adresse oder einen Domänennamen nachzuschlagen (oder die eindeutige Adresse kann eine IP-Adresse oder ein Domänenname sein).

Infolge des Empfangens von Befehlen durch HA und HB zur Einleitung der Interaktion und des Herstellens des Augenkontakts wird die Interaktion bei Schritt 540 eingeleitet. Nach der Einleitung kann die Interaktion in einer herkömmlichen oder anderen Weise fortgesetzt werden. Zum Beispiel kann HA eine TCP-Verbindung herstellen oder auf andere Weise über die Netzwerkschnittstelleneinheiten 10 und das Netzwerk 12 unter Verwendung der bei Schritt 530 erhaltenen eindeutigen Kennung für HB Daten mit HB austauschen. Alternativ können HA und HB eine Netzwerkverbindung herstellen oder auf andere Weise weitere Daten über die Sendeeinheiten 220 und Erkennungseinheiten 230 übertragen. Bei dem in 4 veranschaulichten Beispiel kann HA die ausgewählte Datei oder eine Kennung der ausgewählten Datei an ein Controllermodul 430 des Serversystems 120 senden, das die Datei vom Speicher 440 des Benutzers A zum Speicher 450 des Benutzers B überträgt. HB fragt das Serversystem ab und ruft die Datei ab (z.B. über FTP, POP/IMAP usw.). Benutzer B kann anschließend die Datei vom HUD HB aus sehen.

Eine beispielhafte Weise des Herstellens eines Augenkontakts zwischen Trägern zweier Head-up-Displaysysteme (HUD-Systeme) gemäß einer Ausführungsform der vorliegenden Erfindung ist in 6 veranschaulicht. Jedes HUD-System führt eine Augenkontakterkennung durch (z.B. aktiv durch Analysieren von Bildern der Kamera 232 oder passiv durch Empfangen von Signalen von einer fokussierten Sendeeinheit 224), empfängt und decodiert ausgesendete Signale und führt die folgenden Schritte durch. Das HUD-System sendet bei Schritt 610 eine eindeutige Kennung aus (z.B. durch kurzzeitiges Aktivieren seiner Sendeeinheit 220). Bei Schritt 620 sendet das HUD-System ein boolesches Signal S (über die Sendeeinheit 220) aus, das anzeigt, ob die folgenden Bedingungen wahr sind: Das HUD-System hat einen Befehl zur Einleitung einer Interaktion (z.B. Senden einer ausgewählten Datei, Empfangen einer Datei usw.) empfangen, und das HUD-System erkennt einen Augenkontakt vonseiten des Trägers des anderen HUD-Systems. Wenn das HUD-System vom anderen System ein boolesches Signal S mit einem Wert „Wahr“ empfangen hat, sendet das HUD-System bei Schritt 630 die eindeutige Kennung des anderen Systems. Bei Schritt 640 ermittelt das HUD-System, ob es seine eigene eindeutige Kennung vom anderen HUD-System empfangen hat. Wenn ja, geht die Verarbeitung zu Schritt 540 (5) über, und zwischen den HUD-Systemen wird eine Interaktion eingeleitet. Anderenfalls kehrt die Verarbeitung zu Schritt 610 zurück.

Dementsprechend sendet HA drei Signale über seine Sendeeinheit 220 aus: (1) eine eindeutige Kennung für HA; (2) ein boolesches Signal, um anzuzeigen, ob HA einen Augenkontakt erkennt und A einen Befehl zur Einleitung einer Verbindungsherstellung (z.B. eine Datei senden) gegeben hat; und (3) nur, wenn HB gegenüber HA signalisiert, dass es bereit zur Einleitung einer Verbindungsherstellung ist (z.B. hat B einen Befehl zum Empfang einer Datei gegeben), die eindeutige Kennung des HUD, dessen Benutzer einen Augenkontakt mit HA hergestellt hat. Das dritte Signal verhindert eine nicht eindeutige Signalisierung für den Fall, dass mehrere Einheiten einen Augenkontakt erkennen, indem angezeigt wird, dass die Signale 1 und 2 nur für HB bestimmt sind. Ebenso sendet HB drei Signale über seine Sendeeinheit 220 aus: (1) eine eindeutige Kennung für HB; (2) ein boolesches Signal, um anzuzeigen, ob HB einen Augenkontakt erkennt und HB zur Verbindungsherstellung bereit ist; und (3) nur, wenn HA gegenüber HB signalisiert, dass es zur Einleitung einer Verbindungsherstellung bereit ist, die eindeutige Kennung des HUD, dessen Benutzer einen Augenkontakt mit HB hergestellt hat. Das dritte Signal verhindert eine nicht eindeutige Signalisierung für den Fall, dass mehrere Einheiten einen Augenkontakt erkennen, indem angezeigt wird, dass die Signale 1 und 2 nur für HA bestimmt sind. Wenn A auf B blickt, sieht das durch A getragene HUD die eindeutige Kennung von HB und kann aus dieser eindeutigen Kennung eine Adresse erkennen, mit der es eine Verbindung zu HB herstellen kann. Des Weiteren muss, wenn A auf B blickt, HA als Voraussetzung zur Verbindungsherstellung sehen, dass das boolesche Signal von HB (das anzeigt, dass HB sowohl einen Augenkontakt erkennt als auch bereit zur Verbindungsherstellung ist), auf „Wahr“ gesetzt ist. Sobald die Voraussetzung erfüllt ist, leiten HA und HB direkt untereinander oder zu einem oder mehreren Servern, die die Interaktion vermitteln, eine Verbindungsinteraktion ein (z.B. über das Netzwerk 12). HA und HB können anschließend über die Verbindung interagieren.

Eine beispielhafte Art, in der ein HUD-System 110 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Eins-zu-vielen-Beziehung mit anderen HUD-Systemen 110 interagieren kann, ist in den 7 und 8 veranschaulicht. Ein HUD-System 110 (mit HA bezeichnet) wird durch den Benutzer A getragen und ein oder mehrere andere HUD-Systeme 110 (z.B. HB1, HB2, ... HBN) werden durch entsprechende andere Benutzer (z.B. B1, B2, ... BN) getragen. Benutzer A ist für die Benutzer B1 bis BN sichtbar (über Sichtlinien 92) und sind nur so weit voneinander entfernt, dass jedes der HB1 bis HBN Signale von HA erkennt. HA kann mit HB1 bis HBN in einer Eins-zu-vielen-Weise interagieren. Zum Beispiel möchte Benutzer A möglicherweise eine Datei an eine große Gruppe von Menschen übertragen, die innerhalb des Sichtbereichs HUD-Systeme tragen. Benutzer A kann eine Datei auswählen und eine „Dateirundsendung“-Betriebsart wählen, um eine Datei an alle diejenigen zu übertragen, die einen Augenkontakt mit HA herstellen.

Insbesondere sendet Benutzer A bei Schritt 810 einen Befehl an HA (z.B. mittels Sprache oder anderweitig), um eine Interaktion in Rundsendebetriebsart einzuleiten. Bei Schritt 820 sendet jeder Benutzer B1 bis BN einen Befehl an sein bzw. ihr HUD-System (z.B. mittels Sprache oder anderweitig), um eine Transaktion als Rundsendungsempfänger einzuleiten. Bei Schritt 830 wird ein Augenkontakt zwischen HA und jedem HB1 bis HBN hergestellt. Beispielsweise kann ein Augenkontakt zwischen Benutzer A und jedem der Benutzer B1 bis BN in der in Bezug auf 6 beschriebenen Weise hergestellt werden. Alternativ kann HA seine eindeutige Kennung (z.B. über die nicht fokussierte Sendeeinheit 222 und ein Signal aussenden, das seine Rundsendebetriebsart als Reaktion auf den Befehl von HA anzeigt; der Augenkontakt wird anschließend durch HB1 bis HBN hergestellt, die die eindeutige Kennung und das Signal von HA erkennen.

Infolge des Empfangens der Befehle durch HA und HB1 bis HBN und des Herstellens des Augenkontakts wird die Interaktion bei Schritt 840 eingeleitet. Nach der Einleitung kann die Interaktion in einer herkömmlichen oder anderen Weise fortgesetzt werden. Beispielsweise kann HA (z.B. über das Netzwerk 12) eine Datei oder andere Daten an einen Server senden, und HB1 bis HBN können unter Verwendung der bei Schritt 830 erhaltenen eindeutigen Kennung für HA die Datei oder andere Daten vom Server anfordern (z.B. über das Netzwerk 12).

Eine beispielhafte Art, in der HUD-Systeme 110 gemäß einer Ausführungsform der vorliegenden Erfindung unter Verwendung einer zwischengeschalteten Wahrnehmungseinheit 130 interagieren können, ist in 9 veranschaulicht. Ein HUD-System 110 (mit HA bezeichnet) wird durch Benutzer A getragen, und ein zweites HUD-System 110 (mit HB bezeichnet) wird durch Benutzer B getragen. Eine Wahrnehmungseinheit 130 (Einheit D) ist für beide Benutzer sichtbar und nur so weit entfernt, sodass die Einheit D den Augenkontakt vonseiten der Benutzer erkennt. Benutzer A und B müssen einander nicht sehen können. Benutzer A und B können durch Verwendung eines Augenkontakts mit der Einheit D interagieren (z.B. eine Datei übertragen). Anderenfalls kann die Interaktion fortgesetzt werden, z.B. in einer Weise, die der in Bezug auf 5 beschriebenen Weise ähnelt.

Bei einem weiteren beispielhaften Szenario, bei dem HUD-Benutzer unter Verwendung einer zwischengeschalteten Wahrnehmungseinheit interagieren, können die HUD-Benutzer zwei Rechte in Bezug auf die Einheit D aufweisen: eine Nur-Lese-Beziehung und eine Lese-Schreib-Beziehung. Die Einheit D kann zu einem bestimmten Zeitpunkt zu einer und nur einer Datei gehören. Falls der Benutzer A Lese-Schreib-Rechte bei Einheit D hat und eine Datei an einen oder mehrere andere HUD-Benutzer (z.B. eine große Gruppe von Menschen) senden möchte, kann Benutzer A einen Augenkontakt mit der Einheit D herstellen, um die Datei an die Einheit D zu senden. Die anderen HUD-Benutzer, die Lese- oder Lese-Schreib-Rechte bei der Einheit D haben, können anstatt einen Augenkontakt mit HA herstellen zu müssen, das unter Umständen nicht die Hardware oder Software aufweist, die zur Verarbeitung einer großen Anzahl gleichzeitiger eingehender und ausgehender Verbindungen notwendig ist, auf die Einheit D blicken, um die Datei herunterzuladen.

Eine beispielhafte Art, in der HUD-Systeme 110 gemäß einer Ausführungsform der vorliegenden Erfindung unter Verwendung einer Mehrzahl zwischengeschalteter Wahrnehmungseinheiten 130 interagieren können, ist in 10 veranschaulicht. Ein HUD-System 110 (mit HA bezeichnet) wird durch Benutzer A getragen, und ein zweites HUD-System 110 (mit HB bezeichnet) wird durch Benutzer B getragen. Eine Wahrnehmungseinheit (CA) ist für Benutzer B sichtbar und ist nur so weit entfernt, dass CA einen Augenkontakt vonseiten des Benutzers B erkennen kann. Eine Wahrnehmungseinheit (CB) ist für Benutzer A sichtbar und nur so weit entfernt, dass CB einen Augenkontakt vonseiten des Benutzers A erkennen kann. CA weist eine Verbindung zu HA auf (z.B. über das Netzwerk 12), und CB weist eine Verbindung zu HB auf (z.B. über das Netzwerk 12). Benutzer A und B müssen einander nicht sehen können und können weit voneinander entfernt sein. Benutzer A und B können durch Verwendung eines Augenkontakts mit CB bzw. CA in einer Weise interagieren (z.B. eine Datei übertragen), die der in Bezug auf 5 beschriebenen Weise ähnelt. Beispielsweise kann Benutzer A HA nutzen, um eine Datei auszuwählen (z.B. auf dem lokalen Speicher, auf einem Server usw.), die übertragen werden soll, und einen Befehl an HA senden (z.B. mittels Sprache, Berührung, Geste usw.), um eine Datei an Benutzer B zu übertragen. Benutzer B sendet HB einen Befehl (z.B. mittels Sprache, Berührung, Geste usw.), um von A eine Datei zu empfangen. Als Reaktion darauf, dass CB einen Augenkontakt erkennt und A zeitgleich bei CA einen Augenkontakt mit B erkennt, kann zwischen HA und HB eine direkte oder indirekte Verbindung hergestellt werden (z.B. über das Netzwerk 12), über die HA die Datei an HB sendet. Gemäß einer Ausführungsform der vorliegenden Erfindung kann CA oder CB z.B. als Webcam oder als Notebook-Computer realisiert sein.

Eine beispielhafte Art, in der ein HUD-System 110 gemäß einer Ausführungsform der vorliegenden Erfindung unter Verwendung eines Augenkontakts mit einer Einheit (z.B. einer Wahrnehmungseinheit 130) interagieren kann, ist in 11 veranschaulicht. Wenn ein Benutzer eines HUD-Systems einen Augenkontakt mit der Erkennungseinheit 220 der Einheit herstellt, wird am HUD-System des Benutzers eine Schnittstelle 1100 für die Einheit angezeigt. Als Beispiel wird ein Techniker betrachtet, der ein HUD-System 110 trägt, einen Raum voller Generatoren betritt und herausfinden muss, welcher der Generatoren defekt ist. An jedem Generator befindet sich eine Wahrnehmungseinheit 130. Die Lage der Erkennungseinheit 230 der Wahrnehmungseinheit 130 an einem Objekt (z.B. einem Generator) kann durch Vereinbarung festgelegt werden (z.B.: „Der Sensor befindet sich stets oben rechts am Objekt.“), oder die Lage könnte durch Markierungen am Objekt angezeigt werden (z.B. durch eine Zielscheibe, die die Lage des Sensors anzeigt), sodass ein Benutzer eines HUD-Systems feststellen kann, wohin er blicken muss, um mit der Einheit zu interagieren. Wenn der Techniker einen Augenkontakt mit der entsprechenden Stelle an jedem Generator herstellt, zeigt eine eingeblendete Schnittstelle 1100 am HUD des Technikers den Zustand des Generators an, z.B. wie viel Energie er erzeugt. Demzufolge liefert das HUD dem Techniker einen Hinweis darauf, welcher Generator defekt ist.

Darüber hinaus können Nicht-HUD-Einheiten, die eine Wahrnehmungseinheit 130 aufweisen, dem Träger eines HUD, der auf die Wahrnehmungseinheit blickt, eine interaktive Schnittstelle bereitstellen. Beispielsweise können Einheiten, mit denen eine Interaktion über Augenkontakt möglich ist, während ein Träger eines HUD eine Straße entlanggeht, am HUD mit kleinen Symbolen angezeigt oder markiert werden. Wenn der Träger direkt auf diese Symbole blickt (d.h. direkt an der Einheit), können sich die Symbole z.B. vergrößern und Informationen über die Einheit und Aktionen einblenden, die durchgeführt werden können, um mit der Einheit zu interagieren. Zum Beispiel kann eine derartige Einheit an der Außenfassade eines Restaurants angebracht sein. Diese Einheit kann in HUDs von Benutzern mit einem winzigen Symbol markiert sein. Wenn ein HUD-Träger einen Augenkontakt mit der Einheit herstellt (z.B. indem er direkt auf das Symbol in der Schnittstelle blickt), kann sich das Symbol vergrößern und dem HUD-Träger Informationen anzeigen (z.B. wie viele freie Plätze das Restaurant hatte, wie lange die Wartezeit betrug, die Speisekarte usw.). Der HUD-Träger kann mit der Einheit Aktionen durchführen (z.B. von dieser Restaurantschnittstelle aus eine Bestellung aufgeben oder eine Reservierung vornehmen).

Eine beispielhafte Weise des Herstellens eines Augenkontakts zwischen einem Head-up-Displaysystem 110 und einer Wahrnehmungseinheit 130 (Einheit D) unter Verwendung eines auf Kameras beruhenden Augenkontakts gemäß einer Ausführungsform der vorliegenden Erfindung ist in den 12 und 13 veranschaulicht. Das HUD-System enthält eine Kamera 232 und die Einheit D enthält eine Kamera 232 als Analysemodul, das mit der Kamera zusammenarbeitet, um Personen zu erkennen, die einen Augenkontakt mit der Kamera 232 der Einheit D herstellen. Die Einheit D führt eine Augenkontakterkennung durch Analysieren von Bildern der Kamera 232 durch. Das HUD-System und die Einheit D empfangen und decodieren Signale von einer Sendeeinheit 220 des bzw. der jeweils anderen.

Das HUD-System führt die folgenden Schritte durch. Bei Schritt 1210 sendet das HUD-System eine eindeutige Kennung aus (z.B. durch kurzzeitiges Aktivieren seiner Sendeeinheit 220). Bei Schritt 1220 sendet das HUD-System ein boolesches Signal S (über die Sendeeinheit 220) aus, das anzeigt, ob das HUD-System einen Befehl zur Einleitung einer Interaktion (z.B. Senden einer ausgewählten Datei, Empfangen einer Datei usw.) empfangen hat. Wenn das HUD-System von der Einheit D ein boolesches Signal S empfangen hat, das anzeigt, dass die Einheit D zum Interagieren bereit ist, sendet das HUD-System bei Schritt 1230 die eindeutige Kennung der Einheit D aus. Bei Schritt 1240 ermittelt das HUD-System, ob es seine eigene eindeutige Kennung vom System der Einheit D empfangen hat. Wenn ja, leitet das HUD-System bei Schritt 1250 die Interaktion unter Verwendung der eindeutigen Kennung der Einheit D ein (z.B. durch Herstellen einer TCP-Verbindung mit der Einheit D über das Netzwerk 12 und Senden einer Datei an die Einheit D). Anderenfalls kehrt das HUD-System zu Schritt 1210 zurück.

Die Einheit D führt die folgenden Schritte durch. Bei Schritt 1310 sendet die Einheit D eine eindeutige Kennung aus (z.B. durch kurzzeitiges Aktivieren seiner Sendeeinheit 220). Bei Schritt 1320 sendet die Einheit D ein boolesches Signal S (über die Sendeeinheit 220) aus, das anzeigt, ob die folgenden Bedingungen wahr sind: die Einheit D erkennt einen Augenkontakt vonseiten eines Benutzers eines HUD-Systems und die Einheit D ist zum Interagieren bereit. Wenn die Einheit D ein boolesches Signal S von dem HUD-System empfangen hat, das anzeigt, dass das HUD-System einen Befehl zur Einleitung einer Interaktion empfangen hat, sendet die Einheit D bei Schritt 1330 die eindeutige Kennung des HUD-Systems aus. Bei Schritt 1340 ermittelt die Einheit D, ob sie ihre eigene eindeutige Kennung vom anderen HUD-System empfangen hat. Wenn ja, leitet die Einheit D bei Schritt 1350 die Interaktion unter Verwendung der eindeutigen Kennung des HUD-Systems ein (z.B. durch Herstellen einer TCP-Verbindung mit dem HUD-System über das Netzwerk 12 und Empfangen einer Datei). Anderenfalls kehrt die Einheit D zu Schritt 1310 zurück.

Gemäß einer alternativen Ausführungsform der vorliegenden Erfindung enthält ein Head-up-Displaysystem 110 eine fokussierte Sendeeinheit 224 und eine Sichtlinienüberwachungseinheit 226 und interagiert mit einer Wahrnehmungseinheit 130 (Einheit D) in der folgenden Weise. Die Sichtlinienüberwachungseinheit 226 überwacht die Augenbewegungen eines Trägers des HUD-System und richtet die fokussierte Sendeeinheit so aus, dass sie in die Richtung zeigt, in die der Träger blickt. Die Erkennungseinheit 230 der Einheit D (z.B. der Sensor 234) empfängt Signale von der fokussierten Sendeeinheit des HUD-Systems. Das HUD-System und die Einheit D empfangen und decodieren Signale von der Sendeeinheit des bzw. der jeweils anderen. Zur Herstellung eines Augenkontakts zwischen dem HUD-System und der Einheit D sendet das HUD-System zwei Signale über die fokussierte Sendeeinheit aus: (1) eine eindeutige Kennung des HUD und (2) ein boolesches Signal, um anzuzeigen, ob das HUD-System den Befehl zur Einleitung einer Interaktion empfangen hat. Wenn der Träger des HUD-Systems auf die Einheit D blickt, empfängt die Einheit D die Signale von der fokussierten Sendeeinheit des HUD-Systems. Aus diesen Signalen ermittelt die Einheit D die eindeutige Kennung des HUD-Systems, und die Einheit D, sofern die Einheit D zur Interaktion bereit ist, leitet eine Interaktion unter Verwendung der eindeutigen Kennung des HUD-Systems ein (z.B. durch Herstellen einer TCP-Verbindung zum HUD-System über das Netzwerk 12 und Empfangen einer Datei).

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung können Einheiten, die eine Wahrnehmungseinheit 130 oder andere Einheiten (z.B. ferne Systeme 140) enthalten, über ein HUD-System 110 einem Benutzer eine Schnittstelle bereitstellen. Zum Beispiel kann ein Träger eines HUD-Systems 110 mit einer Einheit (z.B. einem Tablet-Computer, Notebook-Computer usw.) interagieren, die er nicht zur Hand hat (z.B. mit einer Einheit, die sich an einem entfernten Ort befindet, nicht zugänglich ist, sich im Rucksack einer Person, in einem anderen Raum befindet usw.). Diese Einheit weist eine ihr zugehörige Benutzeroberfläche (User Interface, UI) wie zum Beispiel die auf einem Bildschirm der Einheit angezeigte UI oder eine im HUD gespeicherte UI auf. Der HUD-Träger kann die UI der Einheit auf dem HUD anzeigen, um die Einheit über diese UI unter Verwendung einer Datenverbindung (z.B. einer TCP-Verbindung über das Netzwerk 12) zwischen dem HUD-System und der Einheit zu steuern. Die Verbindung kann über einen Augenkontakt zwischen der Einheit und dem tragbaren HUD-System oder auf andere Weise hergestellt werden.

Gemäß einer Ausführungsform kann die im tragbaren HUD angezeigte UI eine sehr ähnliche oder exakte Kopie der UI sein, die auf der herkömmlichen Anzeige der Einheit angezeigt wird. Alternativ kann die UI zwischen der Einheit und dem HUD umgesetzt oder abgeändert werden, sodass sie sich besser für die UI des tragbaren HUD eignet.

Das Bereitstellen einer Benutzeroberfläche für andere Einheiten über ein HUD (zu dessen Bedienung die Hände nicht oder nur in geringem Umfang erforderlich sind) ermöglicht eine leichtere Steuerung der anderen Einheit in Situationen, in denen es unbequem, schwierig oder unmöglich ist, die Einheit in der Hand zu halten. Die Steuerung einer Einheit wie zum Beispiel eines Notebook-Computers über ein HUD ist unter bestimmten Umständen weniger effizient als die Verwendung einer Maus und Tastatur, aber möglicherweise bequemer, wenn sich die Einheit weit entfernt befindet oder es anderweitig schwierig oder nicht durchführbar ist, direkt darauf zuzugreifen (z.B. während des Stehens in einer voll besetzten U-Bahn, beim Spazierengehen usw.).

Zu Einheiten, die über ein HUD-System 110 eine Benutzeroberfläche bereitstellen können, gehören Einheiten mit Bildschirmen (wie zum Beispiel Smartphones, Notebook-Computer usw.) und Einheiten ohne Bildschirme. Eine Einheit ohne einen Bildschirm kann eine HUD-spezifische UI für HUD-Systeme bereitstellen, die eine Verbindung zu der Einheit herstellen. Beispielsweise kann das HUD-System bei Einheiten ohne Ausgabesysteme die UI definieren, die zur Interaktion mit der Einheit verwendet wird.

Bei Einheiten, die eine Zeige- und Klick-Oberfläche oder eine berührungsempfindliche Oberfläche bereitstellen (z.B. eine Oberfläche eines Desktop- oder Notebook-Computers, eine Touchpad- oder Smartphone-Oberfläche usw.), die einem Benutzer über ein HUD-System bereitgestellt wird, das eine Sichtlinienüberwachung 226 aufweist, kann der HUD-Benutzer mit seinen Augen einen Cursor der UI dirigieren und über den Cursor Aktionen durchführen (z.B. Klicken mit der linken oder rechten Maustaste, „Tippen“ (d.h. Simulieren eines Fingers, der einen Touchscreen berührt) usw.), z.B. unter Verwendung von Sprachbefehlen. Auf diese Weise ermöglicht die HUD-Oberfläche eine feinere Steuerung der Einheit als Sprachbefehle oder andere Befehle allein.

Es wird klar sein, dass die oben beschriebenen und in den Zeichnungen veranschaulichten Ausführungsformen lediglich einige wenige der vielen Wege darstellen, um Ausführungsformen zum Interagieren mit Einheiten über Head-up-Displays (HUD) unter Verwendung von Augenkontakten zu realisieren.

Die Umgebung der Ausführungsformen der vorliegenden Erfindung kann eine beliebige Anzahl von Computer- oder anderen Verarbeitungssystemen (z.B. Client- oder Endbenutzersysteme, Serversysteme usw.) und Speichersysteme (z.B. Dateisysteme, Datenbanken oder andere Aufbewahrungsorte (Repositorys)) enthalten, die in einer beliebigen gewünschten Weise angeordnet sind, wobei die Ausführungsformen der vorliegenden Erfindung auf eine beliebige gewünschte Art von Datenverarbeitungsumgebung (z.B. Cloud-Computing, Client-Server, Network-Computing, Großrechner, eigenständige Systeme usw.) angewendet werden können. Die Computer- oder anderen Verarbeitungssysteme, die durch die Ausführungsformen der vorliegenden Erfindung genutzt werden, können durch eine beliebige Anzahl beliebiger Personal-Computer-Systeme oder anderer Arten von Computer- oder Verarbeitungssystemen (z.B. Desktop-Computer, Notebook-Computer, PDA, mobile Einheiten usw.) realisiert sein und können beliebige handelsübliche Betriebssysteme und beliebige Kombinationen aus handelsüblicher und kundenspezifischer Software (z.B. Datenbanksoftware, Datenaustauschsoftware usw.) enthalten. Diese Systeme können beliebige Arten von Monitoren und Eingabeeinheiten (z.B. Tastatur, Maus, Spracherkennung, Touchscreen usw.) enthalten, um Daten einzugeben und/oder anzuzeigen.

Es versteht sich, dass die Software der Ausführungsformen der vorliegenden Erfindung in einer beliebigen gewünschten Computersprache realisiert sein kann und durch einen Computerfachmann auf der Grundlage der in der Spezifikation enthaltenen Funktionsbeschreibungen und der in den Zeichnungen veranschaulichten Flussdiagramme entwickelt worden sein könnte. Ferner beziehen sich beliebige hierin aufgeführte Bezugnahmen auf Software, die verschiedene Funktionen durchführt, allgemein auf Computersysteme oder Prozessoren, die diese Funktionen unter Softwaresteuerung durchführen. Die Computersysteme der Ausführungen der vorliegenden Erfindung können alternativ durch eine beliebige Art von Hardware- und/oder anderer Verarbeitungsschaltung realisiert sein.

Die verschiedenen Funktionen der Computer- oder anderen Verarbeitungssysteme können in einer beliebigen Weise auf einer beliebigen Anzahl von Software- und/oder Hardwaremodulen oder -einheiten, Verarbeitungs- oder Computersystemen und/oder -schaltungen verteilt sein, wobei die Computer- oder Verarbeitungssysteme lokal oder entfernt voneinander angeordnet sein und über ein beliebiges geeignetes Datenaustauschmedium (z.B. LAN, WAN, Intranet, Internet, fest verdrahtet, Modemverbindung, drahtlos usw.) Daten austauschen können. Beispielsweise können die Funktionen der Ausführungsformen der vorliegenden Erfindung in einer beliebigen Weise auf verschiedenen Endbenutzer-/Client- und Serversystemen und/oder beliebigen anderen zwischengeschalteten Verarbeitungseinheiten verteilt sein. Die Software und/oder Algorithmen, die oben beschrieben und in den Flussdiagrammen veranschaulicht sind, können in einer beliebigen Weise abgeändert sein, mit der die hierin beschriebenen Funktionen verwirklicht werden. Darüber hinaus können die Funktionen in den Flussdiagrammen oder in der Beschreibung in einer beliebigen Reihenfolge durchgeführt werden, mit der eine gewünschte Operation verwirklicht wird.

Die Software der Ausführungsformen der vorliegenden Erfindung kann auf einem nichtflüchtigen, durch Computer nutzbaren Medium (z.B. magnetische oder optische Medien, magnetooptische Medien, Disketten, CD-ROM, DVD, Speichereinheiten usw.) einer ortsfesten oder ortsveränderlichen Programmproduktvorrichtung oder -einheit zur Verwendung durch eigenständige Systeme oder Systeme zur Verfügung stehen, die durch ein Netzwerk oder anderes Datenaustauschmedium verbunden sind.

Das Datenaustauschnetzwerk kann durch eine beliebige Anzahl beliebiger Arten von Datenaustauschnetzwerk (z.B. LAN, WAN, Internet, Intranet, VPN usw.) realisiert sein. Die Computer- oder anderen Verarbeitungssysteme der Ausführungsformen der vorliegenden Erfindung können beliebige herkömmliche oder andere Datenaustauscheinheiten enthalten, um mithilfe beliebiger herkömmlicher oder anderer Protokolle Daten über das Netzwerk auszutauschen. Die Computer- oder anderen Verarbeitungssysteme können für den Zugriff auf das Netzwerk beliebige Arten von Verbindungen nutzen (z.B. verdrahtet, drahtlos usw.). Lokale Datenaustauschmedien können durch beliebige geeignete Datenaustauschmedien (z.B. lokales Netzwerk (LAN), fest verdrahtete Verbindung, drahtlose Verbindung, Intranet usw.) realisiert sein.

Das System kann eine beliebige Anzahl beliebiger herkömmlicher oder anderer Datenbanken, Datenspeicher oder Speicherstrukturen (z.B. Dateien, Datenbanken, Datenstrukturen, Daten-Repositorys oder andere Repositorys usw.) nutzen, um Daten zu speichern. Das Datenbanksystem kann durch eine beliebige Anzahl beliebiger herkömmlicher oder anderer Datenbanken, Datenspeicher oder Speicherstrukturen (z.B. Dateien, Datenbanken, Datenstrukturen, Daten-Repositorys oder andere Repositorys usw.) realisiert sein, um Daten zu speichern. Das Datenbanksystem kann in den Server- und/oder Client-Systemen enthalten oder mit diesen verbunden sein. Die Datenbanksysteme und/oder Speicherstrukturen können entfernt von den Computer- oder anderen Verarbeitungssystemen oder lokal bei diesen angeordnet sein, und beliebige gewünschte Daten können auf den Datenbanksystemen und/oder Speicherstrukturen gespeichert sein.

Die Ausführungsformen der vorliegenden Erfindung können eine beliebige Anzahl beliebiger Arten von Benutzeroberflächen (z.B. grafische Benutzeroberfläche (Graphical User Interface, GUI), Befehlszeile, Eingabeaufforderung usw.) nutzen, um Daten zu erhalten oder bereitzustellen, wobei die Oberfläche beliebige Daten enthalten kann, die in beliebiger Weise angeordnet sein können. Die Oberfläche kann eine beliebige Anzahl beliebiger Arten von Eingabe- oder Betätigungsmechanismen (z.B. Tasten, Symbole, Felder, Kästchen, Verknüpfungen usw.), die an beliebigen Stellen angeordnet sein können, um Daten einzugeben bzw. anzuzeigen und über beliebige geeignete Eingabeeinheiten (z.B. Maus, Tastatur usw.) gewünschte Aktionen einzuleiten. Die Schnittstellenbildschirme können beliebige geeignete Betätigungselemente (z.B. Verknüpfungen, Registerkarten usw.) enthalten, um in beliebiger Weise zwischen den Bildschirmen zu navigieren.

Die hierin verwendete Terminologie dient ausschließlich zur Beschreibung bestimmter Ausführungsformen und ist nicht als Einschränkung der Erfindung gedacht. In dem hier verwendeten Sinne schließen die Einzahlformen „ein/eine“ und „der/die/das“ auch die Pluralformen ein, sofern im Kontext nicht ausdrücklich etwas anderes angegeben ist. Es versteht sich des Weiteren, dass die Begriffe „weist auf“ bzw. „aufweisen/aufweisend“, „enthält“, „enthaltend“, „hat“, „haben“, „mit“ und dergleichen bei Verwendung in dieser Beschreibung das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten bezeichnen, jedoch das Vorhandensein oder die Hinzufügung eines bzw. einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen.

Die entsprechenden Strukturen, Materialien, Aktionen und Äquivalente aller Mittel bzw. Schritt-plus-Funktion-Elemente (Step plus Function Elements) in den folgenden Ansprüchen sollen alle Strukturen, Materialien oder Aktionen zur Ausführung der Funktion in Verbindung mit anderen ausdrücklich beanspruchten Elementen mit einschließen. Die Beschreibung der vorliegenden Erfindung soll der Veranschaulichung und Beschreibung dienen, ist jedoch nicht als erschöpfend gedacht oder auf die Erfindung in der offenbarten Form beschränkt. Für den Fachmann sind viele Modifikationen und Variationen denkbar, ohne dass diese eine Abweichung vom Schutzbereich und Grundgedanken der Erfindung darstellen würden. Die Ausführungsform wurde ausgewählt und beschrieben, um die Grundgedanken und die praktische Anwendung der Erfindung auf bestmögliche Weise zu erklären und anderen Fachleuten ein Verständnis dafür zu ermöglichen, dass verschiedene Ausführungsformen der Erfindung mit verschiedenen Modifikationen denkbar sind, die sich für die jeweils beabsichtigte Verwendung eignen.

Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung sollen der Veranschaulichung dienen, sind jedoch nicht als vollständig oder auf die Erfindung in der offenbarten Form beschränkt gedacht. Für den Fachmann sind viele Modifikationen und Variationen denkbar, ohne dass diese eine Abweichung vom Schutzbereich der beschriebenen Ausführungsformen darstellen würden. Die hier verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsformen, die praktische Anwendung bzw. die technische Verbesserung gegenüber den auf dem Markt vorgefundenen Technologien auf bestmögliche Weise zu erläutern bzw. anderen mit entsprechenden Fachkenntnissen das Verständnis der hier offenbarten Ausführungsform zu ermöglichen.

Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann ein computerlesbares Speichermedium (oder -medien) mit darauf befindlichen computerlesbaren Programmanweisungen enthalten, um einen Prozessor zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.

Das computerlesbare Speichermedium kann eine materielle Einheit sein, die Anweisungen zur Verwendung durch eine Anweisungsausführungseinheit aufbewahren und speichern kann. Das computerlesbare Speichermedium kann zum Beispiel, ohne darauf beschränkt zu sein, eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder eine beliebige geeignete Kombination des Vorstehenden sein. Eine nicht erschöpfende Liste genauerer Beispiele des computerlesbaren Speichermediums enthält Folgendes: eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), einen statischen Direktzugriffsspeicher (SRAM), einen tragbaren Nur-Lese-Speicher in Form einer Compact Disc (CD-ROM), eine Digital Versatile Disc (DVD), einen Speicherstick, eine Diskette, eine mechanisch codierte Einheit wie zum Beispiel Lochkarten oder erhöhte Strukturen in einer Rille mit darauf aufgezeichneten Anweisungen oder beliebige geeignete Kombinationen des Vorstehenden. Ein computerlesbares Speichermedium im hierin verwendeten Sinne ist nicht so auszulegen, dass es sich dabei um flüchtige Signale handelt, beispielsweise um Funkwellen oder sich frei ausbreitende elektromagnetische Wellen, um elektromagnetische Wellen, die sich durch einen Hohlleiter oder andere Übertragungsmedien ausbreiten (z.B. Lichtimpulse, die ein Lichtwellenleiterkabel durchlaufen) oder um elektrische Signale, die über ein Kabel übertragen werden.

Hierin beschriebene computerlesbare Programmanweisungen können über ein Netzwerk, zum Beispiel das Internet, ein lokales Netzwerk ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk von einem computerlesbaren Speichermedium auf betreffende Datenverarbeitungs-/Verarbeitungseinheiten oder auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenleiter, drahtlose Übertragung, Router, Firewalls, Switches, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder eine Netzwerkschnittstelle bei jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt computerlesbare Programmanweisungen aus dem Netzwerk und leitet die computerlesbaren Programmanweisungen zur Speicherung in einem computerlesbaren Speichermedium innerhalb der betreffenden Datenverarbeitungs-/Verarbeitungseinheit weiter.

Computerlesbare Programmanweisungen zum Ausführen von Operationen der vorliegenden Erfindung können Assembleranweisungen, ISA-Anweisungen (ISA = Instruction Set Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, Daten zum Setzen von Zuständen oder entweder Quellcode oder Objektcode sein, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sind, zu denen eine objektorientierte Programmiersprache wie beispielsweise Smalltalk, C++ oder Ähnliches und herkömmliche prozedurale Programmiersprachen wie beispielsweise die Programmiersprache „C“ oder ähnliche Programmiersprachen gehören. Die computerlesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Beim letztgenannten Szenario kann der entfernt angeordnete Computer mit dem Computer des Benutzers über eine beliebige Art von Netzwerk verbunden sein, unter anderem über ein lokales Netzwerk (Local Area Network, LAN) oder über ein Weitverkehrsnetzwerk (Wide Area Network, WAN), oder die Verbindung kann zu einem externen Computer hergestellt werden (beispielsweise über das Internet unter Nutzung eines Internet-Dienstanbieters (Internet Service Provider)). Bei einigen Ausführungsformen können elektronische Schaltungen, zu denen beispielsweise programmierbare Logikschaltungen, Field-Programmable Gate Arrays (FPGA) oder programmierbare logische Arrays (PLA) gehören, die computerlesbaren Programmanweisungen ausführen, indem Zustandsinformationen der computerlesbaren Programmanweisungen genutzt werden, um die elektronische Schaltung zu personalisieren, sodass Aspekte der vorliegenden Erfindung durchgeführt werden.

Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Flussdiagramm-Darstellungen und/oder Blockschemata von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird klar sein, dass jeder Block der Flussdiagramme und/oder der Blockschemata und Kombinationen von Blöcken in den Flussdiagrammen und/oder Blockschemata durch Computerprogrammanweisungen realisiert werden kann bzw. können.

Diese Computerprogrammanweisungen können einem Prozessor eines Mehrzweckcomputers, eines Spezialcomputers oder anderer programmierbaren Datenverarbeitungsvorrichtungen bereitgestellt werden, um eine Maschine zu erzeugen, sodass die Anweisungen, die über den Prozessor des Computers oder anderer programmierbarer Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel schaffen, um die in einem Block bzw. in den Blöcken des Flussdiagramms und/oder des Blockschemas angegebenen Funktionen/Aktionen zu realisieren. Diese Computerprogrammanweisungen können ebenfalls in einem computerlesbaren Medium gespeichert sein, das einen Computer, andere programmierbare Datenverarbeitungsvorrichtungen oder andere Einheiten anweisen kann, in einer bestimmten Weise zu funktionieren, sodass das computerlesbare Medium mit darauf gespeicherten Anweisungen ein Erzeugnis aufweist, das Anweisungen enthält, die die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebene Funktion/Aktion realisieren.

Die computerlesbaren Programmanweisungen können auch in einen Computer, in andere programmierbare Datenverarbeitungsvorrichtungen oder in andere Einheiten geladen werden, um zu bewirken, dass auf dem Computer, auf anderen programmierbaren Vorrichtungen oder anderen Einheiten eine Reihe von Arbeitsschritten ausgeführt wird, um einen mittels Computer realisierten Prozess zu schaffen, sodass die Anweisungen, die auf dem Computer, auf anderen programmierbaren Vorrichtungen oder Einheiten ausgeführt werden, die in einem Block bzw. in den Blöcken der Flussdiagramme und/oder der Blockschemata angegebenen Funktionen/Aktionen realisieren.

Die Flussdiagramme und Blockschemata in den Figuren veranschaulichen die Architektur, Funktionalität und Wirkungsweise möglicher Realisierungsformen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. Dementsprechend kann jeder Block in den Flussdiagrammen bzw. in den Blockschemata ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Realisierung der angegebenen Logikfunktion bzw. Logikfunktionen aufweist. Bei einigen alternativen Realisierungsformen können die im Block angegebenen Funktionen in einer anderen als in der Reihenfolge ausgeführt werden, die in den Figuren angegeben ist. Beispielsweise können zwei hintereinander aufgeführte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können je nach der mit den Blocken verbundenen Funktionalität manchmal in umgekehrter Reihenfolge ausgeführt werden. Darüber hinaus ist anzumerken, dass jeder Block der dargestellten Blockschemata und/oder der dargestellten Flussdiagramme sowie Kombinationen von Blöcken in den dargestellten Blockschemata und/oder in dargestellten Flussdiagrammen mithilfe von bestimmten Zwecken dienenden hardwaregestützten Systemen zur Ausführung der angegebenen Funktionen bzw. Aktionen oder mithilfe von Kombinationen aus bestimmten Zwecken dienender Hardware und Computeranweisungen ausgeführt werden kann bzw. können.