Title:
Sichtverbindungsfeststellung mit Videounterstützung in einem Ortungssystem
Kind Code:
B4


Abstract:

System für die videounterstützte Sichtverbindungs-Feststellung eines mobilen Kommunikationsgeräts in einem Ortungssystem in einer Umgebung, wobei das System Folgendes umfasst:
mehrere ortsfeste Sender in der Umgebung, wobei die Sender wirksam sind, um Signale zu einem nahegelegenen mobilen Kommunikationsgerät in der Umgebung zu senden, um das mobile Kommunikationsgerät zu orten;
mindestens eine in der Umgebung angeordnete Bildgebungsvorrichtung, wobei die Bildgebungsvorrichtung verwendet wird, um das mobile Kommunikationsgerät und/oder einen das mobile Kommunikationsgerät tragenden Benutzer zu beobachten, wobei die Bildgebungsvorrichtung außerdem verwendet wird, um zu erkennen, wenn sich das mobile Kommunikationsgerät nicht in einem Zustand mit Sichtverbindung zu mindestens einem nahegelegenen Sender befindet, wobei ein Signal von dem mindestens einen nahegelegenen Sender blockiert ist; und
eine Ortungsmaschine, die an die Sender und die Bildgebungsvorrichtung gekoppelt ist und wirksam ist, um einen Ortungssystemparameter als Reaktion auf ein beliebiges blockiertes Signal zu modifizieren und das mobile Ortungsgerät unter Verwendung von mindestens dem modifizierten Signalparameter zu orten. embedded image




Inventors:
Stern, Miklos, N.Y. (Woodmere, US)
Lavery, Richard J., N.Y. (Huntington, US)
Proctor, Lee M., Ill. (Cary, US)
Application Number:
DE102014224807A
Publication Date:
06/21/2018
Filing Date:
12/03/2014
Assignee:
Symbol Technologies, LLC (n.d. Ges. d. Staates Delaware) (N.Y., Holtsville, US)
International Classes:
Domestic Patent References:
DE102014224807A1N/A2015-06-11
DE112006000941T5N/A2008-03-06



Foreign References:
200500126132005-01-20
CA2817998A12012-05-24
Attorney, Agent or Firm:
LKGLOBAL | Lorenz & Kopf PartG mbB Patentanwälte, 80333, München, DE
Claims:
System für die videounterstützte Sichtverbindungs-Feststellung eines mobilen Kommunikationsgeräts in einem Ortungssystem in einer Umgebung, wobei das System Folgendes umfasst:
mehrere ortsfeste Sender in der Umgebung, wobei die Sender wirksam sind, um Signale zu einem nahegelegenen mobilen Kommunikationsgerät in der Umgebung zu senden, um das mobile Kommunikationsgerät zu orten;
mindestens eine in der Umgebung angeordnete Bildgebungsvorrichtung, wobei die Bildgebungsvorrichtung verwendet wird, um das mobile Kommunikationsgerät und/oder einen das mobile Kommunikationsgerät tragenden Benutzer zu beobachten, wobei die Bildgebungsvorrichtung außerdem verwendet wird, um zu erkennen, wenn sich das mobile Kommunikationsgerät nicht in einem Zustand mit Sichtverbindung zu mindestens einem nahegelegenen Sender befindet, wobei ein Signal von dem mindestens einen nahegelegenen Sender blockiert ist; und
eine Ortungsmaschine, die an die Sender und die Bildgebungsvorrichtung gekoppelt ist und wirksam ist, um einen Ortungssystemparameter als Reaktion auf ein beliebiges blockiertes Signal zu modifizieren und das mobile Ortungsgerät unter Verwendung von mindestens dem modifizierten Signalparameter zu orten.

System nach Anspruch 1, wobei jeder Sender eine am gleichen Standort befindliche Bildgebungsvorrichtung aufweist.

System nach Anspruch 1, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie das blockierte Signal vernachlässigt.

System nach Anspruch 1, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie das blockierte Signal geringer gewichtet als Signale von anderen Sendern in einem Zustand mit Sichtverbindung zu dem mobilen Kommunikationsgerät.

System nach Anspruch 1, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie einen Sendeleistungspegel des blockierten Signals von dem Sender erhöht, bis eine Amplitude des blockierten Signals über einem Signalerkennungschwellenwert in dem mobilen Kommunikationsgerät liegt.

System nach Anspruch 5, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie einen Sendeleistungspegel des Signals von dem Sender senkt, wenn er sich in einem Zustand mit Sichtverbindung zu dem mobilen Kommunikationsgerät befindet.

System nach Anspruch 1, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie einen Signalerkennungsschwellenwert in dem mobilen Kommunikationsgerät senkt, so dass das blockierte Signal von dem mobilen Kommunikationsgerät erkannt werden kann.

System nach Anspruch 7, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie einen Signalerkennungsschwellenwert in dem mobilen Kommunikationssystem erhöht, wenn der blockierte Sender in einen Zustand mit Sichtverbindung zu dem mobilen Kommunikationsgerät zurückkehrt.

System nach Anspruch 1, wobei die Ortungsmaschine den Ortungssystemparameter modifiziert, indem sie zwischen Time-of-Flight-Modus- und RSSI-Modussignalen zum Orten des mobilen Kommunikationsgeräts wechselt.

System nach Anspruch 1, wobei es sich bei den Sendern um Funkfrequenzsender eines Ortsnetzes handelt und es sich bei den Signalen um Baken handelt, die zum Orten des mobilen Kommunikationssystems verwendet werden.

System nach Anspruch 1, wobei es sich bei den Sendern um Ultraschallsender handelt und es sich bei den Signalen um Ultraschallstöße handelt, die zum Orten des mobilen Kommunikationsgeräts verwendet werden.

System nach Anspruch 2, wobei die Sender an einer Decke der Umgebung befestigt und auf einen Boden der Umgebung ausgerichtet sein können, um eine begrenzte Region zum Empfangen der Ultraschallstöße durch die mobilen Kommunikationsgeräte vorzusehen, wobei die Ultraschallstöße eine Frequenz zwischen 19 kHz und 22,05 kHz aufweisen und das mobile Kommunikationsgerät vorhandene, nicht modifizierte Audioschaltungen nutzt, um die Signale von den Ultraschallstößen zu messen, und wobei die Bildgebungsvorrichtungen ein die begrenzte Region abdeckendes Blickfeld aufweisen.

System nach Anspruch 1, wobei die Ortungsmaschine weiter wirksam ist, um Ultraschall-Abschwächungswerte von vorab bestimmten Gegenständen in der Umgebung zu speichern, und wobei die Ortungsmaschine mittels der Bildgebungsvorrichtung erkennt, dass einer dieser vorab bestimmten Gegenstände das Signal blockiert, und dann eine Amplitude des blockierten Signals basierend auf den entsprechenden gespeicherten Ultraschall-Abschwächungswerten für diesen einen vorab bestimmten Gegenstand anpassen kann.

System nach Anspruch 1, wobei die Ortungsmaschine ein Planogramm der Umgebung umfasst und wobei Bildgebungsänderungen des Planogramms nur vorgenommen werden, wenn eine Änderung der Umgebung vorliegt, die sich auf das Ortungssystem auswirkt.

Ortungsmaschine für die videounterstützte Sichtverbindungs-Feststellung eines mobilen Kommunikationsgeräts in einer Umgebung, wobei die Ortungsmaschine dazu ausgelegt ist, als die an den Sender und die Bildgebungsvorrichtung gekoppelte Ortungsmaschine des Systems nach einem der Ansprüche 1 bis 14 verwendet zu werden, wobei die Ortungsmaschine Folgendes umfasst:
einen Prozessor, der wirksam ist, um ein mobiles Ortungsgerät mit Hilfe von Signalen zu orten, die von dem mobilen Kommunikationsgerät von mehreren ortsfesten Sendern in der Umgebung empfangen werden, und um von einer Bildgebungsvorrichtung zu erkennen, wenn sich das mobile Kommunikationsgerät nicht in einem Zustand mit Sichtverbindung befindet, so dass ein Signal von mindestens einem nahegelegenen Sender blockiert ist, einen Ortungssystemparameter für dieses blockierte Signal zu modifizieren und das mobile Kommunikationsgerät unter Verwendung von mindestens dem modifizierten Signalparameter zu orten.

Ortungsmaschine nach Anspruch 15, wobei die Ortungsmaschine weiter wirksam ist, um Ultraschall-Abschwächungswerte von vorab bestimmten Gegenständen in der Umgebung zu speichern, wobei die Ortungsmaschine mittels der Bildgebungsvorrichtung erkennt, dass eines dieser vorab bestimmten Gegenstände das Signal blockiert, und dann eine Amplitude des blockierten Signals basierend auf den entsprechenden gespeicherten Ultraschall-Abschwächungswerten für diesen eine vorab bestimmten Gegenstand anpassen kann.

Ortungsmaschine nach Anspruch 15, wobei die Ortungsmaschine ein Planogramm der Umgebung umfasst und wobei Bildgebungsänderungen des Planogramms nur vorgenommen werden, wenn eine Änderung der Umgebung vorliegt, die sich auf das Ortungssystem auswirkt.

Verfahren zur videounterstützten Sichtverbindungs-Feststellung eines mobilen Kommunikationsgeräts in einem Ortungssystem in einer Umgebung, wobei das Verfahren Folgendes umfasst:
Senden von Signalen von mehreren ortsfesten Sendern in der Umgebung zu einem nahegelegenen mobilen Kommunikationsgerät, um das mobile Kommunikationsgerät zu orten;
Beobachten des mobilen Kommunikationsgeräts und/oder eines das mobile Kommunikationsgerät tragenden Benutzers in der Umgebung unter Verwendung einer Bildgebungsvorrichtung;
Erkennen mittels der Bildgebungsvorrichtung, wenn sich das mobile Kommunikationsgerät nicht in Sichtverbindung mit mindestens einem Sender befindet, wobei ein Signal von dem mindestens einen nahegelegenen Sender blockiert ist;
Modifizieren eines Ortungssystemparameters für dieses blockierte Signal; und
Orten des mobilen Kommunikationsgeräts unter Verwendung des modifizierten Ortungssignalparameters.

Verfahren nach Anspruch 18, das weiter Folgendes umfasst:
Speichern von Abschwächungswerten von vorab bestimmten Gegenständen in der Umgebung,
wobei das Erkennen mittels der Bildgebungsvorrichtung erkennt, dass eines dieser vorab bestimmten Objekte das Signal blockiert; und
wobei das Modifizieren das Anpassen einer Amplitude des blockierten Signals basierend auf den entsprechenden gespeicherten Abschwächungswerten für diesen einen vorab bestimmten Gegenstand umfasst.

Verfahren nach Anspruch 18, weiter umfassend das Ändern eines Planogramms der Umgebung nur dann, wenn eine von der Bildgebungsvorrichtung beobachtete Änderung der Umgebung vorliegt, die sich auf die Ortung auswirkt.

Description:
HINTERGRUND

Ein Ultraschallempfänger kann verwendet werden, um seinen Standort in Bezug auf einen oder mehrere Ultraschallsender zu bestimmen, wie etwa zum Orten eines mobilen Kommunikationsgeräts, das über einen Ultraschallempfänger verfügt und zum Beispiel in einem Geschäft, einer Fabrik, einem Lagerhaus oder einer anderen Innenumgebung vorhanden ist. Ortsfeste Ultraschallsender können Ultraschallenergie in einem kurzen Stoß aussenden, der von einem Ultraschallwandler (Audiomikrofon) im Ultraschallempfänger empfangen werden kann. Die Verwendung mehrerer Ultraschallempfänger, die an ortsfesten Lagen innerhalb der Umgebung verteilt sind, kann erfolgen, um einen bestimmten Standort eines bestimmten Geräts unter Verwendung von auf dem Gebiet bekannten Verfahren aufzufinden, wie etwa Messung von Time-of-Flight, Laufzeitdifferenz oder Signalstärke der Sendersignale, mit anschließender Verwendung von Triangulation, Trilateration und dergleichen, wie sie in Funkfrequenz-Ortungssystemen verwendet wurden.

Ultraschallsender befinden sich jedoch möglicherweise nicht immer in Sichtverbindung zu dem mobilen Kommunikationsgerät und typische Sendersignale sind möglicherweise nicht stark genug, um Hindernisse (hierin als Abschwächer bezeichnet) sehr gut direkt zu durchdringen, so dass reflektierte Signale das mobile Kommunikationsgerät möglicherweise besser erreichen als ein direktes Signal vom Sender, was zu verschiedenen Beeinträchtigungen infolge Mehrwegübertragung führt. Das führt zu ungenauen Ortungsergebnissen und einer verschlechterten Leistung des Ortungssystems. Darüber hinaus ist es nicht möglich, dass viele mobile Kommunikationsgeräte versuchen, ihre Lage in der Umgebung zu ermitteln und gleichzeitig mit allen Sendern in der Umgebung in Wechselwirkung zu stehen, da getrennte Sendersignale einander stören würden, was zu einer schlechten Lageaktualisierungsrate führen würde.

Die DE 11 2006 000 941 T5 beschreibt ein Verfahren zum Verarbeiten von GNSS-Signalen, d.h. Signale von einem globalen Navigationssatellitensystem, auf Englisch „Global Navigation Satellite System“, abgekürzt GNSS.

Das dort beschriebene Verfahren umfasst: a. Erfassen eines Bildes, das Umgebungen einer Antenne repräsentiert, b. Bestimmen, ob ein erwarteter Ort eines GNSS-Satelliten einem Bereich des Bildes entspricht, der einen unbehinderten Himmel repräsentiert, c. Klassifizieren als verwendbare Signale, die empfangen werden von einem GNSS-Satelliten, dessen erwarteter Ort einem Bereich des Bildes entspricht, der einen unbehinderten Himmel repräsentiert.

Die US 2005 / 0012613 A1 beschreibt ein RFID-Tracking-System, um die Identifizierung und Verfolgung von Gegenständen in einer Umgebung zu erleichtern. Ein Objekt oder ein Ziel bewegt sich innerhalb einer Detektionszone und wird mittels einer Antenne und einer Vielzahl von RFID-Sensoren erfasst.

Die CA 2 817 998 A1 beschreibt Systeme und Methoden zum Verfolgen eines Objektes.

Dementsprechend besteht Bedarf an einem Verfahren zum Orten eines mobilen Kommunikationsgeräts in einer Innenumgebung, bei dem die vorangehend erwähnten Probleme ausgeräumt werden. Des Weiteren werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung anhand der nachfolgenden ausführlichen Beschreibung und den angehängten Patentansprüchen bei Betrachtung in Verbindung mit den beigefügten Zeichnungen und dem vorangehenden Hintergrund offensichtlich.

Figurenliste

Die beigefügten Figuren, in denen sich gleiche Bezugszeichen in den verschiedenen Ansichten auf identische oder funktionell ähnliche Elemente beziehen, sind zusammen mit der nachfolgenden ausführlichen Beschreibung in die Patentschrift integriert und bilden einen Teil davon und dienen dazu, Ausführungsformen von die beanspruchte Erfindung umfassenden Gedanken weiter zu veranschaulichen, und erläutern verschiedene Grundsätze und Vorteile dieser Ausführungsformen.

  • 1 ist ein vereinfachtes Blockschaltbild eines Ultraschall-Ortungssystems gemäß einigen Ausführungsformen der vorliegenden Erfindung.
  • 2 ist eine Draufsicht einer Innenumgebung gemäß einigen Ausführungsformen der vorliegenden Erfindung.
  • 3 ist eine Seitenansicht eines Abschnitts einer Innenumgebung mit Sendern und zugehörigen direkten und reflektierten Signalen darin gemäß einigen Ausführungsformen der vorliegenden Erfindung.
  • 4 ist ein Ablaufdiagramm, das ein Verfahren gemäß einigen Ausführungsformen der vorliegenden Erfindung darstellt.

Der Fachmann wird einsehen, dass Elemente in den Figuren im Interesse der Einfachheit und Klarheit dargestellt sind und nicht unbedingt maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Abmessungen von einigen Elementen in den Figuren relativ zu anderen Elementen übertrieben sein, um zur Verbesserung des Verständnisses von Ausführungsformen der vorliegenden Erfindung beizutragen.

Die Vorrichtungs- und Verfahrenskomponenten wurden, wo angebracht, durch herkömmliche Symbole in den Zeichnungen dargestellt, wobei nur die spezifischen Details gezeigt werden, die für das Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um die Offenbarung nicht mit Details zu verschleiern, die für den Fachmann, dem die Beschreibung hierin zur Verfügung steht, ohne Weiteres offensichtlich sind.

AUSFÜHRLICHE BESCHREIBUNG

Gemäß einigen Ausführungsformen der vorliegenden Erfindung wird ein verbessertes Videoanalyseverfahren beschrieben, um festzustellen, wann sich ein mobiles Kommunikationsgerät in einem Zustand mit Sichtverbindung zu Ultraschallsendern in einer Innenumgebung befindet, und dabei Probleme zu verringern, die mit Schwindung infolge Mehrwegübertragung, Störungen und schlechter Lageaktualisierungsrate zusammenhängen, wie nachfolgend ausgeführt wird. Obwohl die Erfindung hierin in Bezug auf ein Ultraschall-Ortungssystem beschrieben wird, ist zu beachten, dass die vorliegende Erfindung gleichermaßen auch auf ein Funkfrequenz-Ortungssystem anwendbar ist.

Das zu ortende Gerät kann eine Vielzahl verschiedener elektronischer Geschäfts- und Verbraucherplattformen umfassen, wie etwa Mobilfunktelefone, mobile Stationen, mobile Einheiten, mobile Knoten, Benutzerausrüstung, Teilnehmerausrüstung, Teilnehmerstationen, mobile Computer, Zugangsendgeräte, dezentrale Endgeräte, Endgeräteausrüstung, schnurlose Handapparate, Spielgeräte, Smartphones, Personalcomputer und Minicomputer (PDA) und dergleichen, die hierin alle als Kommunikationsgerät bezeichnet werden. Jedes Gerät umfasst einen Prozessor, der weiter an eine Tastatur, einen Lautsprecher, ein Mikrofon, Audioschaltungen, ein Display, Signalprozessoren gekoppelt werden kann, sowie andere Merkmale, wie sie auf dem Gebiet bekannt sind und daher im Interesse der Knappheit nicht gezeigt oder näher beschrieben werden.

Es sind verschiedene Einheiten dazu angepasst, die erfinderischen Gedanken der Ausführungsformen der vorliegenden Erfindung zu unterstützten. Der Fachmann wird erkennen, dass die Zeichnungen hierin nicht die gesamte zum Funktionieren des Systems notwendige Ausrüstung darstellen, sondern nur diejenigen Systemkomponenten und logischen Einheiten, die für die Beschreibung der Ausführungsformen hierin besonders relevant sind. Zum Beispiel können optische Systeme, Aufspürgeräte, Controller, Server, Schalter, Zugangspunkte/-anschlüsse und Drahtlos-Clients alle getrennte Kommunikationsschnittstellen, Transceiver, Speicher und dergleichen umfassen, die alle unter der Kontrolle eines Prozessors stehen. Im Allgemeinen sind Komponenten wie Prozessoren, Transceiver, Speicher und Schnittstellen wohl bekannt. Zum Beispiel ist bekannt, dass Verarbeitungseinheiten Grundkomponenten wie etwa Mikroprozessoren, MikroController, Pufferspeicher, anwendungsspezifische integrierte Schaltungen und/oder Logikschaltungen umfassen, ohne darauf beschränkt zu sein. Derartige Komponenten sind typischerweise dazu angepasst, Algorithmen und/oder Protokolle zu implementieren, die durch höhere Programmiersprachen oder Beschreibungen in Form von Computeranweisungen und/oder in Form von logischen Ablaufdiagrammen formuliert wurden.

Somit sind dem Fachmann bei Vorlage eines Algorithmus, eines logischen Ablaufs, eines Nachrichtenübertragungs-/Signalisierungsablaufs und/oder einer Protokollspezifikation die vielen Auslegungs- und Entwicklungsverfahren bekannt, die verfügbar sind, um einen oder mehrere Prozessoren zum Ausführen der gegebenen Logik zu implementieren. Daher stellen die gezeigten Einheiten ein System dar, das gemäß der Beschreibung hierin dazu angepasst wurde, verschiedene Ausführungsformen der vorliegenden Erfindung zu implementieren. Des Weiteren wird der Fachmann erkennen, dass Aspekte der vorliegenden Erfindung in und über verschiedene physische Komponenten implementiert werden können und keine davon unbedingt auf Implementierungen auf einer einzigen Plattform beschränkt sind. Zum Beispiel können die Speicher- und Steuerungsaspekte der vorliegenden Erfindung in beliebigen der oben aufgeführten Geräte implementiert oder auf derartige Komponenten verteilt werden.

1 ist ein Blockschaltbild eines Ortungssystems gemäß der vorliegenden Erfindung. Mehrere Ultraschallgeräte, umfassend einen Transponder, wie etwa einen piezoelektrischen Lautsprecher oder Sender 116, können an festen Lagen innerhalb der Umgebung angeordnet sein. Jeder Sender kann einen kurzen Ultraschallstoß (z. B. 140, 141) in die Umgebung aussenden. Ein mobiles Kommunikationsgerät 100 kann einen Digitalsignalprozessor 102 umfassen, um das Ultraschallsignal 140, 141 zu verarbeiten, das gemäß der vorliegenden Erfindung von einem Transponder, wie etwa einem Mikrofon 106, von den Ultraschallsendern 116 empfangen wird. Im Fall eines Funkfrequenz-Ortungssystems können die Sender durch Funkfrequenz-Sendeantennen ersetzt werden, um ein/e Funkfrequenz-Ortungs- oder Entfernungsmesssignal oder -bake, zum Beispiel von einem Ortsnetz-Zugangspunkt, zu senden.

Das Mikrofon 106 liefert elektrische Signale 108 an Empfängerschaltungen, die einen Signalprozessor 102 umfassen. Es wird angestrebt, dass das mobile Kommunikationsgerät vorhandene Audioschaltungen mit typischen Abtastfrequenzen von 44,1 kHz, was eine sehr gebräuchliche Abtastfrequenz für kommerzielle Audiogeräte ist, verwenden kann, was sich auf eine obere Grenze der nutzbaren Frequenz zum Verarbeiten von Audiosignalen von 22,05 kHz bezieht. Es wird angestrebt, dass die Empfängerschaltungen des mobilen Kommunikationsgeräts auf digitaler Ebene, zum Beispiel unter Verwendung eines an den Digitalsignalprozessor 102 gekoppelten Analog-Digital-Wandlers 101, implementiert werden. Es ist zu beachten, dass andere Komponenten, einschließlich Verstärker, digitale Filter und dergleichen, im Interesse der Einfachheit der Zeichnungen nicht gezeigt sind. Die Mikrofonsignale 108 können zum Beispiel in einem Audioverstärker hinter dem Mikrofon 106 verstärkt werden. Im Fall eines Funkfrequenz-Ortungssystems kann das Mikrofon zum Beispiel durch Funkfrequenz-Empfangsantennen und entsprechende Funkfrequenzempfänger ersetzt werden, um das bzw. die Funkfrequenz-Ortungs- oder Entfernungsmesssignal oder -bake von dem Ortsnetz-Zugangspunkt zu empfangen.

Der Prozessor 102 kann auch an einen Controller 103 und eine Drahtlos-Ortsnetzschnittstelle 104 für die drahtlose Kommunikation mit anderen Geräten und dem Server oder Backend-Controller 130 im Kommunikationsnetz 120 gekoppelt sein. Jeder Sender 110 kann an einen eigenen Controller 112 und eine eigene Drahtlos-Ortsnetzschnittstelle 114 für die drahtlose Kommunikation mit dem Server oder Backend-Controller 130 im Kommunikationsnetz 120 gekoppelt sein und einen eigenen Prozessor aufweisen, um einige der Ausführungsformen der vorliegenden Erfindung zu implementieren. Alternativ könnten das mobile Kommunikationsgerät 100 und/oder die Ultraschallvorrichtungen 110 durch eine Drahtlos-Ortsnetzverbindung (wie gezeigt) oder eine Drahtschnittstellenverbindung (nicht dargestellt), wie etwa eine Ethernet-Schnittstellenverbindung, mit dem Kommunikationsnetz 120 verbunden sein.

Das drahtlose Kommunikationsnetz 120 kann drahtlose Orts- und Fernnetze, verdrahtete Netze oder andere drahtlose IEEE 802.11-Kommunikationssysteme umfassen, einschließlich virtueller und erweiterter virtueller Netze. Es ist jedoch zu beachten, dass die vorliegende Erfindung auch auf andere drahtlose Kommunikationssysteme angewandt werden kann. Zum Beispiel kann die nachfolgende Beschreibung auf ein oder mehr Kommunikationsnetze angewandt werden, die IEEE 802.xx-basiert sind und Drahtlostechniken wie etwa 802.11, 802.16 oder 802.20 des IEEE nutzen und modifiziert sind, um Ausführungsformen der vorliegenden Erfindung zu implementieren. Die zum Aufbauen derartiger Netze erforderlichen Protokolle und Nachrichtenübertragungen sind auf dem Gebiet bekannt und werden im Interesse der Knappheit hier nicht vorgestellt.

Der Controller 112 jedes Ultraschallsenders 110 liefert dem Lautsprecher 116 ein Signal 140, 141, um zu einer festgelegten Zeit einen Ultraschall-Stoßton 140 auszusenden. Der Lautsprecher sendet den Stoßton typischerweise mit einer Dauer von ungefähr zwei Millisekunden aus. Die genaue Frequenz und die genaue Zeit zwischen aufeinanderfolgenden Stößen, die von jedem Sender 110 zu verwenden sind, können von dem Backend-Controller 130 über das Netz 120 gesteuert werden. Dem mobilen Kommunikationsgerät kann ein Programm dieser Zeitsteuerungsinformationen bereitgestellt werden. Die Sender sind dazu konfiguriert, einen nutzbaren Ausgang in einem Ultraschall-Frequenzbereich von ungefähr 19 - 22 kHz aufzuweisen. Im Fall eines Funkfrequenz-Ortungssystems kann die Funkfrequenz-Sendeantenne statt dem Ultraschallsignal zum Beispiel ein/e Funkfrequenz-Ortungs- oder Entfernungsmesssignal oder -bake von einem Ortsnetz-Zugangspunkt senden.

Der Prozessor 102 des mobilen Kommunikationsgeräts 100 ist wirksam, um die Frequenz und Zeitsteuerung des in seinem Mikrofonsignal 108 empfangenen Tons zu erkennen. Der Ton wird innerhalb des Frequenzbereichs von ungefähr 19 - 22 kHz ausgesendet, damit der vorhandene Prozessor 102 des mobilen Geräts den Stoß auf der Frequenzebene analysieren kann, um den Ton zu erkennen. Der Bereich von 19 - 22 kHz wurde gewählt, damit die vorhandenen Audioschaltungen des mobilen Geräts in der Lage sind, Ultraschalltöne zu erkennen, ohne dass Benutzer in der Umgebung die Töne hören. Darüber hinaus wird angestrebt, dass im Bereich von 19 - 22 kHz wenig Audiorauschen vorliegt, das die Ultraschalltöne stört.

Es wird angestrebt, dass der Prozessor 102 des mobilen Geräts eine schnelle Fouriertransformation (Fast Fourier Transformation, FFT) verwendet, um die Stoßtöne oder Signale für die Zeitsteuerung und/oder Messungen der Empfangssignalstärkeindikatoren (Received Signal Strength Indicator, RSSI) auf der Frequenzebene zu erkennen. Insbesondere kann ein Goertzel-Algorithmus verwendet werden, um die für Time-of-Flight-Messungen zu verwendende Zeit des Empfangs des Tons zu erkennen. In der Praxis kann das mobile Gerät einfach die Zeit messen, zu der es Signale von zwei oder mehr verschiedenen Sendern empfängt, und diese Zeitinformationen an eine Ortungsmaschine im Backend-Controller liefern. Der Backend-Controller 130 kann die Ankunftszeitinformationen von dem mobilen Gerät empfangen und die Zeit abziehen, zu der der Sender angewiesen war, den Stoß auszusenden, um die Time-of-Flight jedes Stoßes zu dem mobilen Gerät zu bestimmen. Bei gegebener Time-of-Flight verschiedener Sendersignale zu dem mobilen Gerät und bekannten Lagen der ortsfesten Sender kann der Backend-Controller eine Lage des mobilen Geräts, beispielsweise unter Verwendung bekannter Trilaterationsverfahren, bestimmen. In einem anderen Szenario kann das mobile Gerät die Signalstärke empfangener Töne für zwei oder mehrere verschiedene Sender messen und Informationen zu Signalstärke und -zeitsteuerung an die Ortungsmaschine des Backend-Controllers liefern. Der Backend-Controller, der die Zeit kennt, zu der er jeden Sender angewiesen hat, seinen Ton zu senden, kann dann für den Ton jedes Senders die Entfernung zum mobilen Gerät abschätzen, wobei nähergelegene Sender stärkere Töne erzeugen. Unter Verwendung von RSSI-Verfahren kann der Backend-Controller dann den Standort des mobilen Geräts abschätzen. Alternativ kann der Controller des mobilen Geräts die Ortungsmaschine umfassen, das in der Lage ist, die Zeit zu empfangen, zu der der Stoß von dem Backend-Controller oder dem Sender selbst gesendet wurde, und sie von der Zeit abzuziehen, zu der das mobile Gerät den Stoß empfing, um die Time-of-Flight des Stoßes zu dem mobilen Gerät zu bestimmen. Angesichts der gegebenen Time-of-Flight der verschiedenen Sendersignale zu dem mobilen Gerät und der bekannten Lagen der ortsfesten Sender kann das mobile Gerät seinen eigenen Standort bestimmen.

Wenn zum Beispiel die Hardware eines Geräts die Fähigkeit aufweist, genauere Time-of-Flight-Messungen auszuführen, kann in Anbetracht der Tatsache, dass einige mobile Geräte Modi mit genaueren/höheren Auffrischraten unterstützen, der Backend-Controller Sender dazu ansteuern, Ortungstöne für Time-of-Flight-Messungen zu vorab festgelegten Zeiten auszusenden, und ein Time-of-Flight-Ortungsmodus kann von einem mobilen Kommunikationsgerät verwendet werden, um den Zeitablauf dieser Ortungstöne zu messen, und wenn die Hardware eines Geräts nur die Fähigkeit aufweist, weniger genaue Signalstärkemessungen (d. h. Empfangssignalstärkeindikatoren oder RSSI) auszuführen, kann der Backend-Controller Sender dazu ansteuern, Ortungstöne für Signalstärkemessungen auszusenden, und von diesem Gerät kann ein Signalstärke-Ortungsmodus verwendet werden, um die Signalstärke dieser Ortungstöne zu messen.

Jeder Sender ist dazu konfiguriert, den Stoß über ein begrenztes Sendegebiet oder eine begrenzte Senderegion auszusenden. Zur Unauffälligkeit und deutlichen Signalübertragung können die Sender an einer Decke der Umgebung befestigt werden, wo Lage und Sendebereich jedes Senders bekannt und fest sind, wobei der Sender so ausgerichtet ist, einen nach unten gerichteten Stoß zu einem Boden der Umgebung auszusenden, so dass der Stoß von einem Sender dazu fokussiert ist, nur eine(n) begrenzte(n), definierte(n) Bereich oder Region des Bodens der Umgebung abzudecken und so weniger wahrscheinlich blockiert oder abgeschwächt wird. Gemäß der vorliegenden Erfindung kann jede Ultraschallvorrichtung eine Bildgebungsvorrichtung 117 umfassen, um Benutzer zu betrachten, die ihre mobilen Kommunikationsgeräte 100 innerhalb der Umgebung tragen. Bei der Bildgebungsvorrichtung 117 kann es sich um ein gewöhnliches Videoanalysesystem, eine zwei- oder dreidimensionale Time-of-Flight- oder Structured-Light-Tiefenkamera oder einen oder mehrere andere Sensoren handeln. Die Bildgebungsvorrichtung ist wirksam, um eine Lage und Bewegung von Benutzern im Blickfeld zu erkennen. Insbesondere können die Bildgebungsvorrichtung und der Backend-Server Szenenbewegungsvektoren erfassen und herleiten, um die Bewegungen der bestimmten, in dem Video erfassten Benutzer zu bestimmen und aufzuzeichnen. Die Bildgebungsvorrichtung kann ein Blickfeld aufweisen, das der Bodenfläche oder -region der Umgebung ähnlich ist, die von dem zugehörigen Ultraschallsender abgedeckt wird. Alternativ können die Bildgebungsvorrichtungen von den Ultraschallvorrichtungen getrennt sein und in der Umgebung verteilt sein, um die gesamte Bodenfläche in der Umgebung zu betrachten. Das Blickfeld der Ultraschallvorrichtung kann auf der Ansicht des Bildgebers in Software abgegrenzt werden.

In der Praxis und unter Verweis auf 2 wurde festgestellt, dass ein einzelner Sender in einer typischen Einzelhandelsumgebung 201 einen Sendebereich von ungefähr fünfzig Quadratfuß bereitstellen kann. Daher sind mehrere Sender 110 vorgesehen, um die Innenumgebung vollständig abzudecken, und diese Sender sind in einem Raster in Abständen von ungefähr 50 Fuß angeordnet. Ein mobiles Kommunikationsgerät 100, das in die Umgebung eintritt und über einen von mehreren Zugangspunkten 200 eine Verbindung mit dem Drahtlos-Ortsnetz (Wireless Local Area Network, WLAN) des Backend-Controllers herstellt, ist mit einer Software-Anwendung versehen, um die hierin beschriebenen Ortungsverfahren gemäß der vorliegenden Erfindung zu implementieren. Nach dem Herstellen der Verbindung des mobilen Geräts mit dem Zugangspunkt 200 kann eine Bildgebungsvorrichtung einer nächstgelegenen Ultraschallvorrichtung 202, die den Eingang abdeckt, das neu registrierte Gerät 100 unter Verwendung von Videoerkennung mit einem Benutzer in Verbindung bringen, der von dieser Kamera beim Eintreten in den Laden beobachtet wird. Die visuelle Verbindung kann durch Verfolgen der Bewegung der Person sowohl per Ultraschall als auch per Video erfolgen. Wenn die zwei Bahnen übereinstimmen, weist das System das Gerät der bestimmten Person zu. Es ist zu beachten, dass das optische System überhaupt nicht versuchen muss, die Person zu identifizieren. Die Bildgebungsvorrichtung sollte jedoch in der Lage sein, bestimmte Benutzer zu verfolgen, indem sie Form, Umriss oder andere optisch unterscheidende Merkmale, wie ein grafisches Muster oder bestimmte Farben, die von dem Benutzer getragen werden, unterscheidet. Diese Informationen können an den Backend-Controller geliefert werden, um den beobachteten Benutzer und das zugehörige mobile Gerät, die sich durch den Laden bewegen, zu verfolgen, während sie sich von einem Blickfeld einer Ultraschallvorrichtung zu einem anderen bewegen. Das gleiche Ergebnis kann in dem Szenario vorgesehen werden, in dem sich die Bildgebungsvorrichtungen nicht am selben Ort wie jede Ultraschallvorrichtung befinden, sondern getrennt im Laden angeordnet sind.

Falls mehrere Geräte gleichzeitig in das Geschäft kommen, kann die Bildgebungsvorrichtung möglicherweise nicht feststellen, welcher Benutzer welches mobile Gerät trägt. In diesem Fall kann ein Trägheitsverfahren verwendet werden, um Geräte mit beobachteten Benutzern in Verbindung zu bringen. Insbesondere kann ein Signal von einem Trägheitssensor (z. B. ein Beschleunigungsmesser oder Gyroskop) jedes mobilen Geräts verwendet werden, um beobachtbare Bewegungen von Benutzern zuzuordnen. Wenn sich zum Beispiel das Kommunikationsgerät 100 des Benutzers mit dem Benutzer bewegt, erzeugt der Trägheitssensor Trägheitssignale, die den Bewegungen seines Benutzers entsprechen. Die Trägheitssignale jedes Kommunikationsgeräts in der Umgebung können als kontinuierlich übertragener Satz von Trägheitssensordaten über ein vorhandenes mit dem Backend-Server verbundenes Ortsnetz, d. h. Zugangspunkt 200, an den Backend-Server geliefert werden. Die Trägheitssignale können außerdem mit der eindeutigen Kennzeichnung oder Medienzugangs-Kontrolladresse jedes Kommunikationsgeräts gepaart werden. Die Trägheitssignale von einem der mobilen Geräte sollten mit den Szenenbewegungsvektoren von einem der Benutzer in dem Video übereinstimmen. Insbesondere kann der Backend-Server eine Videobewegung von in dem Video erfassten Benutzern verfolgen und diese Bewegung mit Eingangsbewegungssignalen von den Trägheitssensoren der mobilen Kommunikationsgeräte korrelieren, um eines der mobilen Kommunikationsgeräte mit einem der bestimmten verfolgten Benutzer in dem Video in Verbindung zu bringen. Zum Beispiel zeigt eine in einem bestimmten Rhythmus gehende Person in den Beschleunigungsmesserdaten Impulse mit diesem Rhythmus, die korreliert werden können. Es wird Videoanalyse verwendet, um sorgfältige zeitbasierte Messungen der Zeit zwischen jedem Schritt des Benutzers vorzunehmen und sie mit Beschleunigungsmesserdaten abzustimmen, die Impulse mit derselben Geschwindigkeit zeigen wie die auf dem Video beobachteten. Eine Person, die in dem Video abrupt die Richtung wechselt, zeigt abrupte Änderungen in den Gyroskop- und Magnetometerdaten, die korreliert werden können. Eine stillstehende Person zeigt sehr wenige Änderungen der Trägheitssensordaten, der Beginn einer Bewegung sollte jedoch mit der Videoaufnahme der Person, die sich zu bewegen beginnt, korrelieren. Es ist vorgesehen, dass in dem mobilen Gerät eine Ortungsanwendung vorinstalliert ist oder beim Eintreten in die Umgebung installiert wird, die zulässt, dass ihre Trägheitssignale und Identität dem Backend-Server geliefert werden.

Mobile Kommunikationsgeräte profitieren von einer höchstmöglichen Auffrischungsrate ihres Standorts, so dass der Backend-Controller die Bewegung der mobilen Kommunikationsvorrichtung mit erhöhter Auflösung verfolgen kann. Während der Ortung wird erwartet, dass diejenigen Kommunikationsgeräte, die Time-of-Flight-Messungen verwenden, eine Lageaktualisierungsrate von ungefähr alle 500 ms aufweisen (zwei Aktualisierungen pro Sekunde für drei Proben - was einen Durchschnitt von 1,5 Sekunden ergibt). Von denjenigen mobilen Kommunikationsgeräten, die Signalstärkemessungen verwenden, wird erwartet, dass sie eine Lageaktualisierungsrate von ungefähr alle zwei Sekunden mit drei Proben aufweisen - was einen Durchschnitt von 6 Sekunden ergibt. Jedes Kommunikationsgerät führt seine vom Backend-Controller benötigten Ortungsmessungen unter Verwendung von Ortungstönen aus, die von vom Backend-Controller aktivierten Sendern ausgesendet werden. Da ein typisches Video zwischen 10 - 60 Einzelbildern pro Sekunde aufweist, kann das Videosystem Standortinformationen 10 - 60 Mal pro Sekunde aktualisieren.

Unter Verweis auf 3 umfasst in der Praxis eine typische Einzelhandelsumgebung Regale 26, Gestelle 24 und andere Gegenstände, die die genaue Ortung aufgrund von Reflexionen, Mehrwegübertragungen und Abschwächung, wie zuvor beschrieben, schwierig machen. Wenn zum Beispiel nur ein reflektiertes Signal 22 erkannt wird, kann dies zu einer falschen Ortung 28 des mobilen Kommunikationsgeräts führen. Die vorliegende Erfindung ändert das Ortungssystemverhalten, um diesen Zustand ohne Sichtverbindung zu berücksichtigen, um eine genauere Ortung zu liefern, wenn ein mobiles Kommunikationsgerät 100 keine Sichtverbindung zum Sender 110 aufweist, wobei die Lageaktualisierungsrate der Ortungsmaschine minimal beeinträchtigt wird. Im abgebildeten Beispiel befindet sich das mobile Kommunikationsgerät 100 in einem Zustand ohne Sichtverbindung zum Ultraschallgerät 2, wobei das direkte Signal von diesem Sender durch ein Regal 24 (Abschwächer) verläuft, was die Amplitude dieses direkten Signals 20 kleiner macht, als wenn sich das mobile Gerät in einem Zustand mit Sichtverbindung befände, wie dies beim Ultraschallgerät 1 der Fall ist. Des Weiteren können die reflektierten Signale 22 eine höhere Amplitude aufweisen als das abgeschwächte direkte Signal 20, was zu einer ungenauen Ortung 28 des Geräts 100 führen kann.

Die vorliegende Erfindung stellt fest, wann sich das mobile Kommunikationsgerät 100 in einem Zustand ohne Sichtverbindung befindet. In dem Fall, in dem sich die Bildgebungsvorrichtung innerhalb des Ultraschallgeräts befindet, ist die Bildgebungsvorrichtung in der Lage, direkt zu beobachten, ob der Benutzer sichtbar ist oder nicht. Wenn der das mobile Gerät tragende Benutzer nicht mehr zu sehen ist, kann ein Ortungssystemparameter modifiziert werden, um diesen Zustand ohne Sichtverbindung zu berücksichtigen. Im dem Fall, in dem die Bildgebungsvorrichtungen von den Ultraschallvorrichtungen getrennt sind und daher nicht dasselbe Blickfeld aufweisen, kann alternativ der Backend-Controller durch Verfolgen der Lage des mobilen Kommunikationsgeräts in Bezug auf ein vorherbestimmtes dreidimensionales Modell oder Planogramm der Umgebung und der Hindernisse in der Umgebung vorhersagen, wann das mobile Gerät für die nahegelegenen Sender nicht sichtbar sein wird. Es ist zu beachten, dass in manchen Fällen die Kamera den Kopf oder die Schulter der Person sehen kann, aber dennoch feststellen kann, dass das mobile Gerät, das normalerweise auf Hüfthöhe gehalten wird, keine Sichtverbindung hat.

Die hierin beschriebenen Ortungsverfahren sind spezifisch für ein laufzeitbasiertes Ultraschall- oder Funkfrequenz-Lagebestimmungssystem. In der Praxis kann das Kommunikationsgerät aufgrund von Hindernissen 24, 26 oder reflektierenden Oberflächen 21 in der Umgebung und der Beschaffenheit von Ultraschallsignalen mehrere Kopien (Mehrwegübertragung) des Ultraschallstoßes empfangen, einschließlich eines Direktwegsignals 20 und eines oder mehrerer reflektierter Signale 22. Es ist jedoch zu beachten, dass ein feiner Unterschied dazwischen besteht, wie die Mehrwegübertragung die Leistung von Ultraschall-Time-of-Flight-Ortungssystemen und anderen Systemen, wie etwa Funkfrequenzsystemen beeinflusst. Bei Ultraschall-Laufzeitsystemen ist das Erkennen des Direktwegsignals 20 zum Bestimmen der Time-of-Flight entscheidend. Typischerweise sind die Impulsweiten ausreichend gering, dass die reflektierten Signale 22 deutlich nach dem Erkennen des Direktwegsignals durch das mobile Kommunikationsgerät eintreffen. Da der Ultraschallstoß sehr kurz ist, erkennt das Kommunikationsgerät typischerweise diese direkten und reflektierten Signale zu diskreten Zeitpunkten, d. h. das direkte Signal überlappt die reflektierten Signale nicht. Bei einem Funkfrequenzsystem hingegen kann die Mehrwegübertragung leicht zum Überlappen von Signalen führen, die sich schwerer unterscheiden lassen.

Die vorliegende Erfindung behandelt das Problem von reflektierten, Mehrweg- oder abgeschwächten Signalen, die zu ungenauen Time-of-Flight- oder Signalstärkemessungen führen können, um eine genaue Ortung des mobilen Kommunikationsgeräts bereitzustellen. Insbesondere stellt die vorliegende Erfindung fest, wann sich das mobile Kommunikationsgerät in einem Zustand ohne Sichtverbindung zu nahegelegenen, zum Orten des mobilen Geräts verwendeten Ultraschallsendern befindet und optimiert das Systemverhalten, um dieses Problem zu berücksichtigen, wie nachfolgend ausgeführt wird.

Wenn sich in einem Szenario das mobile Kommunikationsgerät in einem Zustand ohne Sichtverbindung zu einem Sender befindet und sich im Blick der Bildgebungsvorrichtung eine reflektierende Oberfläche befindet, die für eine starke Signalreflexion von diesem Sender zum mobilen Kommunikationsgerät sorgen kann (was zu einem großen Ortungsfehler führen kann), kann jede Signalmessung von diesem Sender vernachlässigt werden. Wenn zum Beispiel die Bildgebungsvorrichtung zeigt, dass eine reflektierende Oberfläche vorhanden ist, die ein Signal von einem Sender in einer Lage unter einem Ergänzungswinkel direkt zum Standort des mobilen Kommunikationsgeräts reflektiert, besteht die Wahrscheinlichkeit, dass die Reflexion für eine Signalamplitude sorgt, die größer ist als das direkte Signal, was zu einem großen Ortungsfehler führt. In diesem Fall kann das Signal von diesem Sender vernachlässigt werden, insbesondere, wenn andere nahegelegene Sender in einem Zustand mit direkter Sichtverbindung mit dem mobilen Gerät vorhanden sind, die für die genauere Ortung des mobilen Kommunikationsgeräts verwendet werden können.

Wenn sich in einem anderen Szenario das mobile Kommunikationsgerät in einem Zustand ohne Sichtverbindung zu einem Sender befindet und eine reflektierende Oberfläche im Blick der Bildgebungsvorrichtung vorhanden ist, die sehr nah bei dem mobilen Kommunikationsgerät liegt, kann diese Oberfläche ein reflektiertes Signal von diesem Sender zu dem mobilen Kommunikationsgerät liefern, was nur zu einem kleinen Ortungsfehler führt. Ein derartiges Signal von diesem Sender ohne Sichtverbindung kann geringer gewichtet werden als Signale von Sendern mit Sichtverbindung, oder der unter Verwendung dieses beeinträchtigten Signals bestimmte Standort des mobilen Kommunikationsgeräts kann geringer gewichtet werden als Standorte, die unter Verwendung aller Sender mit Sichtverbindung bestimmt wurden. Wenn zum Beispiel die Bildgebungsvorrichtung zeigt, dass sich ein Regal nah bei dem mobilen Kommunikationsgerät befindet, das das Sendersignal um eine kurze Strecke zum Standort des mobilen Kommunikationsgeräts reflektieren kann, besteht die Wahrscheinlichkeit, dass die Reflexion eine Signalamplitude liefert, die größer ist als das direkte Signal, würde aber nur zu einem kleinen Ortungsfehler führen. In diesem Fall kann das Signal von diesem Sender geringer gewichtet werden als Signale von anderen nahegelegenen Sendern, die sich in einem Zustand mit direkter Sichtverbindung zu dem mobilen Kommunikationsgerät befinden. In diesem Szenario können die tatsächlichen Gewichtungswerte empirisch bestimmt werden.

Wenn sich in einem anderen Szenario das mobile Kommunikationsgerät in einem Zustand ohne Sichtverbindung zu einem Sender befindet und sich ein störender Abschwächer im Blick der Bildgebungsvorrichtung befindet, der ein Signal von diesem Sender zu dem mobilen Kommunikationsgerät abschwächen kann (so dass das Signal möglicherweise nicht ausreicht, um einen Erkennungsschwellenwert im mobilen Kommunikationsgerät auszulösen), dann kann ein Schalldruckpegel oder eine Amplitude dieses Signals von dem Sender erhöht werden, um den Erkennungsschwellenwert in dem mobilen Kommunikationsgerät auszulösen. Wenn zum Beispiel die Bildgebungsvorrichtung zeigt, dass auf der Linie vom Sender zum mobilen Kommunikationsgerät erhebliche Hindernisse vorhanden sind (wie etwa entlang einem Gang, der Ultraschall absorbierende Hindernisse enthält), kann der Schalldruckpegel erhöht werden, um zusätzliche Leistung bereitzustellen, um durch Abschwächer „hindurchzudrücken“, so dass das mobile Kommunikationsgerät das Signal erkennen kann. Des Weiteren könnte die Bildgebungsvorrichtung dazu konfiguriert werden, Abschwächer zu erkennen, die das Ultraschallsignal blockieren, und den Schalldruckpegel des Senders entsprechend anzupassen. Zum Beispiel beeinträchtigen dünne Vorhänge ein Ultraschallsignal nicht so sehr wie ein Stahlregal. Daher kann die vorliegende Erfindung den Schalldruckpegel als Reaktion darauf anpassen, dass die Bildgebungsvorrichtung den blockierenden Abschwächer erkennt. Insbesondere können in der Ortungsmaschine (z. B. Backend-Controller oder mobiles Gerät) Ultraschall-Abschwächungswerte vorab bestimmter Gegenstände in der Umgebung gespeichert sein, und beim Erkennen von einem dieser vorab bestimmten Gegenstände als den Abschwächer durch die Bildgebungsvorrichtung kann die Ortungsmaschine den Schalldruckpegel des blockierten Signals basierend auf den entsprechenden gespeicherten Ultraschall-Abschwächungswerten für diesen einen vorab bestimmten Gegenstand anpassen.

In Szenarien, in denen beobachtet wird, dass sich das mobile Kommunikationsgerät in einem Zustand mit Sichtverbindung zu allen nahegelegenen Sendern befindet (wie etwa in einem offen ausgelegten Bereich eines Kaufhauses), kann umgekehrt der Schalldruckpegel soweit verringert werden, dass die Erkennung durch das mobile Kommunikationsgerät gerade möglich ist, um Strom zu sparen, Nachhalle zu verringern und die Aktualisierungsrate des Systems zu erhöhen, da nicht so lang gewartet werden muss, bis der Ultraschallnachhall abgeklungen ist, so dass die Ultraschallstöße häufiger stattfinden können. Auf diese Weise kann die vorliegende Erfindung einen Übertragungspegel des Senders übernehmen, um ein genaueres direktes Signal für die Ultraschallortung bereitzustellen. Gemäß einer Ultraschallausführungsform der vorliegenden Erfindung sollte jeder Ultraschallstoß eine Dauer in der Größenordnung von 2 ms und einen verstellbaren Schalldruckpegel aufweisen. Zum Beispiel kann ein Ultraschall-Ortungston mit einem höheren (typischerweise 10 - 15 dB höheren) Schalldruckpegel ausgesendet werden, um Gegenstände (d. h. Abschwächer) in der Umgebung zu durchdringen, um eine genauere Sichtverbindungsmessung zu liefern, statt abgeschwächte oder reflektierte Signale (d. h. Mehrwegübertragung), die zu ungenauen Time-of-Flight- oder Signalstärkemessungen und daher einer ungenauen Ortung des Geräts führen würden. Ebenso können Funkfrequenz-Bakensignale mit höheren Leistungspegeln übertragen werden als normaler Funkfrequenzverkehr. Das liefert ein Signal, das in der Lage ist, störende Abschwächer direkt zu dem mobilen Kommunikationsgerät zu durchdringen, wenn sich der Sender oder Geber in einem Zustand ohne Sichtverbindung zu dem mobilen Kommunikationsgerät befindet. Auf diese Weise kann die vorliegende Erfindung den Sendeleistungspegel von Sender-Ultraschallstößen (z. B. Entfernungsmessungsstößen) weit über das hinaus erhöhen, was für die Erkennung mit Sichtverbindung benötigt wird. Als Folge dringt das Direktwegsignal des Ultraschallstoßes bei Pegeln durch Abschwächer, die immer noch über dem Umgebungsrauschniveau liegen, was ein ausreichendes Signal-Rausch-Verhältnis (SRV) für die Erkennung ergibt. In diesen Szenarien kann der Sendeleistungspegel empirisch derart bestimmt werden, dass das Signal gerade noch von dem mobilen Kommunikationsgerät erkannt werden kann.

Wenn sich in einem anderen Szenario das mobile Kommunikationsgerät in einem Zustand ohne Sichtverbindung zu einem Sender befindet und ein störender Abschwächer vorhanden ist, der ein Signal von diesem Sender zu dem mobilen Kommunikationsgerät abschwächen kann (so dass das Signal möglicherweise nicht ausreicht, um einen Erkennungsschwellenwert in dem mobilen Kommunikationsgerät auszulösen), kann der Signalerkennungs-Schwellenwert gesenkt werden, um das Erkennen des Signals in dem mobilen Kommunikationsgerät auszulösen. Wenn zum Beispiel die Bildgebungsvorrichtung ein erhebliches Hindernis auf der Linie vom Sender zum mobilen Kommunikationsgerät beobachtet (wie etwa entlang eines Gangs, der absorbierende Hindernisse enthält), kann der Auslösungserkennungs-Schwellenwert gesenkt werden, so dass das mobile Kommunikationsgerät das erste Eintreffen des Impulses noch erkennt, selbst wenn er stark abgeschwächt ist und nah beim Grundrauschen liegt. In Szenarien, in denen beobachtet wird, dass keine Hindernisse auf einer Linie mit dem mobilen Kommunikationsgerät liegen (wie in einem offen ausgelegten Bereich in einem Kaufhaus) kann umgekehrt der Auslösungserkennungs-Schwellenwert erhöht werden, um für ausgezeichnete Rauschunempfindlichkeit auf falsche Auslöser zu sorgen. In diesen Szenarien kann der angepasste Auslösungserkennungs-Schwellenwert empirisch derart bestimmt werden, dass das Signal von dem mobilen Kommunikationsgerät gerade noch erkannt werden kann.

Wenn sich in einem anderen Szenario ein mobiles Kommunikationsgerät hinter massiven Wände oder Regale bewegt, wo wenig oder keine Möglichkeit für die direkte Erkennung mit Sichtverbindung besteht, kann mit Ortungssystemparametern im Time-of-Flight-Modus wenig dafür getan werden, dass die Ortung funktioniert. In Situationen wie diesen kann es vorteilhaft sein, vom Time-of-Flight-Ortungsmodus zum RSSI-Modus zu wechseln. Der RSSI-Modus ist weniger genau als der Time-of-Flight-Modus, kann jedoch immer noch die Anwesenheit des mobilen Kommunikationsgeräts erkennen.

In der Praxis wird die Umgebung, wie etwa ein Einzelhandelsgeschäft, über ein Planogramm der Umgebung und der Hindernisse in der Umgebung verfügen, von dem ein vorab bestimmtes dreidimensionales Modell des Raums der Umgebung hergeleitet werden kann. Die Bildgebungsvorrichtung wird in der Lage sein zu erkennen, wann Änderungen in der Umgebung vorliegen, d. h. Gegenstände innerhalb der Umgebung bewegt werden. In Übereinstimmung mit der vorliegenden Erfindung können, wenn das Bildgebungssystem Änderungen an dem Planogramm erkennt, diese Änderungen nur vorgenommen werden, wenn eine Änderung der Umgebung vorliegt, die das Ultraschallortungssystem beeinflusst. Wenn zum Beispiel dünne Vorhänge das Ultraschallsignal nicht abschwächen, muss das Bewegen dünner Vorhänge von einem Standort zu einem anderen in der Umgebung nicht als Änderung des Planogramms notiert werden. Wenn das Bildgebungssystem jedoch beobachtet, dass Stahlregale bewegt wurden, die Ultraschallsignale beeinflussen, dann kann diese Bildgebungsänderung vom Backend-Controller als Änderung des Planogramms notiert werden. Es ist weiter möglich, das Planogramm basierend auf von dem Bildgebungssystem erhaltenen Informationen automatisch zu aktualisieren.

4 ist ein Ablaufdiagramm, das ein Verfahren für die videounterstützte Sichtverbindungsfeststellung in einem Ortungssystem in einer Umgebung gemäß einigen Ausführungsformen der vorliegenden Erfindung darstellt.

Schritt 400 umfasst das Senden von Signalen von mehreren festen Sendern in der Umgebung zu einem nahegelegenen mobilen Kommunikationsgerät, um das mobile Kommunikationsgerät zu orten. Die Sender können an einer Decke der Umgebung befestigt und auf einen Boden der Umgebung ausgerichtet sein, um eine begrenzte Region zum Empfangen von Signalen von den Sendern durch Kommunikationsgeräte vorzusehen. Bei den Sendern kann es sich um Ultraschallsender oder Funkfrequenzsender handeln. Bei den Sendern kann es sich um Ortsfunkfrequenzsender handeln, die Bakensignale senden, oder um Ultraschallsender, die Ultraschall-Stoßsignale mit einer Frequenz zwischen 19 kHz und 22,05 kHz senden.

Ein nächster Schritt 402 umfasst das Beobachten eines ein mobiles Kommunikationsgerät tragenden Benutzers in der Umgebung mittels einer Bildgebungsvorrichtung.

Ein nächster Schritt 404 umfasst das Erkennen mittels der Bildgebungsvorrichtung, wenn sich das mobile Kommunikationsgerät nicht in einem Zustand mit Sichtverbindung zu mindestens einem Sender befindet, wobei ein Signal von dem mindestens einen nahegelegenen Sender blockiert ist. Nahegelegene Sender sind diejenigen, die normalerweise zum Orten des mobilen Kommunikationsgeräts verwendet würden.

Ein nächster Schritt 406 umfasst das Modifizieren eines Ortungssystemparameters für das blockierte Signal in einem Zustand ohne Sichtverbindung. Zum Beispiel kann das Modifizieren das Vernachlässigen des blockierten Signals umfassen. In einem anderen Beispiel umfasst das Modifizieren das geringere Gewichten des modifizierten Ortungssystemparameters für das blockierte Signal als Signale in einem Zustand mit Sichtverbindung. In einem anderen Beispiel umfasst das Modifizieren das Anpassen eines Sendeleistungspegels des blockierten Signals von dem Sender, bis eine Amplitude des blockierten Signals über einem Signalerkennungsschwellenwert in dem mobilen Kommunikationsgerät liegt. Das kann das Erhöhen oder Senken des Sendeleistungspegels umfassen. In einem anderen Beispiel umfasst das Modifizieren das Anpassen eines Signalerkennungsschwellenwerts in dem mobilen Kommunikationsgerät, so dass das blockierte Signal von dem mobilen Kommunikationsgerät erkannt werden kann. Das kann das Erhöhen oder Senken des Signalerkennungsschwellenwertes, bis das Signal gerade noch erkannt werden kann, umfassen. In noch einem anderen Beispiel umfasst das Modifizieren das Ändern des Ortungsmodus zwischen einem Time-of-Flight-Modus und einem RSSI-Modus.

Ein optionaler Schritt umfasst das Speichern 410 von Abschwächungswerten vorab bestimmter Gegenstände in der Umgebung. Wenn dies erfolgt ist, erkennt der Erkennungsschritt 404 unter Verwendung der Bildgebungsvorrichtung, dass einer dieser vorab bestimmten Gegenstände das Signal blockiert, und der Modifizierungsschritt 406 umfasst das Anpassen einer Amplitude des blockierten Signals basierend auf den entsprechenden gespeicherten Abschwächungswerten für diesen einen vorab bestimmten Gegenstand.

Ein nächster Schritt umfasst das Orten 408 des mobilen Kommunikationsgeräts unter Verwendung des modifizierten Signalparameters für das blockierte Signal, vorzugsweise zusammen mit direkten Signalen, die Time-of-Flight-Informationen oder Signalstärkeinformationen liefern können, die von einer Ortungsmaschine in dem mobilen Kommunikationsgerät selbst oder dem Backend-Controller verwendet werden können, um das Kommunikationsgerät zu orten.

Die vorangehenden Schritte können regelmäßig wiederholt werden, um mobile Kommunikationsgeräte zu verfolgen, die sich innerhalb der Umgebung bewegen, in sie eintreten oder sie verlassen.

Optional kann die vorliegende Erfindung einen Schritt des Änderns 412 eines Planogramms der Umgebung nur dann umfassen, wenn eine von der Bildgebungsvorrichtung beobachtete Änderung der Umgebung vorliegt, die die Ortung beeinflusst.

Vorteilhafterweise bietet die vorliegende Erfindung dem Systementwickler die Fähigkeit, Ortungssystemparameter basierend auf Sichtverbindungshindernissen aktiv zu ändern. Die vorliegende Erfindung kann dem Ortungssystem mitteilen, dass sich ein Gerät in einem Zustand ohne Sichtverbindung befindet, um Abhilfemaßnahmen zu ergreifen, bevor das Ortungssystem ein Problem mit dem Orten des Geräts bekommt. Frühere Lösungen warteten, bis die Systemleistung nachteilig beeinflusst war, bevor Änderungen vorgenommen wurden, um schlechte Ortungsleistung zu beheben.

In der vorangehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Der Fachmann sieht jedoch ein, dass verschiedene Abwandlungen und Änderungen vorgenommen werden können, ohne vom Umfang der Erfindung, wie er in den nachfolgenden Patentansprüchen dargelegt ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren in veranschaulichendem und nicht in einschränkendem Sinn zu betrachten, und es ist beabsichtigt, dass alle derartigen Abwandlungen im Umfang vorliegender Lehren enthalten sind.

Nutzen, Vorteile, Lösungen von Problemen und etwaige Elemente, die bewirken können, dass ein Nutzen, Vorteil oder eine Lösung eintritt oder deutlicher wird, sind nicht als kritische, notwendige oder wesentliche Merkmale oder Elemente von einem oder allen Ansprüchen auszulegen. Die Erfindung ist ausschließlich von den angehängten Patentansprüchen definiert, einschließlich etwaiger während der Rechtsanhängigkeit dieser Anmeldung vorgenommener Änderungen und aller Entsprechungen dieser Patentansprüche, wie sie erteilt sind.

Darüber hinaus dürfen in diesem Dokument Verhältnisbegriffe wie etwa erstes und zweites, oben und unten und dergleichen nur verwendet werden, um eine Einheit oder Handlung von einer anderen Einheit oder Handlung zu unterscheiden, ohne unbedingt eine tatsächliche derartige Beziehung oder Reihenfolge zwischen derartigen Einheiten oder Handlungen zu erfordern oder zu implizieren. Die Begriffe „umfasst“, „umfassend“, „weist auf“, „aufweisend“, „beinhaltet“, „beinhaltend“, „enthält“, „enthaltend“ oder andere Varianten davon sollen eine nicht ausschließende Einbeziehung abdecken, so dass ein Prozess, Verfahren, Artikel oder eine Vorrichtung, der, das bzw. die eine Liste von Elementen umfasst, aufweist, beinhaltet, enthält, nicht nur dieses Element beinhaltet, sondern auch andere Elemente beinhalten kann, die nicht ausdrücklich aufgeführt sind oder einem derartigen Prozess, Verfahren, Artikel oder einer derartigen Vorrichtung innewohnen. Ein Element, dem „umfasst ein/e/n ...“, „weist ein/e/n ... auf“, „beinhaltet ein/e/n ...“, „enthält ein/e/n ...“ vorausgeht, schließt ohne weitere Einschränkungen nicht das Vorhandensein weiterer identischer Elemente in dem Prozess, Verfahren, Artikel oder der Vorrichtung aus, der, das bzw. die das Element enthält. Die Begriffe „ein“ und „eine“ sind definiert als ein/e oder mehr, wenn hierin nicht ausdrücklich Anderes gesagt wird. Die Begriffe „im Wesentlichen“, „ungefähr“, „etwa“ oder eine beliebige andere Variante davon sind definiert als nahezu, wie es vom Fachmann verstanden wird, und in einer nicht einschränkenden Ausführungsform ist der Begriff als innerhalb von 10 % liegend definiert, in einer anderen Ausführungsform innerhalb von 5 %, in einer weiteren Ausführungsform innerhalb von 1 % und in einer anderen Ausführungsform innerhalb von 0,5 %. Der Begriff „gekoppelt“ wie er hierin verwendet wird, ist definiert als verbunden, jedoch nicht unbedingt direkt und nicht unbedingt mechanisch. Eine Vorrichtung oder Struktur, die auf eine bestimmte Art „konfiguriert“ ist, ist auf mindestens diese Art konfiguriert, kann jedoch auch auf nicht aufgeführte Arten konfiguriert sein.

Man wird einsehen, dass manche Ausführungsformen aus einem oder mehreren generischen oder spezialisierten Prozessoren oder Verarbeitungsvorrichtungen bestehen können, wie etwa Mikroprozessoren, digitalen Signalprozessoren, individuell angepassten Prozessoren und Field Programmable Gate Arrays sowie eindeutigen gespeicherten Programmanweisungen (umfassend sowohl Software als auch Firmware), die den einen bzw. die mehreren Prozessoren steuern, um in Verbindung mit gewissen Schaltungen außerhalb des Prozessors einige, die meisten oder alle der Funktionen des hierin beschriebenen Verfahrens und/oder der hierin beschriebenen Vorrichtung zu implementieren. Alternativ könnten einige oder alle Funktionen von einer Zustandsmaschine implementiert werden, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren DE 10 2014 224 807.8 anwendungsspezifischen integrierten Schaltungen, wobei jede Funktion oder einige Kombinationen gewisser dieser Funktionen als individuell angepasste Logik implementiert sind. Natürlich könnte eine Kombination der beiden Ansätze verwendet werden.

Darüber hinaus kann eine Ausführungsform als computerlesbares Speichermedium mit darauf gespeichertem computerlesbarem Code implementiert werden, um einen Computer (der z. B. einen Prozessor umfasst) dazu zu programmieren, ein Verfahren wie hierin beschrieben und beansprucht auszuführen. Beispiele derartiger computerlesbarer Speichermedien umfassen eine Festplatte, einen Compact Disc-Festspeicher, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen Festspeicher, einen programmierbaren Festspeicher, einen löschbaren programmierbaren Festspeicher, einen elektrisch löschbaren programmierbaren Festspeicher und einen Flash-Speicher, ohne darauf beschränkt zu sein. Des Weiteren wird erwartet, dass der Fachmann, trotz möglicherweise erheblicher Bemühungen und vieler Auslegungsmöglichkeiten, die zum Beispiel durch verfügbare Zeit, aktuelle Technik und wirtschaftliche Überlegungen motiviert sind, wenn er von den hierin offenbarten Konzepten und Grundsätzen geleitet wird, ohne Weiteres in der Lage sein wird, mit minimalem Experimentieren derartige Software-Anweisungen und Programme und integrierte Schaltungen zu erzeugen.