Title:
Vorrichtung und Verfahren zum Erfassen von Flugkörpern mit einem Stereokamerasystem und einem Hochfrequenzscanner
Kind Code:
A1


Abstract:

Eine Vorrichtung und ein Verfahren zum Erfassen von Flugkörpern mit einem Stereokamerasystem und einem Hochfrequenzscanner, der ein lineares Antennensystem aufweist. embedded image




Inventors:
Drescher, Benny (80333, München, DE)
Drescher, Toni (52525, Heinsberg, DE)
Application Number:
DE102017006877A
Publication Date:
08/09/2018
Filing Date:
07/21/2017
Assignee:
Dronefence GmbH, 52525 (DE)
International Classes:



Foreign References:
GB2536043A2016-09-07
201503702502015-12-24
Other References:
Kronberger, Rainer; [et al.] UHF RFID localization system based on a phased array antenna. In: Antennas and Propagation (APSURSI), 2011 IEEE International Symposium on. IEEE, 2011. S. 525-528.
Patents Factory Ltd.: Optical Drone Detection System. 09. August 2016, https://web.archive.org/web/20160819120649/http://www.patentsfactory.eu/Optical_drone_detection.html [online].
Sathyamoorthy, Dinesh. A review of security threats of unmanned aerial vehicles and mitigation steps. The Journal of Defence and Security, 2015, 6. Jg., Nr. 1, S. 81.
Attorney, Agent or Firm:
Patentanwaltskanzlei Liermann-Castell, 52349, Düren, DE
Claims:
Vorrichtung zum Erfassen von Flugkörpern mit einem Stereokamerasystem und einem Hochfrequenzscanner, der ein lineares Antennensystem aufweist.

Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das lineare Antennensystem mehr als 6 Antennen aufweist.

Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie mindestens zwei in einem Winkel zueinander angeordnete lineare Antennensysteme aufweist.

Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie mindestens einem akustischen Sensor aufweist.

Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie ein Gehäuse aufweist, in dem das Streokamerasystem und das Antennensystem angeordnet sind.

Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameras des Stereokamerasystems mindestens 0,5 m beabstandet und in einem optischen Winkel zueinander angeordnet sind.

Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie eine gerichtete RF-Jammer Einheit aufweist.

Verfahren mit einer Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Antennen gleichzeitig genutzt werden.

Description:

Die Erfindung betrifft eine Vorrichtung zum Erfassen von Flugkörpern mit den Merkmalen des Patentanspruchs 1. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.

Eine vorteilhafte Ausführungsform ist im Folgenden beschrieben und wird in der Zeichnung gezeigt.

Die Merkmale des Systems sind der Einsatz von multiplen Sensoren und Algorithmen zur Fusion der Sensordaten, eines linearen Antennen-Arrays, die Integration eines Stereo-Kamera-Systems und als Add-On eines Akustik-Systems. Ebenfalls ist ein gerichteter RF-Jammer enthalten, der zur automatischen, mechanischen Ausrichtung genutzt wird (Zusatzmodul).

Das System kombiniert drei Sensorprinzipien miteinander: einen Hochfrequenz (RF/HF)-Scanner, ein Kamera-System und zusätzlich akustische Sensoren.

Der Stand der Technik setzt auf Einzeltechnologien (z. B. Hersteller Drone Shield). Die Kombination aus RF-Scanner, Kamera-System und Akustik in einem kompakten System, mit dem Ziel einer möglichst genauen Lokalisierung von Unmanned Aerial Vehicle (UAV)/Pilot, ist bisher noch nicht umgesetzt worden.

Durch die Kombination von Kamera/RF/Akustik ist es möglich, das Überwachungsgebiet in Zonen zu unterteilen (short, medium, long range). Es werden die Nachteile einer Technologie (z. B. Kamera bei optischer Behinderung) durch die Vorteile einer anderen Technologie (z. B. Einsatz von RF ist unabhängig von optischen Hindernissen) ausgeglichen. Die Überlagerung der Technologie erhöht zudem die Güte/Qualität der Lokalisierung und verringert einseitige aus dem Sensorprinzip bedingte Fehlalarme (z. B. Unterscheidung von UAV gegenüber einem Vogel).

Das System setzt Algorithmen zur Fusion der Sensor-Daten aus RF/HF, Kamera und Akustik ein (z. B. Kalman Filter). Die heterogenen Daten werden mittels statistischen Modellen zusammengelegt, wodurch die Qualität/Güte der Daten erhöht wird.

Die bisherigen System setzen auf die Auswertung einzelner Sensoren (Technologien), ohne eine geschickte Verknüpfung von Informationen aus heterogenen Datenquellen. Es werden keine statistischen Modelle genutzt werden (z. B. Hersteller Dedrone).

Durch den Einsatz von Sensorfusion wird die Qualität/Güte der Lokalisierung erhöht. Es wird die Grundlage für die Identifikation von UAVs gelegen.

Es werden Algorithmen des Machine/Deep Learning (Artifical Neuronal Networks) genutzt, um UAV-spezifische Modelle zu entwickeln. Als Grundlage werden die fusionierten Daten der drei Sensoren verwendet. Das Modell wird aus Versuchen angelernt.

Bisher nutzen die bekannten Systeme die Erkennung auf Grundlage von Einzel-Sensoren, ohne dem Einsatz von Computer-Modellen.

Hinterlegt in einer Datenbank ermöglichen diese die Identifikation von UAVs, welche in den Detektionsbereich eingedrungen sind. Es kann zwischen UAV-Typen unterschieden werden basierend auf den Merkmalen, die im Modell hinterlegt worden sind. Dadurch ist ein UAV-typischer „Fußabdruck“ möglich, der eine eindeutige Identifikation ermöglicht.

Die RF/HF-Sensor setzt auf ein lineares Antennen-Array mit mehr als 6 Antennen. Hierfür werden omnidirektionale Antennen für den 433 MHz, 915 MHz, 2.4 GHz oder 5.8 GHz genutzt, die entsprechend der Wellenlänge geometrisch angeordnet sind (Abstand Array-Elemente). Um zwischen den Frequenzen (Center-Frequencies) umzuschalten, wird eine Multiplex-Verbindung realisiert. Im Wesentlichen wird die 2.4 GHz Frequenz geprüft; Erweiterungen sind für 433/915MHz und 5.8 GHz vorgesehen. Hierfür sind zum einen die Antennen im Array „hinzu-/abgeschalten“, oder falls nicht möglich, ist ein mechanischer/elektrischer Austausch des Antennen-Arrays vorgesehen.

Bisherige Erkennungssystemene zur Drohnenabwehr setzen entweder auf omnidirektionale Ein-Antennen-Systeme (kein Array) oder auf segmentierte bzw. gerichtete Antennen.

Der Vorteil von Antennen-Arrays gegenüber Ein-Antennen-Ansätzen ist die Möglichkeit der Lokalisierung von Drohnen. Es kann der Eintrittswinkel des VideoSignals von der Kamera des UAVs erkannt werden. Es kann ebenfalls das Steuersignal des Piloten empfangen und dessen Position bestimmt werden. Im Vergleich zu segmentierten Ansätzen liegt der Vorteil in einer geringen Rauschempfindlichkeit (Störsignalen), die im Besonderen im vielfältig (frei) genutzten ISM-Band auftreten kann. Im Gegensatz zu gerichteten Antennen ist bei einem Antennen-Array keine zusätzliche Mechanik notwendig (geringerer Verschleiß).

Für die Auswertung der Antennen-Arrays wird auf Verfahren zur Analyse aus multiplen Input-Signalen (Signal Processing) gesetzt. Es wird auf Algorithmen des Direction-of-Arrival (DOA) aufgebaut, wie die des MUltiple SIgnal Classification (MUSIC). Für den Anwendungsfall der Erkennung von UAVs/Piloten wird der Algorithmus entsprechend erweitert. Der entwickelte Ansatz ist auf Steuer-/Video-Signale von Pilot/UAVs ausgerichtet, d. h. kann für Broadband-Signale mit Frequency Hopping (FHSS) von aktuell bis zu 56 MHz genutzt werden. Hierfür wird eine „Window“-Funktion realisiert, die auf Basis des zuvor bekannten typischen Charakters der Signale die Peilfrequenz auswählt. Nach der Identifikation des Signals, wird dieses durch einen Filter isoliert (Bandpass) und anschließend der Eintrittswinkel des Peil-Signals des UAVs und des Piloten auf das Antennen-Array bestimmt. Die Ermittlung des Eintrittswinkels erfolgt mittels Berechnung der Phasendifferenzen der Signale zwischen den Antennen im Array.

Der Stand der Technik für die UAV-Lokalisierung basiert auf der Messung der Signalstärke (Amplitude) der RF-Kommunikation zwischen UAV/Pilot. Der Winkel kann bei segmentierten Antennen bestimmt werden (z. B. Hersteller Aaronia), wobei die Hardware-Entwicklung hierfür aufwändig ist.

Der Vorteil von software-basierten Berechungsverfahren liegt in der Flexibilität zur Anpassung an die Signal-Charakteristiken unterschiedlicher UAV-Typen (Fähigkeit zum Software-Update). Ebenfalls ist der Ansatz robust gegenüber Signal-Störungen, wodurch auch der Einsatz im innerstädtischen Bereich oder an Flughäfen (hohe Nutzung der Frequenzen) ermöglicht wird.

Das System beinhaltet zwei hochauflösende Kameras (Stereo-System), die im Abstand von ca. 1 m angebracht und mit einem „geringen“ optischen Winkel zueinander ausgerichtet sind. Es werden Verfahren zur Bildausauswertung genutzt, bspw. Background Subtraction zur Erkennung von kleinen bewegten Objekten im Betrachtungsbereich der Kameras (wie einem UAV). Ebenfalls sind Verfahren zur Identifikation des UAV-Typs im Einsatz, bspw. Faster R-CNN zur Erkennung von charakteristischen Merkmalen des fliegenden Objektes. Durch die geometrische Ausrichtung der beiden Kameras können Methoden der Stereo Vision angewendet werden. Hierfür werden die Video-Daten der beiden Camera's verglichen und der Schwerpunkt des UAVs bestimmt (relevanten Pixel in den Bildern identifiziert). Aufbauend kann die Bildtiefe gemessen und somit der Abstand zum UAV bestimmt werden.

Der Stand der Technik beschreibt die Bildauswertung von Mono-Kameras; diese werden zum einen als Sucher im Bild eingesetzt (z. B. Hersteller Belichter) und zum anderen zur Aufnahme von Videos über das UAV (z. B. Hersteller Dedrone).

Der Einsatz von Stereo-Kameras ermöglicht die Messung von Abständen (Tiefen) zum einfliegenden UAV. Über das UAV können vielfältige Informationen erfasst und gespeichert werden. So tragen Informationen über die 3D-Koordinaten und die Trajektorie des UAV dazu bei, eine Kartographie in einer 3D-Map vorzunehmen. Es können bestimmte Areale in der 3D-Map festgelegt werden, in denen UAV-Flüge erlaubt (grün), verboten mit Warnung (gelb) oder verboten/verhindert (rot) werden. Ebenfalls können in sicherheitskritischen Bereichen spezifische Aktionen (Warnungen, etc.) ausgelöst werden.

Das Akustik-Array ist ein Add-On und besteht aus mehreren omnidirektionalen Mikrophonen von bis zu 20 kHz (hörbarer Bereich). Analog zur Auswertung der RF-Signale, kann davon ausgegangen werden, dass die gleichen Verfahren zur Bestimmung des Eintrittswinkels eingesetzt werden können (nur geringere Frequenz).

Der Tand der Technik (z. B. Hersteller Drone Shield) beschreibt ebenfalls akustische Erkennungsmechanismen. Im Besonderen werden hier Richtmikrophone genutzt.

Der Vorteil von akustischen Arrays liegt in der Lokalisierung gegenüber einer einfachen Detektion (Geräusche der Propeller/Motoren des UAV). Ebenfalls ist eine Ausrichtung in einem weitaus geringen Maße notwendig als bei einem Einsatz von Richtmikrophonen. Darüber hinaus ist der Verschleiß geringer als bei motorbetriebenen Richtanlagen (keine beweglichen Teile).

Die Gegenmaßnahme zur Abwehr gegenüber UAVs ist in einem Zusatzmodul vorgesehen, einer gerichteten RF-Jammer Einheit. Diese stört die Steuersignale zwischen Pilot/UAV mittels eines direktionalen/gerichteten RF-Störsenders. Im Signal wird ein Sägezahn mit einer hohen Signalstärke an das UAV gesendet, wodurch die Verbindung zum Piloten unterbrochen und dieser die Kontrolle über das UAV verliert. Typischerweise landet das UAV oder fliegt zum Ausgangspunkt automatisch zurück.

Auch im Stand der Technik sind bereits RF-Jammer bekannt, die allerdings bisher omnidirektional Signale aussenden (z. B. Hersteller Apollo Shield); bei direktionalen Ansätzen manuell ausgerichtet werden müssen (z. B. Hersteller Battle) oder unmittelbar mechanisch mit dem Sucher verbunden sind (z. B. Hersteller Blighter).

Der Vorteil des Ansatzes liegt in der automatischen Ausrichtung der RF-Jammer Einheit anhand der 3D-Koordinaten durch das System. Ebenfalls handelt es sich um ein gerichtetes Signal, wodurch umliegende HF/RF-basierte Empfänger der gleichen Frequenz nicht gestört werden (z. B. wifi-Netzwerke). Da es nicht direkt im Erkennungs/Lokalisierungs-System integriert ist, kann das Zusatzmodul in besonders sicherheitsbedürftigen Arealen aufgestellt werden.

Das System ist in der Art und Weise aufgebaut, dass mehrere Systeme miteinander verbunden werden können (Module). Ebenfalls hat jedes Modul eine Vorzugsrichtung für die Erkennung von UAVs und Piloten. Das sind ca. 120 Grad Winkel mit einer Reichweite von ca. 500 m (aufgrund des RF/HF-Parts). Eine wesentliche Verbesserung der Güte in der Lokalisierung erfolgt ab ca. 200 m, sobald UAVs durch das Stereo-Camera-System erkannt werden können.