Title:
Projektionsmapping-Verfahren
Document Type and Number:
Kind Code:
A1

Abstract:

Ein Projektionsmapping-Verfahren beinhaltet einen Modellerstellungsschritt zum Bilden eines 3D-Modells eines Objektes auf einem elektronischen Gerät; einen Umwandlungsschritt zur Umwandlung eines Videos in ein Auflagebild; einen Projektionsschritt zum Anbringen des Auflagebilds an das 3D-Modell zur Bildung eines Projektionsmodells; einen Bilderfassungsschritt zum Erfassen eines Bildes des Projektionsmodells in einem Blickwinkel; einen Abbildungsschritt zum Abbilden des erfassten Bildes auf dem Objekt, und einen Anpassungsschritt zum Drehen, Verschieben, und/oder Skalieren des Projektionsmodells auf dem elektronischen Gerät. Alternativ können der Umwandlungsschritt und der Projektionsschritt nach dem Bilderfassungsschritt, dem Abbildungsschritt und dem Anpassungsschritt, aber gefolgt von einem Neuerfassungsschritt und einem Neuabbildungsschritt durchgeführt werden. Falls das Objekt verformt ist oder sich sein Winkel oder seine Position im Verhältnis zu einem Projektionsgerät ändert, kann das Bild sofort direkt auf dem elektronischen Gerät entsprechend abgewandelt werden. embedded image





Inventors:
Cheng, Hsiang Lung (Taoyuan City, TW)
Application Number:
DE102017101524A
Publication Date:
07/26/2018
Filing Date:
01/26/2017
Assignee:
Bruvis Multi Media Creative Co., Ltd. (New Taipei City, TW)
International Classes:
G03B21/00; G03B21/56; G03B35/20; G03B35/22; G03B37/04; G09F19/18
Domestic Patent References:
DE69702067T2N/A
Foreign References:
20030034976
20130106840
20140009466
5490080
Attorney, Agent or Firm:
Bobbert & Partner Patentanwälte PartmbB, 85435, Erding, DE
Claims:
Projektionsmapping-Verfahren zum Projizieren und Abbilden eines Bildes auf ein Zielobjekt, umfassend:
einen Modellerstellungsschritt, in welchem ein 3D-Modell auf einem elektronischen Gerät konstruiert oder hierauf importiert wird, wobei dieses 3D-Modell im Wesentlichen die gleiche Form wie das Zielobjekt hat;
einen Bilderfassungsschritt, in welchem ein Bild, welches das 3D-Modell aufweist, auf dem elektronischen Gerät in mindestens einem Blickwinkel erfasst wird;
einen Abbildungsschritt, in welchem ein Projektionsgerät zum Projizieren des Bildes, welches das 3D-Modell aufweist, in einer Richtung, die dem Blickwinkel entspricht, zum Abbilden auf ein Zielobjekt verwendet wird;
einen Anpassungsschritt, in welchem das auf dem elektronischen Gerät gezeigte 3D-Modell gedreht, verschoben und/oder skaliert wird, sodass die Kontur des im vom Projektionsgerät projizierten Bild enthaltenen 3D-Modells vollständig mit der Kontur des Zielobjekts übereinstimmt;
einen Umwandlungsschritt, in welchem ein Video auf dem elektronischen Gerät erstellt oder auf das elektronische Gerät importiert und in ein Auflagebild umgewandelt wird;
einen Projektionsschritt, in welchem das Auflagebild auf die Oberfläche des im Anpassungsschritt angepassten 3D-Modells gelegt wird und das Auflagebild und das angepasste 3D-Modell zusammen ein Projektionsmodell bilden;
einen Neuerfassungsschritt, in welchem ein das Projektionsmodell enthaltendes Projektionsbild in der mit dem Blickwinkel übereinstimmenden Richtung auf dem elektronischen Gerät erfasst wird; und
einen Neuabbildungsschritt, in welchem das das Projektionsmodell enthaltende Projektionsbild vom Projektionsgerät in der mit dem Blickwinkel übereinstimmenden Richtung zum Abbilden des Projektionsbildes auf das Zielobjekt projiziert wird.

Das Projektionsmapping-Verfahren gemäß Anspruch 1, ferner umfassend einen Neuanpassungsschritt, in welchem das Projektionsmodell neu angepasst wird, wenn eine Ausrichtung, ein Winkel und/oder eine Position des Projektionsgerätes im Verhältnis zum Zielobjekt geändert wird, sodass das im vom Projektionsgerät projizierten Bild enthaltene Projektionsmodell wieder mit der Kontur des Zielobjekts übereinstimmt.

Das Projektionsmapping-Verfahren gemäß Anspruch 1, ferner umfassend einen Neumodellerstellungsschritt, in welchem die Kontur des 3D-Modells in Übereinstimmung mit jedem Unterschied zwischen einer Originalkontur und einer Nachverformungskontur des Zielobjekts abgewandelt wird, sodass die geänderte Kontur des 3D-Modells der Nachverformungskontur des Zielobjekts gleicht; woraufhin der Projektionsschritt erneut durchgeführt wird.

Das Projektionsmapping-Verfahren gemäß Anspruch 1, wobei im Bilderfassungsschritt ein Hintergrundentfernungsverfahren am erfassten Bild durchgeführt wird, sodass nur die Kontur und ein Muster des 3D-Modells im im Blickwinkel erfassten Bild gezeigt werden.

Das Proj ektionsmapping-Verfahren gemäß Anspruch 1, wobei das Proj ektionsgerät eine erste Projektionseinheit und eine zweite Projektionseinheit umfasst, und ein erster Blickwinkel und ein zweiter Blickwinkel im Bilderfassungsschritt verwendet werden; und die erste Projektionseinheit ein erstes Bild im ersten Blickwinkel projiziert, um das erste Bild auf das Zielobjekt abzubilden, und die zweite Projektionseinheit ein zweites Bild im zweiten Blickwinkel projiziert, um das zweite Bild auf das Zielobjekt abzubilden, sodass auf dem Zielobjekt ein gemeinsamer Abbildungsbereich entsteht, auf welchen sowohl das erste als auch das zweite Bild abgebildet wird.

Das Projektionsmapping-Verfahren gemäß Anspruch 1, wobei das Projektionsgerät eine erste Projektionseinheit, eine zweite Projektionseinheit und eine dritte Projektionseinheit umfasst, und ein erster Blickwinkel, ein zweiter Blickwinkel und ein dritter Blickwinkel im Bilderfassungsschritt verwendet werden; und die erste, zweite und dritte Projektionseinheit rund um das Zielobjekt in drei im Verhältnis zu diesem verschiedenen Winkelpositionen angeordnet sind zur Projektion eines ersten, zweiten und dritten Projektionsbildes im ersten, zweiten bzw. dritten Blickwinkel, um das erste, das zweite und das dritte Projektionsbild auf das Zielobjekt abzubilden; wobei das erste, das zweite und das dritte Projektionsbild zusammen eine vollständige Außenfläche rund um das Zielobjekt abdecken.

Ein Projektionsmapping-Verfahren zum Projizieren und Abbilden eines Bildes auf ein Zielobjekt, umfassend:
einen Modellerstellungsschritt, in welchem ein 3D-Modell auf einem elektronischen Gerät konstruiert oder hierauf importiert wird, wobei dieses 3D-Modell im Wesentlichen die gleiche Form wie das Zielobjekt aufweist;
einen Umwandlungsschritt, in welchem ein Video auf dem elektronischen Gerät erstellt oder von einer anderen Datenquelle importiert und dann in ein Auflagebild umgewandelt wird;
einen Projektionsschritt, in welchem das Auflagebild auf die Oberfläche des 3D-Modells gelegt wird und das Auflagebild und das 3D-Modell zusammen ein Projektionsmodell bilden;
einen Bilderfassungsschritt, in welchem ein Bild, welches das Projektionsmodell enthält, auf dem elektronischen Gerät in mindestens einem Blickwinkel erfasst wird;
einen Abbildungsschritt, in welchem ein Projektionsgerät zum Projizieren des Bildes, welches das Projektionsmodell enthält, in einer Richtung, die dem Blickwinkel entspricht, zum Abbilden auf ein Zielobjekt verwendet wird;
einen Anpassungsschritt, in welchem das auf dem elektronischen Gerät gezeigte Projektionsmodell gedreht, verschoben und/oder skaliert wird, sodass die Kontur des im vom Projektionsgerät projizierten Bild enthaltenen Projektionsmodells völlig mit der Kontur des Zielobjekts übereinstimmt.

Das Projektionsmapping-Verfahren gemäß Anspruch 7, ferner umfassend einen Neuanpassungsschritt, in welchem das Projektionsmodell neu angepasst wird, wenn eine Ausrichtung, ein Winkel und/oder eine Position des Projektionsgerätes im Verhältnis zum Zielobjekt geändert wird, sodass das im vom Projektionsgerät projizierten Bild enthaltene Projektionsmodell wieder mit der Kontur des Zielobjekts übereinstimmt.

Das Projektionsmapping-Verfahren gemäß Anspruch 7, ferner umfassend einen Neumodellerstellungsschritt, in welchem die Kontur des 3D-Modells in Übereinstimmung mit jedem Unterschied zwischen einer Originalkontur und einer Nachverformungskontur des Zielobjekts abgewandelt wird, sodass die geänderte Kontur des 3D-Modells der Nachverformungskontur des Zielobjekts gleicht; woraufhin die Projektion erneut durchgeführt wird.

Das Projektionsmapping-Verfahren gemäß Anspruch 7, wobei im Bilderfassungsschritt ein Hintergrundentfernungsverfahren am erfassten Bild durchgeführt wird, sodass nur die Kontur und ein Muster des 3D-Modells im im Blickwinkel erfassten Bild gezeigt werden.

Das Projektionsmapping-Verfahren gemäß Anspruch 7, wobei das Projektionsgerät eine erste Projektionseinheit und eine zweite Projektionseinheit umfasst, und ein erster Blickwinkel und ein zweiter Blickwinkel in der Bilderfassung verwendet werden; wobei die erste Projektionseinheit ein erstes Bild im ersten Blickwinkel projiziert, um das erste Bild auf das Zielobjekt abzubilden, und die zweite Projektionseinheit ein zweites Bild im zweiten Blickwinkel projiziert, um das zweite Bild auf das Zielobjekt abzubilden, sodass auf dem Zielobjekt ein gemeinsamer Abbildungsbereich entsteht, auf welchem sowohl das erste als auch das zweite Bild abgebildet werden.

Das Projektionsmapping-Verfahren gemäß Anspruch 7, wobei das Projektionsgerät eine erste Projektionseinheit, eine zweite Projektionseinheit und eine dritte Projektionseinheit umfasst, und ein erster Blickwinkel, ein zweiter Blickwinkel und ein dritter Blickwinkel im Bilderfassungsschritt verwendet werden; und die erste, zweite und dritte Projektionseinheit rund um das Zielobjekt in drei im Verhältnis zu diesem verschiedenen Winkelpositionen angeordnet sind zur Projektion eines ersten, zweiten und dritten Projektionsbildes im ersten, zweiten bzw. dritten Blickwinkel, um das erste, das zweite und das dritte Projektionsbild auf das Zielobjekt abzubilden, wobei das erste, das zweite und das dritte Projektionsbild eine vollständige Außenfläche rund um das Zielobjekt abdecken.

Description:
Gebiet der Erfindung

Die vorliegende Erfindung betrifft ein Projektionsmapping-Verfahren zur Projektion und zum Abbilden eines Videos oder Bildes auf ein dreidimensionales Zielobjekt, und insbesondere ein Projektionsmapping-Verfahren, welches eine rasche Anpassung des zu projizierenden Bildes direkt auf einer elektronischen Vorrichtung ermöglicht, wenn es Änderungen in der Form des Ziel Objektes oder der relativen Position zwischen dem Zielobjekt und einer Projektionsvorrichtung gibt.

Hintergrund der Erfindung

Projektionsmapping ist eine Projektionstechnologie, die einen Projektionsapparat verwendet, um ein Video auf Oberflächen eines physischen Objektes zu projizieren, um durch die Projektion eines speziell ausgelegten Videos auf die Oberflächen eines Realobjektes wie den Wänden eines Gebäudes, einer Bühne, einer Ausstellungsfläche oder einem relativ großen Produkt, zum Beispiel einem Auto, um besondere wechselvolle Farben, Muster oder andere optische Effekte zu erzeugen und damit künstlerische Arbeiten zu präsentieren oder Werbung darzustellen. In letzter Zeit hat sich Projektionsmapping als eine beliebte und weit verbreitete Technologie für visuelle Live-Aufführungen, die in einer Vielzahl von Darstellungsformen eingesetzt wird, etabliert.

Gemäß der derzeit bekannten Projektionsmapping-Technologie wird zunächst ein Blickwinkel eines Projektors, der relativ zum materiellen Objekt, auf welches projiziert werden soll, oder dem Zielobjekt, steht, gespeichert. Dann wird ein Video erstellt, welches in einer Richtung, die mit dem gespeicherten Blickwinkel übereinstimmt, projiziert werden soll. Ferner wird die Position und Kontur des Zielobjekts zur entsprechenden Darstellung im Video berechnet, und Abschnitte des Videos, welche nicht das Zielobjekt darstellen, werden geschwärzt. Schließlich wird das fertig gestellte Video vom entsprechenden Projektor auf das Zielobjekt projiziert, was den optischen Anschein erweckt, dass das Video auf den Oberflächen des Zielobjektes abgespielt wird.

Die derzeitige Proj ektionsmapping-Technologie unterliegt gewissen Einschränkungen. Erstens ist der aufgenommene Blickwinkel fix und nicht änderbar, da der Blickwinkel des Projektors im Verhältnis zum Zielobjekt als erstes festgelegt wird, um es zu ermöglichen, dass das Video zur Projektion in derselben Richtung des Blickwinkels gestaltet wird. Für den Fall, dass sich der Blickwinkel des Projektors im Verhältnis zum Zielobjekt ändert, muss das gesamte Video neu gestaltet werden. Ähnlich ist es im Falle, wenn es einen Unterschied in der bestehenden Kontur und Position des Zielobjekts gibt, nachdem das Video entworfen ist, auch dann muss das vorher gestaltete Video neu erstellt werden, was aufwendig ist. Zweitens ist jedes Video dazu gestaltet, auf einem Zielobjekt in einer Richtung, die mit dem vorher bestimmten Blickwinkel übereinstimmt, projiziert zu werden, sodass ein zweidimensionales Video entsprechend auf den dreidimensionalen Oberflächen des Zielobjekts gezeigt werden kann. Für den Fall, dass verschiedene Videos auf dasselbe Zielobjekt projiziert werden sollen, ist es ebenfalls notwendig, alle Videos neu zu gestalten.

Zusammenfassung der Erfindung

Eine Hauptaufgabe der Erfindung ist es, ein Projektionsmapping-Verfahren bereitzustellen, wonach ein Video, welches auf das Zielobjekt projiziert werden soll, bei jeglicher Änderung einer Ausrichtung, einer Position und/oder eines Winkel eines Projektionsgerätes im Verhältnis zu einem Zielobjekt, auf welches ein Bild abgebildet werden soll, und sogar bei jeglicher Änderung in der Kontur eines Ziel objektes, direkt auf einem elektronischen Gerät entsprechend dieser Änderung angepasst werden kann, um die Zeit und Kosten der Neugestaltung des Videos für das Projektionsmapping zu verringern.

Eine andere Aufgabe der Erfindung ist es, ein Projektionsmapping-Verfahren bereitzustellen, wonach eine Vielzahl von Videos für das Projektionsmapping in verschiedene Richtungen auf ein Zielobjekt schnell produziert und projiziert werden kann, um mögliche durch die Form des Zielobjekts hervorgerufene tote Winkel in der Projektion zu verringern.

Eine weitere Aufgabe der Erfindung ist es, ein Projektionsmapping-Verfahren bereitzustellen, wonach eine Vielzahl von Videos für das Projektionsmapping auf ein Zielobjekt zur selben Zeit in verschiedene Richtungen schnell produziert und auf sämtliche Oberflächen des Zielobjekts abgebildet werden kann.

Um vorstehend genannte und andere Aufgaben zu erfüllen, beinhaltet das Projektionsmapping-Verfahren der ersten Ausführungsform der vorliegenden Erfindung zum Abbilden eines Bildes auf ein Zielobjekt einen Modellerstellungsschritt, einen Bilderfassungsschritt, einen Abbildungsschritt, einen Anpassungsschritt, einen Umwandlungsschritt, einen Projektionsschritt, einen Neuerfassungsschritt und einen Neuabbildungsschritt.

Im Modellerstellungsschritt wird ein dreidimensionales (3D-) Modell auf einem elektronischen Gerät konstruiert oder hierauf importiert. Dieses 3D-Modell hat im Wesentlichen die gleiche Form wie das Zielobjekt. In der vorliegenden Erfindung ist die Konstruktion des 3D-Modells nicht auf eine spezielle Weise beschränkt. Das 3D-Modell kann manuell konstruiert werden, indem die derzeit bekannte 3D-Zeichensoftware zusammen mit Bildern des Zielobjekts verwendet wird oder durch Verwendung von Laserscan, Ultraschallscan usw. oder durch Verwendung von Bildern, die von einer Drohne in verschiedenen Richtungen aufgenommen wurden.

Im Bilderfassungsschritt wird ein Bild, welches das 3D-Modell in einem bestimmten Blickwinkel enthält, unter Verwendung des elektronischen Geräts erfasst.

Nachdem das Bild festgelegt ist, werden der Abbildungsschritt und der Anpassungsschritt durchgeführt. Im Abbildungsschritt wird ein Proj ektionsgerät zum Abbilden des Bildes auf ein Zielobjekt in einer Richtung, die mit dem Blickwinkel übereinstimmt, verwendet. Bei der praktischen Umsetzung der vorliegenden Erfindung gibt es keine besonderen Beschränkungen in Bezug auf die Anzahl und Art des Projektionsgerätes.

Im Anpassungsschritt kann das 3D-Modell direkt auf dem elektronischen Gerät gedreht, verschoben und/oder skaliert werden, bis die Kontur des 3D-Modells im vom Projektionsgerät projizierten Bild völlig mit der Kontur des Zielobjekts übereinstimmt. Gemäß der vorliegenden Erfindung gibt es keine besondere Beschränkung, was die Vorgehensweise betrifft, in der bestimmt wird, ob die Kontur des 3D-Modells bereits mit der Kontur des Zielobjekts übereinstimmt.

Im Umwandlungsschritt wird ein Video, welches auf dem elektronischen Gerät erstellt oder von einer anderen Datenquelle importiert wurde, in ein Auflagebild umgewandelt, nachdem die Kontur des 3D-Modells auf die Kontur des Zielobjekts angepasst wurde. In manchen Ausführungsformen ist das Video ein Muster fürs Projektionsmapping. Dann, im Projektionsschritt, wird das Auflagebild so auf die Oberfläche des 3D-Modells, welches im Anpassungsschritt gut angepasst wurde, gelegt, dass das Auflagebild und das 3D-Modell zusammen ein Proj ektionsmodell bilden. In der vorliegenden Erfindung gibt es keine besondere Beschränkung in Bezug auf die Reihenfolge der Durchführung der weiteren Schritte, abgesehen vom Umwandlungsschritt und Projektionsschritt.

Danach werden der Neuerfassungsschritt und der Abbildungsschritt durchgeführt. Im Neuerfassungsschritt wird ein Projektionsbild, welches das Projektionsmodell enthält, im Blickwinkel auf dem elektronischen Gerät erfasst. Dann, im Neuabbildungsschritt, wird das Projektionsbild durch das Projektionsgerät in der Richtung, die mit dem Blickwinkel zum Abbilden auf das Zielobjekt übereinstimmt, projiziert.

Zur Lösung der vorgenannten und weiterer Aufgaben beinhaltet das Projektionsmapping-Verfahren gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zum Abbilden eines Bildes auf ein Zielobjekt einen Modellerstellungsschritt, einen Umwandlungsschritt, einen Projektionsschritt, einen Bilderfassungsschritt, einen Abbildungsschritt und einen Anpassungsschritt.

Im Gegensatz zur ersten Ausführungsform werden in der zweiten Ausführungsform der Modellerstellungsschritt, der Umwandlungsschritt und der Projektionsschritt nacheinander und vor dem Bilderfassungsschritt, dem Abbildungsschritt und dem Anpassungsschritt durchgeführt. Der Neuerfassungsschritt und der Neuabbildungsschritt werden beim Verfahren gemäß der zweiten Ausführungsform ausgelassen. Jedoch sind trotz der Änderung in der Abfolge der Durchführung der Schritte dieses Verfahrens der Modellerstellungsschritt und der Umwandlungsschritt in der zweiten Ausführungsform dieselben in der ersten Ausführungsform.

Gemäß der zweiten Ausführungsform wird das Auflagebild im Projektionsschritt zur gemeinsamen Bildung eines Projektionsmodells auf die Oberfläche des 3D-Modells gelegt; im Bilderfassungsschritt wird ein das Projektionsmodell in einem speziellen Blickwinkel zeigendes Bild unter Verwendung des elektronischen Geräts erfasst; und im Abbildungsschritt wird ein Projektionsgerät verwendet, um das das Projektionsmodell enthaltende Bild in einer mit dem Blickwinkel übereinstimmenden Richtung auf das Zielobjekt zu projizieren und abzubilden.

Zuletzt, im Anpassungsschritt, wird das Projektionsmodell, welches auf dem elektronischen Gerät gesehen wird, gedreht, verschoben und/oder skaliert, bis das im vom Projektionsgerät projizierten Bild enthaltene Projektionsmodell eine Kontur hat, die völlig mit der Kontur des Zielobjekts übereinstimmt.

Zur Lösung der vorgenannten und anderer Aufgaben wird das Projektionsmapping-Verfahren gemäß einer dritten Ausführungsform der vorliegenden Erfindung zum Abbilden eines Bildes auf ein Zielobjekt auf Basis der ersten oder der zweiten Ausführungsform festgelegt und beinhaltet ferner einen Neuanpassungsschritt, in welcher das Projektionsmodell, wenn sich eine Ausrichtung, ein Winkel und/oder eine Position des Projektionsgeräts im Verhältnis zum Zielobjekt ändert, neu angepasst wird, sodass das im vom Projektionsgerät projizierten Bild enthaltene Projektionsmodell wieder mit der Kontur des Zielobjekts übereinstimmt. In der vorliegenden Erfindung gibt es keine besondere Beschränkung, was die Art der Erkennung und Erfassung von Änderungen der Position, Ausrichtung und/oder des Blickwinkels des Projektionsgerätes im Verhältnis zum Zielobjekt betrifft.

Das Projektionsmapping-Verfahren gemäß der dritten Ausführungsform der vorliegenden Erfindung beinhaltet ferner einen Neumodellerstellungsschritt, in welcher die Kontur des 3D-Modells einem beliebigen Unterschied zwischen einer Originalkontur des Zielobjekts und einer Kontur des Zielobjekts nach Verformung entsprechend abgeändert wird, sodass die abgeänderte Kontur des 3D-Modells genau mit der Kontur nach Verformung des Zielobjekts übereinstimmt; danach werden alle anderen Schritte noch einmal durchgeführt, bis die Kontur des im Bild enthaltenen 3D-Modells völlig mit der des Zielobjekts übereinstimmt.

Gemäß der vorliegenden Erfindung kann im Bilderfassungsschritt der vorstehend beschriebenen Ausführungsformen ein Hintergrundentfernungsverfahren am erfassten Bild durchgeführt werden, sodass nur die Kontur und das Muster des Projektionsmodells, welches im im Blickwinkel erfassten Bild enthalten ist, im Bild dargestellt werden. Einige unnötige Abschnitte können auf dem Bild soweit wie möglich weggelassen werden, um dadurch die Qualität des vom Projektionsgerät projizierten Bildes zu verbessern. In manchen anderen Ausführungsformen ermöglicht das Hintergrundentfernungsverfahren es dem elektronischen Gerät, die Kontur des Projektions- und des 3D-Modells unter Verwendung einiger Programme komfortabel zu bestimmen.

Gemäß einer auf Basis der vorherigen Ausführungsformen festgelegten vierten Ausführungsform der vorliegenden Erfindung umfasst das Projektionsgerät eine erste Projektionseinheit und eine zweite Projektionseinheit. Ein erster Blickwinkel und ein zweiter Blickwinkel werden in der Bilderfassung verwendet. Die erste Proj ektionseinheit projiziert zum Abbilden des ersten Bildes auf das Zielobjekt ein erstes Bild im ersten Blickwinkel, und die zweite Projektionseinheit projiziert zum Abbilden des zweiten Bildes auf das Zielobjekt ein zweites Bild im zweiten Blickwinkel, sodass ein gemeinsamer Abbildungsbereich, auf welchen sowohl das erste als auch das zweite Bild abgebildet werden, auf dem Zielobjekt erzeugt wird. Durch den gemeinsamen Abbildungsbereich ist es möglich, durch eine Form des Zielobjekts, welche erhabene und vertiefte Bereiche aufweist, hervorgerufene tote Winkel in der Projektion zu verringern.

Gemäß einer auf Basis der vorherigen Ausführungsformen festgelegten fünften Ausführungsform der vorliegenden Erfindung beinhaltet das Projektionsgerät eine erste Projektionseinheit, eine zweite Projektionseinheit und eine dritte Projektionseinheit, und ein erster Blickwinkel, ein zweiter Blickwinkel und ein dritter Blickwinkel werden in der Bilderfassung genutzt. Die erste, zweite und dritte Projektionseinheit werden rund um das Zielobjekt in drei verschiedenen Winkelstellungen im Verhältnis zum Zielobjekt angeordnet zur Projektion eines ersten, zweiten und dritten Projektionsbildes im jeweils ersten, zweiten und dritten Blickwinkel, um das erste, das zweite und das dritte Bild auf das Zielobjekt abzubilden; und das erste, das zweite und das dritte Bild decken gemeinsam eine vollständige Außenfläche rund um das Zielobjekt ab, um die Bereiche auf dem Zielobjekt, die durch das Auflagebild abgebildet werden, zu vergrößern.

Zusammenfassend werden alle Ausführungsformen des Verfahrens gemäß der vorliegenden Erfindung festgelegt, um eine rasche Neugestaltung des Videos zum Projektionsmapping zu ermöglichen, wenn es eine Änderung in der Ausrichtung, Position und/oder dem Winkel des Projektionsgerätes im Verhältnis zum Zielobjekt gibt. Der erste Schritt in dem Verfahren gemäß allen Ausführungsformen ist der Modellerstellungsschritt, in welchem ein 3D-Modell auf dem elektronischen Gerät konstruiert wird. Danach wird das Video, welches auf dem Zielobjekt gezeigt werden soll, in das Auflagebild zum Ausgeben auf der Oberfläche des 3D-Modells zur Bildung des Projektionsmodells umgewandelt. Schließlich wird das Projektionsbild, welches das Projektionsmodell enthält, in der Richtung erfasst, welche mit dem Blickwinkel für das Projektionsmapping auf das Zielobjekt mittels des Projektionsgerätes übereinstimmt. Gemäß der üblichen Projektionsmapping-Technik wird der Blickwinkel des Videos zuerst bestimmt und weitere folgende Vorgänge werden danach durchgeführt. Im Gegensatz zur üblichen Projektionsmapping-Technik muss der Anwender im Projektionsmapping-Verfahren der vorliegenden Erfindung im Falle jeder beliebiger Änderung der Ausrichtung, Position und/oder Winkel des Projektionsgerätes im Verhältnis zum Zielobjekt, bei der das Video erneut erstellt werden müsste, für das Projektionsmapping nur das Video den relativen Änderungen zwischen Zielobjekt und dem Projektionsgerät entsprechend anpassen und den Blickwinkel zur Erfassung des Bildes, welches das Projektionsmodell enthält, direkt auf dem elektronischen Gerät zurücksetzen.

Ferner muss der Anwender im Falle einer Änderung der Form des Zielobjekts nur die Form des 3D-Modells im Modellerstellungsschritt ändern, sodass sie der geänderten Form des Zielobjektes entspricht, und den Bilderfassungsschritt und weitere folgende Schritte wieder durchführen, ohne dass das Video mit dem Anfangsschritt der Wahl eines neuen Blickwinkels neu produziert werden muss, was sonst bei der üblichen Projektionsmapping-Technik notwendig ist.

Schließlich muss der Anwender, wenn eine Vergrößerung der Bereiche auf dem Zielobjekt, auf denen das Attachment Image gezeigt werden kann, gewünscht ist, um mögliche tote Winkel der Projektion zu verringern, nur eine Vielzahl der Projektionseinheiten des Projektionsgerätes verwenden und eine Vielzahl an Bildern in einer Vielzahl an Blickwinkeln in der Bilderfassung erfassen und projiziert dann die Bilder zur gleichen Zeit auf das Zielobjekt.

Figurenliste

Der in der vorliegenden Erfindung zur Lösung der vorstehenden und anderer Aufgaben verwendete Aufbau und die technischen Mittel können am besten anhand der nachstehenden detaillierten Beschreibung der bevorzugten Ausführungsformen und den beigefügten Figuren nachvollzogen werden, wobei

  • 1 ein Flowchart darstellt, welches die Schritte zeigt, die das Projektionsmapping-Verfahren gemäß der ersten Ausführungsform der vorliegenden Erfindung umfasst;
  • 2 eine bildhafte Darstellung des Modellerstellungsschritts und des Bilderfassungsschritts im Projektionsmapping-Verfahren der 1 zeigt;
  • 3 eine bildhafte Darstellung des Abbildungsschritts im Projektionsmapping-Verfahren der 1 zeigt;
  • 4 eine bildhafte Darstellung des Anpassungsschritts im Projektionsmapping-Verfahren der 1 zeigt;
  • 5 eine bildhafte Darstellung des Umwandlungsschritts, des Proj ektionsschritts und des Neuerfassungsschritts im Projektionsmapping-Verfahren der 1 zeigt;
  • 6 eine bildhafte Darstellung des Neuabbildungsschritts im Projektionsmapping-Verfahren der 1 zeigt;
  • 7 ein Flowchart zeigt, welches die Schritte darstellt, die das Projektionsmapping-Verfahren gemäß einer zweiten Ausführungsform der vorliegenden Erfindung umfasst;
  • 8 eine bildhafte Darstellung des Modellerstellungsschritts im Projektionsmapping-Verfahren der 7 zeigt;
  • 9 eine bildhafte Darstellung des Umwandlungsschritts, des Projektionsschritts und des Bilderfassungsschritts im Proj ektionsmapping-Verfahren der 7 zeigt;
  • 10 eine bildhafte Darstellung des Abbildungsschritts im Projektionsmapping-Verfahren der 7 zeigt;
  • 11 eine bildhafte Darstellung des Anpassungsschritts im Projektionsmapping-Verfahren der 7 zeigt;
  • 12 ein Flowchart zeigt, welches die Schritte darstellt, die das Projektionsmapping-Verfahren gemäß einer dritten Ausführungsform der vorliegenden Erfindung umfasst;
  • 13 eine bildhafte Darstellung des Neuabbildungsschritts im Projektionsmapping-Verfahren der 12 zeigt, in welchem eine Originalkontur des im Modellerstellungsschritt konstruierten 3D-Modells derart verändert wird, dass sie mit der Kontur nach einer Verformung übereinstimmt;
  • 14 das Projektionsmapping-Verfahren gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt, in welcher zwei Projektionseinheiten im Abbildungsschritt verwendet werden, um jeglichen Schattenwurf auf einem Zielobjekt zu vermeiden; und
  • 15 das Projektionsmapping-Verfahren gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt, in welcher mehrere Projektionseinheiten im Abbildungsschritt verwendet werden, um die Bereiche auf dem Zielobjekt zu vergrößern, die mittels eines Videos abgebildet werden.

Detaillierte Beschreibung der bevorzugten Ausführungsformen

Nachfolgend wird die vorliegende Erfindung anhand einiger bevorzugter Ausführungsformen und unter Bezug auf die beigefügten Figuren beschrieben. Zur besseren Verständlichkeit bezeichnen gleiche Bezugszeichen gleiche Elemente in den bevorzugten Ausführungsformen.

Es wird auf 1 bis 6 verwiesen, wobei 1 ein Flowchart ist, welches die Schritte zeigt, die das Projektionsmapping-Verfahren gemäß der ersten Ausführungsform der vorliegenden Erfindung umfasst. Das Projektionsmapping-Verfahren beginnt mit dem Start A. Das Projektionsmapping-Verfahren wird zum Projizieren und Abbilden eines Bildes auf ein Zielobjekt 10 verwendet. Wie in 1 gezeigt beinhalten die Schritte, die von der ersten Ausführungsform der vorliegenden Erfindung umfasst sind, einen Modellerstellungsschritt 20, einen Bilderfassungsschritt 21, einen Abbildungsschritt 22, einen Anpassungsschritt 23, einen Umwandlungsschritt 24, einen Projektionsschritt 25, einen Neuerfassungsschritt 26 und einen Neuabbildungsschritt 27. 2 bis 6 sind bildhafte Darstellungen dieser Schritte. Das Projektionsmapping-Verfahren endet mit B.

Wie in 1 und 2 gezeigt, wird im Modellerstellungsschritt 20 ein dreidimensionales (3D-) Modell 202 auf einem elektronischen Gerät 201 wie beispielsweise einem Computer unter Verwendung zugehöriger Programme konstruiert. Alternativ kann ein vorher konstruiertes 3D-Modell 202 von einem anderen Computer auf das elektronische Gerät 201 zur Nutzung importiert werden. Das 3D-Modell 202 sollte eine im Wesentlichen gleiche Form wie das Zielobjekt 10 haben. Dies ist der Fall, da die Vollständigkeit des 3D-Modells 202 unmittelbaren Einfluss auf die Fähigkeit zur Nutzung eines darauffolgend erstellten Bildes 210 unter verschiedenen Projektionsmapping-Bedingungen hat. Je mehr das 3D-Modell 202 dem Zielobjekt 10 gleicht, umso mehr ist auch das darauffolgend erstellte Bild 210 an Änderungen im Winkel, der Position und der Richtung des Zielobjekts 10 im Verhältnis zu einem Projektionsgerät 220, welches zum Projizieren und/oder Mappen von Bildern genutzt wird, anpassbar. Es wird darauf hingewiesen, dass das 3D-Modell 202 nicht notwendigerweise ein echtes dreidimensionales Modell ist. Im Falle, dass das Zielobjekt 10 ein im Wesentlichen flaches Objekt ist, wie zum Beispiel eine Flagge, kann das 3D-Modell 202 ein zweidimensionales Modell sein. Die Verwendung des Ausdrucks „3D“ bedeutet nur, dass die darauffolgende Bilderfassung 21 aus drei Dimensionen in verschiedenen Winkeln durchgeführt werden kann.

Es wird auch darauf hingewiesen, dass in der vorliegenden Erfindung das elektronische Gerät 201 nicht besonders auf eine bestimmte Weise beschränkt ist. Das elektronische Gerät 201 kann einen Desktopcomputer, ein Notebook, ein Mobiltelefon und ein Tablet einschließen, ist aber nicht hierauf beschränkt. Ferner ist die Konstruktion des 3D-Modells 202 in der vorliegenden Erfindung nicht besonders auf eine spezielle Durchführungsweise beschränkt. In der praktischen Umsetzung der vorliegenden Erfindung kann das 3D-Modell 202 unter Verwendung der derzeit bekannten 3D-Zeichensoftware zusammen mit Bildern des Zielobjekts 10 konstruiert werden, oder durch Laserscan, Ultraschallscan usw., oder durch Verwendung von Bildern, die von einer auf einer Drohne angebrachten Rundum-Kamera aufgenommen wurden. Jede andere Herangehensweise, die hier nicht erwähnt ist, aber verwendet werden kann, um das 3D-Modell 202 des Zielobjekts 10 auf dem elektronischen Gerät 201 zu erstellen, soll im Umfang der vorliegenden Erfindung enthalten sein.

Nach der Konstruktion des 3D-Modells springt das Verfahren zum Bilderfassungsschritt 21. Im Bilderfassungsschritt 21 wird ein Bild 210, welches das 3D-Modell 202 von einem speziellen Blickwinkel 222 aus betrachtet enthält, mittels des elektronischen Geräts 201, d. h. dem Computer, erfasst. Das erfasste Bild 210 kann auf einem Bildschirm des Computers überprüft und bestätigt werden. Der Blickwinkel 222 kann dem tatsächlichen Verwendungsbedarf entsprechend frei ausgewählt werden. In der dargestellten ersten Ausführungsform ist der Blickwinkel 222 eine Winkelrichtung, die auf dem Bildschirm des elektronischen Geräts 201 angezeigt wird, er ist aber nicht hierauf beschränkt. Im Sinne einer übersichtlichen Darstellung ist der Blickwinkel 222 nicht in 2 gezeigt.

Im Bilderfassungsschritt 21 wird das Bild 210 ferner einem Hintergrundentfernungsverfahren 21a unterworfen, sodass nur die Kontur des 3D-Modells 202 im im Blickwinkel 222 erfassten Bild 210 gesehen werden kann. In der vorliegenden Erfindung gibt es keine besondere Beschränkung in Bezug auf die Art des Hintergrundentfernungsverfahrens 21a. Es kann zum Beispiel das übliche Verfahren zum Zeigen von schwarzer Kontur auf weißem Hintergrund oder jegliche andere Technik zum Entfernen des Hintergrundes von einem Bild zum Herausstellen eines Objektes verwendet werden, um das Hintergrundentfernungsverfahren 21a zu vollenden, sodass der sichtbare Teil des Bildes 210 mit dem 3D-Modell 202 übereinstimmt. Gemäß der vorliegenden Erfindung wird das Hintergrundentfernungsverfahren 21a jedoch nicht notwendigerweise während des Bilderfassungsschritts 21 durchgeführt. In manchen anderen Ausführungsformen kann das Hintergrundentfernungsverfahren 21a in anderen Schritten des Verfahrens der vorliegenden Erfindung durchgeführt, oder sogar weggelassen werden. In manchen Ausführungsformen kann der Computer ein durch eine mit der Projektionseinrichtung 220 assoziierte Kameraeinheit erfasstes Bild eingeben, sodass ein Anwender direkt auf dem Computer prüfen kann, wie das Projektionsgerät 220 tatsächlich zum Zielobjekt 10 ausgerichtet ist und um das Erscheinungsbild, in welchem das erfasste Bild 210 auf das Zielobjekt 10 projiziert und abgebildet wird, zu simulieren.

Es wird auf 1 und 3 verwiesen. Nachdem das Bild 210 festgelegt ist, geht das Verfahren zum Abbildungsschritt 22 über. Im Abbildungsschritt 22 wird unter Verwendung einer Projektionseinheit 221 des Projektionsgerätes 220 ein Bild 210 in einer mit dem Blickwinkel 222 übereinstimmenden Richtung auf das Zielobjekt 10 projiziert. In der vorliegenden Erfindung gibt es keine besondere Beschränkung in Bezug auf die Anzahl und Art der Projektionseinheit 221. Jeglicher Projektor, der zum Projizieren eines Bildes verwendet werden kann, kann auch für die vorliegende Erfindung herangezogen werden.

Anschließend wird auf 1, 3 und 4 verwiesen. Wenn das Bild 210 durch die Projektionseinheit 221 auf das Zielobjekt 10 projiziert wird, kann die Kontur des im Bild 210 enthaltenen 3D-Modells 202 sich aufgrund von manchen Faktoren wie zum Beispiel dem Projektionsgerät, dem Standort oder anderen Faktoren von der tatsächlichen Kontur des Zielobjekts 10 unterscheiden. Daher benötigt das im Bild 210 enthaltene 3D-Modell 202 noch Anpassungen wie zum Beispiel Drehen, Verschieben und/oder Skalieren des 3D-Modells 202. Zu diesem Zweck springt das Verfahren zur Anpassung 23.

Im Anpassungsschritt 23 kann das 3D-Modell 202 direkt auf dem Computer gedreht, verschoben und/oder skaliert werden, bis die Kontur des 3D-Modells 202 im von der Projektionseinheit 221 projizierten Bild 210 vollständig mit der Kontur des Zielobjektes 10 übereinstimmt. Danach können darauffolgende Schritte durchgeführt werden.

Es wird darauf hingewiesen, dass der Anpassungsschritt 23 in der dargestellten ersten Ausführungsform auf dem elektronischen Gerät 201 durchgeführt wird, um das auf dem Bildschirm des elektronischen Geräts 201 sichtbare 3D-Modell 202 direkt zu drehen, zu verschieben und/oder zu skalieren, um auf das im Bild 210 im Blickwinkel 222 erfasste 3D-Modell 202, und entsprechend das 3D-Modell 202, welches von der Projektionseinheit 221 projiziert wird, einzuwirken. Das heißt, die Drehung, Verschiebung und/oder Skalierung zum Zwecke der Anpassung der Kontur des 3D-Modells 202 werden nicht auf dem von der Projektionseinheit 221 projizierten 3D-Modell 202 durchgeführt. Dabei kann die Anpassung eine auf dem 3D-Modell 202 im Bild 210 gemachte Drehung, Verschiebung und/oder Skalierung, oder einfach jegliche Änderung der Position eines Beobachtungspunktes im erfassten Bild 210 sein.

Zudem gibt es gemäß der vorliegenden Erfindung keine besondere Beschränkung hinsichtlich der Feststellungsweise, ob die Kontur des 3D-Modells 202 bereits mit der Kontur des Zielobjekts 10 übereingestimmt hat. In der dargestellten ersten Ausführungsform ist es der Anwender, der direkt per Hand bestimmt, ob die Kontur des 3D-Modells 202 im Bild 210 mit dem Zielobjekt 10 übereinstimmt. In manchen anderen Ausführungsformen kann der Anwender jedoch ein einschlägiges im Computer integriertes Programm wie zum Beispiel ein Bildanalyseprogramm nutzen, um am von der Projektionseinheit 221 projizierten und direkt durch die Kameraeinheit auf dem Projektionsgerät 220 erfassten Bild 210 sowie am am Aufstellort der Proj ektionseinheit 221 betrachteten Bild des Zielobjektes 10 zu arbeiten, sodass der Computer automatisch und unmittelbar bestimmen kann, ob die Konturen des 3D-Modells 202 und des Zielobjekts 10 miteinander übereinstimmen oder nicht, und dann notwendige Änderungen vornehmen kann.

Es wird auf 1 und 5 verwiesen. Im Umwandlungsschritt 24 wird ein im elektronischen Gerät 201 (d. h. dem Computer) erstelltes oder von einer anderen Datenquelle importiertes Video 241 unter Verwendung der üblichen Technik von DirectX oder OpenGL in ein Auflagebild 242 umgewandelt. Ebenso gibt es in der vorliegenden Erfindung keine besondere Beschränkung hinsichtlich der Umwandlungsart des Videos 241 in das Auflagebild 242. Die hier erwähnten Techniken von DirectX und OpenGL sind rein exemplarisch und sollen die vorliegende Erfindung nicht beschränken. Es gibt auch keine besondere Beschränkung hinsichtlich der Art oder Details des Videos 241. In machen anwendbaren Ausführungsformen kann das Video 241 ein statisches Bild sein. Aber in manchen anderen Ausführungsformen kann das Video 241 ein bewegtes Video 241 sein.

Es wird auf 1, 5 und 6 verwiesen. Nach der Erstellung des Auflagebilds 242 springt das Verfahren zum Projektionsschritt 25. Im Projektionsschritt 25 wird das Auflagebild 242 so auf die Oberfläche des im Anpassungsschritt 23 gut angepassten 3D-Modells 202 gelegt, dass das Auflagebild 242 und das 3D-Modell 202 gemeinsam ein Projektionsmodell 243 bilden. Dann werden der Neuerfassungsschritt 26 und der Neuabbildungsschritt 27 durchgeführt.

Im Neuerfassungsschritt 26 wird ein das Projektionsmodell 243 enthaltendes Projektionsbild 211 im Blickwinkel 222 auf dem elektronischen Gerät 201 erfasst. Dann, im Neuabbildungsschritt 27, wird das Projektionsbild 211 durch die Projektionseinheit 221 im Blickwinkel 222 projiziert, um auf das Zielobjekt 10 abgebildet zu werden, sodass das 3D-Modell 202 im vorher von der Projektionseinheit 221 projizierten Bild 210 in das Projektionsmodell 242 abgeändert wird. Auf diese Weise wird das Auflagebild 242 auf dem Zielobjekt 10 gezeigt.

Wie der vorstehenden Beschreibung entnommen werden kann, ist im im letzten von der Projektionseinheit 221 projizierten Bild 210 enthaltenen Projektionsmodell 243 die Form des gezeigten Auflagebilds 242 bereits im Anpassungsschritt 23 in Übereinstimmung mit der Oberflächenform des 3D-Modells 202 im Projektionsschritt 25 angepasst worden. Daher kann der Anwender, wenn er beabsichtigt, das durch das Projektionsgerät 220 zu projizierende Video 241 auszutauschen, das Auflagebild 242 direkt auf dem Projektionsmodell 243 durch ein anderes gewünschtes Video ersetzen und für die Änderung notwendige Anpassungen vornehmen, ohne dass ein neues 3D-Modell konstruiert werden muss, um das gewünschte Video 241 zu zeigen.

Die hierin angeführten Beschreibungen mit Bezug auf 1 bis 6 zielen auf nur eine von vielen anwendbaren Ausführungsformen des Verfahrens der vorliegenden Erfindung ab. Es wird ferner auf 7 bis 11 verwiesen, in welchen das Projektionsmapping-Verfahren gemäß einer zweiten Ausführungsform der vorliegenden Erfindung gezeigt wird. Das Verfahren der vorliegenden Erfindung in der zweiten Ausführungsform wird ebenfalls zum Projizieren und Abbilden eines Bildes auf ein Zielobjekt 10 verwendet und beinhaltet nacheinander einen Modellerstellungsschritt 20, einen Umwandlungsschritt 24, einen Projektionsschritt 25, einen Bilderfassungsschritt 21, einen Abbildungsschritt 22 und einen Anpassungsschritt 23.

In der vorstehend beschriebenen ersten Ausführungsform werden der Umwandlungsschritt 24 und der Projektionsschritt 25 nach dem Anpassungsschritt 23 durchgeführt, und der Neuerfassungsschritt 26 und der Neuabbildungsschritt 27 werden nach dem Projektionsschritt 25 durchgeführt. Anders als in der ersten Ausführungsform werden im Verfahren der zweiten Ausführungsform der vorliegenden Erfindung der Umwandlungsschritt 24 und der Projektionsschritt 25 sofort nach dem Modellerstellungsschritt 20 durchgeführt, und der Neuerfassungsschritt 26 und der Neuabbildungsschritt 27 werden weggelassen. Nachdem der Modellerstellungsschritt 20 und der Umwandlungsschritt 24 in der zweiten Ausführungsform im Wesentlichen die gleichen sind wie jene der ersten Ausführungsform, wird hier auf die nochmalige Beschreibung verzichtet. Die folgenden Beschreibungen werden direkt zum Projektionsschritt 25 übergehen.

Nach der Durchführung des in 8 gezeigten Modellerstellungsschritts 20 und des in 9 gezeigten Umwandlungsschritts 24, geht das Verfahren über zum Projektionsschritt 25 weiter, von dem eine bildhafte Beschreibung auch in 9 gezeigt ist. Im Projektionsschritt 25 wird das Auflagebild 242 zur gemeinsamen Bildung eines Projektionsmodells 243 auf die Oberfläche des 3D-Modells 202 gelegt. Es wird darauf hingewiesen, dass das 3D-Modell 202 im Projektionsschritt 25 gemäß der zweiten Ausführungsform nicht vorher einem Anpassungsschritt 23 für eine mögliche Änderung unterworfen wurde.

Dann geht das Verfahren zum Bilderfassungsschritt 21 über. Im Bilderfassungsschritt 21 wird ein das in einem speziellen Blickwinkel 222 zeigendes Proj ektionsmodell 243 enthaltendes Bild 210 unter Verwendung des elektronischen Geräts 201, d.h. des Computers, erfasst. Der Blickwinkel 222 ist auch in der zweiten Ausführungsform eine auf dem Bildschirm des elektronischen Gerätes 201 angezeigte Winkelrichtung, aber nicht hierauf beschränkt. Jedoch ist der Blickwinkel 222 zum Zwecke der angenehmeren Darstellung nicht in 9 gezeigt.

Es wird auf 7 und 10 verwiesen. Im Abbildungsschritt 22 wird eine Projektionseinheit 221 eines Projektionsgerätes 220 verwendet, um das das Projektionsmodell 243 enthaltende Bild 210 in einer mit dem Blickwinkel 222 übereinstimmenden Richtung auf das Zielobjekt 10 abzubilden. Auch hier kann die Kontur des im durch die Projektionseinheit 221 auf das Zielobjekt 10 projizierten Bild 210 enthaltenen Projektionsmodells 243 sich aufgrund von manchen Faktoren wie dem Projektionsgerät, dem Aufstellort oder anderen Faktoren von der tatsächlichen Kontur des Zielobjekts 10 unterscheiden. Daher geht das Verfahren zum Anpassungsschritt 23 über.

Wie in 11 gezeigt ist, kann im Anpassungsschritt 23 das auf dem Bildschirm des Computers sichtbare und zum Legen auf die Oberfläche des Bildes 210 erfasste Projektionsmodell 243 gedreht, verschoben und/oder skaliert werden, bis das im Bild 210 enthaltene und von der Projektionseinheit 221 projizierte Projektionsmodell 243 eine gänzlich mit der Kontur des Zielobjekts 10 übereinstimmende Kontur aufweist. Zu Details über die Durchführungsarten der vorgenannten Anpassung des Projektionsmodells 243 und die Prüfungsweisen, ob die Kontur des angepassten Projektionsmodells 243 bereits mit der Kontur des Zielobjekts 10 übereingestimmt hat, sei auf die entsprechenden Beschreibungen der ersten Ausführungsform verwiesen.

Es wird auf 12, welche ein Flowchart ist, das die in einer dritten Ausführungsform des Verfahrens der vorliegenden Erfindung enthaltenen Schritte zeigt, verwiesen. Unter Berücksichtigung, dass weitere Situationen bei der Implementierung des Projektionsmapping-Verfahrens der vorliegenden Erfindung auftreten können, wird die dritte Ausführungsform des Verfahrens auf Basis der zweiten Ausführungsform festgelegt und umfasst weiter einen Neuanpassungsschritt 28 und einen Neumodellerstellungsschritt 29. Genauer gesagt kann das Projektionsmodell 243 auch im Falle, dass das Bild 210 nach dem Anpassungsschritt 23 bereits fertiggestellt wurde, sich aber in der Ausrichtung, dem Winkel, und/oder der Position des Projektionsgerätes 220 im Verhältnis zum Zielobjekt 10 noch etwas ändert, oder bei jeglicher Abweichung zwischen der Form des Zielobjekts 10 und dem 3D-Modell 202, noch nachangepasst werden, sodass das im vom Projektionsgerät 220 projizierten Bild 210 enthaltene Projektionsmodell 243 wieder mit der Kontur des Zielobjekts 10 übereinstimmen kann. Ebenso gibt es bei der Umsetzung der dritten Ausführungsform der vorliegenden Erfindung keine besondere Beschränkung, was die Bestimmungsarten der vorgenannten Situationen und die Anpassung des Projektionsmodells 243 betrifft. Für Einzelheiten über die Durchführungsweisen der vorgenannten Neuanpassung des Projektionsmodells 243 und Prüfungsweisen, ob die Kontur des angepassten Projektionsmodells 243 bereits mit der Kontur des Zielobjekts 10 übereingestimmt hat, wird auf die entsprechenden Beschreibungen der ersten und zweiten Ausführungsform verwiesen.

Wie aus 12 erkennbar ist, sind die ersten sieben Schritte in der dritten Ausführungsform der vorliegenden Erfindung die gleichen wie die der in 7 gezeigten zweiten Ausführungsform. Das heißt, dass der Umwandlungsschritt 24 und der Projektionsschritt 25 in der dritten Ausführungsform vor dem Anpassungsschritt 23 durchgeführt werden. Danach werden zusätzlich der Neuanpassungsschritt 28 und der Neumodellerstellungsschritt 29 nach dem Anpassungsschritt 23 durchgeführt. Es versteht sich jedoch, dass der Neuanpassungsschritt 28 und der Neumodellerstellungsschritt 29 nicht notwendigerweise nur auf dem in 7 gezeigten Verfahren basierend durchgeführt werden. Stattdessen können der Neuanpassungsschritt 28 und der Neumodellerstellungsschritt 29 zu den Schritten im Verfahren gemäß der in 1 gezeigten ersten Ausführungsform hinzugenommen werden. Das bedeutet, dass der Neuanpassungsschritt 28 und der Neumodellerstellungsschritt 29 ansonsten nach dem Neuabbildungsschritt 27 durchgeführt werden können.

Es wird Bezug genommen auf 12. Nach Durchführung des Anpassungsschritts 23 und Herausfinden, dass Position, Ausrichtung und/oder Blickwinkel des Projektionsgerätes 220 sich im Verhältnis zum Zielobjekt 10 etwas geändert haben, kann weiter der Neuanpassungsschritt 28 durchgeführt werden (Entscheidung zum Neuanpassungsschritt 28 in 12 dargestellt mit „28?“, „ja“ dargestellt durch Häkchen, „nein“ durch Kreuzchen, entsprechend für den Neumodellerstellungsschritt 29). Zur Durchführung des Neuanpassungsschritts 28 geht das Verfahren auf den Bilderfassungsschritt 21 zurück, um das Projektionsmodell 243 basierend auf den Änderungen der Position, Ausrichtung und/oder Blickwinkel des Projektionsgerätes 220 im Verhältnis zum Zielobjekt 10 abzuwandeln, bis die Kontur des im von Projektionsgerät 220 projizierten Bild 210 enthaltenen Projektionsmodells 243 mit der geänderten Kontur des Zielobjekts 10 übereinstimmt, und dann wird das Bild 210 neu erfasst. Gemäß der vorliegenden Erfindung gibt es keine besondere Beschränkung hinsichtlich der Ermittlungs- und Erkennungsweise von Änderungen der Position, Ausrichtung und/oder des Blickwinkels des Projektionsgeräts 220 im Verhältnis zum Zielobjekt 10. Derartige Änderungen können unter Verwendung jeglichen gemeinhin bekannten Geräts wie zum Beispiel Positionssensoren, die auf dem oder um das Zielobjekt 10 herum angeordnet sind, oder einem Winkelmesser, oder einfach durch Beobachtung mit dem Auge ermittelt werden.

Falls die Durchführung des Neuanpassungsschritts 28 trotzdem noch an der Übereinstimmung der Kontur des im Bild 210 enthaltenen Projektionsmodells 243 mit der Kontur des Zielobjekts 10 scheitert, kann bestimmt werden, dass die Nicht-Übereinstimmung durch eine Änderung in der Kontur des Zielobjekts 10 begründet ist, die im Modellerstellungsschritt 20 verwendet wurde. Das heißt, dass sich eine zur Zeit der Durchführung des Modellerstellungsschritts 20 bestehende Originalkontur 203 des Zielobjekts 10 in eine Nachverformungskontur 204 geändert hat. Unter diesen Umständen muss der Neumodellerstellungsschritt 29 durchgeführt werden. Wie in 12 und 13 gezeigt, soll bei Durchführung des Neumodellerstellungsschritts 29 erst die Kontur des 3D-Modells 202 dem Unterschied zwischen der Nachverformungskontur 204 und der Originalkontur 203 entsprechend umgestaltet werden, sodass die angepasste Kontur des 3D-Modells 202 dieselbe ist wie die Nachverformungskontur 204 des Zielobjekts 10. Dann wird der darauffolgende Bilderfassungsschritt 21 und andere Schritte durchgeführt, sodass die Kontur des im vom Projektionsgerät 220 projizierten finalen Bild 210 enthaltenen Projektionsmodells 243 mit der aktuellen Kontur des Zielobjekts 10 übereinstimmt. Ebenso gibt es in der vorliegenden Erfindung keine besondere Beschränkung hinsichtlich der Umgestaltungsweise des 3D-Modells 202. Die Abänderung kann manuell oder nicht-manuell, durch Anbringung von Sensoren auf dem Zielobjekt 10, vollzogen werden.

Die folgenden Einzelheiten beziehen sich auf die praktische Anwendung des Verfahrens gemäß der vorliegenden Erfindung. In manchen anderen den vorstehend beschriebenen Ausführungsformen ähnlichen Ausführungsformen wird bei Durchführung des Bilderfassungsschritts 21 das Hintergrundentfernungsverfahren 21a zusätzlich durchgeführt, bevor das Verfahren zum Abbildungsschritt 22 springt, sodass die Kontur des Projektionsmodells 243 einfacher bestimmt werden kann oder manche unnötige Abschnitte des Bildes 210 soweit möglich weggelassen werden können, wenn das Bild 210 auf das Zielobjekt 10 abgebildet wird, um dadurch die Qualität des vom Projektionsgerät 220 projizierten Bildes 210 zu verbessern und das Bild 210 nur die Kontur und das Muster des im Blickwinkel 222 erfassten Projektionsmodells 243 zeigen zu lassen.

In der vorliegenden Erfindung kann das Proj ektionsgerät 220 auf unterschiedliche Arten genutzt werden. Es wird auf 14 und 15 verwiesen. In manchen Fällen weist das Zielobjekt 10 erhabene und vertiefte Bereiche 101 in seiner Form auf. Diese erhabenen und vertieften Bereiche 101 rufen tote Winkel in der Projektion hervor und könnten nicht in nur einem Blickwinkel 222 durch das von nur einem Projektionsgerät 221 projizierte Bild 210 abgedeckt werden. In einer vierten Ausführungsform der vorliegenden Erfindung kann das Projektionsgerät 220 zum Zwecke der Reduzierung von toten Winkeln in der Projektion mehr als eine Projektionseinheit 221 umfassen, wie zum Beispiel eine erste Projektionseinheit 221a und eine zweite Projektionseinheit 221b; und im Bilderfassungsschritt 21 kann der Blickwinkel 222 einen ersten Blickwinkel 222a und einen zweiten Blickwinkel 222b umfassen. Die erste Projektionseinheit 221a projiziert ein erstes Bild 212a im ersten Blickwinkel 222a, um das erste Bild 212a auf das Zielobjekt 10 abzubilden, und die zweite Projektionseinheit 221b projiziert ein zweites Bild 212b im zweiten Blickwinkel 222b, um das zweite Bild 212b auf das Zielobjekt 10 abzubilden, sodass auf dem Zielobjekt 10 ein gemeinsamer Abbildungsbereich 30 entsteht, auf welchen sowohl das erste als auch das zweite Bild 212a, 212b abgebildet werden. Wenn das erste Bild 212a und das zweite Bild 212b zur Abdeckung des gemeinsamen Abbildungsbereich 30 aus verschiedenen Richtungen abgebildet werden und zusammen das auf das Zielobjekt 10 abzubildende Video 241 ergeben, ist es möglich, die möglicherweise bei Projektion des Bildes 210 aus nur einer Richtung auf das Zielobjekt 10, welches erhabene und vertiefte Bereiche 101 in seiner Form hat, entstandenen toten Winkel in der Projektion zu verringern.

Um Bereiche auf dem Zielobjekt 10, die das projizierte Video 241 zeigen können, zu vergrößern, damit Personen das Auflagebild 242 (nicht in 15 gezeigt), welches aus unterschiedlichen Winkeln auf das Zielobjekt 10 abgebildet ist, ansehen können, gibt es eine andere Implementierung des Verfahrens der vorliegenden Erfindung. Es wird auf 7 und 15 verwiesen. In einer fünften Ausführungsform der vorliegenden Erfindung kann mehr als ein Blickwinkel im Bilderfassungsschritt 21 aufgenommen werden. Es können zum Beispiel ein erster Blickwinkel 222a, ein zweiter Blickwinkel 222b und ein dritter Blickwinkel 222c verwendet werden, um das Bild 210 zu erfassen, um entsprechend ein erstes Projektionsbild 213a, ein zweites Projektionsbild 213b und ein drittes Projektionsbild 213c zu erzeugen. Zu diesem Zweck kann das Projektionsgerät 220 drei Projektionseinheiten, nämlich eine erste Projektionseinheit 221a, eine zweite Projektionseinheit 221b und eine dritte Projektionseinheit 221c umfassen. Wie 15 entnommen werden kann, können die erste, zweite und dritte Projektionseinheit 221a, 221b und 221c das Zielobjekt 10 in drei im Verhältnis zu diesem verschiedenen Winkelpositionen umgebend angeordnet sein, um das erste, das zweite und das dritte Projektionsbild 213a, 213b und 213c im jeweils ersten, zweiten und dritten Blickwinkel 222a, 222b und 222c, um das erste, zweite und dritte Projektionsbild 213a, 213b und 213c auf das Zielobjekt 10 abzubilden. In diesem Fall decken das erste, das zweite und das dritte Projektionsbild 213a, 213b und 213c gemeinsam die vollständige Außenfläche 102 um das Zielobjekt 10 herum ab.

Die vorliegende Erfindung wurde anhand einiger bevorzugter Ausführungsformen beschrieben. Die bevorzugten Ausführungsformen sind lediglich mit dem Ziel der Veranschaulichung beschrieben und nicht in irgendeiner Weise als einschränkend zu verstehen. Änderungen und Abwandlungen in den beschriebenen Ausführungsformen sind möglich, ohne vom Geiste der Erfindung abzuweichen, die nur durch die angehängten Ansprüche beschränkt sein soll.

Bezugszeichenliste

10
Zielobjekt
20
Modellerstellungsschritt
21
Bilderfassungsschritt
21a
Hintergrundentfernungsverfahren
22
Abbildungsschritt
23
Anpassungsschritt
24
Umwandlungsschritt
25
Projektionsschritt
26
Neuerfassungsschritt
27
Neuabbildungsschritt
28
Neuanpassungsschritt
29
Neumodellerstellungsschritt
101
vertiefte Bereiche
201
elektronisches Gerät
202
3D-Modell
203
Originalkontur
204
Nachverformungskontur
210
Bild
212a, 212b
erstes bzw. zweites Bild
213a, 213b, 213c
erstes, zweites bzw. drittes Projektionsbild
220
Projektionsgerät
221
Projektionseinheit
221a, 221b, 221c
erste, zweite bzw. dritte Projektionseinheit
222
Blickwinkel
222a, 222b
erster bzw. zweiter Blickwinkel
241
Videos
242
Auflagebild
243
Projektionsmodell