inpainting_textureinpainting_textureInpaintingTextureInpaintingTexture (Operator)

Name

inpainting_textureinpainting_textureInpaintingTextureInpaintingTexture — Inpainting eines Bildbereiches durch Texturfortsetzung.

Signatur

Beschreibung

Der Operator inpainting_textureinpainting_textureInpaintingTextureInpaintingTextureInpaintingTexture dient zur Entfernung größerer Objekte oder Bildstörungen aus der Region RegionRegionRegionRegionregion des Eingabebildes ImageImageImageImageimage. Dazu werden Bildblöcke der Kantenlänge MaskSizeMaskSizeMaskSizeMaskSizemaskSize aus dem intakten Teil des Bildes an den Rand des Rechengebietes angefügt, bis dieses vollständig mit neuen Grauwerten gefüllt ist. Dieser Vorgang wird als Image Inpainting bezeichnet. Das Rechengebiet heißt daher auch Inpaintinggebiet, und wird ausgehend von RegionRegionRegionRegionregion mit jedem eingefügten Rechteck verkleinert. Der Mittelpunkt des aktuell zu bearbeitenden Blockes befinde sich an einer Stelle x. Da x immer auf dem Rand des Inpaintinggebietes gewählt wird, überlappt dieser aktuelle Block mit den bekannten oder bereits eingefügten Grauwerten. Welcher andere Bildblock an die Stelle x passt, wird über seine Grauwertkorrelation mit den Grauwerten im Überlappungsbereich des aktuellen Blocks bestimmt. Als Korrelation wird die Summe der Quadrate der Grauwertdifferenzen verwendet. Die Bildblöcke, die für die Korrelation herangezogen werden und als Kandidaten für die Datenquelle des nächsten Inpaintingschrittes dienen, bezeichen wir als Vergleichsblöcke. Der Suchbereich für geeignete Grauwertmuster ist auf ein Quadrat der Kantenlänge 2* SearchSizeSearchSizeSearchSizeSearchSizesearchSize um den Punkt x beschränkt, in dem sich die Mittelpunkte der Vergleichsblöcke befinden müssen.

Die Reihenfolge, in der die Pixel von RegionRegionRegionRegionregion aufgefüllt werden, hängt zum einen von der Größe des Überlappungsbereiches und damit von der Anzahl der für die Grauwertkorrelation zur Verfügung stehenden Pixel und zum anderen vom Betrag der Ableitung der Grauwertfunktion tangential zum Rand des Rechengebietes ab. Je größer der Wert des Parameters AnisotropyAnisotropyAnisotropyAnisotropyanisotropy ist, desto stärker werden Punkte, an denen die Ableitung groß ist, bevorzugt. Dadurch wird z.B. erreicht, dass gerade Kanten, die durch den hohen Gradienten repräsentiert werden, durch das gesamte Rechengebiet hindurch fortgesetzt werden können, ohne bei kleiner werdendem Inpaintinggebiet durch das Inpainting von Bildstrukturen von anderen Teilen des Randes unterbrochen zu werden. Auf der anderen Seite führt ein größer Wert von AnisotropyAnisotropyAnisotropyAnisotropyanisotropy aber auch dazu, dass eventuelle Scheinkanten, also während des Inpaintings zufällig entstandene unerwünschte Strukturen, ebenfalls propagiert und Störungen so vergrößert werden können.

Um die Bildung solcher Artefakte einzudämmen, kann der ursprüngliche Algorithmus um eine Nachiteration erweitert werden, bei der glatte oder unscheinbare Bildbereiche als Datenquellen für das Inpainting bevorzugt werden. Setzt man den Parameter PostIterationPostIterationPostIterationPostIterationpostIteration auf den Wert 'min_grad'"min_grad""min_grad""min_grad""min_grad", so wird die Summe der Quadrate der Grauwertgradienten über die Vergleichsblöcke minimiert, setzt man ihn auf 'min_range_extension'"min_range_extension""min_range_extension""min_range_extension""min_range_extension", so minimiert man das Anwachsen des Grauwertintervalls der Vergleichsblöcke gegenüber dem Referenzrechteck um den Punkt x. Hat PostIterationPostIterationPostIterationPostIterationpostIteration den Wert 'none'"none""none""none""none", wird keine Nachiteration durchgeführt. Welche Blöcke für die nachträgliche Minimierung zulässig sind, wird durch den Parameter SmoothnessSmoothnessSmoothnessSmoothnesssmoothness festgelegt. Dieser bestimmt, wieviel größer die mittlere absolute Abweichung der Grauwerte in den zulässigen Vergleichsblöcken gegenüber der vom Ursprungsalgorithmus bestimmten minimalen Abweichung ausfallen darf. Mit zunehmendem Wert von SmoothnessSmoothnessSmoothnessSmoothnesssmoothness wird das Inpaintingergebnis daher glatter und Strukturen verschwinden. Die Passgenauigkeit der gewählten Vergleichsblöcke nimmt dabei ab. Wird SmoothnessSmoothnessSmoothnessSmoothnesssmoothness auf 0 gesetzt, so berücksichtigt die Nachiteration nur Vergleichsblöcke mit gleich starker Korrelation zum Referenzblock.

Kann das Inpainting nicht vollständig durchgeführt werden, weil Punkte x existieren, für die kein vollständiger Block mit intakten Grauwertinformationen im Suchbereich der Größe SearchSizeSearchSizeSearchSizeSearchSizesearchSize vorhanden ist, so behalten die verbleibenden Pixel ihren ursprünglichen Grauwert und die ROI des Ausgabebildes InpaintedImageInpaintedImageInpaintedImageInpaintedImageinpaintedImage wird um den unbearbeiteten Bereich reduziert. Ist die Strukturgröße der ROI von ImageImageImageImageimage oder des Rechengebietes RegionRegionRegionRegionregion kleiner als MaskSizeMaskSizeMaskSizeMaskSizemaskSize, so kann die Laufzeit des Algorithmus extrem anwachsen. Es sollten daher nur klar strukturierte Eingaberegionen verwendet werden.

Achtung

Beachten Sie, dass Filteroperatoren eventuell unerwartete Resultate ausgeben, wenn ein Bild mit einer reduzierten Domäne als Input übergeben wird. Weitere Informationen können im Kapitel Filter gefunden werden.

Ausführungsinformationen

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Automatisch parallelisiert auf Tupelebene.

Parameter

Modul

Foundation