inpainting_cedinpainting_cedInpaintingCedInpaintingCed (Operator)

Name

inpainting_cedinpainting_cedInpaintingCedInpaintingCed — Inpainting eines Bildbereiches durch kohärenzverstärkende Diffusion.

Signatur

Beschreibung

Der Operator inpainting_cedinpainting_cedInpaintingCedInpaintingCedInpaintingCed führt einen anisotropen Diffusionsvorgang in der Region RegionRegionRegionRegionregion des Eingabebildes ImageImageImageImageimage durch mit dem Ziel, durch Verstärkung der Kohärenz der in ImageImageImageImageimage enthaltenen Bildstrukturen unterbroche Bildkanten diffusiv miteinander zu verbinden ohne sie dabei senkrecht zur Kantenrichtung zu verschmieren. Dieser Mechanismus entspricht dem des Operators coherence_enhancing_diffcoherence_enhancing_diffCoherenceEnhancingDiffCoherenceEnhancingDiffCoherenceEnhancingDiff, der auf einer Diskretisierung der anisotropen Diffusionsgleichung nach Weickert beruht. Diese Gleichung, mit einer von den Grauwerten in ImageImageImageImageimage abhängigen 2x2 Koeffizientenmatrix G, ist eine Verallgemeinerung der Krümmungsfluss- oder intrinsischen Wärmeleitungsgleichung mit der durch das Eingabebild ImageImageImageImageimage zu einem Zeitpunkt definierten Grauwertfunktion u. Der Operator mean_curvature_flowmean_curvature_flowMeanCurvatureFlowMeanCurvatureFlowMeanCurvatureFlow ist eine direkte Anwendung der Krümmungsflussgleichung, mit Hilfe des Operators inpainting_mcfinpainting_mcfInpaintingMcfInpaintingMcfInpaintingMcf, kann sie auch für das Image Inpainting genutzt werden. Die diskrete Gleichung wird in IterationsIterationsIterationsIterationsiterations Zeitschritten der Länge ThetaThetaThetaThetatheta gelöst, so dass das Ausgabebild InpaintedImageInpaintedImageInpaintedImageInpaintedImageinpaintedImage die Grauwertfunktion zur Zeit enthält.

Um die Kantenrichtungen insbesondere bei verrauschten Eingabedaten stabiler zu bestimmen, kann der Berechnung der Grauwertgradienten ein zusätzlicher isotroper Glättungsschritt vorgeschaltet werden. Der Parameter SigmaSigmaSigmaSigmasigma bestimmt die Stärke dieser Glättung als Standardabweichung des zugehörigen Gauß-Faltungskernes, wie er auch im Operator isotropic_diffusionisotropic_diffusionIsotropicDiffusionIsotropicDiffusionIsotropicDiffusion zur isotropen Glättung eines Bildes verwendet wird.

Ebenso wie im Operator inpainting_mcfinpainting_mcfInpaintingMcfInpaintingMcfInpaintingMcf wird hier die Struktur der Bilddaten in RegionRegionRegionRegionregion durch Glättung der Niveaulinien vereinfacht. So lassen sich störende Objekte aus dem Bild entfernen, wobei die Kanten der Umgebung stetig fortgesetzt werden. Diesen Vorgang bezeichnet man als Image Inpainting. Ziel ist es, dass keine auffälligen Artefakte oder Schmiereffekte zurückbleiben, damit die Bildmanipulation für einen menschlichen Beobachter möglichst schwach sichtbar wird.

Während die Matrix G im Fall des Krümmungsflusses inpainting_mcfinpainting_mcfInpaintingMcfInpaintingMcfInpaintingMcf gegeben wird durch wobei I die Einheitsmatrix bezeichnet, wird diese Matrix in inpainting_cedinpainting_cedInpaintingCedInpaintingCedInpaintingCed komponentenweise in Ortsrichtung durch einen Gaußfilter mit Standardabweichung RhoRhoRhoRhorho geglättet und anschließend aus den Eigenwerten und Eigenvektoren der so entstandenen Matrix die endgültige Koeffizientenmatrix konstruiert, wobei die Funktionen empirisch bestimmt und aus der Veröffentlichung von Weickert entnommen sind.

Die Diffusionsrichtung wird bei inpainting_mcfinpainting_mcfInpaintingMcfInpaintingMcfInpaintingMcf also alleine durch die lokale Richtung des Grauwertgradienten bestimmt, wohingegen die makroskopische Struktur der Bildobjekte auf der Skala RhoRhoRhoRhorho wiedergibt und die Stärke der Diffusion in inpainting_cedinpainting_cedInpaintingCedInpaintingCedInpaintingCed davon abhängt, wie gut diese Struktur definiert ist.

Um bestmögliche Übereinstimmung der erzeugten Kanten mit den Bilddaten der Umgebung zu erreichen, werden nicht wie bei Filtern üblich die Grauwerte am Rand des Rechengebietes RegionRegionRegionRegionregion gespiegelt, um die Glättung mit der Filtermaske zum Wert RhoRhoRhoRhorho auf den randnahen Pixeln durchzuführen. Stattdessen wird die Existenz von Grauwerten auf einem ceil(3.1*Rho)+2 Pixel breiten Streifen um RegionRegionRegionRegionregion vorausgesetzt und diese Werte bei der Anwendung der Faltungsmaske mitverwendet. Das bedeutet, RegionRegionRegionRegionregion muss mindestens diesen Abstand zum Rand der Bildmatrix ImageImageImageImageimage einhalten. Durch die Einbeziehung der Grauwerte und Richtungsinformationen in diesem erweiterten Gebiet wird erreicht, dass die Fortsetzung der Kanten nicht nur stetig, sondern auch glatt, das heißt ohne Knicke, erfolgt. Es ist zu beachten, dass der Inpaintingvorgang sich auf diejenigen Pixel beschränkt, die innerhalb der ROI des Eingabebildes ImageImageImageImageimage liegen. Umfasst diese nicht die gesamte Region RegionRegionRegionRegionregion, so wird ein Streifen um die Schnittmenge aus RegionRegionRegionRegionregion und der ROI verwendet, um die Randwerte zu definieren.

Um die Anzahl der notwendigen Iterationen bis zum Erreichen eines zufriedenstellenden Zustandes zu reduzieren, kann es sinnvoll sein, die Grauwertmatrix in RegionRegionRegionRegionregion vor Aufruf von inpainting_cedinpainting_cedInpaintingCedInpaintingCedInpaintingCed durch den Operator harmonic_interpolationharmonic_interpolationHarmonicInterpolationHarmonicInterpolationHarmonicInterpolation mit der harmonischen Interpolante, einer stetigen Funktion mit minimaler Krümmung, vorzuinitialisieren.

Achtung

Beachten Sie, dass Filteroperatoren eventuell unerwartete Resultate ausgeben, wenn ein Bild mit einer reduzierten Domäne als Input übergeben wird. Weitere Informationen können im Kapitel Filter gefunden werden.

Ausführungsinformationen

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Automatisch parallelisiert auf Tupelebene.

Parameter

Beispiel (HDevelop)

read_image (Image, 'fabrik')
gen_rectangle1 (Rectangle, 270, 180, 320, 230)
harmonic_interpolation (Image, Rectangle, InpaintedImage, 0.01)
inpainting_ced (InpaintedImage, Rectangle, InpaintedImage2, \
                0.5, 3.0, 0.5, 1000)
dev_display(InpaintedImage2)

Alternativen

harmonic_interpolationharmonic_interpolationHarmonicInterpolationHarmonicInterpolationHarmonicInterpolation, inpainting_ctinpainting_ctInpaintingCtInpaintingCtInpaintingCt, inpainting_anisoinpainting_anisoInpaintingAnisoInpaintingAnisoInpaintingAniso, inpainting_mcfinpainting_mcfInpaintingMcfInpaintingMcfInpaintingMcf, inpainting_textureinpainting_textureInpaintingTextureInpaintingTextureInpaintingTexture

Literatur

J. Weickert, V. Hlavac, R. Sara; „Multiscale texture enhancement“; Computer analysis of images and patterns, Lecture Notes in Computer Science, Vol. 970, pp. 230-237; Springer, Berlin; 1995.
J. Weickert, B. ter Haar Romeny, L. Florack, J. Koenderink, M. Viergever; „A review of nonlinear diffusion filtering“; Scale-Space Theory in Computer Vision, Lecture Notes in Comp. Science, Vol. 1252, pp. 3-28; Springer, Berlin; 1997.

Modul

Foundation