create_dl_layer_convolutionT_create_dl_layer_convolutionCreateDlLayerConvolutionCreateDlLayerConvolutioncreate_dl_layer_convolution (Operator)

Name

create_dl_layer_convolutionT_create_dl_layer_convolutionCreateDlLayerConvolutionCreateDlLayerConvolutioncreate_dl_layer_convolution — Erstellen eines Faltungs-Layers (Convolutional Layers).

Signatur

Beschreibung

Der Operator create_dl_layer_convolutioncreate_dl_layer_convolutionCreateDlLayerConvolutionCreateDlLayerConvolutionCreateDlLayerConvolutioncreate_dl_layer_convolution erzeugt einen Faltungs-Layer (Convolutional Layer) mit NumKernelNumKernelNumKernelNumKernelnumKernelnum_kernel Kernels in GroupsGroupsGroupsGroupsgroupsgroups Filtergruppen, dessen Handle in DLLayerConvolutionDLLayerConvolutionDLLayerConvolutionDLLayerConvolutionDLLayerConvolutiondllayer_convolution zurückgegeben wird.

Der Parameter DLLayerInputDLLayerInputDLLayerInputDLLayerInputDLLayerInputdllayer_input bestimmt den zuführenden Eingabelayer und erwartet das Layer-Handle als Wert.

Der Parameter LayerNameLayerNameLayerNameLayerNamelayerNamelayer_name legt einen individuellen Layernamen fest. Es ist zu beachten, dass beim Erstellen eines Modells mit create_dl_modelcreate_dl_modelCreateDlModelCreateDlModelCreateDlModelcreate_dl_model jeder Layer des erstellten Netzes einen eindeutigen Namen haben muss.

Der Parameter KernelSizeKernelSizeKernelSizeKernelSizekernelSizekernel_size spezifiziert den Filterkernel in den Dimensionen Breite und Höhe.

Der Parameter DilationDilationDilationDilationdilationdilation gibt die Dimensionen Breite und Höhe der Filterdilatation an.

Der Parameter StrideStrideStrideStridestridestride gibt an, wie der Filter verschoben wird.

Die Werte für KernelSizeKernelSizeKernelSizeKernelSizekernelSizekernel_size, DilationDilationDilationDilationdilationdilation und StrideStrideStrideStridestridestride können gesetzt werden als

• ein einzelner Wert, der für beide Dimensionen verwendet wird

• ein Tupel [Breite, Höhe], bzw. [Spalte, Zeile].

Der Parameter GroupsGroupsGroupsGroupsgroupsgroups gibt die Anzahl der Filtergruppen an.

Der Parameter NumKernelNumKernelNumKernelNumKernelnumKernelnum_kernel gibt die Anzahl der Filterkernel an. NumKernelNumKernelNumKernelNumKernelnumKernelnum_kernel muss ein Vielfaches von GroupsGroupsGroupsGroupsgroupsgroups sein.

Der Parameter PaddingPaddingPaddingPaddingpaddingpadding bestimmt das Padding, also wie viele Pixel mit dem Wert 0 an den Rand des zu verarbeitenden Eingabebildes hinzugefügt werden. Unterstützte Werte sind:

• 'half_kernel_size'"half_kernel_size""half_kernel_size""half_kernel_size""half_kernel_size""half_kernel_size": Die Anzahl der hinzugefügten Pixel hängt von der angegebenen KernelSizeKernelSizeKernelSizeKernelSizekernelSizekernel_size ab. Genauer gesagt wird sie berechnet als , wobei für das Auffüllen an der linken / rechten Grenze die in KernelSizeKernelSizeKernelSizeKernelSizekernelSizekernel_size bestimmte Breite berücksichtigt wird und für das Auffüllen an der oberen / unteren Grenze die Höhe aus KernelSizeKernelSizeKernelSizeKernelSizekernelSizekernel_size.

• 'none'"none""none""none""none""none": Es werden keine Pixel hinzugefügt.

• Anzahl der Pixel: Gibt die Anzahl der Pixel an, die an jedem Rand hinzugefügt werden. Dazu werden die folgenden Tupellängen unterstützt:

  • Einzelne Zahl: Padding in alle vier Richtungen links/rechts/oben/unten.

  • Zwei Zahlen: Padding links/rechts und oben/unten: [l/r, o/u].

  • Vier Zahlen: Padding links, rechts, oben, unten: [l,r,o,u].

    Restriktion: 'runtime'"runtime""runtime""runtime""runtime""runtime" 'gpu'"gpu""gpu""gpu""gpu""gpu" unterstützt kein asymmetrisches Padding, d.h., dass die Padding-Werte für die linke und rechte Seite gleich sein müssen, ebenso wie die Padding-Werte für die obere und untere Seite.

  Restriktion: Die ganzzahligen Padding-Werte müssen kleiner sein als der für KernelSizeKernelSizeKernelSizeKernelSizekernelSizekernel_size eingestellte Wert in der entsprechenden Dimension.

Die Ausgabedimensionen des Faltungs-Layer sind gegeben durch Dabei werden folgende Werte verwendet: : Ausgabebreite/-höhe, : Eingabebreite/-höhe, : Anzahl der links/oben zum Eingabebild hinzugefügten Pixel und : Anzahl der rechts/unten zum Eingabebild hinzugefügten Pixel.

Der Parameter ActivationActivationActivationActivationactivationactivation bestimmt, ob eine Aktivierung nach der Faltung durchgeführt wird, um die Laufzeit zu optimieren. Die folgenden Werte werden unterstützt:

• 'relu'"relu""relu""relu""relu""relu": führt eine ReLU-Aktivierung nach der Faltung durch.

  Es ist möglich, eine obere Grenze für die ReLU-Operation (siehe create_dl_layer_activationcreate_dl_layer_activationCreateDlLayerActivationCreateDlLayerActivationCreateDlLayerActivationcreate_dl_layer_activation) über den generischen Parameter 'upper_bound'"upper_bound""upper_bound""upper_bound""upper_bound""upper_bound" anzugeben.

• 'none'"none""none""none""none""none": es wird keine Aktivierung durchgeführt. Zu beachten: Eine Spezifizierung eines Leaky ReLU-Layer ist nicht möglich.

Wir verweisen auf „Solution Guide on Classification“ für weitere allgemeine Informationen über Faltungs-Layer und die unten folgende Referenz für detailliertere Informationen über die Arithmetik des Layers.

Die folgenden generischen Parameter GenParamNameGenParamNameGenParamNameGenParamNamegenParamNamegen_param_name und die entsprechenden Werte GenParamValueGenParamValueGenParamValueGenParamValuegenParamValuegen_param_value werden unterstützt:

'bias_filler'"bias_filler""bias_filler""bias_filler""bias_filler""bias_filler":

Siehe 'weight_filler'"weight_filler""weight_filler""weight_filler""weight_filler""weight_filler" für eine Erklärung der Werte.

Werteliste: 'xavier'"xavier""xavier""xavier""xavier""xavier", 'msra'"msra""msra""msra""msra""msra", 'const'"const""const""const""const""const".

Default: 'const'"const""const""const""const""const"

'bias_filler_variance_norm'"bias_filler_variance_norm""bias_filler_variance_norm""bias_filler_variance_norm""bias_filler_variance_norm""bias_filler_variance_norm":

Siehe 'weight_filler_variance_norm'"weight_filler_variance_norm""weight_filler_variance_norm""weight_filler_variance_norm""weight_filler_variance_norm""weight_filler_variance_norm" für eine Erklärung der Werte.

Werteliste: 'norm_in'"norm_in""norm_in""norm_in""norm_in""norm_in", 'norm_out'"norm_out""norm_out""norm_out""norm_out""norm_out", 'norm_average'"norm_average""norm_average""norm_average""norm_average""norm_average".

Default: 'norm_out'"norm_out""norm_out""norm_out""norm_out""norm_out"

'bias_filler_const_val'"bias_filler_const_val""bias_filler_const_val""bias_filler_const_val""bias_filler_const_val""bias_filler_const_val":

Legt den Initialisierungswert der konstanten Bias-Terme fest, wenn 'bias_filler'"bias_filler""bias_filler""bias_filler""bias_filler""bias_filler" = 'const'"const""const""const""const""const".

Restriktion: Wird bei anderen Werten von 'bias_filler'"bias_filler""bias_filler""bias_filler""bias_filler""bias_filler" ignoriert.

Default: 0

'bias_term'"bias_term""bias_term""bias_term""bias_term""bias_term":

Bestimmt, ob der erzeugte Faltungs-Layer einen Bias-Term hat ('true'"true""true""true""true""true") oder nicht ('false'"false""false""false""false""false").

Default: 'true'"true""true""true""true""true"

'is_inference_output'"is_inference_output""is_inference_output""is_inference_output""is_inference_output""is_inference_output":

Bestimmt, ob apply_dl_modelapply_dl_modelApplyDlModelApplyDlModelApplyDlModelapply_dl_model die Ausgabe dieses Layers im Dictionary DLResultBatchDLResultBatchDLResultBatchDLResultBatchDLResultBatchdlresult_batch zurückgibt, auch ohne den Layer in OutputsOutputsOutputsOutputsoutputsoutputs anzugeben ('true'"true""true""true""true""true"), oder nur falls er angegeben wird ('false'"false""false""false""false""false").

Default: 'false'"false""false""false""false""false"

'learning_rate_multiplier'"learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier":

Multiplikator für die Lernrate für diesen Layer, die beim Training verwendet wird. Wenn 'learning_rate_multiplier'"learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier" auf 0.0 gesetzt ist, wird der Layer beim Training übersprungen.

Default: 1.0

'learning_rate_multiplier_bias'"learning_rate_multiplier_bias""learning_rate_multiplier_bias""learning_rate_multiplier_bias""learning_rate_multiplier_bias""learning_rate_multiplier_bias":

Multiplikator für die Lernrate des Bias-Terms. Die gesamte Bias-Lernrate ist das Produkt aus 'learning_rate_multiplier_bias'"learning_rate_multiplier_bias""learning_rate_multiplier_bias""learning_rate_multiplier_bias""learning_rate_multiplier_bias""learning_rate_multiplier_bias" und 'learning_rate_multiplier'"learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier""learning_rate_multiplier".

Default: 1.0

'upper_bound'"upper_bound""upper_bound""upper_bound""upper_bound""upper_bound":

Fließkommawert, der die obere Grenze für die ReLU definiert. Um die obere Grenze aufzuheben, kann 'upper_bound'"upper_bound""upper_bound""upper_bound""upper_bound""upper_bound" auf ein leeres Tupel gesetzt werden.

Default: []

'weight_filler'"weight_filler""weight_filler""weight_filler""weight_filler""weight_filler":

Dieser Parameter definiert den Modus, wie die Gewichte initialisiert werden. Die folgenden Werte werden unterstützt:

• 'const'"const""const""const""const""const": Die Gewichte werden mit konstanten Werten gefüllt.

• 'msra'"msra""msra""msra""msra""msra": Die Gewichte werden aus einer Gaußschen Verteilung gezogen.

• 'xavier'"xavier""xavier""xavier""xavier""xavier": Die Gewichte werden aus einer stetigen Gleichverteilung gezogen.

Default: 'xavier'"xavier""xavier""xavier""xavier""xavier"

'weight_filler_const_val'"weight_filler_const_val""weight_filler_const_val""weight_filler_const_val""weight_filler_const_val""weight_filler_const_val":

Gibt den Initialisierungswert des konstanten Gewichts an. Restriktion: Nur für 'weight_filler'"weight_filler""weight_filler""weight_filler""weight_filler""weight_filler" = 'const'"const""const""const""const""const".

Default: 0.5

'weight_filler_variance_norm'"weight_filler_variance_norm""weight_filler_variance_norm""weight_filler_variance_norm""weight_filler_variance_norm""weight_filler_variance_norm":

Dieser Parameter bestimmt den Wertebereich für 'weight_filler'"weight_filler""weight_filler""weight_filler""weight_filler""weight_filler". Die folgenden Werte werden unterstützt:

• 'norm_average'"norm_average""norm_average""norm_average""norm_average""norm_average": die Werte basieren auf dem Durchschnitt der Eingabe- und Ausgabegröße

• 'norm_in'"norm_in""norm_in""norm_in""norm_in""norm_in": die Werte basieren auf der Eingabegröße

• 'norm_out'"norm_out""norm_out""norm_out""norm_out""norm_out": die Werte basieren auf der Ausgabegröße.

Default: 'norm_in'"norm_in""norm_in""norm_in""norm_in""norm_in"

Bestimmte Parameter von Layern, die mit create_dl_layer_convolutioncreate_dl_layer_convolutionCreateDlLayerConvolutionCreateDlLayerConvolutionCreateDlLayerConvolutioncreate_dl_layer_convolution erzeugt wurden, können mit weiteren Operatoren gesetzt und abgerufen werden. Die folgenden Tabellen geben einen Überblick, welche Parameter mit set_dl_model_layer_paramset_dl_model_layer_paramSetDlModelLayerParamSetDlModelLayerParamSetDlModelLayerParamset_dl_model_layer_param gesetzt werden können und welche mit get_dl_model_layer_paramget_dl_model_layer_paramGetDlModelLayerParamGetDlModelLayerParamGetDlModelLayerParamget_dl_model_layer_param oder get_dl_layer_paramget_dl_layer_paramGetDlLayerParamGetDlLayerParamGetDlLayerParamget_dl_layer_param ausgelesen werden können. Es ist zu beachten, dass die Operatoren set_dl_model_layer_paramset_dl_model_layer_paramSetDlModelLayerParamSetDlModelLayerParamSetDlModelLayerParamset_dl_model_layer_param und get_dl_model_layer_paramget_dl_model_layer_paramGetDlModelLayerParamGetDlModelLayerParamGetDlModelLayerParamget_dl_model_layer_param ein Modell benötigen, das mit create_dl_modelcreate_dl_modelCreateDlModelCreateDlModelCreateDlModelcreate_dl_model erzeugt wurde.

Ausführungsinformationen

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Parameter

Literatur

V. Dumoulin, F. Visin: "A guide to convolution arithmetic for deep learning", 2018, http://arxiv.org/abs/1603.07285

Modul

Deep Learning Training