計測

計測はonnx-mlirでプロトタイプされており、ランタイムの問題をデバッグするために使用できます。

計測用にコンパイルする

デフォルトでは、計測は無効になっています。有効にするには、以下のコマンドラインオプションを使用する必要があります。計測のためのパスは、`--instrument-stage`オプションを使用して、いくつかのステージに挿入されます。たとえば、`Onnx`を指定すると、onnxレベルのプロファイリングを取得するために、onnx-to-onnx変換後に計測が挿入されます。`--instrument-ops`オプションは、計測する操作を指定するためのオプションです。たとえば、onnx Conv操作には`onnx.Conv`を使用できます。また、すべてのonnx操作には`onnx.*`のようなアスタリスクを使用でき、`onnx.Conv,onnx.Add`のように`,`で2つの式を指定して、ConvとAddの両方の操作を指定できます。`--InstrumentBeforeOp`と`--InstrumentAfterOp`は、指定された操作の前または後、あるいはその両方に計測を挿入するためのオプションです。`--instrument-ops=onnx.* --InstrumentBeforeOp --InstrumentAfterOp`を使用すると、すべてのonnx操作の前後に計測が挿入されます。NNPAの場合、`ZHigh`と`ZLow`に追加のステージが提供されています。`--instrument-stage=ZHigh`と`--instrument-ops=onnx.*,zhigh.*`を使用してonnxとzhigh操作のプロファイルを取得でき、`--instrument-stage=ZLow`と`--instrument-ops=zlow.*`を使用してzlow操作のプロファイルを取得できます。

  --instrument-stage=<value>                        - Specify stage to be instrumented:
    =Onnx                                             -   Profile for onnx ops. For NNPA, profile onnx ops before lowering to zhigh.
    =ZHigh                                            -   NNPA profiling for onnx and zhigh ops.
    =ZLow                                             -   NNPA profiling for zlow ops.

  --instrument-ops=<string>                         - Specify operations operations to be instrumented:
                                                      "NONE" or "" for no instrument,
                                                      "ops1,ops2, ..." for the multiple ops.
                                                      e.g. "onnx.Conv,onnx.Add" for Conv and Add ops.
                                                      Asterisk is also available.
                                                      e.g. "onnx.*" for all onnx operations.

  Specify what instrumentation actions at runtime:
      --InstrumentBeforeOp                          - insert instrument before op,
      --InstrumentAfterOp                           - insert instrument after op,
      --InstrumentReportTime                        - instrument runtime reports time usage,
      --InstrumentReportMemory                      - instrument runtime reports memory usage.

現在、初期化の呼び出しであるOMInstrumentInitは、動的ライブラリをロードする前に追加する必要があります。コンパイラによってmain_graphの先頭に追加することを検討しています。

計測を実行する

通常と同じ方法でモデルを実行します。計測ライブラリは、各計測ポイントで時間とメモリ使用量を出力します。たとえば、モデル`mymodel.onnx`は、`onnx-mlir --instrument-stage=Onnx --instrument-ops=onnx.* --InstrumentAfterOp --InstrumentReportMemory --InstrumentReportTime mymodel.onnx`でコンパイルされます。そのランタイム出力は以下のとおりです。

==PERF-REPORT==, onnx.Cast, bert/encoder/Reshape__27, before, 0.000001, 1692654182.738546
==PERF-REPORT==, onnx.Cast, bert/encoder/Reshape__27, after, 0.000001, 1692654182.738547
==PERF-REPORT==, onnx.Concat, bert/encoder/Reshape__27, before, 0.000000, 1692654182.738547
==PERF-REPORT==, onnx.Concat, bert/encoder/Reshape__27, after, 0.000001, 1692654182.738548
==PERF-REPORT==, onnx.Reshape, bert/encoder/Reshape, before, 0.000001, 1692654182.738549
==PERF-REPORT==, onnx.Reshape, bert/encoder/Reshape, after, 0.000001, 1692654182.738550

時間測定の出力について説明します。

• 最初の列は、収集されているパフォーマンスを識別する文字列で、ここでは`PERF-REPORT`です。
• 2番目の列は、操作の名前です。
• 3番目の列は、操作のノード名です。これは、操作に`onnx_node_name`属性がある場合に表示されます。
• 4番目の列は、報告されている時間が、ここで分析されているonnx操作の`前`か`後`かを示します。
• 5番目の列は、前の計測ポイントからの経過時間を示します。
• 6番目の列は、instrumentationInitからの累積時間（秒単位）を示します。

メモリ測定の出力について説明します。

• 最初の列は、収集されているパフォーマンスを識別する文字列で、ここでは`MEM-REPORT`です。
• 2番目と3番目の列は上記で定義されています。
• 4番目の列は、このプロセスで使用されている仮想メモリサイズ（kb単位）であるVMemを示します。

NNPAのその他の例

• zhigh操作に下げる前のonnx操作のパフォーマンスプロファイリング: `onnx-mlir --mcpu=z16 --maccel=NNPA --instrument-stage=Onnx --instrument-ops=onnx.* --InstrumentBeforeOp --InstrumentAfterOp --InstrumentReportTime mymodel.onnx`
• onnxとzhigh操作のパフォーマンスプロファイリング: `onnx-mlir --mcpu=z16 --maccel=NNPA --instrument-stage=ZHigh --instrument-ops=onnx.*,zhigh.* --InstrumentBeforeOp --InstrumentAfterOp --InstrumentReportTime mymodel.onnx`
• zlow操作のパフォーマンスプロファイリング: `onnx-mlir --mcpu=z16 --maccel=NNPA --instrument-stage=ZLow --instrument-ops=zlow.* --InstrumentBeforeOp --InstrumentAfterOp --InstrumentReportTime mymodel.onnx`

実行時に計測を制御する

実行時に特定の環境変数を指定することで、計測ライブラリからのレポートを無効にできます。

• 環境変数`ONNX_MLIR_NO_INSTRUMENT`が設定されている場合、レポートはまったく出力されません。
• 環境変数`ONNX_MLIR_NO_INSTRUMENT_TIME`が設定されている場合、時間使用量のレポートが無効になります。
• 環境変数`ONNX_MLIR_NO_INSTRUMENT_MEMORY`が設定されている場合、メモリ使用量のレポートが無効になります。
• 環境変数`ONNX_MLIR_INSTRUMENT_FILE`が設定されている場合、この変数は計測を保存するファイル名を指定します。

計測を有効にする唯一の方法は、コンパイル時にそれを要求することです。実行時に詳細なレポート（これまでの時間やメモリなど）が有効になっていない場合でも、計測ポイントの進行状況は出力されます。この機能は、進捗インジケータとして役立つと考えられています。コンパイル時に要求された出力を完全に無効にするには、`ONNX_MLIR_NO_INSTRUMENT`を設定する必要があります。

gdbで使用される

計測ポイントの関数は`OMInstrumentPoint`と呼ばれます。この関数内にブレークポイントを設定して、onnx操作をステップ実行できます。