stat_visualization write_performance_rating_csv¶

Description¶

プロジェクトごとユーザごとにパフォーマンスを評価できる複数のCSVを出力します。

Examples¶

基本的な使い方¶

$ annofabcli statistics visualize --project_id prj1 prj2 --output_dir out_dir/

out_dir/
├── prj1
│   ├── タスクlist.csv
│   ├── メンバごとの生産性と品質.csv
│   └── ...
├── prj2
│   ├── タスクlist.csv
│   ├── メンバごとの生産性と品質.csv
│   └── ...

$ annofabcli stat_visualization write_performance_rating_csv --dir out_dir --output_dir out_dir2/

デフォルトの生産性と品質の指標は「アノテーション数」単位です。「入力データ数」単位の指標にする場合は、 --performance_unit input_data_count を指定してください。

出力結果¶

$ annofabcli stat_visualization write_performance_rating_csv --dir out_dir --output_dir out_dir2/

out_dir2/
├── annotation_productivity
│   ├── annotation_productivity.csv
│   ├── annotation_productivity_deviation.csv
│   ├── annotation_productivity_rank.csv
│   └── annotation_productivity_summary.csv
├── annotation_quality_inspection_comment
│   ├── annotation_quality_inspection_comment.csv
│   ├── annotation_quality_inspection_comment_deviation.csv
│   ├── annotation_quality_inspection_comment_rank.csv
│   └── annotation_quality_inspection_comment_summary.csv
├── annotation_quality_task_rejected_count
│   ├── annotation_quality_task_rejected_count.csv
│   ├── annotation_quality_task_rejected_count_deviation.csv
│   ├── annotation_quality_task_rejected_count_rank.csv
│   └── annotation_quality_task_rejected_count_summary.csv
└── inspection_acceptance_productivity
    ├── inspection_acceptance_productivity.csv
    ├── inspection_acceptance_productivity_deviation.csv
    ├── inspection_acceptance_productivity_rank.csv
    └── inspection_acceptance_productivity_summary.csv

{評価対象}_{評価方法}.csv という名前のCSVファイルが出力されます。

評価対象
- annotation_productivity: 教師付の生産性（単位あたり実績作業時間）
- inspection_acceptance_productivity: 検査/受入の生産性（単位あたり実績作業時間）
- annotation_quality_task_rejected_count: 教師付の品質（タスクあたり差し戻し回数）
- annotation_quality_per_task: 教師付の品質（単位あたりの検査コメント数）
評価方法
- deviation: 偏差値。値が小さいほど、生産性/品質が高い。
- rank: 四分位数から算出したランキング。A,B,C,Dの順に生産性/品質が低くなる。

Usage Details¶

プロジェクトごとユーザごとにパフォーマンスを評価できる複数のCSVを出力します。

usage: annofabcli stat_visualization write_performance_rating_csv
       [-h] [--yes] [--endpoint_url ENDPOINT_URL] [--logdir LOGDIR]
       [--disable_log] [--debug] --dir DIR [-u USER_ID [USER_ID ...]]
       [--performance_unit {annotation_count,input_data_count}]
       [--threshold_worktime THRESHOLD_WORKTIME]
       [--threshold_task_count THRESHOLD_TASK_COUNT]
       [--threshold_deviation_user_count THRESHOLD_DEVIATION_USER_COUNT]
       [--threshold_settings THRESHOLD_SETTINGS] -o OUTPUT_DIR

Named Arguments¶

--dir

プロジェクトディレクトリが存在するディレクトリを指定してください。

-u, --user_id

評価対象のユーザのuser_idを指定してください。 file:// を先頭に付けると、user_idの一覧が記載されたファイルを指定できます。

--performance_unit

Possible choices: annotation_count, input_data_count

評価指標の単位

Default: "annotation_count"

--threshold_worktime

作業時間の閾値。指定した時間以下の作業者は除外する。

--threshold_task_count

作業したタスク数の閾値。作業したタスク数が指定した数以下作業者は除外する。

--threshold_deviation_user_count

偏差値を出す際、プロジェクト内の作業者がしきい値以下であれば、偏差値を算出しない。

Default: 3

--threshold_settings

JSON形式で、ディレクトリ名ごとに閾値を指定してください。 (ex) {'dirname1': {'annotation': {'threshold_worktime': 20}}, 'dirname2': {'inspection_acceptance': {'threshold_task_count': 5}}}

-o, --output_dir

出力ディレクトリ

global optional arguments¶

--yes

処理中に現れる問い合わせに対して、常に yes と回答します。

--endpoint_url

Annofab WebAPIのエンドポイントを指定します。

Default: "https://annofab.com"

--logdir

ログファイルを保存するディレクトリを指定します。

Default: .log

--disable_log

ログを無効にします。

--debug

HTTPリクエストの内容やレスポンスのステータスコードなど、デバッグ用のログが出力されます。