stat_visualization write_performance_rating_csv

Description

プロジェクトごとユーザごとにパフォーマンスを評価できる複数のCSVを出力します。

Examples

基本的な使い方

$ annofabcli statistics visualize --project_id prj1 prj2 --output_dir out_dir/

out_dir/
├── prj1
│   ├── タスクlist.csv
│   ├── メンバごとの生産性と品質.csv
│   └── ...
├── prj2
│   ├── タスクlist.csv
│   ├── メンバごとの生産性と品質.csv
│   └── ...

$ annofabcli stat_visualization write_performance_rating_csv --dir out_dir --output_dir out_dir2/

生産性の指標は、 --productivity_indicator または --productivity_indicator_by_directory で指定できます。 品質の指標は、 --quality_indicator または --quality_indicator_by_directory で指定できます。

出力結果

$ annofabcli stat_visualization write_performance_rating_csv --dir out_dir --output_dir out_dir2/

out_dir2/
├── annotation_productivity
│   ├── annotation_productivity__original.csv
│   ├── annotation_productivity__deviation.csv
│   ├── annotation_productivity__rank.csv
│   └── annotation_productivity__summary.csv
├── annotation_quality
│   ├── annotation_quality__original.csv
│   ├── annotation_quality__deviation.csv
│   ├── annotation_quality__rank.csv
│   └── annotation_quality__summary.csv
└── inspection_acceptance_
    ├── inspection_acceptance_productivity__original.csv
    ├── inspection_acceptance_productivity__deviation.csv
    ├── inspection_acceptance_productivity__rank.csv
    └── inspection_acceptance_productivity__summary.csv

• annotation_productivity_rank.csv

• annotation_productivity_deviation.csv

{評価対象}__{評価方法}.csv という名前のCSVファイルが出力されます。

• 評価対象

  • annotation_productivity: 教師付の生産性（単位あたり実績作業時間）

  • inspection_acceptance_productivity: 検査/受入の生産性（単位あたり実績作業時間）

  • annotation_quality: 教師付の品質（タスクあたり差し戻し回数）

  • annotation_quality_per_task: 教師付の品質（単位あたりの検査コメント数）

• 評価方法

  • original: 生産性または品質の値

  • deviation: 偏差値。値が小さいほど、生産性/品質が高い。

  • rank: 四分位数から算出したランキング。A,B,C,Dの順に生産性/品質が低くなる。

  • summary: プロジェクトごとに生産性または品質の値を平均値などで集約した結果

Usage Details

プロジェクトごとユーザごとにパフォーマンスを評価できる複数のCSVを出力します。

usage: annofabcli stat_visualization write_performance_rating_csv
       [-h] [--yes] [--endpoint_url ENDPOINT_URL]
       [--annofab_user_id ANNOFAB_USER_ID]
       [--annofab_password ANNOFAB_PASSWORD] [--annofab_pat ANNOFAB_PAT]
       [--logdir LOGDIR] [--disable_log] [--debug] --dir DIR
       [-u USER_ID [USER_ID ...]]
       [--productivity_indicator PRODUCTIVITY_INDICATOR]
       [--productivity_indicator_by_directory PRODUCTIVITY_INDICATOR_BY_DIRECTORY]
       [--quality_indicator QUALITY_INDICATOR]
       [--quality_indicator_by_directory QUALITY_INDICATOR_BY_DIRECTORY]
       [--threshold_worktime THRESHOLD_WORKTIME]
       [--threshold_task_count THRESHOLD_TASK_COUNT]
       [--threshold_deviation_user_count THRESHOLD_DEVIATION_USER_COUNT]
       [--threshold_settings THRESHOLD_SETTINGS]
       [--custom_production_volume_by_directory CUSTOM_PRODUCTION_VOLUME_BY_DIRECTORY]
       -o OUTPUT_DIR

Named Arguments

--dir

プロジェクトディレクトリが存在するディレクトリを指定してください。

-u, --user_id

評価対象のユーザのuser_idを指定してください。 file:// を先頭に付けると、user_idの一覧が記載されたファイルを指定できます。

--productivity_indicator

生産性の指標

Default: 'actual_worktime_hour/annotation_count'

--productivity_indicator_by_directory

生産性の指標をディレクトリごとに指定します。JSON形式で指定してください。 --productivity_indicator で指定した値よりも優先されます。 (ex) {"dirname1": "monitored_worktime_hour/annotation_count"}

--quality_indicator

品質の指標

Default: 'pointed_out_inspection_comment_count/annotation_count'

--quality_indicator_by_directory

品質の指標をディレクトリごとに指定します。JSON形式で指定してください。 --quality_indicator で指定した値よりも優先されます。 (ex) {"dirname1": "rejected_count/task_count"}

--threshold_worktime

作業時間の閾値。作業時間が指定した時間以下である作業者を除外する。

--threshold_task_count

作業したタスク数の閾値。作業したタスク数が指定した数以下である作業者を除外する。

--threshold_deviation_user_count

偏差値を出す際、プロジェクト内の作業者がしきい値以下であれば、偏差値を算出しない。

Default: 3

--threshold_settings

JSON形式で、ディレクトリ名ごとに閾値を指定してください。 (ex) {"dirname1": {"annotation": {"threshold_worktime": 20}}, "dirname2": {"inspection_acceptance": {"threshold_task_count": 5}}}

--custom_production_volume_by_directory

プロジェクト独自の生産量をJSON形式で指定します。(例) {"dirname1": ["video_duration_minute"], "dirname2": ["segment_area"]}

-o, --output_dir

出力ディレクトリ

global optional arguments

--yes

処理中に現れる問い合わせに対して、常に yes と回答します。

--endpoint_url

Annofab WebAPIのエンドポイントを指定します。

Default: 'https://annofab.com'

--annofab_user_id

Annofabにログインする際のユーザーID

--annofab_password

Annofabにログインする際のパスワード

--annofab_pat

Annofabにログインする際のパーソナルアクセストークン

--logdir

ログファイルを保存するディレクトリを指定します。

Default: .log

--disable_log

ログを無効にします。

--debug

HTTPリクエストの内容やレスポンスのステータスコードなど、デバッグ用のログが出力されます。

See also

• annofabcli statistics visualize