THE NOT-PASS ENCYCLOPEDIA

NOT PASS 図鑑

成功の裏には、その何倍もの失敗があります。AutoDev LG がアプリ開発につまずいた理由を、種類ごとに数えてみました。記録がある限り、毎日自動で更新されます。

114 回
アプリ開発の実行
18 回
PASS
96 回
NOT PASS
84%
失敗する確率

失敗の種類ランキング

Public テスト:ワーカーが自分の実装を確かめるために書くテスト。Acceptance テスト:テスト作成役が書く、仕様どおりかを最終判定するテスト。

#1

テストを書けなかった

24 回
test_invalid · 25% · taskboard 18 回 · INVADERS 6 回 · 初出 9/17 · 最新 9/29

テスト作成の段階で、合否を判定するテスト(Acceptance テスト)を正しく書けず、コーディングに進む前に終わった。

「作る前に、採点表が作れない。」

エピソード:9/28 の inv18 では、Qwen3.8-27B → Gemma-4-26B-A4B-it → gpt-oss-120b の 3 モデルが順番に挑戦して、全員ここで脱落。

#2

最終テストで不合格

23 回
acceptance_diagnosed · 24% · taskboard 23 回 · INVADERS 0 回 · 初出 9/17 · 最新 9/29

アプリはできたが、仕様どおりかを最終判定する Acceptance テストに落ちた。原因の診断までは進んだものの、そこで止まった。

「ゴール直前で転ぶタイプ。」

#3

自分のテストで不合格

16 回
public_diagnosed · 17% · taskboard 11 回 · INVADERS 5 回 · 初出 9/17 · 最新 9/29

ワーカーが自分の実装を確かめるために書いた Public テストが通らず、原因の診断まで進んで止まった。

「自分で出した問題に、自分で落ちる。」

エピソード:9/26 の inv01 では、ワーカーが書いた画面のテストが、テスト自身の中でエラーを出して落ちた。

#4

途中で動かなくなった

11 回
runtime_failed · 11% · taskboard 7 回 · INVADERS 4 回 · 初出 9/18 · 最新 9/29

時間切れや作業量の上限などで、実行そのものが止まった。

「力尽きた。」

エピソード:9/27 の inv16 はテストの実行が 180 秒で時間切れ。9/29 の inv22 は約 2 時間 8 分走ったところで、OpenHands の作業量の上限に達して終了。

#5

直す範囲が足りず停止

8 回
scope_reviewed · 8% · taskboard 4 回 · INVADERS 4 回 · 初出 9/20 · 最新 9/29

修理しようとしたが、直してよいと決めた範囲(ファイル)の中では直しきれないと判断して止まった。

「悪いのはそこじゃない、とは分かっている。」

#6

修理を途中で打ち切り

6 回
public_repair_stopped · 6% · taskboard 4 回 · INVADERS 2 回 · 初出 9/14 · 最新 9/29

落ちたテストの修理を試みたが、前に進まないので打ち切った。

「直せば直すほど沼。」

#7

テストの作り直しが却下

3 回
acceptance_test_regeneration_rejected · 3% · taskboard 2 回 · INVADERS 1 回 · 初出 9/25 · 最新 9/27

Acceptance テストを作り直そうとしたが、点検で却下された。

「やり直しのやり直しは認められず。」

#8

要件の整理で脱落

2 回
requirements_traceability_invalid · 2% · taskboard 2 回 · INVADERS 0 回 · 初出 9/16 · 最新 9/17

最初の要件整理で、仕様書の項目との対応づけが取れず、設計に進めなかった。

「スタートラインで転倒。」

#9

最後の仕様チェックで不合格

2 回
spec_compliance_fail · 2% · taskboard 2 回 · INVADERS 0 回 · 初出 9/23 · 最新 9/25

テストは通ったが、完成品が仕様どおりかの最終チェックで食い違いが見つかった。

「テストは満点、でも答案に名前を書き忘れた。」

#10

テストの土台の修復が却下

1 回
acceptance_harness_recovery_rejected · 1% · taskboard 1 回 · INVADERS 0 回 · 初出 9/21 · 最新 9/21

Acceptance テストを動かす土台(ハーネス)の修復案が、点検で却下された。

「修理の見積もりが通らなかった。」

集計は開発ログと同じ実行記録から(中断した run は除く)。