成功の裏には、その何倍もの失敗があります。AutoDev LG がアプリ開発につまずいた理由を、種類ごとに数えてみました。記録がある限り、毎日自動で更新されます。
Public テスト:ワーカーが自分の実装を確かめるために書くテスト。Acceptance テスト:テスト作成役が書く、仕様どおりかを最終判定するテスト。
テスト作成の段階で、合否を判定するテスト(Acceptance テスト)を正しく書けず、コーディングに進む前に終わった。
「作る前に、採点表が作れない。」
エピソード:9/28 の inv18 では、Qwen3.8-27B → Gemma-4-26B-A4B-it → gpt-oss-120b の 3 モデルが順番に挑戦して、全員ここで脱落。
アプリはできたが、仕様どおりかを最終判定する Acceptance テストに落ちた。原因の診断までは進んだものの、そこで止まった。
「ゴール直前で転ぶタイプ。」
ワーカーが自分の実装を確かめるために書いた Public テストが通らず、原因の診断まで進んで止まった。
「自分で出した問題に、自分で落ちる。」
エピソード:9/26 の inv01 では、ワーカーが書いた画面のテストが、テスト自身の中でエラーを出して落ちた。
時間切れや作業量の上限などで、実行そのものが止まった。
「力尽きた。」
エピソード:9/27 の inv16 はテストの実行が 180 秒で時間切れ。9/29 の inv22 は約 2 時間 8 分走ったところで、OpenHands の作業量の上限に達して終了。
修理しようとしたが、直してよいと決めた範囲(ファイル)の中では直しきれないと判断して止まった。
「悪いのはそこじゃない、とは分かっている。」
落ちたテストの修理を試みたが、前に進まないので打ち切った。
「直せば直すほど沼。」
Acceptance テストを作り直そうとしたが、点検で却下された。
「やり直しのやり直しは認められず。」
最初の要件整理で、仕様書の項目との対応づけが取れず、設計に進めなかった。
「スタートラインで転倒。」
テストは通ったが、完成品が仕様どおりかの最終チェックで食い違いが見つかった。
「テストは満点、でも答案に名前を書き忘れた。」
Acceptance テストを動かす土台(ハーネス)の修復案が、点検で却下された。
「修理の見積もりが通らなかった。」
集計は開発ログと同じ実行記録から(中断した run は除く)。