피처 플래그 서비스 — 계획→구현 2단계 비교
Claude Fable 5 vs GPT-5.5: better planning, similar execution
같은 PRD로 (1) 계획을 세우고 (2) 그 계획을 구현하게 한 2단계 비교. 5건 중 유일하게 사전 정의 루브릭으로 채점했다. 모델차는 계획 단계에서 벌어졌고, 계획이 문서로 적힌 뒤 구현 품질은 두 모델이 사실상 같았다. 단일 실행이며 비용 차이는 요금 단가 + 출력량 차이가 섞인 값이다.
공통 프롬프트
모든 모델에 동일하게 입력된 프롬프트입니다.
[계획 단계] I'm building a feature flag service using Bun, Hono, TypeScript, and better-sqlite3... Please write me a very detailed plan in plan.md that I can hand to a developer to build from.
[구현 단계] Implement the plan in plan.md. Follow it as written. Run the tests to verify your work before finishing.
(만든 것: boolean 플래그 + 퍼센트 롤아웃 + 환경별 스코프 + CRUD 엔드포인트 + 평가 로직 + in-memory 캐시 + 감사 로그 + API 키 인증)
모델별 결과
Fable 5계획 루브릭 9.1/10
계획 431줄 — 설계 결정과 실패 모드를 더 잘 짚었다. 같은 plan.md로 구현 시 테스트코드 966줄, 15개 인수기준 전부 통과.
측정 조건: 구현 단계 비용. 계획+구현 파이프라인 단독은 $22.36 — Fable 5 계획 + GPT-5.5 구현 혼합($9.37) 대비 59% 비쌈(원문 자체 계측).
- 토큰(입/출)
- 원문 미기재
- 소요 시간
- 원문 미기재
- 비용
- $16.66
GPT-5.5계획 루브릭 8.3/10
계획 1,456줄. 같은 plan.md로 구현 시 테스트코드 510줄, 15개 인수기준 전부 통과 — 평가 대상 유저 100% 일치로 기능은 Fable 5 결과와 동일.
측정 조건: 구현 단계 비용. 단가가 낮고 출력량도 적어 Fable 5 구현비의 약 38% 수준.
- 토큰(입/출)
- 원문 미기재
- 소요 시간
- 원문 미기재
- 비용
- $6.30최소
Fable 5계획 루브릭 9.1/10
계획 431줄 — 설계 결정과 실패 모드를 더 잘 짚었다. 같은 plan.md로 구현 시 테스트코드 966줄, 15개 인수기준 전부 통과.
측정 조건: 구현 단계 비용. 계획+구현 파이프라인 단독은 $22.36 — Fable 5 계획 + GPT-5.5 구현 혼합($9.37) 대비 59% 비쌈(원문 자체 계측).
- 토큰(입/출)
- 원문 미기재
- 소요 시간
- 원문 미기재
- 비용
- $16.66
결과물 이미지·영상은 원문 게시물에 있습니다. 사이트는 원문을 재호스팅하지 않습니다.
원문에서 결과물 보기원문 결론
모델 차이는 계획에서 드러났고, 그 판단이 계획으로 적히고 나면 구현은 더 이상 모델에 의존하지 않았다.