현장에서 있었던 일
검수까지 같은 에이전트에게 맡겼더니 다 통과했어요
상황
한 서비스는 카피를 만든 에이전트에게 검수까지 맡겼어요. 검수 결과는 늘 '통과'였어요.
무슨 일이
다른 모델로 다시 검수하자 절대 표현과 근거 없는 숫자가 여러 건 나왔어요.
바꾼 것
생성과 검수를 다른 에이전트로 나누고 검수 항목을 8개로 고정했어요. 반려에는 이유를 꼭 남겨요.
6주차 · 여러 에이전트와 일하기 — 18
커머스 AI 운영 실전 8주 과정 · 6주차
누가 만들고, 누가 확인하고, 누가 결정하는가
난이도 LV.6 고급
수업 3시간 · 자료 4시간 40분
실습: contto.ai 70% 클론
6 / 8
이번 주 목표
01
기획 → 작가(후보 5안 병렬) → 검수 에이전트로 이어지는 흐름을 만들어요.
02
'이걸로 할게요', 문구 수정, 장마다 다시 만들기, 다시 기획 필요를 사람이 결정해요.
03
빌더 둘과 리뷰어 하나로 나눠 만들고, 리뷰는 정확한 커밋에 남겨요.
6주차 · 여러 에이전트와 일하기 — 2
진행 순서
주황 코어 180분은 파이프라인과 관문 4버튼에, 회색 확장 100분은 자습·보충이에요.
0:00
복습
0:20
개념 핵심
1:05
개념 심화
1:20
영상 노트
1:40
시연
2:10
실습 1
3:20
실습 2
4:05
상급
4:25
회고
6주차 · 여러 에이전트와 일하기 — 3
진행 순서
| 시간 | 순서 | 내용 | 구분 |
|---|---|---|---|
| 0:00–0:20 | 복습 | 5주 검증 보고서 발표, 실패를 숨기지 않았나 | 코어 |
| 0:20–1:05 | 개념 (핵심) | 왜 나누나, 파이프라인, 브리프, 승인 관문 | 코어 |
| 1:05–1:20 | 개념 (심화) | 개발 역할 분담, 등급이 있는 리뷰 | 확장 |
| 1:20–1:40 | 참고 영상 노트 | 딥트윈 '루프 vs 그래프', CNV 3단계 병렬 | 확장 |
| 1:40–2:10 | 강사 시연 | 빌더 2 · 리뷰어 1로 파이프라인 만들기 | 코어 |
| 2:10–3:20 | 실습 1 (기본) | 생성 파이프라인 + 관문 4버튼 (3인 1조) | 코어 |
| 3:20–4:05 | 실습 2 (도전) | 상위 모델 교차 검증 + 반려 사유 저장 | 확장 |
| 4:05–4:25 | 상급 노하우 | 오케스트레이션과 Orca | 확장 |
| 4:25–4:40 | 회고·과제 | 잘된 것·막힌 것 1개씩, 과제 확인 | 코어 |
6주차 · 여러 에이전트와 일하기 — 4
지난주 복습
| 확인할 것 | 어떻게 확인하나 |
|---|---|
| 상태 전이 테스트가 초록인가 | npm test 결과 |
| 검수 8항목이 항목별로 저장되나 | 콘텐츠 1건의 검수 기록 |
| E2E가 CI에서 도나 | Actions 최근 실행 |
| 보고서에 기준선 비교가 있나 | main 대비 표 |
| 이번 주와 이어지는 것 | 검수 에이전트가 5주 스크립트를 도구로 써요 |
6주차 · 여러 에이전트와 일하기 — 5
미니 콘토 지도
6주차 미니 콘토
만들고 고르는 흐름
생성 파이프라인
후보 5개 + 검수 결과
골라 주세요
고른 1안만 다음 상태로
확인해 주세요
수정 이력을 저장해요
다시 기획 필요
이대로·다시 기획·그만두기
반려 사유
이유 필수, 다음 생성에
개발 방식
빌더 2 + 리뷰어 1
6주차 · 여러 에이전트와 일하기 — 6
개념 1
생성·검수·결정을 한 곳에 몰면, 관문이 사라져요.
6주차 · 여러 에이전트와 일하기 — 7
개념 2
루프가 아니라 그래프예요. 다섯 갈래로 나뉘었다가 사람 앞에서 합쳐져요.
01
AI팩트시트·고객 유형으로 방향 5개
02
AI방향마다 후보 1안, 병렬로
03
AI8항목 판정과 반려 이유
04
사람골라 주세요 → 확인해 주세요
사람 승인 관문
6주차 · 여러 에이전트와 일하기 — 8
3D로 보기
갈래로 나뉘었다가, 반려되면 돌아가고, 사람 앞에서 합쳐져요.
1
기획이 방향을 나눠 보내요
2
작가 A·B가 동시에 후보를 써요
3
검수가 8항목으로 판정해요
4
걸리면 이유와 함께 반려해요
5
통과한 후보가 사람 앞에 모여요
6
사람이 고르면 올리기로 가요
6주차 · 여러 에이전트와 일하기 — 9
개념 3
하지 말 것: 기획은 카피 쓰기, 작가는 팩트시트 밖 숫자, 검수는 후보 고치기.
기획
AI작가
AI검수
AI조정자
사람1. 방향 5개 (JSON)
2. 후보 5안 (문구·장면)
3. 반려 이유 → 다시 쓰기
4. 항목별 판정과 이유
5. 장마다 다시 만들기
6. 다시 기획 필요
6주차 · 여러 에이전트와 일하기 — 10
개념 4
버튼마다 기록을 남기고, API도 사람 확인 없이는 상태를 못 바꿔요.
사람 승인 관문
네 버튼은 사람만 눌러요
이걸로 할게요
고르는 순간이 승인
문구 수정
그 자리에서, 전후 기록
장마다 다시 만들기
장 단위 최대 5번, 무료
다시 기획 필요
이대로·다시 기획·그만두기
6주차 · 여러 에이전트와 일하기 — 11
개념 5 · 심화
같은 오류가 두 번이면 멈추고 조정자에게 질문해요.
조정자
사람빌더 A
AI빌더 B
AI리뷰어
AI1. 범위 A 나눠 주기
2. 범위 B 나눠 주기
3. PR · 커밋 SHA
4. PR · 커밋 SHA
5. P1~P3 지적만
6. 병합 순서·승인 결정
6주차 · 여러 에이전트와 일하기 — 12
개념 6 · 심화
지적마다 등급과 재현 방법을 붙이면 무엇부터 고칠지 바로 보여요.
P3 다음에 고쳐도 됨
예: 버튼 문구가 어색함
P2 이번 주 안에
예: 반려 이유 없이 반려 가능
P1 병합 전 반드시
예: 승인 전 후보가 '올림'으로 넘어감
6주차 · 여러 에이전트와 일하기 — 13
운영 루프에서
반려 이유를 오늘부터 저장해요. 8주차에 다음 생성의 재료가 돼요.
01
DB팩트시트·고객 유형
02
AI방향 5개 → 후보 5안
03
AI8항목 판정
04
사람이걸로 할게요·수정·반려
사람 승인 관문
05
DB반려 이유도 데이터로
6주차 · 여러 에이전트와 일하기 — 14
참고 영상 노트
출처: 양실장의 바이브코딩대학 · 암묵지 자산화를 위한 딥트윈 에이전트의 전체 원리와 설계 프로세스 · https://www.youtube.com/watch?v=I_c8R_PckJ8&t=796s
11:12
목표 완료를 확인하며 도구 호출을 반복해요. 한 줄로 이어지는 일에 맞아요.
13:16
일을 병렬로 나눴다가 합쳐요. 메일 회신 중 일정 확인을 동시에 붙이는 예가 나와요.
13:46
갈래가 많아질수록 어디서 틀렸는지 찾기 어려워져요.
16:17
평가 기준을 주고 통과할 때까지 돌리게 해요.
후보 5안은 그래프, 검수를 통과할 때까지 고치기는 루프. 둘 다 끝에는 사람이 있어요.
6주차 · 여러 에이전트와 일하기 — 15
참고 영상 노트
출처: CNV AI · AI 에이전트 만들기 3단계 — AI에게 실제 업무 시스템을 개발시키는 방법 · https://www.youtube.com/watch?v=hG9i8nFHEEs&t=3674s
1:01:14
같은 작업 폴더에서 터미널마다 역할이 다른 에이전트를 돌려요.
1:17:27
약한 모델이 맴돌면 더 강한 모델에게 원인 분석을 맡겨요.
36:16
기능을 고치면 관련된 기능과 스킬도 함께 검사하게 해요.
1:40:24
병렬로 돌리고 중간 보고를 받아 사람이 방향을 잡아요.
역할과 모델을 나눠도, 병합 버튼과 '이걸로 할게요'는 사람이 눌러요.
6주차 · 여러 에이전트와 일하기 — 16
이번 주의 한 문장
에이전트가 아무리 많아도 '이걸로 할게요'는 사람이 눌러요.
6주차 · 여러 에이전트와 일하기 — 17
현장에서 있었던 일
상황
한 서비스는 카피를 만든 에이전트에게 검수까지 맡겼어요. 검수 결과는 늘 '통과'였어요.
무슨 일이
다른 모델로 다시 검수하자 절대 표현과 근거 없는 숫자가 여러 건 나왔어요.
바꾼 것
생성과 검수를 다른 에이전트로 나누고 검수 항목을 8개로 고정했어요. 반려에는 이유를 꼭 남겨요.
6주차 · 여러 에이전트와 일하기 — 18
강사 시연 30분
볼 것: 다섯 갈래가 합쳐지는 장면, 리뷰어가 찾은 P1, 고르는 순간 바뀌는 상태.
01
사람기획 출력 JSON 스키마부터
02
AI방향 수만큼 동시에 호출
03
코드5주 검수 스크립트를 도구로
04
사람후보 5안 + 검수 배지
05
AI터미널 2+1, SHA에 P1~P3
6주차 · 여러 에이전트와 일하기 — 19
시연 프롬프트
# 빌더 A (워크트리 feat/pipeline)
기획→작가×5→검수 파이프라인을 lib/pipeline/ 에 만들어줘.
각 단계 입출력은 Zod 스키마로, 작가는 병렬로 호출해.
후보가 5개 미만이면 실패로 처리하고 이유를 남겨.
# 빌더 B (워크트리 feat/pick-ui)
'골라 주세요' 화면: 후보 5안 카드, 검수 배지, 워터마크,
'이걸로 할게요' 버튼. 파이프라인 코드는 건드리지 마.
# 리뷰어 (새 세션, 다른 모델)
PR #12 의 커밋 abc1234 만 리뷰해줘. 지적마다 P1~P3 등급과
재현 방법을 붙이고, 고치지는 마.
6주차 · 여러 에이전트와 일하기 — 20
실습 1 · 70분 (3인 1조)
6주차 · 여러 에이전트와 일하기 — 21
실습 힌트
| 막힌 상황 | 이렇게 요청해요 |
|---|---|
| 후보가 서로 비슷해요 | '방향 5개는 소구 유형이 겹치지 않게, 겹치면 다시 기획해줘' |
| 병렬 호출이 한도에 걸려요 | '동시 호출을 3개로 제한하고 나머지는 대기열로 돌려줘' |
| 검수가 후보를 고쳐 버려요 | '검수는 판정과 이유만, 수정은 작가에게 돌려보내게 해줘' |
| 두 빌더 코드가 겹쳐요 | '파일 소유 범위를 README에 적고 그 밖은 건드리지 마' |
| 리뷰가 막연해요 | '지적마다 등급, 파일:줄, 재현 방법을 붙여줘' |
6주차 · 여러 에이전트와 일하기 — 22
실습 2 · 도전 45분
6주차 · 여러 에이전트와 일하기 — 23
템플릿
# 팀 협업 규칙 — 미니 콘토
역할 빌더 A: lib/pipeline/ 빌더 B: app/(contents)/
리뷰어: 다른 모델·새 세션 조정자: 사람
리뷰 정확한 SHA만, 지적마다 P1~P3 + 파일:줄 + 재현 방법
병합 P1 0개 + CI 초록 + 조정자 승인 후에만
관문 후보 선택·발행은 사람만. 에이전트는 '제안'까지
반려 이유 필수 (8항목 중 무엇 + 한 줄)
보고 한 일 · 확인 방법과 결과 · 확인 못 한 것
멈춤 같은 오류 2번이면 멈추고 조정자에게 질문
6주차 · 여러 에이전트와 일하기 — 24
안전 체크
6주차 안전
여섯 가지를 같이 읽어요
선택·발행은 사람만
API도 사람 확인 필요
작가는 쓰기 권한 없음
결과만 돌려줘요
병렬은 동시 3개 이하
하루 비용 상한도
리뷰어는 지적만
코드를 고치지 않아요
무승인은 격리된 곳만
실습 폴더·컨테이너
워크트리의 .env.local
복사해도 커밋 금지
6주차 · 여러 에이전트와 일하기 — 25
흔한 실수
| 실수 | 무슨 일이 생기나 | 대신 이렇게 |
|---|---|---|
| 한 에이전트가 만들고 검수 | 늘 통과해요 | 생성과 검수를 다른 에이전트로 |
| 브리프 없이 병렬 호출 | 후보 5개가 비슷해요 | 방향을 먼저 나누고 작가에게 |
| 리뷰를 '좋아 보여요'로 | 고칠 게 없다고 착각해요 | 등급·위치·재현 방법 |
| 에이전트가 승인까지 | 관문이 사라져요 | 승인은 사람 버튼으로만 |
| 병렬을 무제한으로 | 한도·비용이 터져요 | 동시 호출 제한 |
6주차 · 여러 에이전트와 일하기 — 26
문제 해결
| 증상 | 흔한 원인 | 해결 |
|---|---|---|
| 후보가 5개보다 적게 저장돼요 | 병렬 호출 일부 실패를 삼킴 | allSettled 로 실패를 기록하고 실패 표시 |
| 같은 후보가 두 번 저장돼요 | 재시도와 중복 저장 | 작업 ID + 순번으로 한 번만 저장 |
| '골라 주세요'에서 멈춰요 | 검수 실패를 처리 안 함 | 검수 실패 시 '다시 기획 필요'로 |
| 워터마크가 최종본에 남아요 | 승인 후 원본 교체 누락 | 승인 시 워터마크 없는 원본으로 교체 |
| 두 빌더의 PR이 충돌해요 | 공용 타입 파일 동시 수정 | 공용 파일은 먼저 작은 PR로 병합 |
6주차 · 여러 에이전트와 일하기 — 27
상급 노하우
| 기법 | 어떻게 | 왜 |
|---|---|---|
| 가장 가벼운 도구부터 | 검수 보조는 서브에이전트, 작가는 워크트리, 팀·워크플로는 그다음 | 에이전트 수만큼 조율 비용이 늘어요 |
| 워커에게는 브리프 | 방향 1개, 고객 유형, 팩트시트, 건드리지 말 파일 | 브리프가 모호하면 후보가 겹쳐요 |
| 만든 모델 ≠ 검수 모델 | 클로드가 쓰고 코덱스가 8항목 검수, 또는 그 반대 | 같은 모델은 같은 실수를 놓쳐요 |
| Orca로 운영 | 작가 워커 2개와 검수 1개를 워크트리별로, 질문·완료는 메시지로 | 터미널을 사람이 오가지 않아요 |
| 관문은 사람 | 검수를 통과해도 '이걸로 할게요'는 사람이 눌러요 | 승인 버튼은 에이전트가 누르지 않아요 |
6주차 · 여러 에이전트와 일하기 — 28
상급 노하우 · 예시
심화 과제(선택): Orca로 작가 워커 2개와 검수 워커 1개를 띄워 후보 5안을 만들고, 사람 승인까지의 메시지 기록을 제출해요
orca orchestration run-create --objective "브랜드 A 후보 5안"
orca orchestration worker-start --spec "기능 소구 후보 3안" \
--worktree new-child --agent claude
orca orchestration worker-start --spec "선물 소구 후보 2안" \
--worktree new-child --agent codex
orca orchestration worker-start --spec "8항목 검수, 수정 금지" \
--worktree current --agent codex
orca orchestration check --wait --types "worker_done,question" --timeout-ms 900000
orca orchestration reply --id <msg> --body "팩트시트 밖 숫자는 빼줘"
# 마지막: 사람이 미니 콘토 화면에서 '이걸로 할게요'
6주차 · 여러 에이전트와 일하기 — 29
자습
| 자료 | 구간 | 볼 것 |
|---|---|---|
| 양실장 · 딥트윈 에이전트 | 11:12–17:17 | 루프와 그래프, 루브릭 반복 |
| CNV AI · 에이전트 만들기 3단계 | 1:01:14–1:23:43 | 병렬 에이전트, 상위 모델 교차 검증 |
| CNV AI · 에이전트 만들기 1단계 | 46:13–58:35 | 같은 일을 엔진 셋에 시켜 비교 |
| Orca 문서 | orchestration | 워커 시작·질문·완료 보고 |
| Anthropic 엔지니어링 블로그 | multi-agent research system | 오케스트레이터와 워커 브리프 |
6주차 · 여러 에이전트와 일하기 — 30
과제와 다음 주
다음 수업 시작 20분에 조별로 파이프라인을 시연해요.
다음 주
미니 콘토를 인터넷에 올리고, 자동 올리기·포인트·운영 현황을 붙여요.
6주차 · 여러 에이전트와 일하기 — 31