현장에서 있었던 일
판매보다 문의를 줄이는 메시지가 먼저였어요
상황
한 D2C 브랜드는 자동화할 첫 메시지로 판매 메시지를 생각했어요.
무슨 일이
실제로 먼저 자동화한 건 AS 접수 완료 안내였고, 그것만으로 관련 문의가 약 15% 줄었어요.
바꾼 것
무엇을 먼저 자동화할지는 운영 부담에서 고르기로 했어요. 데모데이 발표도 '무엇을 덜 하게 됐나'로 시작해요.
8주차 · 종합: 미니 콘토 데모데이 — 18
커머스 AI 운영 실전 8주 과정 · 8주차
내가 없어도 이 루프가 매일 도는가
난이도 LV.8 실전 종합
수업 3시간 · 자료 4시간 40분
실습: contto.ai 70% 클론
8 / 8
이번 주 목표
01
반려 사유와 성과를 다음 생성에 넣고, 승인율이 바뀌는지 재요.
02
미니 콘토가 contto.ai의 핵심 경로 중 무엇을 갖췄는지 점검표와 증거로 보여 줘요.
03
지침·스킬·런북·청사진으로 내가 없어도 돌아가게 정리해요.
8주차 · 종합: 미니 콘토 데모데이 — 2
진행 순서
실습 1의 70분 안에 조별 데모데이(조당 8분 + 질의 3분)가 들어가요.
0:00
복습
0:20
개념 핵심
1:05
개념 심화
1:20
영상 노트
1:40
시연
2:10
실습 1
3:20
실습 2
4:05
상급
4:25
회고
8주차 · 종합: 미니 콘토 데모데이 — 3
진행 순서
| 시간 | 순서 | 내용 | 구분 |
|---|---|---|---|
| 0:00–0:20 | 복습 | 7주 배포 주소 확인, 장애 훈련 기록 | 코어 |
| 0:20–1:05 | 개념 (핵심) | 8주 사다리, 암묵지, 피드백 루프, 판단과 실행 | 코어 |
| 1:05–1:20 | 개념 (심화) | '한눈에' 브리핑, 넘겨줄 수 있는 상태 | 확장 |
| 1:20–1:40 | 참고 영상 노트 | 딥트윈 '피드백 흡수', CNV 'Skill' | 확장 |
| 1:40–2:10 | 강사 시연 | 피드백 주입 전후 비교, 브리핑 시연 | 코어 |
| 2:10–3:20 | 실습 1 (기본) | 루프 닫기·점검표 + 데모데이 발표 | 코어 |
| 3:20–4:05 | 실습 2 (도전) | 판단 에이전트 분리 + 하네스 청사진 | 확장 |
| 4:05–4:25 | 상급 노하우 | 나만의 하네스 | 확장 |
| 4:25–4:40 | 회고·과제 | 데모데이 상호 리뷰와 과정 회고 | 코어 |
8주차 · 종합: 미니 콘토 데모데이 — 4
지난주 복습
| 확인할 것 | 어떻게 확인하나 |
|---|---|
| 프로덕션 주소가 휴대폰에서 열리나 | 캡처 |
| 재시도해도 게시·차감이 한 번인가 | 멱등 테스트 |
| 하루 비용 상한이 걸리나 | 상한 도달 시 '새 제작 멈춤' |
| 런북으로 장애를 따라 했나 | 장애 훈련 기록 |
| 이번 주와 이어지는 것 | 원장과 반려 기록이 오늘 피드백 루프의 재료 |
8주차 · 종합: 미니 콘토 데모데이 — 5
미니 콘토 지도
8주차 미니 콘토
루프 닫기와 발표
운영 현황 '한눈에'
숫자 출처는 원장
피드백 루프
승인율 전후 비교
70% 점검표
항목마다 증거 경로
데모데이
8분 발표 + 3분 질의
도전
판단별 정확도 표
8주차 · 종합: 미니 콘토 데모데이 — 6
개념 1
에이전트에게 주는 구조가 커지고, 사람의 검증은 '눈'에서 '장치'로 옮겨 갔어요.
1
LV.1 목표 한 줄과 지침 한 장
2
LV.2 요청서로 범위를 정해요
3
LV.3 기억과 스킬을 남겨요
4
LV.4 워크트리·PR로 나눠요
5
LV.5 증거로 '됐어요'를 판정
6
LV.6 역할 분리와 사람 관문
7
LV.7 배포·멱등·비용 상한
8
LV.8 피드백을 흡수해 루프 닫기
8주차 · 종합: 미니 콘토 데모데이 — 7
개념 2
사례 → 판단 → 원칙. 하나의 설계안으로 소개해요.
01
사람사람이 왜 골랐고 왜 반려했나
사람 승인 관문
02
DB이유를 사례로 쌓아요
03
AI반복되는 판단을 찾아요
04
사람3번 이상 반복되면 지침 원칙으로
8주차 · 종합: 미니 콘토 데모데이 — 8
개념 3
피드백을 전부 넣으면 흐려져요. 상위 N개와 토큰 상한을 둬요.
수집
반려·수정·성과
선별
브랜드별 상위 N개
주입
기획의 '지난 피드백'
측정
승인율 전후 비교
승격
3번 반복 → 원칙
다음 생성이 달라져요
N과 토큰 상한은 예시예요
8주차 · 종합: 미니 콘토 데모데이 — 9
개념 4
이 한 줄을 메인 지침에 넣고, 새 기능마다 확인해요.
8주차 · 종합: 미니 콘토 데모데이 — 10
개념 5 · 심화
LLM이 숫자를 지어내면 브리핑 전체를 믿을 수 없게 돼요.
'한눈에' 브리핑
숫자는 원장에서만
어제
만든 것·승인·올림 수 (원장)
이번 주
승인율·반려 이유 (검수 기록)
비용
토큰·상한 대비 (트레이스)
제안
다음에 해 볼 것 1개 (LLM)
8주차 · 종합: 미니 콘토 데모데이 — 11
개념 6 · 심화
'내가 없어도 이 루프가 매일 도는가'의 답이 이 세 층이에요.
평가 세트
모델을 바꿔도 전후를 비교해요
런북
장애가 나도 순서대로 따라 해요
지침과 스킬
새 사람이 읽고 바로 일할 수 있어요
8주차 · 종합: 미니 콘토 데모데이 — 12
운영 루프에서
마지막 화살표, '성과 원장 → 다음 기획'이 오늘 연결돼요.
01
DB팩트시트·고객 유형
02
AI기획·작가·검수
03
사람승인·반려·수정
사람 승인 관문
04
코드올림·게시
05
DB반려·성과 → 다음 기획
성과 원장 → 다음 기획 (오늘 연결)
8주차 · 종합: 미니 콘토 데모데이 — 13
3D로 보기
AI는 매일 돌고, 사람은 관문에만 있어요.
1
데이터: 팩트시트·고객 유형
2
AI가 기획·작가·검수를 해요
3
사람이 관문에서 승인·반려
4
승인된 것만 올림·게시
5
반려와 성과가 원장에 쌓여요
6
원장이 다음 기획으로 돌아가요
8주차 · 종합: 미니 콘토 데모데이 — 14
참고 영상 노트
출처: 양실장의 바이브코딩대학 · 암묵지 자산화를 위한 딥트윈 에이전트의 전체 원리와 설계 프로세스 · https://www.youtube.com/watch?v=I_c8R_PckJ8&t=2109s
37:11
매뉴얼·루브릭만으로 옮기면 마지막 검수가 결국 사람 손으로 돌아와요.
40:15
판단을 사례로 쌓고, 반복된 판단을 원칙으로 올리는 설계안이에요.
52:25
상세한 피드백을 저장하고, 목적별로 판단 에이전트를 쪼개요.
55:28
피드백은 시계열로 남기고 버리지 않아요.
미니 콘토의 '이걸로 할게요'와 반려 버튼이 곧 브랜드 암묵지를 모으는 장치예요.
8주차 · 종합: 미니 콘토 데모데이 — 15
참고 영상 노트
출처: CNV AI · 핵심은 Skill입니다 — 비용·할루시네이션을 줄이는 방법 · https://www.youtube.com/watch?v=_eEXg1mNp8I&t=613s
00:30
에이전트를 탓하기 전에 어떤 도구를 줬는지 물어요.
05:39
매뉴얼, 노하우, 실행 코드를 한 묶음으로 줘요.
07:41
도구를 먼저 만들고 나중에 쓰는 분업이 환각을 줄여요.
10:13
판단은 사람과 에이전트, 실행은 검증된 도구라는 원칙을 지침에 둬요.
8주 동안 만든 스크립트·스킬·원장이 '검증된 도구'예요. 데모데이에서 그 목록을 보여 줘요.
8주차 · 종합: 미니 콘토 데모데이 — 16
이번 주의 한 문장
승인과 반려가 쌓이고, 반복된 판단은 원칙이 되고, 원칙은 지침에 남아요.
8주차 · 종합: 미니 콘토 데모데이 — 17
현장에서 있었던 일
상황
한 D2C 브랜드는 자동화할 첫 메시지로 판매 메시지를 생각했어요.
무슨 일이
실제로 먼저 자동화한 건 AS 접수 완료 안내였고, 그것만으로 관련 문의가 약 15% 줄었어요.
바꾼 것
무엇을 먼저 자동화할지는 운영 부담에서 고르기로 했어요. 데모데이 발표도 '무엇을 덜 하게 됐나'로 시작해요.
8주차 · 종합: 미니 콘토 데모데이 — 18
강사 시연 30분
볼 것: 피드백 반영 전후 후보의 차이, 원장에서만 오는 숫자, 8분 데모 흐름.
01
코드반려 사유 상위 5개 쿼리
02
AI기획 요청에 '지난 피드백' 칸
03
사람같은 브랜드로 후보를 비교
04
코드2주 이동 평균으로 계산
05
사람숫자 출처 확인 + 점검표
8주차 · 종합: 미니 콘토 데모데이 — 19
시연 프롬프트
# 1) 피드백 수집
최근 30일 반려 기록에서 브랜드·형식별 반려 이유 상위 5개를
뽑는 SQL과 lib/feedback.ts 를 만들어줘.
# 2) 다음 생성에 주입
기획 에이전트 요청에 '지난 피드백' 칸을 넣고, 토큰이
500을 넘으면 오래된 것부터 빼줘.
# 3) 브리핑
'한눈에' 화면: 어제·이번 주 숫자는 원장에서만 읽고,
LLM은 문장 요약과 제안 1개만 써. 숫자를 만들지 마.
8주차 · 종합: 미니 콘토 데모데이 — 20
실습 1 · 70분 + 데모데이
8주차 · 종합: 미니 콘토 데모데이 — 21
실습 힌트
| 막힌 상황 | 이렇게 요청해요 |
|---|---|
| 피드백을 넣었더니 후보가 비슷해져요 | '피드백은 금지 사항으로만 넣고 방향 다양성은 유지해줘' |
| 승인율 표본이 너무 적어요 | '가짜 승인 데이터 50건으로 계산 경로부터 검증해줘' |
| 브리핑이 숫자를 지어내요 | '숫자는 템플릿 자리에 코드로 채우고 LLM은 문장만' |
| 데모 중 외부 호출이 느려요 | '데모 모드로 녹화본과 고정 응답을 준비해줘' |
| 점검표가 부풀려져요 | '항목마다 동작 증거(캡처·테스트) 경로를 붙여줘' |
8주차 · 종합: 미니 콘토 데모데이 — 22
실습 2 · 도전 45분
8주차 · 종합: 미니 콘토 데모데이 — 23
템플릿
0:00 문제: 무엇을 덜 하게 됐나 (운영 부담 한 줄)
0:40 루프 시연: URL → 분석 → 만들기 → 고르기 → 올림
3:30 증거: 테스트·E2E·캡처·트레이스를 한 화면씩
5:00 안전: 관문·멱등·비용 상한
6:00 피드백: 반려 반영 전후 승인율
7:00 70% 점검표와 안 된 것
7:40 다음 4주 계획
8주차 · 종합: 미니 콘토 데모데이 — 24
70% 점검표
| 영역 | 항목 | 주차 | 동작 |
|---|---|---|---|
| 브랜드 | 추가·전환·URL 등록·할인정보·제품 | 1–2 | □ |
| 브랜드 | URL 자동 설정·고객 유형·팩트시트·리포트(도전) | 3 | □ |
| 콘텐츠 | 만들기 마법사·이미지(1장)·스레드 글 | 4 | □ |
| 콘텐츠 | 목록·상태·검수 8항목·슬라이드(이미지) | 5 | □ |
| 콘텐츠 | 후보 5안·고르기·수정·다시 만들기 | 6 | □ |
| 올리기 | 직접·자동(가짜) 올리기·날짜 잠금 | 7 | □ |
| 설정 | 포인트 원장·요금제(가짜 승인) | 7 | □ |
| 운영 현황 | 게시 관리·한눈에·피드백 루프 | 7–8 | □ |
| 운영 | 배포·트레이스·비용 상한·런북 | 7 | □ |
8주차 · 종합: 미니 콘토 데모데이 — 25
데모데이
| 항목 | 배점 | 기준 |
|---|---|---|
| 루프가 실제로 돈다 | 30 | URL → 생성 → 승인 → 올림 → 기록을 끊김 없이 시연 |
| 증거 | 20 | 테스트·E2E·캡처·트레이스로 보여 줌 |
| 안전 | 15 | 관문·멱등·비용 상한·키 관리 |
| 피드백 흡수 | 15 | 반려 사유 반영 전후 승인율 |
| 넘겨줄 수 있음 | 10 | 지침·스킬·런북으로 남이 이어받기 |
| 솔직한 회고 | 10 | 안 된 것과 이유, 다음 계획 |
8주차 · 종합: 미니 콘토 데모데이 — 26
안전 체크
데모데이 안전
여섯 가지를 같이 읽어요
데모는 가짜 API로만
샘플 데이터만 써요
발표 화면에 비밀 없음
키·토큰·개인정보
피드백 데이터
고객 개인정보는 빼요
숫자는 원장에서만
LLM이 만들지 않아요
'동작'은 증거가 있을 때만
점검표 체크 기준
공개 전 다시 확인
.env·키·내부 주소
8주차 · 종합: 미니 콘토 데모데이 — 27
흔한 실수
| 실수 | 무슨 일이 생기나 | 대신 이렇게 |
|---|---|---|
| 기능 목록만 발표 | 루프가 도는지 안 보여요 | 한 흐름을 끝까지 시연 |
| 피드백을 전부 주입 | 컨텍스트가 흐려져요 | 상위 N개·토큰 상한 |
| LLM이 숫자까지 작성 | 브리핑이 틀려요 | 숫자는 코드가 채움 |
| 안 된 것을 숨김 | 신뢰를 잃어요 | 점검표에 이유와 계획 |
| 데모를 라이브로만 | 외부 지연에 막혀요 | 녹화본과 데모 모드 준비 |
8주차 · 종합: 미니 콘토 데모데이 — 28
문제 해결
| 증상 | 흔한 원인 | 해결 |
|---|---|---|
| 승인율이 계산 안 돼요 | 승인·반려 이벤트 누락 | 상태 전이 때 이벤트 기록 확인 |
| 브리핑이 비어 있어요 | 날짜 경계 계산 오류 | 시간대(KST)와 날짜 경계 확인 |
| 피드백 주입 후 비용이 늘어요 | 요청이 길어짐 | 토큰 상한과 요약 |
| 데모 직전 배포 오류 | 직전 병합 | 데모 전날 동결, 프리뷰로 리허설 |
| 점검표 판정이 애매해요 | 기준 없음 | 항목마다 동작 증거 1개로 판정 |
8주차 · 종합: 미니 콘토 데모데이 — 29
상급 노하우
| 기법 | 어떻게 | 왜 |
|---|---|---|
| 하네스 청사진 한 장 | 지침, 권한, 훅, 스킬, 파이프라인, 원장, 관측, 모델 배치, CI, 예산 | 내 방식을 남에게 넘길 수 있어요 |
| 평가 세트 | 실제 반려 20~50건으로 만든 과제, 채점은 코드가 먼저 | 하네스를 바꿨을 때 좋아졌는지 알아요 |
| 모델이 바뀌면 점검 | 모든 장치는 '모델이 못 하는 것'에 대한 가정이에요. 필요 없어진 건 빼요 | 하네스는 커지기만 하면 느려져요 |
| 피드백 흡수 경로 | 반려 이유·성과가 지침·스킬로 올라가는 길을 정해 둬요 | 같은 실수를 반복하지 않아요 |
8주차 · 종합: 미니 콘토 데모데이 — 30
상급 노하우 · 예시
심화 과제(선택): 미니 콘토 하네스 청사진과 평가 과제 10건을 만들고, 피드백 반영 전후 통과율을 비교해 발표해요
mini-contto/
├─ AGENTS.md · CLAUDE.md → docs/law.md (메인 지침)
├─ .claude/settings.json 권한 · 거부 규칙 · 훅
├─ skills/brand-analysis/ URL → 팩트시트
├─ skills/copy-review/ 검수 8항목 스크립트
├─ lib/pipeline/ 기획 → 작가×5 → 검수
├─ lib/llm.ts 트레이스 · 비용 상한
├─ supabase/migrations/ 원장 · 상태 · 피드백
├─ .github/workflows/ci.yml lint · test · E2E
├─ evals/ 반려 사례로 만든 과제
└─ docs/runbook.md 배포 · 장애 · 되돌리기
8주차 · 종합: 미니 콘토 데모데이 — 31
자습
| 자료 | 구간 | 볼 것 |
|---|---|---|
| 양실장 · 딥트윈 에이전트 | 35:09–끝 | 암묵지·사례→판단→원칙·피드백 흡수 |
| CNV AI · 핵심은 Skill입니다 | 전체 (12분) | 판단과 실행의 분리 |
| CNV AI · 에이전트 만들기 1→2→3단계 | 각 영상 마지막 10분 | 사다리 회고와 다음 단계 |
| 양실장 · 3시간 바이브코딩 | 1:53:41–1:55:42 | 자율 구축 뒤 해부하는 습관 |
| Anthropic 엔지니어링 블로그 | demystifying evals | 평가 세트 만들기 |
8주차 · 종합: 미니 콘토 데모데이 — 32
과제와 다음 주
데모데이 당일에 제출해요.
다음 주
미니 콘토를 내 쇼핑몰 데이터로 이어 가요. 한 달에 한 번 승인율과 비용을 다시 재요.
8주차 · 종합: 미니 콘토 데모데이 — 33