현장에서 있었던 일
팩트시트 밖의 숫자
상황
한 서비스가 상세페이지 교체안을 AI로 만들었는데, 원문에 없는 그럴듯한 수치가 들어갔어요.
위험
사람 눈에도 그럴듯해서 그대로 올라갈 뻔했어요. 틀린 숫자는 광고 문구 위반이 돼요.
바꾼 것
기존 페이지의 모든 수치를 팩트시트로 뽑아 세션마다 읽히고, 그 밖의 숫자는 쓰지 못하게 했어요.
3주차 · 컨텍스트와 기억 — 17
커머스 AI 운영 실전 8주 과정 · 3주차
세션이 바뀌어도 일이 이어지게
난이도 LV.3 기초 심화
수업 3시간 · 자료 4시간 40분
실습: contto.ai 70% 클론
3 / 8
이번 주 목표
01
/compact·/clear·인계 문서로 세션이 바뀌어도 일이 이어지게 해요.
02
절차는 스킬, 사실은 팩트시트, 지난 일은 인계 문서에 둬요.
03
사이트를 읽어 브랜드정보·할인·고객 유형·제품 초안을 만들고 사람이 확정해요.
3주차 · 컨텍스트와 기억 — 2
진행 순서
진한 칸(코어)만 하면 3시간 수업이에요. 회색 칸은 확장·자습이에요.
0:00
복습 리뷰
0:20
개념 핵심
1:05
개념 심화
1:20
영상 노트
1:40
강사 시연
2:10
실습 1
3:20
실습 2 도전
4:05
상급 노하우
4:25
회고 과제
3주차 · 컨텍스트와 기억 — 3
진행 순서 · 자세히
| 시간 | 순서 | 내용 | 구분 |
|---|---|---|---|
| 0:00–0:20 | 복습·과제 리뷰 | 요청서 A/B 비교 두 명 발표 | 코어 |
| 0:20–1:05 | 개념 (핵심) | 보는 창, 기억 세 가지, 스킬, 팩트시트 | 코어 |
| 1:05–1:20 | 개념 (심화) | 프롬프트→RAG→파인튜닝, 절대 표현, 사이트 읽기 | 확장 |
| 1:20–1:40 | 참고 영상 노트 | CNV 2단계, 양실장 딥트윈 | 확장 |
| 1:40–2:10 | 강사 시연 | brand-analysis 스킬과 세션 이어받기 | 코어 |
| 2:10–3:20 | 실습 1 (기본) | URL로 브랜드 자동 설정 + 인계 문서 | 코어 |
| 3:20–4:05 | 실습 2 (도전) | 브랜드 분석 리포트 3C·4P·STP | 확장 |
| 4:05–4:25 | 상급 노하우 | 컨텍스트 엔지니어링 | 확장 |
| 4:25–4:40 | 회고·과제 | 세션 교체 경험 공유, 과제 안내 | 코어 |
3주차 · 컨텍스트와 기억 — 4
지난주 복습
오늘의 재료
지난주 결과물이 입력이에요
요청서 다섯 칸
'사이트 우회 금지'를 더해요
결정 기록
결정 14 서버 호출 · 15 상한
DB
팩트시트·고객 유형이 붙어요
3주차 · 컨텍스트와 기억 — 5
미니 콘토 지도
도전: 브랜드 분석 리포트 3C·4P·STP, 사실과 가설을 나눠 표시해요.
01
사람이름과 URL을 넣어요
02
AI읽는 동안 브랜드 메뉴가 잠겨요
03
AI정보·할인·고객 유형·제품이 채워져요
04
사람사람이 확인하고 확정해요
사람 승인 관문
3주차 · 컨텍스트와 기억 — 6
개념 1
창은 넓지만 공짜가 아니에요. 길수록 흐려지고 비싸져요.
1
메인 지침이 창에 먼저 들어가요
2
스킬은 필요할 때 들어와요
3
팩트시트·고객 유형도 함께
4
대화가 쌓이면 앞 규칙이 흐려져요
5
/compact로 요약 한 장에 압축
3주차 · 컨텍스트와 기억 — 7
개념 2
모든 걸 한 창에 넣지 말고, 종류별로 저장해 필요한 만큼만 불러요.
에이전트의 기억
종류별로 두고 필요한 만큼
절차 · 어떻게 하나
분석 절차 → 스킬 폴더
의미 · 무엇이 사실
팩트시트 → DB·facts.md
일화 · 전에 무슨 일
지난 결정 → handoff.md
3주차 · 컨텍스트와 기억 — 8
개념 3
판단은 모델이, 결과가 정해진 일은 스크립트가 해요.
01
AI언제 쓰는지와 절차. 이 목차만 먼저 봐요
02
AIreferences/: 스키마·예시·노하우, 필요할 때만
03
코드scripts/: 사이트 읽기·형식 검사는 코드로
3주차 · 컨텍스트와 기억 — 9
개념 4
모르면 지어내지 말고 '확인 필요'로 남겨요.
3주차 · 컨텍스트와 기억 — 10
개념 5 · 심화
항상 아래 칸부터 써요. 미니 콘토는 첫 칸이면 충분해요.
지금 · 규칙과 절차
프롬프트
8주 · 자료가 크면
RAG
안 써요 · 대량 반복
파인튜닝
3주차 · 컨텍스트와 기억 — 11
개념 6 · 심화
네 칸: 지금 상태 · 다음 할 일 · 하지 말 것 · 결정과 이유
3주차 · 컨텍스트와 기억 — 12
개념 7
읽기에 실패해도 흐름은 멈추지 않게 해요.
사이트 읽기
실패해도 흐름은 이어 가요
JS로 그리는 사이트
헤드리스 또는 직접 입력
봇 차단·403
우회 없이 직접 입력
페이지가 너무 커요
본문만 추리고 길이 상한
쇼핑몰마다 다른 구조
LLM 추출 + Zod 검사
3주차 · 컨텍스트와 기억 — 13
운영 루프에서
'맞아요/고치기'가 미니 콘토의 첫 승인 관문이에요.
01
코드브랜드 사이트 → 팩트시트 (이번 주)
02
AI분석 스킬이 초안 작성
03
사람맞아요/고치기로 사람이 확정
사람 승인 관문
04
가짜아직 없음 (7주)
05
코드고객 유형이 8주차에 갱신돼요
성과가 다음 데이터가 돼요
3주차 · 컨텍스트와 기억 — 14
참고 영상 노트
출처: CNV AI 「AI 에이전트 만들기 2단계 — 독립 실행하고 하나로 통제하기」 · https://www.youtube.com/watch?v=yL-CXA-5B4o&t=1304s
21:44
도구별 지침 파일엔 메인 지침을 읽으라는 한 줄만.
24:52
답변에 열람 파일을 쓰게 해서 검증해요.
32:40
목차만 먼저 보고 필요할 때 본문과 코드를 읽어요.
57:36
작업 기록을 읽어 지침과 스킬을 고치게 해요.
브랜드 분석을 스킬로 만들면 다음 브랜드부터 같은 품질로 돌아요.
3주차 · 컨텍스트와 기억 — 15
참고 영상 노트
출처: 양실장의 바이브코딩대학 「암묵지 자산화를 위한 딥트윈 에이전트의 전체 원리와 설계 프로세스」 · https://www.youtube.com/watch?v=I_c8R_PckJ8&t=150s
04:02
어떻게 할지, 무엇이 사실인지, 전에 무슨 일이 있었는지.
05:03
언제 쓰는지와 절차 본문으로 이뤄져요.
06:33
지난 기록 중 관련 있는 몇 개만 불러와요.
11:12
다 했는지 응답 전에 확인하는 단계를 둬요.
모든 걸 한 창에 넣지 말고, 종류별로 저장해 필요한 만큼만.
3주차 · 컨텍스트와 기억 — 16
현장에서 있었던 일
상황
한 서비스가 상세페이지 교체안을 AI로 만들었는데, 원문에 없는 그럴듯한 수치가 들어갔어요.
위험
사람 눈에도 그럴듯해서 그대로 올라갈 뻔했어요. 틀린 숫자는 광고 문구 위반이 돼요.
바꾼 것
기존 페이지의 모든 수치를 팩트시트로 뽑아 세션마다 읽히고, 그 밖의 숫자는 쓰지 못하게 했어요.
3주차 · 컨텍스트와 기억 — 17
강사 시연 30분
볼 것: 빈 본문 → 직접 입력 · '확인 필요'로 남은 칸 · 이어받지 못하는 지점
01
AIskill-creator 방식으로 만들어요
02
코드fetch_site: URL → 본문, 실패하면 null
03
AIZod 스키마로 정보·할인·고객 유형·제품
04
사람잠금 → 초안 → 맞아요/고치기
사람 승인 관문
05
AI/compact, 그다음 /clear → handoff.md만으로
3주차 · 컨텍스트와 기억 — 18
시연 프롬프트
skills/brand-analysis/ 에 스킬을 만들어 줘:
- SKILL.md: 언제 쓰는지 2줄 + 절차 5단계
- scripts/fetch_site.ts: URL → 본문 텍스트 (실패하면 null)
- references/schema.md: BrandDraft (정보·할인·고객 유형·제품)
규칙: 사이트에 없는 숫자는 쓰지 않고 '확인 필요'로 남긴다.
LLM 호출은 app/api/brand/analyze/route.ts 에서만.
끝나면 docs/handoff.md 를 갱신해:
지금 상태 · 다음 할 일 · 하지 말 것 · 결정과 이유
3주차 · 컨텍스트와 기억 — 19
실습 1 · 70분
3주차 · 컨텍스트와 기억 — 20
실습 힌트
| 상황 | 이렇게 말해요 |
|---|---|
| 본문이 비어요 | "읽기 실패면 null을 돌려주고 화면에 직접 입력 칸을 보여 줘" |
| JSON이 깨져요 | "Zod 스키마로 검사하고 실패하면 한 번만 다시 요청해" |
| 숫자를 지어내요 | "팩트시트에 없는 숫자는 '확인 필요'로. 출처 링크 없는 값 금지" |
| 창이 가득 찼어요 | "/compact: 팩트시트 스키마와 남은 할 일만 남겨" |
| 이어받기 실패 | "handoff.md에서 빠진 칸을 찾아 채워" |
3주차 · 컨텍스트와 기억 — 21
실습 2 · 도전 45분
완료: 사실·가설 구분 표시 · 근거 없는 주장 0개 · SKILL.md 갱신
01
AI3C·4P·STP 칸
02
AI칸마다 '확인된 사실'과 '가설' 표시
03
코드어느 페이지에서 왔나
04
AI브랜드정보 화면에 버튼
05
사람SKILL.md에 리포트 단계 추가
3주차 · 컨텍스트와 기억 — 22
템플릿
# 인계 — 3주차 브랜드 자동 설정
## 지금 상태
- 분석 API 동작 (커밋 a1b2c3d), 화면은 초안 표시까지
## 다음 할 일
1. '고치기' 저장 2. 실패 시 직접 입력 화면
## 하지 말 것
- 로그인이 필요한 페이지 읽기, 차단 우회
## 결정과 이유
- 추출은 Zod 스키마 + 재시도 1회 (결정 016)
## 확인 명령
- pnpm test brand-analysis - pnpm dev 후 /brand/new
3주차 · 컨텍스트와 기억 — 23
안전 체크
스킬
스크립트는 읽고 나서 실행, 외부 스킬은 코드부터
공급망비용·개인정보
하루 비용 상한, 개인정보가 든 텍스트는 보내지 않기
사이트
공개 페이지만 읽기, 로그인 우회 금지, 이용약관·robots 확인
키
LLM 호출은 서버 라우트에서만, API 키가 브라우저로 나가지 않게
토대3주차 · 컨텍스트와 기억 — 24
흔한 실수
| 실수 | 무슨 일이 생기나 | 대신 이렇게 |
|---|---|---|
| 한 세션에서 끝까지 | 앞 규칙이 흐려져요 | 작업마다 /clear + 인계 |
| 채팅으로만 준 규칙 | 요약 뒤 사라져요 | 지침·스킬 파일로 |
| 팩트시트 없이 생성 | 그럴듯한 숫자를 지어내요 | 팩트시트 밖 숫자 금지 |
| 읽기 실패 = 끝 | 흐름이 멈춰요 | 직접 입력으로 이어 가기 |
| 스킬을 만들고 방치 | 기능과 어긋나요 | 기능 바꿀 때 스킬도 |
3주차 · 컨텍스트와 기억 — 25
문제 해결
| 증상 | 원인 | 해결 |
|---|---|---|
| 본문이 비어 있어요 | 자바스크립트로 그리는 사이트 | 헤드리스 브라우저 또는 직접 입력 |
| 403·차단 | 봇 차단 | 직접 입력으로 전환, 우회하지 않기 |
| JSON이 깨져요 | 스키마 없이 요청 | Zod 스키마 + 재시도 1회 |
| 창이 가득 찼다는 경고 | 긴 세션 | /compact 초점 지정 또는 /clear + 인계 |
| 비용이 튀어요 | 본문 전체를 매번 보냄 | 본문 요약·캐시, 하루 상한 |
3주차 · 컨텍스트와 기억 — 26
자습 목록 · 확장
| 자료 | 볼 구간 | 볼 것 |
|---|---|---|
| CNV AI 2단계 | 21:44–37:22, 57:36– | 메인 지침·포인터·스킬·기록 루프 |
| 양실장 딥트윈 | 02:30–17:17 | 메모리 세 기둥, 하네스, 루프 |
| 양실장 LLM 원리 | 39:31–58:31 | 어텐션과 창의 길이 |
| 양실장 LLM 원리 | 78:40–90:26 | 프롬프트·RAG·파인튜닝 고르기 |
| CNV AI 핵심은 Skill | 05:39–07:41 | 스킬의 세 구성 |
3주차 · 컨텍스트와 기억 — 27
상급 노하우
| 기법 | 어떻게 | 왜 |
|---|---|---|
| 브랜드마다 /clear | 브랜드 하나 분석이 끝나면 새로 시작 | 지난 브랜드 흔적이 다음 답을 끌고 가요 |
| 압축은 초점을 주고 | /compact 뒤에 '팩트시트 스키마와 남은 할 일만' | 채팅으로만 준 규칙은 요약 뒤 사라져요 |
| 스킬은 점진적 공개 | SKILL.md는 목차, 스키마·스크립트는 필요할 때 | 지침을 짧게 유지해요 |
| 리뷰 분석은 서브에이전트 | 리뷰 수백 건은 서브에이전트가 읽고 근거 5줄만 | 메인 창을 깨끗하게 지켜요 |
| 계기판 켜기 | 상태 표시줄에 창 사용률과 사용량 (/statusline) | 넘치기 전에 알아요 |
3주차 · 컨텍스트와 기억 — 28
상급 노하우 · 예시
심화 과제(선택): brand-analysis 스킬과 리뷰 요약 서브에이전트를 만들어, 브랜드 3개에서 메인 창 사용량을 전후 비교해요
# skills/brand-analysis/SKILL.md
---
name: brand-analysis
description: 브랜드 URL로 정보·할인·고객 유형·제품 초안을 만들 때
---
1. scripts/fetch_site.ts 로 본문을 읽는다 (실패하면 직접 입력)
2. references/schema.md 의 BrandDraft 형식으로 추출한다
3. 사이트에 없는 숫자는 '확인 필요'로 남긴다
# .claude/agents/review-reader.md
model: haiku · tools: Read · 리뷰를 읽고 고객 유형 근거 5줄만 돌려준다
3주차 · 컨텍스트와 기억 — 29
과제와 다음 주
다음 수업 첫 20분에 세션 교체 경험을 두 명이 발표해요.
다음 주
만들기 마법사와 형식 두 개(이미지·스레드)를 워크트리 두 개에서 동시에 만들고 PR로 합쳐요.
3주차 · 컨텍스트와 기억 — 30