평가 — 질문 목록으로 공백 찾기

"잘 만들었겠지"로 끝내지 않아요

조각을 만들었다고 질문에 답이 나온다는 보장은 없어요. 질문 목록을 먼저 만들고, 각 질문의 검색 상위 몇 개 조각에 답의 단서가 있는지 세요. 단서가 없는 비율이 공백률이에요. 이 값을 줄이는 것이 목표예요.

질문 목록 만들기

• 내가 쓴 질문만으로는 낙관적이에요. 조각을 쓴 사람은 조각에 있는 말로 질문하기 쉬워요.
• 그래서 내가 쓴 질문 + 남이 쓴 질문(또는 실제 방에서 자주 나온 질문의 일반화) 둘 다 넣어요.
• 질문 안에 실명·연락처·사연이 있으면 일반화해서 적어요.

chatbot-knowledge/eval/questions.md에 질문을 번호와 함께 한 줄씩 적을 수 있는 형식을 만들어줘. 질문마다 "답의 단서가 되는 핵심 단어" 칸을 비워 둬. 내가 질문 30개를 붙여 넣을게. 실명과 연락처가 보이면 일반화한 문장으로 바꿔서 보여줘.

따라하기: 공백 재기

eval/questions.md의 질문마다 검색 상위 4조각을 찾아서, 핵심 단어가 그 조각들에 하나라도 있으면 O, 없으면 X로 eval/report.md에 표로 저장해줘. 공백률(X의 비율)도 맨 위에 적고, X인 질문 목록을 따로 모아줘.

터미널로도 할 수 있어요. 이 평가를 스크립트로 만들어 두면 지식을 바꿀 때마다 한 줄로 다시 잴 수 있어요.

공백을 줄이는 방법

1. X인 질문마다 답이 자료에 있는지 봐요. 있으면 그 내용을 담은 조각을 새로 쓰거나 기존 조각의 제목·태그에 질문에서 쓰는 말을 넣어요.
2. 자료에 없으면 억지로 만들지 않아요. 모른다고 답하고 안내 페이지로 보내는 것이 맞는 답이에요.
3. 보강한 뒤 다시 재요. 공백률이 줄었는지 숫자로 봐요.

주의. 고친 질문으로 다시 재면 점수가 좋아 보여요. 가끔 **새로 쓴 질문(홀드아웃)**으로 따로 재서 낙관을 걷어 내요.

평가는 답의 질을 보장하지 않아요

공백률은 "찾을 수 있나"만 말해요. 답이 정확한지, 말투가 맞는지는 방에서 실제로 읽어 봐야 해요. 모델을 바꿀 때는 대표 질문 30개 정도로 두 모델을 나란히 비교해요.

오늘의 체크리스트

• 공백률의 뜻과 한계를 설명할 수 있다
• 내가 쓴 질문만 쓰면 낙관적이라는 것을 알았다
• 자료에 없는 질문을 억지로 채우지 않았다