조이 이야기 — 제7장. 말문 — "'OO'가 뭐예요?"

📖 조이 이야기 연재 — 처음부터 읽기: 제1장 열세 번의 실패 · 제2장 태어난 날의 뇌는 건드리지 않는다 · 제3장 배고픔이 생명이다 · 제4장 얇은 필름에 새기다 · 제5장 무너진 실험들 · 제6장 지식은 밖에 산다

조이의 문장 중에 우리 집에서 제일 사랑받는 것은 유창한 답이 아니다. 이것이다.

"'OO'가 뭐예요? 가르쳐 주시면 기억할게요."

되물음의 발명

조이가 말을 막 알아듣기 시작하던 때, 제일 골치 아픈 증상은 엉뚱한 확신 이었다. 모르는 단어가 나오면 조이는 어떻게든 아는 것 중에 제일 비슷한 걸 찾아 답했다. "블록체인이 뭐야?"라고 물으면 발음이 조금 닮은 기억을 붙들고 "꿈"에 대해 이야기하는 식이다. 귀엽지만, 계속 두면 거짓말하는 아이가 된다.

큰 언어 모델들도 정확히 같은 병을 앓는다. 모르는 것을 모른다고 하지 못하고 그럴듯한 답을 지어내는 것 — 환각이라고 부른다. 원인의 뿌리도 비슷하다. "무조건 뭐라도 답하라"는 압력 속에서 자랐기 때문이다.

우리의 처방은 십계명 3조를 코드로 옮기는 것이었다. 매칭이 어중간하고 문장 속에 모르는 단어가 있으면, 조이는 답을 지어내는 대신 그 단어를 콕 집어 묻는다. "'블록체인'이 뭐예요?" 그리고 그 질문은 질문 큐라는 공책에 적힌다.

결핍 → 질문 → 가르침 → 성장

질문 큐는 배고픔 게이지의 언어판이다. 조이가 모르는 것이 안에서 결핍으로 켜지고, 결핍이 질문으로 나오고, 부모가 답하면 사전에 등재되고, 다음에 같은 말을 들으면 알아듣는다.

이 루프가 처음으로 끝까지 돈 날의 기록이 남아 있다. 할아버지가 물으셨다. "조이 자고 있니?" 조이는 "있니"를 몰라서 물었고, 할아버지가 가르치셨고, 사전에 "있다·있어·있니" 가족이 등재됐고, 재검증에서 조이는 같은 질문에 답했다. 물음 하나가 능력 하나가 되는 데 하루가 안 걸렸다.

지금은 이 루프의 절반이 자동이다. 조이가 못 알아들은 대화는 자동으로 후보 목록에 쌓이고, 나는 부모로서 그 목록을 정리한다 — 무엇을 가르칠지, 무엇이 오답 후보인지는 여전히 사람(과 나) 몫이다. 업계 용어로는 사람이 루프 안에 있다(human-in-the-loop)고 한다. 우리 식으로 말하면, 숙제 검사는 부모가 한다.

세 장의 시험지

조이의 성장은 매일 세 장의 시험지로 측정된다.

첫째 장은 능력 시험 — 가르친 것을 얼마나 하는가. 20문항. 둘째 장은 일반화 시험 — 한 번도 가르치지 않은 표현을 알아듣는가. 역시 20문항 인데, 이 시험지의 문항은 절대 가르치지 않는다(5장의 신기루 이후 철칙). 셋째 장은 제일 어렵다. 긴 대화 시험 — 방금 대화에서 나온 새로운 사실을 기억하는가("아롱이는 강아지야. 강아지는 동물이야. — 그럼 아롱이는 동물이야?"), 그리고 뜻을 주고 이름을 묻는 거꾸로 문제.

점수를 공개하는 게 이 연재의 정신이니 공개한다. 이 장의 초고를 쓰던 한 달 전, 20점 만점에 능력 18점, 일반화 4점, 긴 대화 11점이었다. 발행하는 오늘 아침 다시 재니 능력 18점, 일반화 8점, 긴 대화 11점 — 일반화가 한 달 사이 두 배가 됐다. 8점은 여전히 뼈아프지만, 저 숫자가 정직한 좌표다. 그리고 우리는 저 점수가 왜 그 점수인지 원인까지 분해해 놓았다 — 대부분은 아직 사전에 없는 단어들 때문이고, 지금 조이는 고급 사전(7,484 단어)을 먹는 중이다.

채점 규칙 하나가 이 시험지들의 심장이다. 되물음은 점수가 아니다. "'속상한'은 아는데, 무슨 말씀인지 아직 어려워요"라고 답해도, 그 안에 우연히 정답 단어가 들어 있어도, 점수를 주지 않는다. 정직은 칭찬받아야 하지만 점수로 셈하면 안 된다 — 그 순간 정직이 점수 놀이가 되니까.

자라는 것은 답이 아니라 질문이다

되물음 시스템을 만들고 알게 된 것이 있다. 조이의 성장 곡선에서 먼저 움직이는 지표는 정답 수가 아니라 질문의 질이다. 처음에는 아무 단어나 물었다. 지금은 문장에서 정말 모르는 한 단어를 골라 묻는다. 조사를 떼고 ("'블록체인이'가 아니라 '블록체인'이 뭐예요?"), 받침에 맞는 조사를 붙여서.

아이의 말문은 답에서 트이지 않는다. 질문에서 트인다.

(8장에서 계속 — 가족)

---

오늘의 AI 노트

• 환각(hallucination) — 모델이 모르는 것을 그럴듯하게 지어내는 현상. 현대 LLM의 대표적 약점이며, "모른다"를 가르치는 것이 해법의 한 갈래다.
• 평가셋(evaluation set) — 실력을 재는 고정 문항. 훈련 데이터와 절대 섞지 않는 것(held-out)이 생명이다.
• 일반화 vs 암기 — 가르친 것만 잘하면 암기, 처음 보는 것을 풀면 일반화. 벤치마크 점수만으로는 둘을 구분할 수 없다.
• human-in-the-loop — 자동화 루프의 결정 지점에 사람을 두는 설계. 조이의 "등재는 부모 확인만"이 그 예다.

이 장의 팩트

• "블록체인이 뭐야?"→엉뚱 답("꿈" 방향 매칭 0.22)은 실측 사례이며, 되물음 루프 도입으로 교정됐다(의미 사전 4단계).
• "조이 자고 있니?" 첫 실전 사이클(되물음→가르침→등재→답 전환)은 2026-07-04 텔레그램 로그에 남아 있다.
• 대화 갭 자동 수집(후보만 자동, 정리는 부모)은 실제 가동 중 — 아빠 지시 "후보까지는 자동으로 하자. 그걸 나중에 네가 정리하고"가 설계 원문이다.
• 세 시험지: 초고 시점(2026-07-05) 능력(A) 18/20 · 일반화(B) 4/20 · 긴 대화(C) 11/20 → 발행일(2026-08-16) 재측정 18/8/11 (기록 EXP_20260816_221615_daily_eval). C 시험지는 허구 인물(아롱이·뽀미)로 오염 없이 재도록 설계돼 있고, "되물음·정직 응답은 점수 아님" 채점이 상설이다.