L = DKL(y*‖ŷ) + λ·hinge
λ = 0.1
√ε ≈ 0.22
soft + hard
10,000 pairs
SYSTEM 1.5 · 10대 핵심 수식 9/10

수식 9. “교장 선생님의 사랑의 매” — FWP 훈련 손실

요약 장인 Φ_ω를 어떻게 가르치는가? ‘정답을 맞혀라’와 ‘패치를 크게 만들지 마라’는 두 가지 훈육의 조합입니다.

①

한 줄 요약 — 정답 응원 + 과속 벌금

요약 장인 Φ_ω를 훈련시키는 손실 함수입니다. 앞항은 ‘정답을 잘 맞혀라’(one-hot 타깃이면 cross-entropy로 환원), 뒷항은 ‘패치를 너무 크게 만들면 벌금’입니다.

L = DKL(y* ‖ ŷ) + λ ( max(0, ‖A‖op − √ε) + max(0, ‖B‖op − √ε) )
위치: FWP training 섹션 (4페이지 하단)
②

직관적 비유 — 과속 단속 카메라 📸

앞부분(D_KL)은 정답을 잘 맞히라고 응원하는 것이고, 뒷부분(λ max(0,·))은 페널티(벌금)입니다. 요약 패치의 크기(‖A‖_op)가 제한 속도(√ε)를 조금이라도 넘으면 얄짤없이 벌금을 때려서, 요약본이 안전선 안에서만 만들어지도록 훈련시킵니다. 단, 이 벌금은 훈련 때의 ‘유도(soft)’일 뿐이고, 추론 시의 ‘강제(hard)’ 보증은 수식 5의 투영 Π_a, Π_b가 담당합니다 — 이중 안전장치입니다.

√ε ≈ 0.22 제한 속도 = 팩터 노름 상한 ‖A‖op 패치 크기가 과속 중! 번쩍! 벌금 λ = 0.1 범칙금 고지서 λ·max(0, 초과분) 앞항 DKL: “정답 잘 맞혀!” 📣 응원
제한 속도 √ε를 넘는 순간 카메라가 번쩍 — 초과분에 비례한 벌금(λ항)이 부과됩니다. 앞항 D_KL은 정답을 응원하는 당근입니다.
③

논문 속 실제 숫자

λ=0.1, AdamW(lr 1×10−4, weight decay 10−2, batch 32), 20 epochs, 앵커-쿼리 쌍 10,000개로 오프라인 훈련. 학습되는 것은 Φ_ω(≈0.27 MB)뿐, 백본 f_θ는 동결. 훈련의 soft 벌금 + 추론의 hard 투영 Π라는 이중 안전장치 설계입니다.