SYSTEM 1.5 · 10대 핵심 수식 8/10

수식 8. “자석과 눈치코치” — InfoNCE 대조 손실 (App. C)

치트키(CFD)는 같은 구조의 문제에만 통합니다. ‘단어만 비슷한 함정’을 8.5ms 만에 알아채는 문지기 라우터의 훈련 수식입니다.

①

한 줄 요약 — 같은 구조는 당기고, 함정은 밀어내라

8.5ms 라우터 R_ρ가 ‘단어만 비슷한 함정 질문(Near-OOD trap)’을 걸러내도록 훈련시키는 대조 학습 수식입니다. q는 앵커 쿼리, k₊는 같은 연산 구조의 긍정 샘플, kᵢ는 같은 금융 텍스트지만 다른 추론이 필요한 부정 샘플입니다.

L_InfoNCE = −log [ exp(sim(R_ρ(q), R_ρ(k₊))/τ) / Σ_i exp(sim(R_ρ(q), R_ρ(k_i))/τ) ]

위치: Appendix C (Contrastive Router Training)

②

직관적 비유 — 자석의 N극과 S극 🧲

이 수식은 AI에게 “끼리끼리 놀아라!”라고 명령합니다. 분자(위쪽)는 진짜 논리 구조가 같은 문제끼리는 N극-S극처럼 확 끌어당기게 만들고, 분모(아래쪽)는 단어만 비슷하게 꾸민 함정 문제들을 N극-N극처럼 확 밀어내게 만듭니다. 이렇게 훈련된 라우터는 어휘가 아닌 ‘추론 위상(topology)’으로 적군과 아군을 구별합니다.

분자는 같은 연산 구조(k₊)를 당기고, 분모는 단어만 비슷한 함정(kᵢ)을 밀어냅니다. 훈련이 끝나면 라우터는 잠재 공간에서 ‘추론 위상’으로 아군과 적군을 가릅니다.

③

논문 속 실제 숫자

온도 τ=0.07, 양자화 2-layer MLP(hidden 256), 판정 시간 8.5ms. Near-OOD 탐지 AUROC 98.7%, FPR@95TPR 2.1%로 Semantic Entropy(93.2%, 132.5초)를 정확도와 속도 모두에서 압도 (Table 5). 라우터를 빼고 항상 CFD를 쓰면 HR이 85.6%로 폭발합니다 (Table 4).