SYSTEM 1.5 · 10대 핵심 수식 3/10

수식 3. “비법 요약 포스트잇” — FWP 사후 숙고 컴파일 (Eq 3)

26.8초 동안 고생해서 얻은 깨달음(z*)을, 다음 질문에 재사용할 수 있는 초경량 패치로 압축하는 System 1.5의 심장부입니다.

①

한 줄 요약 — 다 풀고 난 뒤의 깨달음을 얇게 요약

힘들게 찾은 정답 상태(z*)를 아주 가벼운 저랭크 패치(ΔW)로 요약(컴파일)하는 공식입니다. 프롬프트를 보고 미리 추측하는 기존 방식과 달리, 추론이 ‘끝난 뒤’ 결과를 요약하므로 훨씬 정확합니다 (post-deliberation).

ΔW_i = Φ_ω(z*_i) = B_i A_i^⊤ (A_i, B_i ∈ ℝ^d×r, r ≪ d)

위치: 논문 Eq 3 (Fast-Weight Programmer)

②

직관적 비유 — 가로세로 낱말퍼즐 📖→📝

두꺼운 전공 서적(거대한 d×d 행렬)을 통째로 외우는 대신, 가느다란 세로줄(B_i)과 가로줄(A_i^⊤) 딱 2개만 챙깁니다. 이 두 줄을 곱하기만 하면 거대한 칠판(행렬)이 채워집니다. 이것이 로우랭크(Low-rank) 압축 마법이고, 요약 장인 Φ_ω는 고작 2-layer GeLU MLP입니다.

완전히 수렴한 z*(두꺼운 책)가 요약 장인 Φ_ω를 지나 세로 카드 B_i와 가로 카드 A_iᵀ 두 장으로 압축됩니다. 곱하면 언제든 d×d 패치가 복원됩니다.

③

논문 속 실제 숫자

하이퍼네트워크 Φ_ω의 용량은 ≈0.27 MB, 오버레이 랭크 r=16. FWP 입력을 z*로 했을 때만 64.8%(풀 솔버의 99.8%) — 프롬프트 임베딩(45.4%)이나 중간 상태 z^(t=10)(53.6%)보다 압도적입니다 (Table 3). ‘다 풀고 나서 요약’이라는 타이밍이 결정적임을 보여주는 어블레이션입니다.