z(t+1) = z(t) − B(t)(f−z)
T > 50
εtol = 10−4
O(T·S²d)
26.8 s
SYSTEM 1.5 · 10대 핵심 수식 2/10

수식 2. “스무고개 100번” — 시스템 2 브로이덴 업데이트 (Eq 1)

완벽한 온도(z*)를 실제로 찾아내는 과정입니다. 느리지만 정확한 ‘System 2’의 정체이자, 논문이 해결하려는 병목의 근원입니다.

①

한 줄 요약 — 오차를 재고 조금씩 수정하는 느린 숙고

완벽한 온도(z*)를 찾기 위해 오차를 재고 조금씩 수정하는, 느리지만 정확한 ‘System 2’ 계산 과정입니다. B^(t)는 저랭크 역-야코비안(inverse-Jacobian) 근사입니다.

z(t+1) = z(t) − B(t) ( fθ(z(t), x) − z(t) )
위치: 논문 Eq 1 (The Latency Bottleneck 섹션)
②

직관적 비유 — 사격 영점 조절 🎯

사격장에서 내가 쏜 곳(f_θ(z^(t),x))과 조준점(z^(t))의 차이(오차)를 봅니다. 그 오차만큼 영점 조절 나사(B^(t))를 돌려서 다음 조준점을 수정합니다. 이걸 수십~백 번 반복해 정중앙을 맞추는 ‘느리고 고된 훈련’이 System 2입니다. 문제는 대화 중 비슷한 질문이 올 때마다 매번 처음부터 이 훈련을 다시 한다는 것 — 이것이 DEQ의 ‘시간의 저주(temporal curse)’입니다.

정중앙 = 고정점 z* z⁽¹⁾ z⁽²⁾ z⁽³⁾ 영점 조절 나사 B(t) 오차 × 나사 = 다음 조준점 수정량 반복 횟수 T > 50, 최대 100회
탄착점(파란 점)이 오차만큼 수정되며 나선형으로 정중앙(z*)에 수렴합니다. 매 발사마다 나사 B^(t)를 다시 돌리는 게 Broyden 갱신입니다.
③

논문 속 실제 숫자

복잡한 추론에서 반복 수 T는 보통 50회 이상, 최대 Tmax=100, 잔차 허용치 ε_tol=10−4. 쿼리당 비용은 O(T·(S²d + M_broyden)) (Eq 2). 그 결과 풀 솔버 지연 시간은 26.8초 — 이것이 논문이 8.4배까지 줄이려는 병목입니다. 참고로 z^(t)가 매 반복 전체 문맥에 의존하므로 프리픽스 KV-캐싱도 통하지 않습니다.