System 1.5 전체의 토대가 되는 수식입니다. DEQ(Deep Equilibrium Model)가 ‘정답’을 무엇으로 정의하는지를 말해 줍니다.
①
한 줄 요약 — 더 이상 변하지 않는 상태가 정답
모델이 도달하려는 최종 목표 상태(정답)의 정의입니다. 함수 f_θ에 다시 넣어도 더 이상 변하지 않는 상태 — 그것이 바로 고정점 z*입니다.
z* = fθ(z*, x)
위치: Introduction / 논문 전체의 토대
②
직관적 비유 — 샤워기 물 온도 🚿
x는 내 몸, f_θ는 샤워기입니다. z*는 ‘완벽한 온도’. 물 온도를 z*에 딱 맞추면, 그 물을 아무리 계속 뿌려대도 온도는 영원히 변하지 않고 똑같은(=) z* 상태를 유지합니다. “더 이상 손댈 필요가 없는 완벽한 정답”이죠. DEQ는 층을 무한히 쌓는 대신 이 고정점을 직접 찾아내므로, 이론상 무한 깊이의 추론을 O(1) 활성 메모리로 해냅니다.
완벽한 온도 z*에 도달하면, 같은 샤워기(f_θ)를 아무리 다시 통과해도 온도는 변하지 않습니다. 이 “변하지 않는 상태”가 DEQ의 출력 정의입니다.
③
논문 속 실제 숫자
이 고정점 덕분에 System 1.5는 시퀀스 길이와 무관하게 Peak VRAM 13.1 GB(O(1))를 유지합니다 (Appendix J, Figure 4). 반면 표준 AR+KV 경로는 문맥 길이에 선형으로 증가해 32k에서 24 GB 한계에 근접합니다. 또한 조기 종료(early exit)가 DEQ에서 실패하는 이유도 여기 있습니다 — 절단은 고정점 도달을 막고 Banach 수축성을 위반하기 때문입니다.