Asess ← Πa(αAi+(1−α)Asess)
α = 0.2
‖ΔWsess‖op ≤ ε
gradient-free
O(1)
SYSTEM 1.5 · 10대 핵심 수식 5/10

수식 5. “마법의 칵테일 블렌더” — 투영 가중치 공간 EMA (Eq 4)

문지기를 통과한 새 직관을, 기존 세션 직관과 안전하게 섞는 무그래디언트(gradient-free) 통합 공식입니다.

①

한 줄 요약 — 파라미터 공간에서 직접, 안전하게 섞기

옛날 직관과 새 직관을 ‘파라미터 공간에서 직접’ 안전하게 섞는 공식입니다. 은닉 상태에 EMA를 걸면 Φ_ω가 비선형이라 Φ_ω(EMA(z*)) ≠ EMA(Φ_ω(z*))가 되어 발산하므로, 팩터(A, B)에 직접 EMA를 적용합니다.

Asess ← Πa(αAi + (1−α)Asess),   Bsess ← Πb(αBi + (1−α)Bsess)
위치: 논문 Eq 4 (Multi-turn consolidation via Weight-Space EMA)
②

직관적 비유 — 절대 안 넘치는 믹서기 🥤

옛날 레시피(A_sess)와 방금 배운 새 레시피(A_i)를 8:2(α=0.2) 비율로 섞습니다. 핵심은 Π(투영 필터). 주스가 컵 밖으로 넘치려고(스펙트럴 노름 폭주) 하면, 뚜껑(Π_a, Π_b)이 특이값 클리핑으로 강제로 찍어 눌러 컵 용량(수학적 한계 a, b)을 무조건 지키게 만드는 절대 방어막입니다. 페널티로 ‘권유’하는 게 아니라 투영으로 ‘강제(enforce)’한다는 점이 Theorem 1(수식 7)과 연결됩니다.

A₁ A₂ A₃ 오늘의 딸기 Ai · α = 20% 수학적 뚜껑 Πa, Πb (넘치면 특이값 클리핑으로 ‖·‖op ≤ a 강제) 기존 스무디 Asess · 80% 그래디언트 0회 · O(1) 메모리 섞은 결과를 같은 컵(Asess)에 다시 담는다 — 세션이 길어져도 컵은 언제나 하나!
매 질문마다: 기존 스무디 80% + 오늘의 딸기 20%를 갈아 넣고, 넘치려 하면 뚜껑 Π가 눌러줍니다. 세로줄 쪽(B_i → B_sess)도 완전히 동일합니다.
③

논문 속 실제 숫자

α=0.2, 그래디언트 업데이트 0회(gradient-free), 세션 길이와 무관하게 O(1) 메모리. EMA를 빼면(α=1 교체) 48.5%로, 투영 Π를 빼면 18.4%로 붕괴 (Table 4) — 특히 Π 제거는 전체 어블레이션 중 최악의 붕괴로, Theorem 1 가정 위반이 얼마나 치명적인지 보여줍니다.