오차를 입력으로 읽는 신경 PDE 솔버, 잔차 최소화의 함정을 넘어선 자기교정 전략

수치해석과 딥러닝의 경계에서 조용하지만 의미 있는 전환이 일어나고 있다. 편미분방정식(PDE)을 푸는 일은 오랫동안 고전적 수치 알고리즘의 영역이었으나, 최근 몇 년간 신경망 대리모델(neural surrogate)이 그 자리를 빠르게 파고들었다. 방정식의 매개변수에서 해(solution)로 향하는 사상을 학습해두면, 추론 시점에는 한 번의 순전파만으로 근사해를 얻을 수 있다. 유체역학 시뮬레이션이나 기상 예측처럼 같은 형태의 방정식을 매개변수만 바꿔 수천 번 풀어야 하는 분야에서 이 속도는 매력적이다. 그러나 대리모델은 본질적으로 통계적 사상을 학습할 뿐, 자신이 내놓은 해가 물리 법칙을 얼마나 위반하는지는 알지 못한다. 학습 분포를 조금만 벗어나면 정확도가 무너지고, 무엇보다 자기 자신의 오류를 스스로 교정할 방법이 없다.

Haina Jiang 연구진이 제안한 오차 조건부 신경 솔버(Error-Conditioned Neural Solvers, ENS)는 바로 이 약점을 정면으로 겨냥한다. 그런데 이 논문이 흥미로운 지점은 해법 자체보다, 기존 하이브리드 접근이 딛고 선 전제를 의심하는 데서 출발한다는 점이다.

잔차를 줄이면 정답에 가까워질까

신경망 대리모델의 물리적 부정확성을 보완하려는 최근 시도들은 대체로 PDE 잔차(residual)에 주목해왔다. 잔차란 신경망이 내놓은 해를 방정식에 다시 대입했을 때 좌변과 우변이 어긋나는 정도, 즉 해가 방정식을 얼마나 만족하지 못하는지를 공간 전체에 걸쳐 측정한 값이다. 잔차가 0이면 방정식을 완벽히 만족하는 해라는 뜻이니, 추론 시점에 경사하강법이나 가우스-뉴턴 단계를 추가로 돌려 잔차를 줄이면 더 물리적인 해를 얻을 수 있으리라는 발상은 자연스럽다. 문제는 이 방식이 고전 최적화기의 계산 비용과 불안정성을 그대로 물려받는다는 점, 그리고 더 근본적으로는 잔차 최소화가 재구성 정확도의 신뢰할 만한 대리지표가 아니라는 점이다.

연구진은 이론과 실험 양쪽에서, 특히 조건수가 나쁜(ill-conditioned) 시스템에서 잔차를 수치적으로 줄이는 일이 실제 정확도 향상과 어긋날 수 있음을 보인다. 직관적으로 말하면, 어떤 방정식은 해의 작은 오차를 잔차로 거의 드러내지 않거나 반대로 과장해서 드러낸다. 이런 경우 잔차를 부지런히 깎아내려도 정답과의 거리는 좀처럼 줄지 않는다. 기존 하이브리드 기법들이 낮은 잔차를 달성하고도 정확한 예측에는 실패하곤 했던 이유가 여기에 있다는 것이다.

오차를 '읽는' 신경망

ENS의 발상은 단순하면서도 방향이 다르다. 잔차를 최소화해야 할 목적함수로 삼는 대신, 잔차 장(field) 자체를 신경망의 직접 입력으로 매 반복마다 흘려보낸다. 신경망은 자기 예측의 오류가 공간적으로 어디에 어떤 구조로 분포하는지를 '읽고', 그 정보를 바탕으로 다음 예측을 어떻게 수정할지에 대한 갱신 정책(update policy)을 학습한다. 잔차는 최적화 대상이 아니라 교정의 단서가 되는 셈이다. 이렇게 하면 고전 최적화기를 추론 시점에 돌릴 필요가 없으므로, 하이브리드 기법의 무거운 연산 비용을 피하면서도 반복적 자기교정 능력을 갖게 된다.

네 가지 PDE 계열에 걸친 실험에서 ENS는 대부분의 설정에서 가장 높은 예측 정확도를 기록했고, 난류 콜모고로프 흐름(turbulent Kolmogorov flow)에서는 최대 10배에 이르는 향상을 보였다. 더 인상적인 것은 일반화 성능이다. 학습된 교정 정책은 분포 이동 상황, 즉 매개변수가 바뀌는 제로샷 조건이나 서로 다른 방정식으로의 전이(cross-equation transfer)에서도 유지됐으며, 그 상대적 우위는 잔차 최소화가 가장 믿을 수 없는 조건수 나쁜 영역에서 가장 크게 벌어졌다. 결국 ENS가 학습한 것은 특정 방정식의 해가 아니라 '오류를 보고 고치는 방법'이라는 더 추상적인 기술이며, 이 점이 분포 밖으로의 외삽을 가능하게 한 핵심으로 보인다.

신경망을 정답 생성기로 보던 관점에서, 자기 오류를 진단하고 교정하는 반복적 행위자로 보는 관점으로의 이동. ENS가 시사하는 바는 비단 PDE 풀이에 국한되지 않는다. 모델이 스스로의 실수를 입력으로 받아 고쳐나간다는 구도는 과학 계산을 넘어 더 넓은 자기교정형 추론으로 확장될 여지를 남긴다.