디코딩을 생성으로 재정의한 PiD, 고해상도 이미지 디코딩 패러다임 전환

최근 몇 년 사이 텍스트-이미지 생성 모델은 눈부신 발전을 이뤘다. Stable Diffusion, Flux 같은 시스템이 수초 만에 사진 같은 이미지를 만들어내는 것이 일상이 됐다. 그런데 이 모델들이 실제로 이미지를 어떻게 만드는지 들여다보면 흥미로운 구조가 있다. 대부분의 고해상도 텍스트-이미지 시스템은 직접 픽셀 공간에서 생성하지 않는다. 대신 훨씬 압축된 잠재 공간(latent space)에서 확산 과정을 수행하고, 마지막에 VAE(변분 오토인코더)의 디코더가 이 압축된 표현을 실제 픽셀로 되돌린다. 이 마지막 단계, 즉 잠재 공간에서 픽셀로의 전환이 최근 연구자들의 주목을 받고 있다. 2026년 5월 NVIDIA 연구팀이 발표한 PiD(Pixel Diffusion Decoder)는 바로 이 디코딩 단계를 근본적으로 재설계하는 접근을 제안한다.

디코더가 숨겨온 병목

잠재 확산 모델의 파이프라인을 단순화하면 세 단계로 나눌 수 있다. 인코더가 입력 이미지를 압축된 잠재 표현으로 바꾸고, 확산 모델이 이 잠재 공간에서 노이즈를 제거하며 원하는 이미지를 생성하고, 마지막으로 디코더가 이 잠재 표현을 픽셀로 복원한다. 이 구조의 강점은 확산 과정이 저차원 공간에서 이뤄진다는 것이다. 512×512 픽셀 이미지를 직접 처리하는 대신 64×64 정도의 잠재 텐서를 다루면 계산 비용이 극적으로 줄어든다.

문제는 마지막 단계의 VAE 디코더에 있다. 이 디코더는 근본적으로 재구성 지향적으로 설계되어 있다. 인코더가 무엇을 압축했는지를 최대한 충실하게 복원하는 것이 목표이므로, 없는 디테일을 새로 합성하는 능력은 태생적으로 제한적이다. 고해상도 이미지를 생성할 때 선명한 피부 질감, 머리카락 한 올의 묘사, 미세한 반사광 같은 고주파 디테일은 디코더가 채워주기 어렵다. 여기에 더해, 메가픽셀 스케일로 갈수록 디코딩 자체의 계산 비용도 급격히 증가한다. 이를 해결하기 위해 기존 시스템들은 종종 계단식 초해상도(cascaded super-resolution) 파이프라인을 덧붙이는데, 이는 또 다른 무거운 모듈을 추가하는 셈이어서 지연 시간과 메모리 비용이 함께 올라간다.

디코딩을 생성으로 — PiD의 핵심 전환

PiD가 제안하는 해법은 단순하지만 강력한 관점의 전환이다. 디코딩 자체를 조건부 픽셀 확산으로 재정의하는 것이다. 기존 VAE 디코더가 결정론적 변환을 수행하는 반면, PiD는 잠재 표현을 조건으로 삼아 고해상도 픽셀 공간에서 직접 확산 과정을 수행한다. 이렇게 하면 디코딩과 업샘플링이 하나의 생성적 모듈로 통합되고, 모델이 잠재 공간에 없던 디테일을 픽셀 공간에서 새로 합성할 수 있게 된다.

이 아이디어의 핵심에는 시그마 인식 어댑터(sigma-aware adapter)가 있다. 확산 모델은 노이즈가 얼마나 섞여 있는지를 나타내는 시그마 값을 매 스텝마다 다루는데, PiD의 어댑터는 이 정보를 인식한 채 노이즈가 섞인 잠재 표현을 픽셀 확산 백본에 주입한다. 이 설계 덕분에 논문이 발견한 흥미로운 성질이 생긴다. 잠재 표현에 노이즈가 어느 정도 남아 있어도, 즉 잠재 확산 과정이 완전히 수렴하지 않은 상태에서도 PiD가 정상적으로 디코딩할 수 있다는 것이다.

이는 실제 추론 파이프라인에서 중요한 의미를 갖는다. 기존 방식에서는 잠재 확산 과정이 완전히 끝날 때까지 기다렸다가 디코더를 실행해야 했다. PiD를 사용하면 잠재 확산 과정을 중간에 조기 종료하고, 나머지 생성 작업을 PiD가 픽셀 공간에서 이어받아 완성할 수 있다. 이 조기 종료 메커니즘은 두 단계가 부분적으로 겹쳐서 실행될 수 있음을 의미하며, 전체 파이프라인의 지연 시간을 줄이는 데 기여한다.

효율성을 더욱 끌어올리기 위해 연구팀은 DMD2(Distribution Matching Distillation 2)를 사용해 모델을 증류했다. 원래 수십 스텝이 필요한 확산 과정을 단 4스텝으로 압축한 것이다. 그 결과 RTX 5090 기준으로 512×512 잠재를 2048×2048 픽셀로 1초 미만에 디코딩하며, NVIDIA GB200에서는 210ms까지 단축된다. 기존 계단식 초해상도 파이프라인 대비 약 6배 빠른 속도다. PiD는 전통적인 VAE 잠재 표현뿐 아니라 SigLIP, DINOv2 같은 의미론적 잠재 표현도 지원한다는 점도 주목할 만하다. 최근 RAE(Rectified Autoencoder) 기반 모델들이 의미론적 잠재 공간을 채택하는 추세인 만큼, 이 호환성은 PiD의 적용 범위를 차세대 아키텍처로까지 넓혀준다.

이 연구가 열어놓는 가능성

PiD의 의의는 단순한 속도 개선에 그치지 않는다. 더 근본적으로는 잠재 확산 모델에서 디코딩이라는 개념 자체를 재정의한다는 점이 중요하다. 기존 패러다임에서 디코더는 생성 과정의 바깥에 있었다. 확산 모델이 창의적 생성을 담당하고, 디코더는 그 결과를 픽셀로 옮기는 기계적 변환 역할만 했다. PiD는 이 경계를 허물고 디코딩 자체를 생성적 과정으로 끌어들인다.

이는 소비자 하드웨어에서의 고해상도 이미지 생성 가능성을 실질적으로 높인다. 13GB 피크 메모리라는 수치는 최신 소비자 GPU에서도 동작 가능한 수준임을 시사하며, 방법론 자체가 메모리 효율을 중시하는 방향으로 설계되었다는 점은 향후 더 접근성 높은 하드웨어로의 적용 가능성을 시사한다. 물론 4스텝 증류 모델은 일반적으로 품질과 다양성에서 어느 정도 트레이드오프가 따르고, 조기 종료 메커니즘이 다양한 잠재 확산 아키텍처에서 얼마나 범용적으로 작동하는지는 추가 검증이 필요하다. 그럼에도 PiD는 고해상도 이미지 생성 파이프라인의 핵심 병목을 정면으로 겨냥한 실용적인 연구로, 잠재 확산 모델이 지배적인 현재 생성 AI 생태계에서 의미 있는 방향을 제시한다.