Исследователи из Beihang University — Xingyu Jiang, Xiuhui Zhang, Ning Gao и Yue Deng — представили SFHformer, новый фреймворк для восстановления изображений. Работа принята на ECCV 2024, код и предобученные веса уже открыты.
Авторы посмотрели на разные типы деградации (дождь, туман, размытие, шум, низкая освещённость) с точки зрения частотных характеристик. На основе этого они встроили механизм Fast Fourier Transform прямо в архитектуру Transformer. Результат — SFHformer. У него гибридная структура с двумя областями: пространственная (spatial domain) отвечает за локальное моделирование, а частотная (frequency domain) — за глобальное. Для каждого частотного компонента разработчики придумали отдельное позиционное кодирование и динамическую свёртку — так извлекается больше полезных признаков.
Модель проверили на 31 датасете для десяти разных задач: deraining (Rain200L, Rain200H, DDN-Data, DID-Data, SPA-Data), dehazing (ITS, OTS, O-HAZE, NH-HAZE, DENSE-HAZE, SOTS), desnowing (CSD, SRRS, Snow100K), denoising (SIDD), super-resolution (DIV2K, Set5, Set14, B100, Urban100, Manga109), single-image motion deblurring (GoPro, HIDE, RealBlur-R, RealBlur-J), defocus deblurring (DPDD), raindrop removal, low-light enhancement (LOLv1, LOLv2, FiveK) и underwater enhancement (UIEB, LSUI). На всех SFHformer обогнал современные подходы и показал хороший баланс между качеством, числом параметров и вычислительной сложностью.
В мае 2025 года вышла расширенная версия работы — SWFormer, тоже с открытым кодом на GitHub (deng-ai-lab/SWFormer). Визуальные примеры и инструкции по запуску доступны в репозитории. Часть кода основана на Dehazeformer и Restormer. Если вопросы — авторы отвечают в issues или по почте jxy33zrhd@buaa.edu.cn.