Класифікація методів інтеграції дискретних перетворень класу Фур'є у згорткові нейронні мережі
Анотація
Проаналізовано наявні підходи до інтеграції дискретних ортогональних перетворень класу Фур'є у згорткові нейронні мережі (ЗНМ) та з'ясовано, що такі підходи описано в літературі фрагментарно і без уніфікованих критеріїв зіставлення. Систематизовано наукові публікації 2014-2025 років за функціональною роллю перетворення у моделі, обчислювальному графі, навчальному процесі або процедурі підготовки даних. Запропоновано класифікаційну схему методів інтеграції дискретного перетворення Фур'є (ДПФ), дискретного косинусного перетворення (ДКП) та дискретного перетворення Хартлі (ДПХ) у ЗНМ, що поділяє підходи на три парадигми. Виокремлено обчислювальну парадигму, у якій перетворення трактовано як алгоритмічний засіб пришвидшення згорток і зворотного поширення похибки. Описано спектрально-адаптивну парадигму, у якій перетворення класу Фур'є застосовано для керування частотним складом даних, ознак і градієнтів у задачах субдискретизації, регуляризації та доменної адаптації. Введено архітектурну парадигму, у якій перетворення класу Фур'є подано як явний блок мережі, що формує дуальні просторово-частотні або повністю спектральні моделі. Застосовано запропоновану класифікаційну схему методів до ДПФ, ДКП і ДПХ та зіставлено їхні характерні переваги й обмеження. Показано, що ДПФ слугує базовим стандартом інтеграції перетворень класу Фур'є у ЗНМ завдяки розвиненій інфраструктурі швидких алгоритмів; з'ясовано, що ДКП найтісніше пов'язане зі спектрально-адаптивними задачами та областю JPEG; встановлено, що ДПХ перспективне для дійснозначних реалізацій, але залишається нішевим напрямом досліджень через слабшу програмно-апаратну підтримку. Виявлено, що застосування спектральних блоків у ЗНМ обмежене проблемами нелінійностей у частотній області, фазової узгодженості, енергетичної стабільності та залежності від програмно-апаратної інфраструктури. Обґрунтовано, що повний перехід ЗНМ у частотну область стикається з методологічною суперечністю між лінійністю спектральних операцій і нелінійною природою функцій активації ЗНМ. Окреслено перспективні напрями подальших етапів дослідження: проєктування нелінійностей, узгоджених із властивостями перетворень; забезпечення енергетичної стабільності спектральних шарів; побудова гібридних моделей, що поєднують елементи різних парадигм.
Завантаження
Посилання
Alshareef, I. Y., Ab Rahman, A. A.-H., Hassan, M. K., Rusli, M. S., Khan, N., Manzak, A., & Marsono, M. N. (2025). A real-valued DCT-based spectral CNN architecture for efficient edge deep learning. Array, 28, article ID 100594. https://doi.org/10.1016/j.array.2025.100594
Chi, L., Jiang, B., & Mu, Y. (2020). Fast Fourier Convolution. Advances in Neural Information Processing Systems, 33, 4479–4488. URL: https://proceedings.neurips.cc/paper/2020/hash/2fd5d41ec6cfab47e32164d5624269b1-Abstract.html
Chu, T., Chen, J., Sun, J., Lian, S., Wang, Z., Zuo, Z., Zhao, L., Xing, W., & Lu, D. (2023). Rethinking Fast Fourier Convolution in Image Inpainting. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 23195–23205. https://doi.org/10.1109/ICCV51070.2023.02120
dos Santos, S. F., & Almeida, J. (2021). Less Is More: Accelerating Faster Neural Networks Straight from JPEG. In Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications (CIARP 2021), Lecture Notes in Computer Science (Vol. 12702, pp. 237–247). Springer. https://doi.org/10.1007/978-3-030-93420-0_23
Fu, D. Y., Kumbong, H., Nguyen, E., & Ré, C. (2024). FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores. Proceedings of the International Conference on Learning Representations (ICLR). URL: https://openreview.net/forum?id=gPKTTAfYBp
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. URL: https://www.deeplearningbook.org
Grabinski, J., Jung, S., Keuper, J., & Keuper, M. (2022). FrequencyLowCut Pooling – Plug and Play against Catastrophic Overfitting. Proceedings of the European Conference on Computer Vision (ECCV), pp. 36–57. https://doi.org/10.1007/978-3-031-19778-9_3
Gueguen, L., Sergeev, A., Kadlec, B., Liu, R., & Yosinski, J. (2018). Faster Neural Networks Straight from JPEG. Advances in Neural Information Processing Systems, 31. URL: https://proceedings.neurips.cc/paper/2018/hash/7af6266cc52234b5aa339b166 95f7fc4-Abstract.html
Huang, Z., Chen, M., & Zheng, S. (2025). Spectral Adaptive Dropout: Frequency-Based Regularization for Improved Generalization. Information, 16(6), article ID 475. https://doi.org/10.3390/info16060475
Li, T.-B., Su, Y.-T., Song, D., Li, W.-H., Wei, Z.-Q., & Liu, A.-A. (2024). Progressive Fourier Adversarial Domain Adaptation for Object Classification and Retrieval. IEEE Transactions on Multimedia, 26, 4540–4553. https://doi.org/10.1109/TMM.2023.3323862
Mathieu, M., Henaff, M., & LeCun, Y. (2014). Fast Training of Convolutional Networks through FFTs. Proceedings of the International Conference on Learning Representations (ICLR). URL: https://arxiv.org/abs/1312.5851
Ochoa-Dominguez, H., & Rao, K. R. (2019). Discrete Cosine Transform (2nd ed.). CRC Press, 358 p. https://doi.org/10.1201/9780203729854
Rippel, O., Snoek, J., & Adams, R. P. (2015). Spectral Representations for Convolutional Neural Networks. Advances in Neural Information Processing Systems, 28, 2449–2457. URL: https://proceedings.neurips.cc/paper/2015/hash/536a76f94cf7535 158f66cfbd4b113b6-Abstract.html
Salamah, A. H., Zheng, K., Liu, Y., & Yang, E.-H. (2025). JPEG Inspired Deep Learning. Proceedings of the International Conference on Learning Representations (ICLR), pp. 16586–16609. URL: https://openreview.net/forum?id=te2IdORabL
Suvorov, R., Logacheva, E., Mashikhin, A., Remizova, A., Ashukha, A., Silvestrov, A., Kong, N., Goka, H., Park, K., & Lempitsky, V. (2022). Resolution-robust Large Mask Inpainting with Fourier Convolutions. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 2149–2159. https://doi.org/10.1109/WACV51458.2022.00323
Ulicny, M., Krylov, V. A., & Dahyot, R. (2022). Harmonic Convolutional Networks based on Discrete Cosine Transform. Pattern Recognition, 129, article ID 108707. https://doi.org/10.1016/j.patcog.2022.108707
Wang, S., Veldhuis, R., Brune, C., & Strisciuglio, N. (2023). What do neural networks learn in image classification? A frequency shortcut perspective. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1433–1442. https://doi.org/10.1109/ICCV51070.2023.00138
Yang, Y., & Soatto, S. (2020). FDA: Fourier Domain Adaptation for Semantic Segmentation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4085–4095. https://doi.org/10.1109/CVPR42600.2020.00414
Yao, Z., Fan, G., Fan, J., Gan, M., & Chen, C. L. P. (2024). Spatial – Frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement. IEEE Transactions on Geoscience and Remote Sensing, 62, article ID 4706516. https://doi.org/10.1109/TGRS.2024.3434416
Zhang, H., & Ma, J. (2020). Hartley Spectral Pooling for Deep Learning. CSIAM Transactions on Applied Mathematics, 1(3), 518–529. https://doi.org/10.4208/csiam-am.2020-0018
Zhang, Y., Li, F., Xu, H., Li, X., & Jiang, S. (2024). Efficient Convolutional Neural Networks Utilizing Fine-Grained Fast Fourier Transforms. Electronics, 13(18), article ID 3765. https://doi.org/10.3390/electronics13183765
Zhao, Z., & Zhou, J. (2025). Introducing Fast Fourier Convolutions into Anomaly Detection. Sensors, 25(16), article ID 5196. https://doi.org/10.3390/s25165196
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
