Ефективні методи відокремлення голосу від шуму на підставі глибокого навчання
Анотація
Досліджено та проведено порівняльний аналіз двох сучасних методів відокремлення голосу від шуму на підставі глибокого навчання: моделей, що базуються на рекурентних нейронних мережах, та моделей на підставі трансформерів. Запропоновано гібридну модель, яка увібрала кращі властивості обох моделей. Дослідження охоплює актуальну проблему покращення якості мовлення в різних сферах, таких як слухові апарати, мобільний зв'язок та автоматичне розпізнавання мовлення, де важливим є відокремлення цільової мови від фонових шумів. Розглянуто архітектуру, особливості, алгоритми, переваги та недоліки моделей LSTM (англ. Long Short-Term Memory), SepFormer та гібридної архітектури. Також описано складнощі, що виникають під час навчання моделей нейронних мереж. Проаналізовано останні дослідження, які підтверджують ефективність підходів відокремлення голосу від шуму з використанням досліджуваних моделей. Експериментальні результати показали, за яких умов варто використовувати ту чи іншу з розглянутих моделей, та чому розвиток гібридних моделей може мати значну цінність у дослідженнях. Розглянуто практичні особливості використання моделей, зокрема підготовку та оброблення вхідних даних, навчання моделей та оцінювання результатів. Для оцінювання результатів дослідження застосовано метрики оцінювання якості звуку, які є важливими інструментами для покращення якості звуку в різних технологічних застосуваннях. Проведено оцінювання та порівняння якості відокремленого мовлення та його розбірливість у розглянутих моделях. Описано перспективи подальшого розвитку дослідження, інтеграцію нових джерел даних та покращення методів оброблення аудіосигналів. Проведене дослідження робить значний внесок у розуміння ефективності застосування різних методів відокремлення голосу від шуму, надає рекомендації щодо вибору найпридатнішої моделі для конкретних умов, а також пропонує гібридне рішення для завдань з потребою отримати найкращий результат. Отримані результати дослідження можуть бути корисними для науковців та інженерів, які працюють у галузі оброблення сигналів та розроблення аудіосистем, сприяючи підвищенню якості та ефективності технологій оброблення мовлення.
Завантаження
Посилання
Defossez, A., Synnaeve, G., & Adi, Y. (2020). Real Time Speech Enhancement in the Waveform Domain. Interspeech 2020. https://doi.org/10.21437/interspeech.2020-2409
Delcroix, M., Ochiai, T., Zmolikova, K., Kinoshita, K., Tawara, N., Nakatani, T., & Araki, S. (2020). Improving speaker discrimination of target speech extraction with time-domain speakerbeam. In: 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7069–7073. https://doi.org/10.1109/icassp40776.2020.9054683
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
Hu, Y., Liu, Y., Lv, S., Xing, M., Zhang, S., Fu, Y., Wu, J., Zhang, B., & Xie, L. (2020). DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement. Processing Interspeech 2020, 2472–2476. https://doi.org/10.21437/interspeech.2020-2537
Kingma, D., & Ba, J. (2014). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations. https://doi.org/10.48550/arXiv.1412.6980
Lee, Y., Kim, J., & Ok, J. (2024). Activity-Guided Industrial Anomalous Sound Detection against Interferences. https://doi.org/10.48550/arXiv.2409.01885
Luo, Y., & Mesgarani, N. (2019). Conv-TasNet: Surpassing ideal time – frequency magnitude masking for speech separation. In: 2019 IEEE/ACM transactions on audio, speech, and language processing, 27(8), 1256–1266. https://doi.org/10.1109/taslp.2019.2915167
Olah, C. (2015). Understanding LSTM Networks. URL: https://colah.github.io/posts/2015-08-Understanding-LSTMs
Pandey, A., & Wang, D. (2021). Dense CNN With Self-Attention for Time-Domain Speech Enhancement. In: 2021 IEEE/ACM Transactions on Audio, Speech, and Language Processing, 29, 1270–1279. https://doi.org/10.1109/taslp.2021.3064421
Strake, M., Defraene, B., Fluyt, K., Tirry, W., & Fingscheidt, T. (2020). Speech enhancement by LSTM-based noise suppression followed by CNN-based speech restoration. EURASIP Journal on Advances in Signal Processing, 49(2020). https://doi.org/10.1186/s13634-020-00707-1
Su, J., Jin, Z., & Finkelstein, A. (2021). Hifi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks. Interspeech 2021. https://doi.org/10.21437/interspeech.2020-2143
Subakan, C., Ravanelli, M., Cornell, S., Bronzi, M., & Zhong, J. (2021). Attention is all you need in speech separation. In: ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 21–25. https://doi.org/10.1109/icassp39728.2021.9413901
Subakan, C., Ravanelli, M., Cornell, S., Grondin, F., & Bronzi, M. (2022). Exploring Self-Attention Mechanisms for Speech Separation. In: 2022 IEEE/ACM Transactions on Audio, Speech, and Language Processing, 31, 2169–2180. https://doi.org/10.48550/arXiv.2202.02884
Tan, K., & Wang, D. (2020). Learning Complex Spectral Mapping With Gated Convolutional Recurrent Networks for Monaural Speech Enhancement. In: 2019 IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, pp. 380–390. https://doi.org/10.1109/taslp.2019.2955276
Trask, A. W. (2019). Grokking deep learning. Manning Publications. URL: https://www.manning.com/books/grokking-deep-learning
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 5998–6008. arXiv:1706.03762v7 [cs.CL]. https://doi.org/10.48550/arXiv.1706.03762
Wang, C., Jia, M., & Zhang, X. (2023). Deep encoder/decoder dual-path neural network for speech separation in noisy reverberation environments. EURASIP Journal on Audio, Speech, and Music Processing, 41. https://doi.org/10.1186/s13636-023-00307-5
Wang, Y., Narayanan, A., & Wang, D. (2020). On training targets for supervised speech separation. In: 2014 IEEE/ACM transactions on audio, speech, and language processing, 28, 1742–1754. https://doi.org/10.1109/taslp.2014.2352935
Wang, Y., Shi, Y., Zhang, F., Wu, C., Chan, J., Yeh, C.-F., & Xiao, A. (2021). Transformer in action: A comparative study of transformer-based acoustic models for large scale speech recognition applications. In: ICASSP 2021–2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Toronto, ON, Canada, pp. 6778–6782. https://doi.org/10.1109/icassp39728.2021.9414087
Xiang, Y., Hojvang, J. L., Rasmussen, M. H., & Christensen, M. G.(2022). A Two-Stage Deep Representation Learning-Based Speech Enhancement Method Using Variational Autoencoder and Adversarial Training. In: 2023 IEEE/ACM Transactions on Audio, Speech, and Language Processing, 32, 164–177. https://doi.org/10.1109/taslp.2023.3321975
Yip, J. Q., Kwok, C. Y., Ma, B., & Chng, E. S. (2024). Speech Separation using Neural Audio Codecs with Embedding Loss. https://doi.org/10.48550/arXiv.2411.17998
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
