Модель та метод синтезу нейронного елемента паралельно-потокового типу
Анотація
Розроблено узагальнену модель нейронного елемента паралельно-потокового типу, основними компонентами якої є перетворювач форматів даних, пристрій обчислення скалярного добутку та блок реалізації функції активації, яка забезпечує високу ефективність використання обладнання внаслідок вибору кількості розрядів для формування групових часткових добутків і узгодження частоти введення даних з частотою роботи конвеєра. Проаналізовано алгоритми для обчислення скалярного добутку та обґрунтовано вибір паралельного вертикально-групового методу обчислення скалярного добутку з аналізом k розрядів для формування групових часткових добутків. Для групового підсумовування вибрано каскадний паралельно-паралельний алгоритм, який забезпечує конвеєризацію процесу підсумовування шляхом введення буферних регістрів між ярусами суматорів. Розроблення нейронного елемента паралельно-потокового типу запропоновано виконувати на підставі таких принципів: використання базису елементарних арифметичних операцій; організація процесу обчислення скалярного добутку як виконання єдиної операції; локалізація та спрощення зв'язків між сходинками конвеєра; забезпечення балансу між введенням-виведенням і обчисленнями; використання конвеєризації та просторового розпаралелювання процесу обчислення; мінімізація зовнішнього інтерфейсу зв'язку. Запропоновано оцінювання апаратної реалізації нейронного елемента здійснювати за критерієм ефективності використання обладнання, який враховує складність, час і витрати обладнання на реалізацію алгоритму та дає оцінку внеску кожного вентиля в загальну продуктивність нейронного елемента. Показано, що синтез нейроелемента паралельно-потокового типу зводиться до мінімізації апаратних затрат при забезпечені обчислення скалярного добутку та функції активації в реальному часі. Розроблено метод синтезу нейронного елемента паралельно-потокового типу, який, за рахунок розбиття його на сходинки та узгодження часу надходження даних з тактом конвеєра, забезпечує синтез цього нейронного елемента з високою ефективністю використання обладнання та обробленням потоків даних у реальному часі.
Посилання
Abdoli, S., Cardinal, P., & Koerich, A. L. (2019). End-to-end environmental sound classification using a 1D convolutional neural network. Expert Systems With Applications, 136, 252–263 p.
Allam, Z. (2019). Achieving neuroplasticity in artificial neural networks through smart cities. Smart Cities 2, 118–134.
Anumula, J., Neil, D., Delbruck, T., & Liu, S.-C. (2018). Feature Representations for Neuromorphic Audio Spike Streams. Frontiers in Neuroscience, 12(23), 1–12. https://doi.org/10.3389/fnins.2018.00023
Araujo, G., Griebler, D., Rockenbach, D.A., Danelutto, M., Fernandes, L.G. (2023). NAS Parallel Benchmarks with CUDA and beyond. Software – Practice and Experiencethis link is disabled, 53(1), pp. 53–80.
Ashraf, I., Zikriya, Y. B., Hur, S., et al. (2021). Localizing pedestrians in indoor environments using magnetic field data with term frequency paradigm and deep neural networks. Int International Journal of Machine Learning and Cybernetics 12, 3203–3219. https://doi.org/10.1007/s13042-021-01279-8
Bohrer, J. S., Grisci, B. I., & Dorn, M. (2020). Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras. Preprint arXiv.org., 29. URL: https://arxiv.org/abs/2002.04634
Bouvier, M., Valentian, A., Mesquida, T., Rummens, F., Reyboz, M., Vianello, E., & Beigne, E. (2019). Spiking Neural Networks Hardware Implementations and Challenges: A Survey. ACM Journal on Emerging Technologies in Computing Systems, 15(2), 22 p.
Cecchi, S., Spinsante, S., Terenzi, A., & Orcioni, A. A. (2020). Smart Sensor-Based Measurement System for Advanced Bee Hive Monitoring. Sensors, 20(9), https://doi.org/10.3390/s20092726
Chen, Y. H., Krishna, T., Emer, J. S., & Sze, V. (2017). Eyeriss, an energy-efficient reconfigurable accelerator for deep convolutional neural networks. Journal of Solid-State Circuits, 52(1), 127–138.
Chen, Y. H., Krishna, T., Emer, J. S., & Sze, V. (2019). Eyeriss v2: a flexible accelerator for emerging deep neural networks on mobile devices. J Emerg Sel Top Circuits Syst, 9(2), 292–308.
Duka, A. V. (2014). Neural network based inverse kinematics solution for trajectory tracking of ai robotic arm. Procedia Technol 12, 20–27.
Frank, Seide & Amit, Agarwal. (2016). Cntk: Microsofts open-source deep-learning toolkit. In Proceedings of the 22Nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 16, New York, NY, USA. ACM, 2135–2135.
Gadekallu, T. R., Khare, N., Bhattacharya, S., et al. (2020). Deep neural networks to predict diabetic retinopathy. Journal of Ambient Intelligence and Humanized Computing. https://doi.org/10.1007/s12652-020-01963-7
Gadekallu, T. R., Rajput, D. S., Reddy, M. P. K., et al. (2020). A novel PCA – whale optimization-based deep neural network model for classification of tomato plant diseases using GPU. J Real-Time Image Proc. https://doi.org/10.1007/s11554-020-00987-8
Geche, F., Mulesa, O., Buchok, V. (2017). Verification of realizability of boolean functions by a neural element with a threshold activation function. Eastern-Eur J Enterp Technol, 1(4), 30–40.
Koehn, T., & Athanas, P. (2019). Data staging for efficient high throughput stream processing. Parallel Computingthis link is disabled, 90, 102566.
Krestinskaya, O., James, A. P., & Chua, L. O. (2020). Neuromemristive Circuits for Edge Computing: A Review. Transactions on Neural Networks and Learning Systems, 31, 4–23.
Kryvokhata, A. G., Kudin, O. V., & Choporov, S. V. (2020). Neural network mathematical models in problems of sound signal processing: monograph. Kherson: "Helvetyka" Publishing House, 120 p.
Lotricˇ, U., Bulic, P. (2012). Applicability of approximate multipliers in hardware neural networks. Neurocomputing 96, 57–65.
Mencagli, G., Griebler, D., Danelutto, M. (2022). Towards Parallel Data Stream Processing on System-on-Chip CPU+GPU Devices. Proceedings-30th Euromicro International Conference on Parallel, Distributed and Network-Based Processing, PDP 2022, pp. 34–38.
Mencagli, G., Torquati, M., Cardaci, A., Rinaldi, L., & Danelutto, M. (2021). WindFlow: High-Speed Continuous Stream Processing with Parallel Building Blocks. IEEE Transactions on Parallel and Distributed Systemsthis link is disabled, 32(11), pp. 2748–2763, 9408386.
Nurvitadhi, E., Venkatesh, G., Sim, J., Marr, D., et al. (2017). Can FPGAs Beat GPUs in Accelerating Next-Generation Deep Neural Networks. In: Proceedings of the 2017 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, Monterey, CA, USA, ACM: NY, USA, 5–14.
Passalis, N., & Tefas, A. (2020). Continuous drone control using deep reinforcement learning for frontal view person shooting. Neural Computing and Applications, 32, 4227–4238.
Qinghui, Hong, Ya, Li, & Xiaoping, Wang. (2020). Memristive continuous Hopfield neural network circuit for image restoration. Neural Computing and Applications, 32, 8175–8185.
Sugiarto, I., Axenie, C., & Conradt, J. (2019). FPGA-based hardware accelerator for an embedded factor graph with configurable optimization. Journal of Circuits, Systems and Computers, 28(02).
Tkachenko, R. O., Tkachenko, P. R., & Izonin, I. V. (2017). Neural network tools of artificial intelligence: a study guide. Lviv: Lviv Polytechnic Publishing House, 207 p.
Tkachenko, R., Izonin, I. (2019). Model and Principles for the Implementation of Neural-Like Structures based on Geometric Data Transformations. In: Hu ZB, Petoukhov S (eds) Advances in Computer Science for Engineering and Education, ICCSEEA2018, Advances in Intelligent Systems and Computing. Springer, Cham, 754, 578–587.
Torbati, N., Ayatollahi, A., & Kermani, A. (2014). An efficient neural network based method for medical image segmentation. Comput Biol Med 44, 76–87.
Trimberger, S. M. (2015). Three ages of FPGAs: a retrospective on the first thirty years of FPGA technology. Proc 103, 318–331.
Tsmots, I. G., Tkachenko, R. O., Teslyuk, V. M., Riznyk, O. Ya., & Kazymira, I. Ya. (2022). Smart systems: technologies, architectures, data processing, protection and coding: monograph. Lviv: Publishing House "Lviv Polytechnic", 220 p.
Tsmots, I., Teslyuk, V., Kryvinska, N., Skorokhoda, O., Kazymyra, I. (2023). Development of a generalized model for parallel-streaming neural element and structures for scalar product calculation devices. Journal of Supercomputing, 79, 4820–4846. https://doi.org/10.1007/s11227-022-04838-0
Tsmots, I., Teslyuk, V., Teslyuk, T., Ihnatyev, I. (2018). Basic components of neuronetworks with parallel vertical group data real-time processing. In: Advances in Intelligent Systems and Computing II, Advances in Intelligent Systems and Computing 689. Springer International Publishing AG 2018, 558–576.
Vogel, A., Griebler, D., Danelutto, M., & Fernandes, L. G. (2022). Self-adaptation on parallel stream processing: A systematic review. Concurrency and Computation: Practice and Experiencethis link is disabled, 34(6), 6759.
Wu, R., Guo, X., Du, J., & Li, J. (2021). Accelerating neural network inference on FPGA-based platforms – A survey. Electronics 10. https://doi.org/10.3390/electronics10091025
Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, & Trevor Darrell. (2014). Caffe: Convolutional architecture for fast feature embedding. arXiv preprint arXiv: 1408.5093.
Yarovyi, A., Ilchenko, R., Arseniuk, I., Shmet, Y., Kotyra, A., & Smailova, S. (2018). An intelligent system of neural networking recognition of multicolor spot images of laser beam profile. In: Proceedings of SPIE 10808, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2018, 108081B. https://doi.org/10.1117/12.2501691
Zeng, W., Guo, Z., Shen, Y., et al. (2021). Data-driven management for fuzzy sewage treatment processes using hybrid neural computing. Neural Comput Appl. https://doi.org/10.1007/s00521-020-05655-3
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
