Модель, структура та метод синтезу нейронного елемента матричного типу
Анотація
Зростаюче застосування нейромереж для опрацювання даних потребує пошуку нових і вдосконалення наявних засобів для їх розроблення. Застосування таких засобів на мобільних платформах вимагає врахування додаткових обмежень щодо габаритів, маси та енергоспоживання. З'ясовано, що перспективним способом вирішення цієї проблеми є застосування надвеликих інтегральних схем (НВІС), що, однак, потребує розроблення нових моделей, структур і методів синтезу нейронних елементів (НЕ) як основи для побудови нейронних та нейроподібних мереж. У роботі запропоновано й описано узагальнену модель, структуру та метод синтезу НЕ матричного типу. Описано алгоритми обчислення скалярного добутку, групового підсумовування часткових добутків, які використано для реалізації базової структури НЕ. Виконано оцінювання параметрів НЕ матричного типу з формуванням часткових добутків за модифікованим алгоритмом Бута. Описано розроблену узагальнену модель НЕ матричного типу з формуванням часткових добутків за модифікованим алгоритмом Бута, компонентами якої є перетворювач форматів даних, пристрій обчислення скалярного добутку та блок реалізації функції активації. Розроблена модель НЕ за рахунок узгодження тривалості надходження вхідних даних і вагових коефіцієнтів з тактом роботи конвеєра забезпечує опрацювання даних у реальному часі. Для зменшення у два рази кількості обчислень часткових добутків запропоновано використати матричний метод обчислення скалярного добутку з формуванням часткових добутків за допомогою модифікованого алгоритму Бута. Описано розроблені алгоритми та структури для групового підсумовування часткових добутків, які за рахунок розпаралелення процесу підсумовування часткових добутків на підставі дерев Уоллеса та каскадного паралельно-паралельного алгоритму забезпечують зменшення часу підсумовування. Описано розроблену базову структуру НЕ матричного типу з формуванням часткових добутків з використанням модифікованого алгоритму Бута, яка за рахунок паралельно-паралельного формування та підсумовування часткових добутків на підставі дерев Уоллеса і каскадного алгоритму з використанням конвеєрних регістрів для узгодження інтенсивності надходження даних з інтенсивністю обчислення, забезпечує оброблення потоків даних у реальному часі та реалізацію на НВІС. Оцінено витрати обладнання для реалізації НЕ матричного типу та тривалості конвеєрного такту для визначених конфігурацій обчислювальних засобів, а саме, розрядності операндів та кількості пар добутків.
Завантаження
Посилання
Ahmad, Maruf, Lei Zhang, & Muhammad, E.H. Chowdhury. (2024). FPGA Implementation of Complex-Valued Neural Network for Polar-Represented Image Classification. Sensors, 24(3), 897 p. https://doi.org/10.3390/s24030897
Cai, J., Bao, H., Chen, M., Xu, Q., & Bao, B. (2022). Analog/Digital Multiplierless Implementations for Nullcline-Characteristics-Based Piecewise Linear Hindmarsh-Rose Neuron Model. IEEE Transactions on Circuits and Systems I: Regular Papers, 69(7), 2916–2927. https://doi.org/10.1109/TCSI.2022.3164068
Cai, J., Bao, H., Chen, M., Xu, Q., & Bao, B. (2022). Analog/Digital Multiplierless Implementations for Nullcline-Characteristics-Based Piecewise Linear Hindmarsh-Rose Neuron Model. IEEE Transactions on Circuits and Systems I: Regular Papers, 69(7), 2916–2927. https://doi.org/10.1109/TCSI.2022.3164068
Chen, K.-H., Su, C.-W., & Wang, J.-H. (2022). Energy-efficient and Accurate Object Detection Design on an FPGA Platform. IET International Conference on Engineering Technologies and Applications (IET-ICETA), Changhua, Taiwan, 1–2. https://doi.org/10.1109/IET-ICETA56553.2022.9971590
Doroshenko, A., Shymkovych, V., Mamedov, T., & Yatsenko, O. (2022). Automated design of an artificial neuron for field-programmable gate arrays based on an algebra-algorithmic approach. International Scientific Technical Journal "Problems of Control and Informatics", 67(5), 61–72. https://doi.org/10.34229/2786-6505-2022-5-6
Drozd, J., Drozd, O., Nikul, V., & Sulima, J. (2018). FPGA implementation of vertical addition with a bitwise pipeline of calculations. 9th International Conference on Dependable Systems, Services and Technologies (DESSERT), Kyiv, Ukraine, 239–242. https://doi.org/10.1109/DESSERT.2018.8409136
Haghiri, S., & Ahmadi, A. (2020). A Novel Digital Realization of AdEx Neuron Model. IEEE Transactions on Circuits and Systems II: Express Briefs, 67(8), 1444–1448. https://doi.org/10.1109/TCSII.2019.2938180
Hong, S., Lee, I., & Park, Y. (2018). Optimizing a FPGA-based neural accelerator for small IoT devices. International Conference on Electronics, Information, and Communication (ICEIC), Honolulu, HI, USA, 1–2. https://doi.org/10.23919/ELINFOCOM.2018.8330546
Imani, M. A., Ahmadi, A., RadMalekshahi M., & Haghiri, S. (2018). Digital Multiplierless Realization of Coupled Wilson Neuron Model. Transactions on Biomedical Circuits and Systems, 12(6), 1431–1439. https://doi.org/10.1109/TBCAS.2018.2869319
Jung, J., & Lee, K. J. (2020). An Energy-Efficient Deep Neural Network Accelerator Design. 54th Asilomar Conference on Signals, Systems, and Computers, Pacific Grove, CA, USA, 272–276. https://doi.org/10.1109/IEEECONF51394.2020.9443508
Kongpoon, M., & Leelavattananon, K. (2019). Multiplier-less and compact FPGA implementation of Mihalas-Niebur neuron. IEEE Asia Pacific Conference on Circuits and Systems (APCCAS), Bangkok, Thailand, 321–324. https://doi.org/10.1109/APCCAS47518.2019.8953116
Leigh, A. J., Heidarpur, M., & Mirhassani, M. (2022). A High-Accuracy Digital Implementation of the Morris-Lecar Neuron With Variable Physiological Parameters. Transactions on Circuits and Systems II: Express Briefs, 69(10), 4138–4142. https://doi.org/10.1109/TCSII.2022.3187623
Leigh, A. J., Mirhassani, M., & Muscedere, R. (2020). An Efficient Spiking Neuron Hardware System Based on the Hardware-Oriented Modified Izhikevich Neuron (HOMIN) Model. Transactions on Circuits and Systems II: Express Briefs, 67(12), 3377–3381. https://doi.org/10.1109/TCSII.2020.2984932
Lin, X., Lu, H., Pi, X., & Wang, X. (2020). An FPGA-based Implementation Method for Quadratic Spiking Neuron Model. 11th Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON), New York, NY, USA, 0621–0627. https://doi.org/10.1109/UEMCON51285.2020.9298029
Losh, M., & Llamocca, D. (2019). A Low-Power Spike-Like Neural Network Design. Electronics, 8, 1479 p. https://doi.org/10.3390/electronics8121479
Mandal, R. K., & Kale, P. (2018). Development of a Decision-Based Neural Network for a Day-Ahead Prediction of Solar PV Plant Power Output. 4th International Conference on Computational Intelligence & Communication Technology (CICT), Ghaziabad, India, 1–6. https://doi.org/10.1109/CIACT.2018.8480396
Rabyk, V., Kryvinska, N., Yatsymirskyy, M., Teslyuk, V. (2022). Design of the Processors for Fast Cosine and Sine Fourier Transforms. Circuits, Systems, and Signal Processing, 41(9), 4928–4951. https://doi.org/10.1007/s00034-022-02012-8
Shrestha, R. (2017). High-speed and low-power VLSI-architecture for inexact speculative adder. International Symposium on VLSI Design, Automation and Test (VLSI-DAT), Hsinchu, Taiwan, 1–4. https://doi.org/10.1109/VLSI-DAT.2017.7939644
Song, M., & Pedrycz, W. (2013). Granular Neural Networks: Concepts and Development Schemes. IEEE Transactions on Neural Networks and Learning Systems, 24(4), 542–553. https://doi.org/10.1109/TNNLS.2013.2237787
Takaloo, H., Ahmadi, A., & Ahmadi, M. (2023). Design and Analysis of the Morris – Lecar Spiking Neuron in Efficient Analog Implementation. Transactions on Circuits and Systems II: Express Briefs, 70(1), 6–10. https://doi.org/10.1109/TCSII.2022.3203929
Tchynetskyi, S., Peleshchak, М., Peleshchak, I., & Vysotska, V. (2021). A Neural Network Development for Multispectral Images Recognition. IEEE 16th International Conference on Computer Sciences and Information Technologies (CSIT), LVIV, Ukraine, 278–284. https://doi.org/10.1109/CSIT52700.2021.9648735
Tsmots, I. G., Opotyak, Yu. V., & Shtohrinets, B. V. (2023). Method of Synthesis of Devices for Parallel Stream Calculation of Scalar Product in Real Time. Journal of Lviv Polytechnic National University "Information Systems and Networks", 14, 248–266. https://doi.org/10.23939/sisn2023.14.248
Tsmots, I., Rabyk, V., Teslyuk, V., & Opotyak, Y. (2023). Floating-Point Number Scalar Product Hardware Implementation for Embedded Systems. 17th International Conference on the Experience of Designing and Application of CAD Systems (CADSM), Jaroslaw, Poland, 6–10. https://doi.org/10.1109/CADSM58174.2023.10076502
Tsmots, I., Skorokhoda, O., & Rabyk, V. (2018). Parallel algorithms and matrix structures for scalar product calculation. 14th International Conference on Advanced Trends in Radioelecrtronics, Telecommunications and Computer Engineering (TCSET), Lviv-Slavske, Ukraine, 936–939. https://doi.org/10.1109/TCSET.2018.8336347
Yang, S., Liu, P., Xue, J., Sun, R., & Ying, R. (2020). An Efficient FPGA Implementation of Izhikevich Neuron Model. International SoC Design Conference (ISOCC), Yeosu, Korea (South), 141–142. https://doi.org/10.1109/ISOCC50952.2020.9333014
Yang, Y., et al. (2023). A Network Traffic Classification Method Based on Dual-Mode Feature Extraction and Hybrid Neural Networks. IEEE Transactions on Network and Service Management, 20(4), 4073–4084. https://doi.org/10.1109/TNSM.2023.3262246
Zhang, H., Du, C., & Ko, S.-B. (2023). Energy Efficient FPGA-Based Accelerator for Deep Spiking Neural Networks. IEEE 3rd International Conference on Computer Systems (ICCS), Qingdao, China, 168–172. https://doi.org/10.1109/ICCS59700.2023.10335532
Zhang, W., Zhang, C., Niu, L., Din, F. U., Farrukh, & Jiang, H. (2022). An Efficient FPGA Design for Fixed-point Exponential Calculation. International Conference on Integrated Circuits, Technologies and Applications (ICTA), Xi'an, China, 44–45. https://doi.org/10.1109/ICTA56932.2022.9963050
