Емоційно-адаптивний дизайн користувацьких інтерфейсів на підставі аналізу міміки системою Facs
Анотація
Проаналізовано особливості розроблення емоційно-адаптивного дизайну користувацьких інтерфейсів на підставі системи кодування мімічних дій FACS (англ. Facial Action Coding System). Дослідження передбачало аналіз даних після використання вебкамери та програмного забезпечення Visage SDK для автоматичного розпізнавання мімічних дій та ідентифікації емоцій користувачів у режимі реального часу. Проведено A/Б-тестування з неадаптивним та адаптивним прототипами та опитування користувачів задля отримання результатів зі задоволеності користувачів. Додатково враховано динамічні зміни емоційного стану користувачів для забезпечення безперервної адаптації. З'ясовано, що середня точність розпізнавання основних емоцій, таких як сум, страх, гнів, радість та відраза, становить близько 80 %, що підтверджує ефективність використання системи FACS у поєднанні з розробленим алгоритмом. Виявлено, що адаптивний інтерфейс дає змогу підвищити швидкість виконання завдань на 15 % та рівень задоволеності користувачів на 9-10 % порівняно з неадаптивними інтерфейсами. З'ясовано, адаптивний інтерфейс сприяє підвищенню продуктивності користувачів під час виконання рутинних і складних завдань, що дає змогу підвищити продуктивність та знизити рівень стресу у працівників під час роботи. Практичне значення отриманих результатів полягає у можливості застосування адаптивних інтерфейсів у різних сферах, таких як, охорона здоров'я, транспортування та перевезення, освіта та наука, розважальній сфері та багато інших. Удосконалено метод адаптації інтерфейсу, який враховує динамічні зміни емоційного стану користувача, забезпечуючи вищий рівень персоналізації та інтуїтивності взаємодії. Розроблена система здатна реагувати на швидкі зміни емоційного стану, що є особливо важливим у стресових і критичних ситуаціях, таких як керування транспортними засобами або медичні системи моніторингу. Запропоновано перелік подальших досліджень з акцентом на інтеграцію мультимодальних алгоритмів і оброблення додаткових біометричних даних, таких як частота серцевих скорочень. Це дасть змогу підвищити точність і надійність системи розпізнавання емоцій, а також забезпечить ефективнішу адаптацію інтерфейсів під конкретні умови використання та індивідуальні особливості користувачів цифрових інтерфейсів.
Завантаження
Посилання
Alipour, M., Céret, É., & Dupuy-Chessa, S. (2023). A framework for user interface adaptation to emotions and their temporal aspects. Proceedings of the ACM on Human-Computer Interaction, 7(EICS), 186, 1–25. https://doi.org/10.1145/3593238
Alipour, M., Moghaddam, M. T., Vaidhyanathan, K., & Kjærgaard, M. B. (2023). Emoticontrol: Emotions-based Control of User-Interfaces Adaptations. Proceedings of the ACM on Human-Computer Interaction, 7, 1–29. https://doi.org/10.1145/3593227
Burrows, H., Zarrin, J., Babu-Saheer, L., & Maktab-Dar-Oghaz, M. (2022). Realtime Emotional Reflective User Interface Based on Deep Convolutional Neural Networks and Generative Adversarial Networks. Electronics, 11(1), article ID 118. https://doi.org/10.3390/electronics11010118
Calvo, R. A., & DMello, S. (2010). Affect Detection: An Interdisciplinary Review of Models, Methods, and Their Applications. IEEE Transactions on Affective Computing, 1(1), 18–37. https://doi.org/10.1109/T-AFFC.2010.1
Choi, Y., & Kim, Y. S. (2022). An Adaptive UI Based on User-Satisfaction Prediction in Mixed Reality. Applied Sciences, 12(9), article ID 4559. https://doi.org/10.3390/app12094559
Drungilas, D., Ramašauskas, I., & Kurmis, M. (2024). Emotion Recognition in Usability Testing: A Framework for Improving Web Application UI Design. Applied Sciences, 14(11), article ID 4773. https://doi.org/10.3390/app14114773
Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System (FACS): A Technique for the Measurement of Facial Movement. Consulting Psychologists Pressiu. URL: https://en.wikipedia.org/wiki/Facial_Action_Coding_System
Figma. (2025, April 8). Wikipedia. Retrieved April 8, 2025. URL: https://uk.wikipedia.org/wiki/Figma
Gebhardt, C., Brombach, A., Luong, T., Hilliges, O., & Holz, C. (2024). Detecting users emotional states during passive social media use. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 8(2), 77, 1–30. https://doi.org/10.1145/3659606
Guimarães, P. D., Silva, F. M., Ara, A., & Neris, V. A. (2024). A mixed factorial experiment with colors and adaptive web user interfaces to change emotions. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems (IHC 23), 47, 1–12. https://doi.org/10.1145/3638067.3638092
Imani, M., & Montazer, G. A. (2019). A survey of emotion recognition methods with emphasis on e-learning environments. Journal of Network and Computer Applications, 147, article ID 102423. https://doi.org/10.1016/j.jnca.2019.102423
Küntzler, T., Höfling, T. T. A., & Alpers, G. W. (2021). Automatic Facial Expression Recognition in Standardized and Non-standardized Emotional Expressions. Front. Frontiers in Psychology, 12, article ID 627561. https://doi.org/10.3389/fpsyg.2021.627561
Madjden, S., Ahmed, N., & Lataifeh, M. (2020). Adaptive user interface design and analysis using emotion recognition through facial expressions and body posture from an RGB-D sensor. PLoS ONE, 15(7), article ID e0235908. https://doi.org/10.1371/journal.pone.0235908
Märtin, C., & Herdin, C. (2024). Enabling real-time adaptations for individualized customer experience in user-centered e-business applications. Procedia Computer Science, 239, 1425–1432. https://doi.org/10.1016/j.procs.2024.06.315
Martinez, B., Valstar, M., Jiang, B., & Pantic, M. (2013). Automatic Analysis of Facial Actions: A Survey. IEEE Transactions on Affective Computing, 4(3), 290–305. https://doi.org/10.1109/T-AFFC.2013.16
Mehta, D., Siddiqui, M. F. H., & Javaid, A. Y. (2018). Facial Emotion Recognition: A Survey and Real-World User Experiences in Mixed Reality. Sensors, 18(2), article ID 416. https://doi.org/10.3390/s18020416
Microsoft. (2025, April 8). Microsoft Learn. Retrieved April 8, 2025. URL: https://learn.microsoft.com/en-us/azure/ai-services/computer-vision/concept-face-detection
Peng, Z., Desmet, P. M. A., & Xue, H. (2023). Mood in experience design: A scoping review. She Ji: The Journal of Design, Economics, and Innovation, 9(3), 330–378. https://doi.org/10.1016/j.sheji.2023.09.001
Visage SDK. (2025, April 8). Wikipedia. Retrieved April 8, 2025. URL: https://en.wikipedia.org/wiki/Visage_SDK
Zaina, L. M., Redmiles, D., & Conte, T. U. (2021). Understanding UX Better: A New Technique to Go Beyond Emotion Assessment. Sensors, 21(21), article ID 7183. https://doi.org/10.3390/s21217183
