Інформаційна технологія самоаналізу параметрів великих мовних моделей
Анотація
Досліджено результати роботи великих мовних моделей LLM (англ. Large Language Model) для вирішення лінгвістичних завдань. Визначено широкий спектр моделей, враховуючи провідні розробки від відомих організацій, оцінені за низкою параметрів, таких як розуміння контексту, якість генерування тексту, коригування граматики, багатомовність і лексичне багатство. Особливий акцент зроблено на методології групового методу аналізу ієрархій, яка уможливила інтеграцію оцінок від різних експертних груп, зокрема – самих мовних моделей, що виступали в ролі експертів. Самооцінювання моделей реалізовано із застосуванням методу аналізу ієрархій та новаторського підходу через формування матриць парних порівнянь, де моделі оцінювали одна одну за визначеними параметрами, а отримані дані агрегувалися за допомогою геометричного середнього. Виявлено лідерів, які відзначилися високою продуктивністю в ключових аспектах, таких як граматична точність, контекстна чутливість і якість тексту, тоді як моделі середнього сегмента продемонстрували збалансовані можливості, а деякі опинилися в нижньому сегменті через обмежену ефективність у функціональних завданнях. Узгодженість оцінок підтверджує надійність отриманих даних. Встановлено важливість вибору моделей відповідно до специфіки лінгвістичних завдань, пропонуючи рекомендації для їх застосування в завданнях, що вимагають високої точності чи швидкості оброблення. З'ясовано, що самооцінювання розкриває потенціал моделей до саморефлексії, що має значення для когнітивної лінгвістики та філософії штучного інтелекту. Результати вказують на потребу вдосконалення моделей у таких аспектах, як підтримка різних мов і зменшення упереджень, особливо для міжкультурних контекстів. Встановлено, що методологічно метод аналізу ієрархій є ефективним у гармонізації міждисциплінарних оцінок, поєднуючи кількісну точність із якісною обґрунтованістю. Охарактеризовано закономірності, що формують нову парадигму для аналізу можливостей штучного інтелекту в медичній галузі, пропонуючи інструмент для вибору оптимальних великих мовних моделей і з'ясовано питання щодо доцільності автономного використання систем штучного інтелекту та розподілу відповідальності між людиною та машиною. Перспективи подальших досліджень охоплюють вивчення стабільності отримання результатів під час аналізу за різними пріоритетами параметрів, аналіз продуктивності моделей у специфічних завданнях, таких як оцінювання рівня кваліфікації медичних працівників за різними критеріями з використанням структурованих та неструктурованих даних. Вказано на роль інформаційних технологій у перетворенні лінгвістичних даних на структуровані знання, сприяючи глибшому розумінню потенціалу та обмежень мовних моделей у цифровому гуманітарному просторі та можливості імплементації їх у медичну інформаційну систему.
Завантаження
Посилання
Anthropic Team. (2023). The Claude 3 model family. Anthropic. URL: https://www.anthropic.com/claude-3-model-card
BigScience, & HuggingFace. (2022). BLOOM – BigScience large open multilingual model. HuggingFace. URL: https://bigscience.huggingface.co/blog/bloom
Chen, J., Yoon, J., Ebrahimi, S., Arik, S., Pfister, T., & Jha, S. (2023). Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs. Findings of the Association for Computational Linguistics: EMNLP 2023, 5190–5213. https://doi.org/10.18653/v1/2023.findings-emnlp.345
Collins, E., & Ghahramani, Z. (2021). LaMDA: Our breakthrough conversation technology. Google. URL: https://blog.google/technology/ai/lamda/
DeepSeek-AI, Zhu, Q., & Guo, D. (2024). DeepSeek-Coder-V2: Breaking the barrier of closed-source models in code intelligence. arXiv. https://doi.org/10.48550/arXiv.2406.11931
Gemini Team, Google. (2024). Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. arXiv. https://doi.org/10.48550/arXiv.2403.05530
Georgiev, P., Lei, V. I., & Burnell, R. (2024). Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. arXiv. https://doi.org/10.48550/arXiv.2403.05530
Giglou, H. B., DSouza, J., & Auer, S. (2023). LLMs4OL: Large language models for ontology learning. In The Semantic Web – ISWC (pp. 408–427). https://doi.org/10.1007/978-3-031-47240-4_22
Google. (2021). LaMDA: Our breakthrough conversation technology. Google. URL: https://blog.google/technology/ai/lamda/
Google. (2023). Introducing PaLM 2. Google. URL: https://blog. google/technology/ai/google-palm-2-ai-large-language-model/
Haeun Park, H., Oh, H., & Gao, F., & Kwon, O. (2025). Enhancing Analytic Hierarchy Process Modelling Under Uncertainty With Fine-Tuning LLM. Expert Systems, 42, article ID e70051. https://doi.org/10.1111/exsy.70051
Hong, P. (2024). Evaluating LLMs Mathematical and Coding Competency with Perturbed Datasets. ACL Findings. URL: https://arxiv.org/abs/2401.09395
Hu, Y., Liu, D., & Wang, Q. (2024). Automating knowledge discovery from scientific literature via LLMs: A dual-agent approach. arXiv. https://doi.org/10.48550/arXiv.2409.00054
Kunanets, N. E., & Yaromych, M. V. (2025). Concept extraction in literary texts using large language models. Bulletin of Science and Education, 32(2), 343–357. https://doi.org/10.52058/2786-6165-2025-2(32)-343-357
Lippolis, A. S., Saeedizade, M. J., Keskisärkkä, R., Gangemi, A., Blomqvist, E., & Nuzzolese, A. G. (2025). Large Language Models Assisting Ontology Evaluation. OE-Assist framework. URL: https://arxiv.org/abs/2507.14552
Meta AI. (2024). Introducing Llama 3.1: Our most capable models to date. Meta. URL: https://ai.meta.com/blog/meta-llama-3-1/
Microsoft Research. (2023). Phi-2: The surprising power of small language models. Microsoft. URL: https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/
Mistral AI. (2023). Mistral 7B. Mistral. URL: https://mistral.ai/news/announcing-mistral-7b
Mu, Y., Dong, C., Bontcheva, K., & Song, X. (2024). Large language models offer an alternative to the traditional approach of topic modelling. arXiv. https://doi.org/10.48550/arXiv.2403.16248
Mukanova, A., Milosz, M., & Dauletkaliyeva, A. (2024). LLM-powered natural language text processing for ontology enrichment. Applied Sciences, 14(13), 5860–5875. https://doi.org/10.3390/app14135860
Neuhaus, F. (2024). Ontologies in the era of large language models – a perspective. Applied Ontology, 18(4), 399–407. https://doi.org/10.3233/AO-230072
NVIDIA. (2024). Nemotron-4 340B technical report. arXiv. URL: https://arxiv.org/html/2406.11704v1
Opara, C. (2024). StyloAI: Distinguishing AI-generated content with stylometric analysis. In Proceedings of the 25th International Conference on Artificial Intelligence in Education (pp. 1–12). https://doi.org/10.48550/arXiv.2405.10129
OpenAI. (2024). Introducing GPT-4o and more tools to ChatGPT free users. OpenAI. URL: https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/
OpenAI. (2024). OpenAI platform. OpenAI. URL: https://platform.openai.com/docs/api-reference/introduction
Pasichnyk, V. V., & Yaromych, M. V. (2025). Automated generation of technical documentation in IT using large language models. Studia Methodologica, 59, 250–273. https://doi.org/10.32782/2307-1222.2025-59-22
Pasichnyk, V. V., & Yaromych, M. V. (2025). Features of genre classification of literature using large language models. Folium, 6, 132–144. https://doi.org/10.32782/folium/2025.6.19
Pasichnyk, V. V., & Yaromych, M. V. (2025). Genre classification of literature by metrics using large language models. Scientific Works of the Interregional Academy of Personnel Management. Philology, 1(15), 60–68. https://doi.org/10.32689/maup.philol.2025.1.11
Pasichnyk, V. V., & Yaromych, M. V. (2025). Large language models and ontologies in philological research: An analytical review of sources. Current Issues of the Humanities. Linguistics. Literary Studies, 83(3), 236–250. https://doi.org/10.24919/2308-4863/83-3-35
Qwen Team. (2024). Qwen2-0.5B-Instruct. HuggingFace. URL: https://huggingface.co/Qwen/Qwen2-0,5B-Instruct/blob/main/ README.md
Ren, J., Zhao, Y., Vu, T., Liu, P. J., & Lakshminarayanan, B. (2023). Self-Evaluation Improves Selective Generation in Large Language Models. Proceedings on "I Cant Believe Its Not Better: Failure Modes in the Age of Foundation Models" at NeurIPS 2023 Workshops, in Proceedings of Machine Learning Research, 239, 49–64. URL: https://proceedings.mlr.press/v239/ren23a.html
Saaty, T. L. (1980). The analytic hierarchy process. New York, NY: McGraw-Hill. URL: https://www.researchgate.net/publication/362349026_The_Analytic_Hierarchy_Process
Saaty, T. L. (1989). Group decision making and the analytic hierarchy process. European Journal of Operational Research, 48(1), 9–26. URL: https://ideas.repec.org/a/eee/ejores/v48y1990 i1p9-26.html
Saaty, T. L. (2008). Decision making with the analytic hierarchy process. International Journal of Services Sciences, 1(1), 83–98. https://doi.org/10.1504/IJSSCI.2008.017590
Schreiber, H. (2016). Genre ontology learning: Comparing curated with crowd-sourced folksonomies. In Proceedings of the 17th International Society for Music Information Retrieval Conference (pp. 400–406). URL: https://archives.ismir.net/ismir2016/paper/ 000074.pdf
Smith, S., Patwary, M., & Morick, B. (2022). Using DeepSpeed and Megatron to train Megatron-Turing NLG 530B, a large-scale generative language model. arXiv. https://doi.org/10.48550/arXiv.2201.11990
Tkachenko, O. I., Tkachenko, K. O., & Tkachenko, O. A. (2021). Linguistic ontologies: Designing and using in the educational intellectual systems. Digital Platform: Information Technologies in Sociocultural Sphere, 4(1), 97–111. https://doi.org/10.31866/2617-796X.4.1.2021.236950
Touvron, H., Martim, L., & Stone, K. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv. https://doi.org/10.48550/arXiv.2307.09288
Umphrey, R., Roberts, J., & Roberts, L. (2024). Investigating expert-in-the-loop LLM discourse patterns for ancient intertextual analysis. In Proceedings of the 4th International Conference on Natural Language Processing for Digital Humanities (NLP4DH 2024) (pp. 31–41). URL: https://arxiv.org/abs/2409.01882
xAI. (2023). Grok. xAI. URL: https://x.ai/grok
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
