Система мультимодального розпізнавання об’єктів на основі модифікованої YOLO-архітектури

П.К. Ніколюк *, д-р фіз.-мат. наук, Я.В. Мишківська **, М.І. Овчар ***
Донецький національний університет ім. Василя Стуса
Україна, 21021, Вінниця, вул. 600-річчя, 21
e-mail: Ця електронна адреса захищена від спам-ботів. Вам необхідно увімкнути JavaScript, щоб побачити її.; * https://orcid.org/0000-0002-0286-297X,
Ця електронна адреса захищена від спам-ботів. Вам необхідно увімкнути JavaScript, щоб побачити її.; ** https://orcid.org/0009-0008-8236-0531,
Ця електронна адреса захищена від спам-ботів. Вам необхідно увімкнути JavaScript, щоб побачити її.; *** https://orcid.org/0009-0001-8908-8218

Èlektron. model. 2026, 48(2):115-128

Cтаття надійшла до редакції / Received 02.07.2025 (після доопрацювання / after revision 23.09.2025)
Прийнята до друку / Accepted 17.04.2026
Опубліковано / Published 05.05.2026

© І.В. Мартинюк, Н.В. Заїка, М.Ю. Комаров, Г.В. Мартинюк, 2026
Стаття поширюється на умовах ліцензії відкритого доступу CC BY 4.0

Повний текст: PDF

АНОТАЦІЯ

Представлено дослідження, спрямоване на розробку та реалізацію системи мультимо­дального розпізнавання об’єктів у реальному часі на основі глибоких згорткових ней­рон­них мереж. Основну увагу приділено інтеграції даних з RGB-камер, інфрачервоних сенсо­рів і глибинних датчиків, що дозволяє досягти стійкості до зміни освітлення та втрати частини сенсорної інформації. Запропонована архітектура ґрунтується на модифікованій моделі You Only Look Once (YOLO) і включає модулі попередньої обробки, фільтрації шумів, адаптивного злиття ознак (late fusion) та оптимізації для вбудованих систем. Це підхід до об’єктного розпізнавання в зображеннях, при якому вся сцена аналізується за один прохід нейронної мережі. На відміну від традиційних методів, які спочатку вияв­ляють регіони інтересу, а потім класифікують об’єкти, YOLO виконує локалізацію і кла­сифікацію одночасно, що забезпечує високу швидкість та ефективність, особливо в ре­жимі реального часу. Експериментальні результати підтверджують ефективність запро­по­нованого підходу: система забезпечує вищу точність класифікації об’єктів з допомогою безпілотнтх літальних апаратів (БПЛА) у складних умовах у порівнянні з мономодаль­ними підходами. Розроблене рішення є перспективним для використання у воєнній спра­ві, рятувальних операціях, автономному транспорті та відеоспостереженні.

КЛЮЧОВІ СЛОВА:

мультимодальне розпізнавання, БПЛА, YOLO, згорткові нейронні мережі, Object Relation Module.

СПИСОК ЛІТЕРАТУРИ

1. Ying Shen et. al. Real-Time Segmentation of Artificial Targets Using a Dual-Modal Efficient Attention Fusion Network // Remote Sensing, 2023, 15(18), 4398, DOI: org/10.3390/rs15184398
2. Rui Chen et. al. Drone-Based Visible-Thermal Object Detection with Transformers and Prompt Tuning // Drones, 2024, Vol. 8, 451. DOI: org/10.3390/drones8090451
3. Wang C.Y., Bochkovskiy A., Liao H.Y.M. YOLOv7: Trainable bag of freebies sets new state of the art for real time object detectors. arXiv preprint. DOI: org/10.1109/ CVPR52729.2023.00721
4. Zihao Zhou al. Object Detection in Drone Video with Temporal Attention Gated Recurrent Unit Based on Transformer // Drones, 2023, Vol. 7(7), 466, DOI: org/10.3390/ drones7070466
5. Abhishek Gupta, Xavier Fernando. Simultaneous Localization and Mapping (SLAM) and Data Fusion in Unmanned Aerial Vehicles: Recent Advances and Challenges // Drones 2022, 6(4), 85. DOI: org/10.3390/drones6040085
6. Jiang Y., Zhang X., Li Z., Wang Y. Multimodal sensor fusion for object detection in dyna­mic environments using drones. arXiv. URL: https://arxiv.org/abs/2110.12638
7. Cai Y., Qin T., Ou Y., Wei R. Intelligent Systems in Motion: A Comprehensive Review on Multi Sensor Fusion and Information Processing From Sensing to Navigation in Path Plan­ning // International Journal on Semantic Web and Information Systems, 2023, Vol. 19(1), 1—35. DOI: http://dx.doi.org/10.4018/IJSWIS.333056
8. Wojtkowiak A., Skoczylas J., Brudnowski T. YOLOv5 Drone Detection Using Multimodal Data Registered by the Vicon System // Sensors, Vol. 23(14), 6396, DOI: org/10.3390/ s23146396
9. Shufang Xu et. al. A Method for Airborne Small-Target Detection with a Multimodal Fusion Framework Integrating Photometric Perception and Cross-Attention Mechanisms // Remote Sens, 2025, Vol. 17(7), 1118. DOI: org/10.3390/rs17071118
10. Li X., Zhang L., Wang Y. Adaptive data fusion strategies ensuring robustness to noise and improving classification accuracy under uncertainty // Journal of Applied Sciences, 2022, Vol. 12, No 4, 1234—1245. DOI: org/10.1016/j.measurement.2020.108122
11. Sarlin P., Honkavaara E., Vilkko M., Hakala T., Markelin L. Deep learning with RGB and thermal images onboard a drone for search and rescue operations // Journal of Field Robotics, Vol. 39(7), 1063—1086. DOI: org/10.1002/rob.22082
12. Hu R., Li Z., Yang J. Relation Networks for Object Detection Proceedings of the IEEE CVF Conference on Computer Vision and Pattern Recognition // URL: https://cutt.ly/srTW49wS
13. Ovchar M. Multimodal Object Detection GitHub URL: https://cutt.ly/prTW5i3W
14. Valada A., Vertens J., Dhall A., Burgard W. Self supervised model adaptation for multimo­dal semantic segmentation // International Journal of Computer Vision, 2019, Vol. 128, 1239—1285 DOI: org/10.1007/s11263-019-01188-y
15. Jiang Z., Zhao L., Li S., Jia Y. Real-time object detection method based on improved YOLOv4-tiny // DOI: org/10.48550/arXiv.2011.04244