http://doi.org/10.35668/2520-6524-2024-3-13
Ісаєнков Ярослав Олександрович — аспірант, факультет інтелектуальних інформаційних технологій та автоматизації, Вінницький національний технічний університет, Хмельницьке шосе, 95, м. Вінниця, Україна, 21021; +38 (095) 145-96-85; yisaienkov@gmail.com; ORCID: 0009-0005-5629-0021
Мокін Олександр Борисович — д-р техн. наук, проф., проф. кафедри системного аналізу та інформаційних технологій, Вінницький національний технічний університет, Хмельницьке шосе, 95, м. Вінниця, Україна, 21021; +38 (067) 785-98-44; abmokin@gmail.com; ORCID: 0000-0002-9277-3312
МЕТОД ОЦІНКИ ЧАСТКОВО ЗГЕНЕРОВАНИХ ДАНИХ
Резюме. Останніми роками генеративні моделі, зокрема автокодувальники, генеративні змагальні мережі та дифузійні моделі, стали невіддільною частиною інновацій у різних галузях, таких, як мистецтво, дизайн, медицина тощо. Завдяки здатності створювати нові зразки даних, вони відкривають широкі можливості для автоматизації та вдосконалення процесів. Однак оцінка якості згенерованих даних залишається складним завданням, оскільки традиційні методи не завжди адекватно відображають різноманітність і реалістичність створених зразків. Зокрема це стосується часткового генерування даних, де зміни застосовуються лише до окремих частин зображення, що значно ускладнює оцінку їх якості.
У цій статті розглянуто різні підходи до оцінки генеративних моделей, зокрема такі автоматичні метрики, як Inception Score і Fréchet Inception Distance, влучність, повнота, щільність і покриття, а також метод із залученням людини HYPE. Хоча ці метрики добре зарекомендували себе в оцінюванні результатів традиційного генерування, їх використання у випадку частково згенерованих даних може бути недоцільним через їх обмеження.
Для розв’язання цієї проблеми в статті запропоновано новий метод оцінювання частково згенерованих даних із залученням людини. Цей метод базується на аналізі трансформованих зображень користувачами, які визначають зони, що зазнали змін, і оцінює їхню якість за допомогою метрик влучності, повноти, F1-міри, шукаючи перетини між реальними зонами та вибраними користувачем із використанням IoU. Запропонований підхід забезпечує більш об’єктивну оцінку реалістичності та якості згенерованих фрагментів зображень під час трансформацій.
Наведено практичний приклад застосування розробленого методу на наборі даних панорамних стоматологічних знімків, де оцінювалася якість трьох моделей: 1) ГЗМ на основі U-генератора; 2) та сама модель, але з післяобробкою вихідного зображення і сегментаційної маски; 3) самовалідована ГЗМ. Оцінку проводили 30 осіб. Середні значення F1-міри для цих моделей становили 0,78, 0,27 і 0,20 відповідно. Оскільки нижчі значення F1-міри в цьому випадку свідчать про кращі результати (чим точніше користувачі ідентифікували трансформації, тим гірше працювала модель), найкращою моделлю за цією метрикою є самовалідована ГЗМ, що також підтверджується суб’єктивними оцінками, зазначеними в працях авторів.
Ключові слова: аугментація, генерування даних, генеративна змагальна мережа, ГЗМ, комп’ютерний зір, глибоке навчання, самовалідована ГЗМ, оцінювання, нейронні мережі.
