Про підхід до визначення відповідності між пікселями камери і проєктора у мультимедійному тирі

Abstract

Предметом вивчення в статті є геометричні перетворення у системі «проєктор–екран–камера» для визначення відповідності між пікселями камери і проєктора у мультимедійному тирі. Метою є розробка математичної моделі та алгоритму визначення відповідності між пікселями камери і проєктора. Це потрібно для співставлення положення центроїдалазерної плями від пострілу в матриці камери і мішені, що генерується у матриці проєктора. Завдання: формалізувати задачу виникнення геометричних спотворень у системі «проєктор–екран–камера»; розробити математичну модель визначення відповідності між пікселями камери і проєктора; вибрати ефективний алгоритм її вирішення. Використовуваними методами є: математична модель вирівнювання зображення на основі гомографії, метод бінаризації з вибором значення порога методом Оцу; метод Дугласа–Пекера, який зменшує кількість точок, що апроксимують криву. Отримано такі результати. Згідно аналізу геометричних спотворень у системі «проєктор–екран–камера» сформульовано задачу розробки моделі для вирівнювання зображення з метою визначення відповідності між пікселями камери і проєктора. Розроблено математичну модель і алгоритм вирівнювання точок зображення мішені у матриці камери з точками зображення мішені у матриці проєктора. Розроблено і програмно реалізовано алгоритм визначення відповідності між пікселями камери і проєктора. Математичні залежності для визначення відповідності між пікселями камери і проєктора встановлено на основі матриці гомографії. Коефіцієнти матриці обчислюються за відповідними кутовими точками прямокутника матриці проєктора і його спотвореного трапецеїдального зображення на матриці камери. Розроблено алгоритм автоматичного визначення вершин трапеції та встановлення відповідності між пікселями камери і проєктора. Проведено аналіз та експериментальні дослідження факторів, що впливають на точність алгоритму: точність визначення вершин трапеції, за якими знаходяться коефіцієнти матриці гомографії; ступінь заповнення області огляду камери зображенням із проєктора; відповідність роздільної здатності камери і проєктора. Дано рекомендації щодо зменшення їхнього впливу. Зроблено такі висновки. Наукова новизна отриманих результатів полягає в наступному: розроблено і експериментально досліджено математичну модель визначення відповідності між пікселями камери і проєктора у мультимедійному тирі через вирівнювання зображення, що відображається з екрана проєктора у камері, на основі гомографії. До цього для вирівнювання зображень у мультимедійному тирі використовувалась модель на основі 2D-перетворень, у якій взаємне положення у просторі проєктора, екрана і камери не враховується. Оскільки у гомографії враховуються тільки лінійні перетворення, у подальшому планується удосконалити модель — врахувати нелінійні спотворення, що виникають у об’єктивах камери і проєктора.The subject of the study in the article is geometric transformations in the "projector–screen–camera" system to determine the correspondence between the pixels of the camera and the projector in a multimedia shooting range. The goal is to develop a mathematical model and algorithm to determine the correspondence between the pixels of the camera and the projector. This is necessary to correlate the position of the centroid of the laser spot from the shot in the camera matrix and the generated in the projector matrix. The tasks are: to formalize the problem of geometric distortions in the "projector–screen–camera" system; to develop a mathematical model for determining the correspondence between the camera and projector pixels; to select an efficient algorithm for its solution. The methods used are: a mathematical model of image alignment based on homography, a binarization method with threshold selection using the Otsu method; and the Douglas-Peucker algorithm, which reduces the number of points approximating a curve.