Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения

Abstract

В останнє десятиліття моделі на нейронних мережах глибокого навчання ефективно використовуються для вирішення багатьох актуальних завдань, що вимагають обробки великих масивів даних. До них відноситься важливе завдання експертизи матеріалів та апаратури цифрового звукозапису — автоматичного виявлення слідів цифрової обробки (слідів цифрового монтажу) фонограм. Монтаж фонограм проводиться в паузах мовної інформації. Тому пошук слідів цифрової обробки зводиться до знаходження ознак такого монтажу в паузах, зафіксованих на фонограмах, а сам процес слід віднести до завдання бінарної класифікації. Складність побудови такої системи полягає у тому, що, по-перше, ознаки такого монтажу надзвичайно малі і, по-друге, їх виділення з сигналів пауз відомими класичними методами обробки дуже проблематично. Основна вимога до експертного інструментарію — здатність забезпечити виділення та наочну демонстрацію ознак монтажу. При цьому експерт повинен мати внутрішнє переконання у достовірності результатів експертизи. Тому загальновизнана неможливість встановлення зв’язку як між сигналами на вході з результатами, отриманими на виході моделі, що використовується, так і процесами, що відбуваються в ній, є найважливішим чинником впливу на подальший розвиток систем судової експертизи на нейронних мережах. Автори вважають, що для деяких завдань бінарної класифікації, зокрема завдання виявлення цифрового монтажу фонограм, така можливість існує. Метою дослідження є метод виділення ознак цифрового монтажу фонограм, що задовольняє вимогам експертизи, заснований на застосуванні нейронної мережі глибокого навчання. Запропоновано виявляти паузи мови з ознаками монтажу шляхом бінарної класифікації в мережі. Додаткова обробка результатів моделювання дозволяє отримати їх графічну інтерпретацію, що забезпечує виділення в окремий масив фрагментів пауз з високою мірою ймовірності правильної класифікації. Цим забезпечується можливість створення автоматизованої системи виявлення ознак монтажу в цифрових фонограмах.In the last decade the models on the neuron networks of the deep learning have been effectively used for the decision of many actual tasks, requiring treatment of large arrays of data. The important task of examination of materials and apparatus of the digital audio recording belongs to them — automatic exposure of tracks of digital treatment (tracks of the digital editing) of phonograms. Editing of phonograms is produced in the pauses of speech information. Therefore the search of tracks of digital treatment is reduced to finding the signs of such editing in the pauses fixed on phonograms, and a process it is necessary to attribute to the task of binary classification. Complication of construction of such system consists in that, firstly, the signs of such editing are extraordinarily small and, secondly, their selection from the signals of pauses by the known classic methods of treatment is very problematic. The basic requirement to the expert tool is ability to provide a selection and obvious demonstration of signs of editing. Thus an expert must be convinced in reliability of results of examination. Therefore generally acknowledged impossibility of establishing a connection both between signals on an input with the results got on the output of the applied model and processes, taking place in it is the major factor of influence on further development of the systems of judicial examination on neuron networks. Authors suppose that for some tasks of binary classification, in particular, tasks of exposure of the digital editing of phonograms, such possibility exists. A research aim is a method of extraction of features of the digital editing of phonograms, suiting examination, based on application of neuron network of the deep learning. The method of exposure of signs of editing is offered and considered in pauses between the signals of speech information with the use of neuron network of the deep learning. It is suggested to expose the pauses of speech with the signs of editing by binary classification in a network. The aftertreatment of design results allows to get their graphic interpretation, that provides a selection in the separate array of fragments of pauses with the high degree of probability of correct classification. This provides possibility of creation of CAS of exposure of signs of editing in digital phonograms.