Численные методы н программный комплекс анализа документальных портретных изображений

Диссертация на соискание ученой степени кандидата технических наук. Самара - 2007

05.13.18 - Математическое моделирование,
численные методы и комплексы программ
Диссертация посвящена разработке численных методов и программного комплекса обработки и анализа документальных портретных изображений.
Актуальность темы
В настоящее время в связи с бурным развитием информационных технологий и их применением в различных сферах жизнедеятельности общества все более широкое распространение получают автоматизированные системы идентификации личности по биометрическим данным. Важное место среди подобных систем занимают системы распознавания личности по изображению лица, получаемого с использованием сканирующей, фото- и видеоаппаратуры. Актуальность более узкой задачи - идентификации личности по изображению лица на документальной фотографии обусловлена растущими потребностями автоматизации обработки видеоинформации в следующих областях деятельности: пограничный паспортный -контроль, регистрация пассажиров на авиарейсах, внутренний или наружный видеоконтроль с целью обеспечения безопасности, контроль доступа с целью предотвращения несанкционированного доступа, поиск разыскиваемых лиц и
т.д.
Среди первых компьютерных систем распознавания лиц наиболее известной является система Т.Кохонена (Т. Kohonen) из Технологического университета Хельсинки [68]. Она продемонстрировала, что распознавание выровненных (по геометрии) и нормализованных (по яркости) изображений можно выполнить с помощью простой нейронной сети. Сеть, которую использовал Кохонен, вычисляла описание лица, аппроксимируя собственные вектора матрицы автокорреляции изображения. Эти собственные вектора получили название «собственных лиц» (Eigenface). Однако система Кохонена не нашла практического применения, поскольку базировапась на точном выравнивании и нормализации изображений. И в последующие годы предпринимались многочисленные попытки реализации подобных
информационных технологий распознавания лиц с использованием различных нейросетевых методов. Удалось сделать несколько систем, успешно работавших с небольшими базами данных выровненных изображений [21,69]. Но не было ни одной эффективной реализации для более жизненной ситуации - крупномасштабной базы данных изображений, в которой расположение и размеры лиц неизвестны. Кроме того, существенным препятствием для практического применения указанных систем являлась очень высокая вычислительная сложность алгоритмов получения "собственных лиц".
Ситуация изменилась, когда М. Кирби (М. Kirby) и Л. Сирович (L. Sirovich) из Университета Брауна [67] ввели алгебраическую операцию, упростившую вычисление «собственных лиц». Кроме того, они показали, что для достаточно полного описания ("аккуратного" кодирования) тщательно выровненных и нормализованных изображений нужно не более 100 собственных лиц. М. Турк (М. Turk) и А. Пентланд (A. Pentland) из Массачусетского технологического института [76] продемонстрировали, что остаточную погрешность, которая возникает при кодировании фрагментов изображения с помощью собственных лиц, можно использовать для обнаружения лиц в неупорядоченном естественном изображении, для определения точного расположения и размера лица. Затем они показали, что объединение методов обнаружения, локализации и распознавания, основанных на "собственных лицах", обеспечивает решение задачи распознавания лиц в режиме реального времени, при этом на среду (условия) распознавания накладываются лишь минимальные ограничения. Когда стало очевидно, что комбинация простых методов распознавания позволяет найти весьма эффективные информационные технологии и создать системы, действующие в реальном времени, интерес к распознаванию лиц стремительно вырос.
К 1993 году было заявлено о существовании нескольких методов и алгоритмов, правильно решающих задачу распознавания лиц в условиях
наблюдения с минимальным числом ограничений. Чтобы выявить их реальный потенциал, агентство DARPA (Defense Advanced Research Projects Agency) и Исследовательская лаборатория армии США (Army Research Lab) инициировали исследовательскую программу FERET (Face Recognition Technology) [34, 37-39, 55, 60, 61, 78, 81], целью которой являлась оценка эффективности предложенных методов и алгоритмов, а также стимулирование развития лучших из них. В работе [48] указано, что в ходе реализации программы FERET три алгоритма продемонстрировали самый высокий уровень точности распознавания для больших баз данных (1200 человек) в наиболее сложных для распознавания условиях тестирования:
- алгоритм, разработанный в Университете Южной Калифорнии [88], который осуществляет распознавание лица путем "гибкого сравнения графов" (Elastic Graph Matching);
- алгоритм Университета штата Мэриленд [41], использующий дискриминантный анализ;
- алгоритм, созданный в Media Laboratory Массачусетского технологического института [73], который основан на методе собственных лиц с использованием моделирования наружности и моделирования отличий.
К настоящему времени разработано множество методов распознавания личности по фотоизображению лица, которые могут быть разделены на три группы[51]:
Глобальные методы, которые основаны на вычислении и использовании признаков изображений, характеризующих область лица в целом. Сюда могут быть отнесены уже упомянутые "собственные лица" (метод главных компонент) [28, 77], "фишеровские лица" (Fisherfaces) или метод линейного дискриминанта Фишера [32, 28], метод опорных векторов [57], генетические алгоритмы [70,71], нейросетевые методы [13,29-31].
Локальные методы, основанные на выделении признаков локальных областей изображения, соответствующих деталям лица: глазам, носу, рту [43,
83, 86]. Примерами таких подходов являются: гибкое сравнение графов (см., например, [64, 40]), использование скрытых Марковских моделей (Hidden Markov Models), самоорганизующиеся карты признаков (Self-organizing Feature Maps) [29,68,69,31].
Гибридные методы, сочетающие в себе оба подхода, указанных выше. В методах этой группы анализируется как все лицо в целом, так и локальные признаки [27, 43, 48, 65, 75, 83, 86], что, вероятно, в наибольшей степени соответствует человеческому восприятию.
Изучению различных аспектов проблемы распознавания личности по изображению лица посвящены труды В.В. Старовойтова, Н.Г. Федотова, М. Кирби (М. Kirby), Т. Кохонена (Т. Kohonen), А. Пентланда (A. Pentland) Л. Сирович (L. Sirovich), М. Турка (М. Turk) и других российских и зарубежных ученых.
В настоящее время известен ряд программных систем, предназначенных для распознавания личности, наиболее известными из которых являются:
- системы автоматической идентификации и верификации людей компании "ZN Vision Technologies" [2];
- система распознавания лиц FaceTools компании Viisage [85,56].
- система распознавания лиц Facelt компании Identix [25,35,36,53,54];
- система распознавания лиц FaceVACS компании Cognitec [52].
По понятным причинам, использованные в этих системах математические методы и вычислительные алгоритмы не раскрываются, если они и описываются в научных публикациях, обзорах и на web-сайтах фирм- разработчиков, то только в самых общих чертах или в рекламном плане.
Несмотря на заметные успехи в области создания систем распознавания лиц остаются нерешенные проблемы, связанные с чувствительностью алгоритмов к различным искажающим факторам, таким как смена освещения, изменение позы и выражения лица, окклюзия (частичное закрытие лица или попадание в тень). Однако в задаче идентификации личности по
документальной фотографии эти факторы присутствуют в меньшей степени, чем, например, в системах видеонаблюдения и т.п.
Необходимо также отметить, что широкое распространение подобных систем ограничивается следующими факторами:
• чрезвычайно высокая стоимость систем, трудности с сопровождением и поддержкой,
• закрытость архитектуры систем,
• отсутствие достоверных показателей эффективности распознавания и зачастую рекламный характер таких показателей,
• закрытость используемых технологий, а также методов и алгоритмов, входящих в их состав.
Учитывая указанные факторы, а также тот факт, что при решении задачи анализа документальных портретных изображений есть возможность в полной мере учесть специфику именно рассматриваемого класса изображений, разработку информационной технологии и программного комплекса анализа документальных портретных изображений следует считать целесообразной.
Настоящая диссертационная работа посвящена разработке численных методов и программного комплекса обработки и анализа документальных портретных изображений. Разработанные методы могут быть применены при решении задач идентификации и поиска личности по портретным изображениям на документах. Разработанный программный комплекс позволяет решать задачу контроля документов для идентификации личности.
Исследования по тематике диссертации были поддержаны грантами Российского фонда фундаментальных исследований: проекты № 06-01-00616- а, 07-07-97610-р_офи и в рамках российско-американской программы "Фундаментальные исследования и высшее образование" (CRDF Project RUX0-014-SA-06). 

ВВЕДЕНИЕ 5
1 РАЗРАБОТКА ЧИСЛЕННЫХ МЕТОДОВ И МОДЕЛИ ДЛЯ ПОИСКА ДОКУМЕНТАЛЬНЫХ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ 17
1.1 ПОСТАНОВКА ЗАДАЧИ ПОИСКА личности по ФОТОИЗОБРАЖЕНИЮ ЛИЦА . 17
1.1.1 Задача поиска личности по портретному изображению как задача
поиска изображений по содержанию 19
1.1.2 Задача поиска личности по фотоизображению лица как задача
распознавания 23
1.1.3 Критерии качества классификации и поиска, принятые в работе 25
1.2 МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ЛИЦА И ЕЕ ПОСТРОЕНИЕ 29
1.2.1 Описание математической модели лица 30
1.2.2 Метод построения математической модели лица 32
1.2.3 Экспериментальные исследования метода построения
математической модели лица 39
1.2.4 Нормализация изображения и выделение области изображения для
расчета признаков 41
1.3 МЕТОД ОТБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ НА
ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ 43
1.3.1 Предварительный отбор информативных признаков
(первый этап отбора) 46
1.3.2 Формирование множеств информативных признаков
(второй этап отбора) 50
1.3.3 Окончательный отбор признаков (третий этап отбора) 51
1.3.4 Применение разработанного метода 52
1.4 ДВУХЭТАИНЫЙ ЧИСЛЕННЫЙ МЕТОД ПОИСКА ИЗОБРАЖЕНИЙ В БАЗЕ ДАННЫХ
НА ОСНОВЕ СОВМЕСТНОЙ КЛАССИФИКАЦИИ 56
1.4.1 Исследуемые классификаторы 57
1.4.2 Процедура совместной классификации как способ повышения
эффективности поиска 65
1.4.3 Двухэтапный метод поиска изображений в базе данных как способ
повышения скорости поиска 69 
1.5 ОБЩЕЕ ОПИСАНИЕ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ ПОИСКА
1.6 Выводы И РЕЗУЛЬТАТЫ
2 ЧИСЛЕННЫЙ МЕТОД СОПОСТАВЛЕНИЯ ПОРТРЕТНЫХ
ИЗОБРАЖЕНИЙ НА ОСНОВЕ ОЦЕНКИ ПАРАМЕТРОВ ИХ ГЕОМЕТРИЧЕСКИХ ПРЕОБРАЗОВАНИЙ
2.1 ОБЗОР МЕТОДОВ ОЦЕНКИ ПАРАМЕТРОВ РАССОГЛАСОВАНИЯ ИЗОБРАЖЕНИЙ .
2.2 РАЗРАБОТКА МЕТОДА ОЦЕНКИ ПАРАМЕТРОВ ГЕОМЕТРИЧЕСКОГО
РАССОГЛАСОВАНИЯ, ОСНОВАННОГО НА ПРЕОБРАЗОВАНИИ ФУРЬЕ
2.2.1 Теоретическое обоснование метода
2.2.2 Описание метода
2.2.3 Влияние маски на эффективность работы метода
2.2.4 Выбор способа интерполяции при переходе к логарифмически-
полярной системе координат
2.3 МОМЕНТНЫЙ МЕТОД ОЦЕНКИ ПАРАМЕТРОВ ГЕОМЕТРИЧЕСКОГО
РАССОГЛАСОВАНИЯ
2.4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ МЕТОДОВ ОЦЕНКИ ПАРАМЕТРОВ
ГЕОМЕТРИЧЕСКОГО РАССОГЛАСОВАНИЯ 1
2.5. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ МЕТОДА СОПОСТАВЛЕНИЯ
ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ 1
2.6. Выводы И РЕЗУЛЬТАТЫ 1
3 АРХИТЕКТУРА И РЕАЛИЗАЦИЯ ЭКСПЕРИМЕНТАЛЬНОГО
ПРОГРАММНОГО КОМПЛЕКСА АНАЛИЗА ДОКУМЕНТАЛЬНЫХ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ 1
3.1 РАЗРАБОТКА СЕРВЕРНОЙ ЧАСТИ ПРОГРАММНОГО КОМПЛЕКСА 1
3.1.1 Функции, выполняемые серверной частью
программного комплекса 1
3.1.2 Состав и назначение компонентов серверной части
программного комплекса 1
3.1.3 Подсистема взаимодействия с клиентской частью
программного комплекса 1
3.1.4 Логика обслуживания клиентских запросов 1
3.1.5 Реализация логики обслуживания запросов со стороны СУБД 1
3.1.6 Генерация отчетов 1
3.2 РАЗРАБОТКА КЛИЕНТСКОЙ ЧАСТИ ПРОГРАММНОГО КОМПЛЕКСА 121
3.2.1 Подсистема взаимодействия с серверной частью
программного комплекса 124
3.2.2 Подсистема взаимодействия с устройством ввода 124
3.2.3 Очередь запросов к серверу 124
3.2.4 Основные динамически подключаемые библиотеки 125
3.3 РАЗРАБОТКА МОДЕЛИ ДАННЫХ ЭКСПЕРИМЕНТАЛЬНОГО ПРОГРАММНОГО
КОМПЛЕКСА АНАЛИЗА ДОКУМЕНТАЛЬНЫХ ПОРТРЕТНЫХ ИЗОБРАЖЕНИЙ 125
3.3.1 Логическая модель данных программного комплекса 125
3.3.2 Физическая модель данных программного комплекса 129
3.4 Выводы И РЕЗУЛЬТАТЫ 130
ЗАКЛЮЧЕНИЕ 131
ПРИЛОЖЕНИЕ 1. РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ
КЛАССИФИКАТОРОВ-ЭКСПЕРТОВ 141
ПРИЛОЖЕНИЕ 2. РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ
КЛАССИФИКАТОРА-СЕЛЕКТОРА 147
ПРИЛОЖЕНИЕ 3. ДОКУМЕНТЫ, ПОДТВЕРЖДАЮЩИЕ
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ДИССЕРТАЦИИ 153