Цифровые манипуляции с лицами и их обнаружение: от дипфейков до морфинг-атак

Содержание книги "Цифровые манипуляции с лицами и их обнаружение: от дипфейков до морфинг-атак : последние достижения"

От издательства
Предисловие
Часть I. ВВЕДЕНИЕ
Глава 1. Введение в цифровые манипуляции с лицами
1.1. Введение
1.2. Типы цифровых манипуляций с лицами
1.2.1. Синтез целевого лица
1.2.2. Замена идентичности
1.2.3. Морфинг лица
1.2.4. Манипуляции с характерными признаками лиц
1.2.5. Изменение выражения лица
1.2.6. «Аудио в видео» и «текст в видео»
1.3. Выводы
Литература
Глава 2. Цифровые манипуляции с лицами в биометрических системах
2.1. Введение
2.2. Биометрические системы
2.2.1. Процессы
2.2.2. Распознавание лиц
2.3. Цифровые манипуляции с лицами в биометрических системах
2.3.1. Влияние на биометрические характеристики
2.3.2. Методы обнаружения манипуляций
2.4. Эксперименты
2.4.1. Постановка эксперимента
2.4.2. Оценка эффективности
2.5. Выводы и перспективы
Литература
Глава 3. Мультимедийная криминалистика до эпохи глубокого обучения
3.1. Введение
3.2. Метод на основе PRNU
3.2.1. Определение PRNU
3.2.2. Вычисление остаточного шума
3.2.3. Тест на обнаружение подделки
3.2.4. Анализ на основе управляемой фильтрации
3.3. Слепые методы
3.3.1. Паттерны шума
3.3.2. Артефакты компрессии
3.3.3. Артефакты редактирования
3.4. Методы обучения с признаками, созданными вручную
3.5. Выводы
Литература
Часть II. ЦИФРОВЫЕ МАНИПУЛЯЦИИ С ЛИЦАМИ И ПРИЛОЖЕНИЯ БЕЗОПАСНОСТИ
Глава 4. Создание дипфейков и борьба с ними
4.1. Введение
4.2. Основы
4.2.1. Генерация дипфейк-видео
4.2.2. Методы обнаружения дипфейков
4.2.3. Существующие наборы данных дипфейков
4.3. Celeb-DF: создание дипфейков
4.3.1. Метод синтеза
4.3.2. Визуальное качество
4.3.3. Оценки
4.4. Landmark Breaker: препятствие для DeepFake
4.4.1. Экстракторы лицевых отметок
4.4.2. Состязательные возмущения
4.4.3. Обозначения и формулировка
4.4.4. Оптимизация
4.4.5. Установки эксперимента
4.4.6. Результаты
4.4.7. Анализ устойчивости
4.4.8. Исследование абляции
4.5. Заключение
Литература
Глава 5. Угроза дипфейков для компьютерного зрения и человеческого зрительного восприятия
5.1. Введение
5.2. Сопутствующие работы
5.3. Базы данных и методы
5.3.1. DeepfakeTIMIT
5.3.2. DF-Mobio
5.3.3. Google и Jigsaw
5.3.4. Facebook
5.3.5. Celeb-DF
5.4. Протоколы оценки эффективности
5.4.1. Измерение уязвимости
5.4.2. Измерение эффективности распознавания дипфейков
5.5. Уязвимость систем распознавания лиц
5.6. Субъективная оценка человеческого визуального восприятия
5.6.1. Результаты субъективной оценки
5.7. Оценка алгоритмов обнаружения дипфейков
5.8. Заключение
Литература
Глава 6. Создание морфа и уязвимость систем распознавания лиц к морфингу
6.1. Введение
6.2. Генерация морфинга лица
6.2.1. Морфинг на основе лицевых отметок
6.2.2. Генерация морфинга лица на основе глубокого обучения
6.3. Уязвимость систем распознавания лиц к морфированию лица
6.3.1. Наборы данных
6.3.2. Результаты
6.3.3. Результаты морфинга на основе глубокого обучения
6.4. Выводы
Литература
Глава 7. Состязательные атаки на системы распознавания лиц
7.1. Введение
7.2. Классификация атак на FRS
7.2.1. Модель угрозы
7.3. Отравляющие атаки на FRS
7.3.1. Метод быстрого градиентного знака
7.3.2. Прогнозируемый градиентный спуск
7.4. Атаки Карлини и Вагнера (CW)
7.5. Модель ArcFace FRS
7.6. Эксперименты и анализ
7.6.1. Чистый набор данных
7.6.2. Набор данных атак
7.6.3. Модель FRS для базовой проверки
7.6.4. Базовая оценка эффективности FRS
7.6.5. Эффективность FRS при отравлении проверочных данных
7.6.6. Эффективность FRS при отравлении данных регистрации
7.7. Столкновение состязательного обучения с атаками FGSM
7.8. Обсуждение
7.9. Выводы и будущие направления разработок
Литература
Глава 8. Генерация говорящих лиц: «аудио в видео»
8.1. Введение
8.2. Сопутствующие методы
8.2.1. Звуковое представление
8.2.2. Моделирование лица
8.2.3. Анимация звук–лицо
8.2.4. Постпроцессинг
8.3. Наборы данных и метрики
8.3.1. Набор данных
8.3.2. Метрики
8.4. Обсуждение
8.4.1. Тонкий контроль лица
8.4.2. Обобщение
8.5. Заключение
8.6. Дополнительная литература
Литература
Часть III. ОБНАРУЖЕНИЕ ЦИФРОВЫХ МАНИПУЛЯЦИЙ С ЛИЦАМИ
Глава 9. Обнаружение синтетических лиц, созданных искусственным интеллектом
9.1. Введение
9.2. Генерация лиц с помощью искусственного интеллекта
9.3. Отпечатки пальцев GAN
9.4. Методы обнаружения в пространственной области
9.4.1. Признаки ручной работы
9.4.2. Признаки, управляемые данными
9.5. Методы обнаружения по областям частот
9.6. Обучение обобщающих особенностей
9.7. Обобщающий анализ
9.8. Анализ надежности
9.9. Дальнейший анализ обнаружения GAN
9.10. Нерешенные проблемы
Литература
Глава 10. 3D-архитектура CNN и механизмы внимания для обнаружения дипфейков
10.1. Введение
10.2. Сопутствующие исследования
10.2.1. Обнаружение дипфейков
10.2.2. Механизмы внимания
10.3. Набор данных
10.4. Алгоритмы
10.5. Эксперименты
10.5.1. Все техники манипуляции
10.5.2. Отдельные техники манипуляций
10.5.3. Техники перекрестной манипуляции
10.5.4. Эффект внимания в 3D ResNets
10.5.5. Визуализация соответствующих признаков в обнаружении дипфейка
10.6. Выводы
Литература
Глава 11. Обнаружение дипфейков с использованием нескольких модальностей данных
11.1. Введение
11.2. Обнаружение дипфейков с помощью пространственно-временных особенностей видео
11.2.1. Обзор
11.2.2. Модельный компонент
11.2.3. Детали обучения
11.2.4. Бустинговая нейронная сеть
11.2.5. Аугментация времени тестирования
11.2.6. Анализ результатов
11.3. Обнаружение дипфейков с помощью анализа аудиоспектрограммы
11.3.1. Обзор
11.3.2. Набор данных
11.3.3. Генерация спектрограммы
11.3.4. Сверточная нейронная сеть (CNN)
11.3.5. Результаты экспериментов
11.4. Обнаружение дипфейков посредством анализа несоответствия аудио и видео
11.4.1. Обнаружение несоответствия аудио и видео посредством несоответствия фонем и визем
11.4.2. Обнаружение дипфейков с использованием аффективных сигналов
11.5. Заключение
Литература
Глава 12. Обнаружение дипфейков на основе определения сердечного ритма : однокадровый и многокадровый методы
12.1. Введение
12.2. Сопутствующие работы
12.3. DeepFakesON-Phys
12.4. Базы данных
12.4.1. База данных Celeb-DF v2
12.4.2. DFDC Preview
12.5. Экспериментальный протокол
12.6. Результаты обнаружения фейков: DeepFakesON-Phys
12.6.1. Обнаружение дипфейков на уровне кадра
12.6.2. Обнаружение дипфейков на уровне короткого видео
12.7. Выводы
Литература
Глава 13. Капсульно-криминалистические сети для обнаружения дипфейков
13.1. Введение
13.2. Сопутствующие работы
13.2.1. Генерация дипфейков
13.2.2. Обнаружение дипфейков
13.2.3. Проблемы обнаружения дипфейков
13.2.4. Капсульные сети
13.3. Капсульная криминалистика
13.3.1. Зачем нужна капсульная криминалистика
13.3.2. Обзор
13.3.3. Архитектура
13.3.4. Алгоритм динамической маршрутизации
13.3.5. Визуализация
13.4. Оценка
13.4.1. Наборы данных
13.4.2. Метрики
13.4.3. Эффект улучшений
13.4.4. Сравнение экстракторов особенностей лиц
13.4.5. Влияние слоев статистического пулинга
13.4.6. Сеть Capsule-Forensics по сравнению с CNN: замеченные атаки
13.4.7. Сеть Capsule-Forensics против CNN: невидимые атаки
13.5. Заключение и будущая работа
13.6. Приложение
Литература
Глава 14. Обнаружение дипфейков: набор данных DeeperForensics и постановка задачи
14.1. Введение
14.2. Сопутствующие работы
14.2.1. Методы создания дипфейков
14.2.2. Методы обнаружения дипфейков
14.2.3. Наборы данных для обнаружения дипфейков
14.2.4. Лучшие тесты обнаружения дипфейков
14.3. Набор данных DeeperForensics-1.0
14.3.1. Сбор данных
14.3.2. Вариационный автокодировщик дипфейков
14.3.3. Масштаб и разнообразие
14.3.4. Набор скрытых тестов
14.4. DeeperForensics Challenge 2020
14.4.1. Платформа
14.4.2. Набор данных задачи
14.4.3. Критерии оценки
14.4.4. Таймлайн
14.4.5. Результаты и решения
14.5. Обсуждение
14.6. Дополнительная литература
Литература
Глава 15. Методы обнаружения морфинговых атак лица
15.1. Введение
15.2. Сопутствующие работы
15.3. Конвейер обнаружения морфинговых атак
15.3.1. Подготовка данных и извлечение признаков
15.3.2. Подготовка признаков и обучение классификатора
15.4. База данных
15.4.1. Морфинг изображения
15.4.2. Постпроцессинг изображения
15.5. Методы обнаружения морфинговых атак
15.5.1. Предварительная обработка
15.5.2. Извлечение признаков
15.5.3. Классификация
15.6. Эксперименты
15.6.1. Обобщаемость
15.6.2. Эффективность обнаружения
15.6.3. Постпроцессинг
15.7. Заключение
Литература
Глава 16. Практическая оценка методов обнаружения морфинговых атак лица
16.1. Введение
16.2. Сопутствующие работы
16.3. Создание наборов данных морфинга
16.3.1. Создание морфов
16.3.2. Наборы данных
16.4. Обнаружение морфинговых атак лиц на основе текстур
16.5. Маскировка морфинга
16.6. Эксперименты и результаты
16.6.1. Эффективность набора данных
16.6.2. Эффективность перекрестного набора данных
16.6.3. Эффективность смешанного набора данных
16.6.4. Устойчивость к аддитивному гауссову шуму
16.6.5. Устойчивость к масштабированию
16.6.6. Выбор субъектов с похожими лицами
16.7. Детектор SOTAMD
16.8. Заключение
Литература
Глава 17. Ретушь лица и обнаружение изменений
17.1. Введение
17.2. Ретуширование и обнаружение изменений – обзор
17.2.1. Обнаружение цифровой ретуши
17.2.2. Обнаружение цифровых изменений
17.2.3. Общедоступные базы данных
17.3. Экспериментальная оценка и наблюдения
17.3.1. Обнаружение междоменных изменений
17.3.2. Обнаружение изменений перекрестных манипуляций
17.3.3. Обнаружение межэтнических изменений
17.4. Нерешенные проблемы
17.5. Заключение
Литература
Часть IV. ДАЛЬНЕЙШИЕ ТЕМЫ, ТЕНДЕНЦИИ И ПРОБЛЕМЫ
Глава 18. Улучшение конфиденциальности мягкой биометрии
18.1. Введение
18.2. Предыстория и сопутствующие работы
18.2.1. Формулировка проблемы и существующие решения
18.2.2. Модели мягкобиометрической конфиденциальности
18.2.3. Обнаружение повышения конфиденциальности
18.3. Обнаружение вмешательства через несоответствие прогнозов (PREM)
18.3.1. Обзор PREM
18.3.2. Сверхвысокое разрешение для восстановления признаков
18.3.3. Измерение несоответствия прогноза
18.3.4. Краткое описание и характеристики PREM
18.4. Эксперименты и результаты
18.4.1. Наборы данных и экспериментальные установки
18.4.2. Используемые модели конфиденциальности
18.4.3. Детали реализации
18.4.4. Результаты и обсуждения
18.5. Заключение
Литература
Глава 19. Обнаружение манипуляций с лицами в удаленных операционных системах
19.1. Введение
19.2. Удаленная регистрация документов, удостоверяющих личность
19.3. Алгоритмы манипуляции с лицом
19.3.1. Категории атак
19.3.2. Общие алгоритмы манипуляции с лицом
19.4. Обнаружение манипуляций с лицами
19.4.1. Методы, специфичные для лица
19.4.2. Методы, независимые от лица
19.4.3. Наборы данных
19.5. Контркриминалистика и меры противодействия
19.5.1. Контркриминалистика
19.5.2. Меры противодействия
19.6. Базовая структура, стандартизация и правовые аспекты
19.7. Выводы
Литература
Глава 20. Перспективы, социальные и этические проблемы, связанные с биометрией при удаленной адаптации
20.1. Введение
20.2. Похищение идентичности и растущая потребность в ее удаленной проверке
20.2.1. Риски и социальные последствия похищения идентичности
20.2.2. Необходимость удаленной биометрической верификации идентичности
20.3. Технологии удаленной биометрической идентификации
20.3.1. Появление биометрической удаленной идентификации
20.3.2. Технологии удаленной биометрической идентификации
20.4. Этика, конфиденциальность и социальная приемлемость биометрической идентификации
20.4.1. Риски и основные этические проблемы
20.4.2. Целостность практической идентичности
20.4.3. Конфиденциальность и функциональные нарушения
20.4.4. Этические проблемы, возникающие в результате алгоритмически обусловленных действий и решений
20.4.5. Общественное признание технологии
20.5. Обсуждение и выводы
Литература
Глава 21. Грядущие тенденции в области цифровых манипуляций с лицами и их обнаружения
21.1. Введение
21.2. Реализм манипуляций с лицами и базы данных
21.2.1. Современное состояние
21.2.2. Недостающие ресурсы
21.3. Ограничения обнаружения манипуляций с лицами
21.3.1. Обобщаемость
21.3.2. Интерпретируемость
21.3.3. Слабые места детекторов
21.3.4. Возможности человека
21.3.5. Дальнейшие ограничения
21.4. Манипуляции с лицами и их обнаружение: путь вперед
21.4.1. Области применения манипуляций с лицами
21.4.2. Перспективные методы
21.5. Социальные и правовые аспекты манипуляции лицами и их обнаружения
21.6. Выводы
Литература
Предметный указатель