Содержание книги "Трехмерное глубокое обучение на Python
:
разрабатывайте модели компьютерного зрения с использованием 3D-данных с помощью библиотеки PyTorch3D и других инструментов"
От издательства
Об авторах
О рецензентах
Предисловие
Часть I. Основы обработки 3D-данных
Глава 1. Введение в обработку 3D-данных
Технические требования
Настройка среды разработки
Представление 3D-данных
Представление в виде облака точек
Представление в виде полигональной сетки
Представление в виде воксела
Формат файла 3D-данных – файлы PLY
Формат файла 3D-данных – файлы OBJ
Понятие системы 3D-координат
Понятие модели камеры
Пример программирования моделей камеры и систем координат
Резюме
Глава 2. Введение в трехмерное компьютерное зрение и геометрию
Технические требования
Ознакомление с базовыми понятиями отрисовки, растеризации и затенения
Понятие барицентрических координат
Модели источника света
Концепция модели затенения по Ламберту
Концепция модели освещения по Фонгу
Пример программирования 3D-отрисовки
Использование разнородных пакетов данных в библиотеке PyTorch3D и оптимизаторов PyTorch
Пример программирования разнородных мини-пакетов
Понятия трансформации и поворота
Примеры программирования трансформации и поворота
Резюме
Часть II. Трехмерное глубокое обучение с использованием библиотеки PyTorch3D
Глава 3. Подгонка деформируемых сеточных моделей к необработанным облакам точек
Технические требования
Задача подгонки полигональных сеток к облакам точек
Формулирование задачи подгонки деформируемой полигональной сетки в задачу оптимизации
Функции потери для регуляризации
Функция потери с учетом лапласианова сглаживания полигональной сетки
Функция потери с учетом согласованности нормалей полигональной сетки
Функция потери с учетом длин ребер полигональной сетки
Реализация подгонки полигональной сетки с помощью библиотеки PyTorch3D
Эксперимент без использования каких-либо регуляризационных функций потери
Эксперимент с использованием только одной функции потери – потери с учетом длин ребер полигональной сетки
Резюме
Глава 4. Обнаружение и отслеживание позы объекта с помощью дифференцируемой отрисовки
Технические требования
Зачем нужна дифференцируемая отрисовка
Как сделать отрисовку дифференцируемой
Какие задачи можно решать с использованием дифференцируемой отрисовки
Задача оценивания поз объекта
Как это программируется
Пример оценивания позы объекта для подгонки силуэта и подгонки текстуры
Резюме
Глава 5. Понятие дифференцируемой объемометрической отрисовки
Технические требования
Общий обзор объемометрической отрисовки
Понятие отбора лучей
Применение отбора объемов
Обследование лучевого маршировщика
Дифференцируемая объемометрическая отрисовка
Реконструкция 3D-моделей по многоракурсным изображениям
Резюме
Глава 6. Обследование нейронных полей яркости излучения (NeRF)
Технические требования
Концепция нейронных полей яркости излучения (NeRF)
Что такое поле яркости излучения
Представление полей яркости излучения с помощью нейронных сетей
Тренировка модели NeRF
Понимание архитектуры модели NeRF
Понимание объемной отрисовки с использованием полей яркости излучения
Проецирование лучей на сцену
Накопление цвета луча
Резюме
Часть III. Современное трехмерное глубокое обучение с использованием библиотеки PyTorch3D
Глава 7. Обследование контролируемых нейронных полей признаков
Технические требования
Концепция синтеза изображений на основе GAN-сети
Введение в композиционный 3D-информированный синтез изображений
Генерирование полей признаков
Отображение полей признаков в изображения
Обследование контролируемой генерации сцен
Обследование контролируемой генерации автомобилей
Обследование контролируемой генерации лиц
Тренировка модели GIRAFFE
Начальное расстояние Фреше
Тренировка модели
Резюме
Глава 8. Моделирование человеческого тела в 3D
Технические требования
Постановка задачи 3D-моделирования
Определение подходящего представления
Концепция техники линейно-переходного кожного покрова
Концепция модели SMPL
Определение модели SMPL
Форма и шаблонная полигональная сетка в зависимости от позы
Суставы в зависимости от формы
Применение модели SMPL
Оценивание позы и формы человека в 3D с помощью метода SMPLify
Определение целевой функции оптимизации
Обследование метода SMPLify
Выполнение исходного кода
Обследование исходного кода
Резюме
Глава 9. Сквозной синтез ракурсов с помощью модели SynSin
Технические требования
Общий обзор синтеза ракурсов
Сетевая архитектура модели SynSin
Сети пространственных признаков и глубин
Нейронный отрисовщик облака точек
Модуль уточнения и дискриминатор
Тренировка и тестирование модели на практике
Резюме
Глава 10. Модель Mesh R-CNN
Технические требования
Общий обзор полигональных сеток и вокселов
Архитектура модели Mesh R-CNN
Графовые свертки
Предсказатель полигональной сетки
Демонстрация модели Mesh R-CNN с помощью PyTorch3D
Демонстрационный пример
Резюме
Тематический указатель
