Вероятностное машинное обучение

Содержание книги "Вероятностное машинное обучение : дополнительные темы: предсказание, порождение, обнаружение, действие"

ЧАСТЬ III. ПРЕДСКАЗАНИЕ
Глава 14. Предсказательные модели: общий обзор
14.1. Введение
14.1.1. Типы моделей
14.1.2. Обучение модели с помощью ERM, MLE и MAP
14.1.3. Обучение модели байесовскими методами, методами вариационного вывода и обобщенными байесовскими методами
14.2. Вычисление предсказательных моделей
14.2.1. Собственные скоринговые правила
14.2.2. Калибровка
14.2.2.1. Ожидаемая ошибка калибровки
14.2.2.2. Улучшение калибровки
14.2.2.3. Масштабирование Платта
14.2.2.4. Непараметрические (гистограммные) методы
14.2.2.5. Температурное масштабирование
14.2.2.6. Сглаживание меток
14.2.2.7. Байесовские методы
14.2.3. За пределами вычисления маргинальных вероятностей
14.2.3.1. Доказательство утверждения
14.3. Конформное предсказание
14.3.1. Конформализация классификации
14.3.2. Конформализация регрессии
14.3.2.1. Конформализация квантильной регрессии
14.3.2.2. Конформализация предсказанных дисперсий
Глава 15. Обобщенные линейные модели
15.1. Введение
15.1.1. Некоторые популярные GLM
15.1.1.1. Линейная регрессия
15.1.1.2. Биномиальная регрессия
15.1.1.3. Регрессия Пуассона
15.1.1.4. Регрессия Пуассона с преобладанием нулей
15.1.2. GLM с неканоническими функциями связи
15.1.3. Оценка максимального правдоподобия
15.1.4. Байесовский вывод
15.2. Линейная регрессия
15.2.1. Обыкновенный метод наименьших квадратов
15.2.2. Сопряженные априорные распределения
15.2.2.1. Дисперсия шума известна
15.2.2.2. Дисперсия шума неизвестна
15.2.2.3. Апостериорное предсказательное распределение
15.2.3. Неинформативные априорные распределения
15.2.3.1. Априорное распределение Джеффриса
15.2.3.2. Связь с частотной статистикой
15.2.3.3. Априорное g-распределение Целльнера
15.2.4. Информативные априорные распределения
15.2.5. Импульсно-плоское априорное распределение
15.2.6. Априорное распределение Лапласа (байесовский lasso)
15.2.7. Подковообразное априорное распределение
15.2.8. Автоматическое определение релевантности
15.2.8.1. ARD для линейных моделей
15.2.8.2. Почему ARD дает разреженное решение
15.2.8.3. Алгоритмы для ARD
15.2.8.4. Машины векторов релевантности
15.2.9. Многомерная линейная регрессия
15.3. Логистическая регрессия
15.3.1. Бинарная логистическая регрессия
15.3.2. Мультиномиальная логистическая регрессия
15.3.3. Несбалансированность классов и длинные хвосты
15.3.4. Априорные распределения параметров
15.3.5. Аппроксимация Лапласа апостериорного распределения
15.3.6. Аппроксимация апостериорного предсказательного распределения
15.3.7. MCMC-вывод
15.3.8. Другие приближенные методы вывода
15.3.9. Пример: правда ли, что женщинам труднее поступить в Беркли
15.4. Пробит-регрессия
15.4.1. Интерпретация с латентными величинами
15.4.2. Оценка максимального правдоподобия
15.4.2.1. MLE с применением СГС
15.4.2.2. MLE с применением EM-алгоритма
15.4.3. Байесовский вывод
15.4.4. Порядковая пробит-регрессия
15.4.5. Мультиномиальные пробит-модели
15.5. Многоуровневые (иерархические) GLM
15.5.1. Обобщенные линейные смешанные модели (GLMM)
15.5.2. Пример: регрессия радона
15.5.2.1. Вывод апостериорного распределения
15.5.2.2. Нецентрированная параметризация
Глава 16. Глубокие нейронные сети
16.1. Введение
16.2. Построение блоков, составляющих дифференцируемые контуры
16.2.1. Линейные слои
16.2.2. Нелинейности
16.2.3. Сверточные слои
16.2.4. Остаточные (прямые) связи
16.2.5. Нормировочные слои
16.2.6. Слои прореживания
16.2.7. Слои внимания
16.2.8. Рекуррентные слои
16.2.9. Мультипликативные слои
16.2.10. Неявные слои
16.3. Канонические примеры нейронных сетей
16.3.1. Многослойные перцептроны (МСП)
16.3.2. Сверточные нейронные сети (СНС)
16.3.3. Автокодировщики
16.3.4. Рекуррентные нейронные сети (РНС)
16.3.5. Трансформеры
16.3.6. Графовые нейронные сети (GNN)
Глава 17. Байесовские нейронные сети
17.1. Введение
17.2. Априорные распределения для БНС
17.2.1. Гауссовы априорные распределения
17.2.2. Априорные распределения, поощряющие разреженность
17.2.3. Обучение априорного распределения
17.2.4. Априорные распределения в пространстве функций
17.2.5. Архитектурные априорные распределения
17.3. Апостериорные распределения для БНС
17.3.1. Прореживание Монте-Карло
17.3.2. Аппроксимация Лапласа
17.3.3. Вариационный вывод
17.3.4. Распространение математического ожидания
17.3.5. Методы последнего слоя
17.3.6. Метод SNGP
17.3.7. MCMC-методы
17.3.8. Методы, основанные на траектории СГС
17.3.9. Глубокие ансамбли
17.3.9.1. MultiSWAG
17.3.9.2. Глубокие ансамбли со случайными априорными распределениями
17.3.9.3. Глубокие ансамбли как приближенный байесовский вывод
17.3.9.4. Глубокие и классические ансамбли
17.3.9.5. Глубокие ансамбли, смеси экспертов и стекинг
17.3.9.6. Пакетный ансамбль
17.3.10. Аппроксимация апостериорного предсказательного распределения
17.3.10.1. Линеаризованная аппроксимация
17.3.10.2. Аппроксимация на основе моста Лапласа
17.3.10.3. Дистилляция
17.3.11. Закаленные и холодные апостериорные распределения
17.4. Обобщение в байесовском глубоком обучении
17.4.1. Острые и плоские минимумы
17.4.2. Связность мод и ландшафт функции потерь
17.4.3. Эффективная размерность модели
17.4.4. Пространство гипотез ГНС
17.4.5. PAC-байесовское обучение
17.4.6. Обобщение БНС при выходе за рамки распределения
17.4.6.1. BMA может давать плохие результаты для априорных распределений по умолчанию
17.4.6.2. БНС могут быть чрезмерно уверены на входах, не принадлежащих распределению
17.4.7. Выбор модели для БНС
17.5. Онлайновый вывод
17.5.1. Последовательная аппроксимация Лапласа для ГНС
17.5.2. Обобщенная фильтрация Калмана для ГНС
17.5.2.1. Пример
17.5.2.2. Задание членов дисперсии
17.5.2.3. Уменьшение вычислительной сложности
17.5.3. Фильтрация с предполагаемой плотностью для ГНС
17.5.4. Онлайновый вариационный вывод для ГНС
17.6. Иерархические байесовские нейронные сети
17.6.1. Пример: классификация двух лун
Глава 18. Гауссовские процессы
18.1. Введение
18.1.1. ГП: что такое и почему
18.2. Ядра Мерсера
18.2.1. Стационарные ядра
18.2.1.1. Квадратичное экспоненциальное (RBF) ядро
18.2.1.2. ARD-ядро
18.2.1.3. Ядра Матерна
18.2.1.4. Периодические ядра
18.2.1.5. Рациональное квадратичное ядро
18.2.1.6. Ядра и спектральные плотности
18.2.2. Нестационарные ядра
18.2.2.1. Полиномиальные ядра
18.2.2.2. Ядро Гиббса
18.2.2.3. Другие нестационарные ядра
18.2.3. Ядра для невекторных (структурных) входов
18.2.4. Создание новых ядер на основе существующих
18.2.5. Теорема Мерсера
18.2.6. Аппроксимация ядер случайными признаками
18.3. ГП с гауссовым правдоподобием
18.3.1. Предсказания с незашумленными наблюдениями
18.3.2. Предсказания с зашумленными наблюдениями
18.3.3. Пространство весов и пространство функций
18.3.4. Полупараметрические ГП
18.3.5. Предельное правдоподобие
18.3.6. Вычислительные и численные трудности
18.3.7. Ядерная гребневая регрессия
18.3.7.1. Гильбертовы пространства с воспроизводящими ядрами
18.3.7.2. Сложность функции в ГПВЯ
18.3.7.3. Теорема о представителе
18.3.7.4. Сравнение KRR с GPR
18.4. ГП с негауссовыми правдоподобиями
18.4.1. Бинарная классификация
18.4.2. Многоклассовая классификация
18.4.3. Гауссовские процессы для регрессии Пуассона (процесс Кокса)
18.4.4. Другие правдоподобия
18.5. Масштабирование ГП-вывода на большие наборы данных
18.5.1. Подмножество данных
18.5.1.1. Метод информативных векторов
18.5.1.2. Обсуждение
18.5.2. Аппроксимация Нистрёма
18.5.3. Методы со вспомогательными точками
18.5.3.1. SOR/DIC
18.5.3.2. DTC
18.5.3.3. FITC
18.5.3.4. Обучение вспомогательных точек
18.5.4. Разреженные вариационные методы
18.5.4.1. Гауссово правдоподобие
18.5.4.2. Негауссово правдоподобие
18.5.4.3. Мини-пакетный SVI
18.5.5. Использование распараллеливания и структуры путем умножения ядерных матриц
18.5.5.1. Использование метода сопряженных градиентов и метода Ланцоша
18.5.5.2. Ядра с компактным носителем
18.5.5.3. KISS
18.5.5.4. Тензорные методы
18.5.6. Преобразование ГП в SSM
18.6. Обучение ядра
18.6.1. Эмпирический байесовский подход к параметрам ядра
18.6.1.1. Пример
18.6.2. Байесовский вывод параметров ядра
18.6.3. Обучение с несколькими ядрами для аддитивных ядер
18.6.4. Автоматический поиск композиционных ядер
18.6.5. Обучение спектрального смесового ядра
18.6.6. Глубокое обучение ядра
18.7. Гауссовские процессы и глубокие нейронные сети
18.7.1. Ядра, выведенные из бесконечно широких ГНС (NN-GP)
18.7.2. Нейронное касательное ядро (NTK)
18.7.3. Глубокие ГП
18.8. Гауссовские процессы как инструмент прогнозирования временных рядов
18.8.1. Пример: Мауна-Лоа
Глава 19. За пределами предположения о независимости и одинаковом распределении
19.1. Введение
19.2. Дрейф распределения
19.2.1. Мотивирующие примеры
19.2.2. Каузальный взгляд на дрейф распределения
19.2.3. Четыре основных типа дрейфа распределения
19.2.3.1. Дрейф ковариат
19.2.3.2. Дрейф концепта
19.2.3.3. Дрейф меток/априорного распределения
19.2.3.4. Дрейф проявления
19.2.4. Смещение выбора
19.3. Обнаружение дрейфа распределения
19.3.1. Обнаружение дрейфа путем двухвыборочного критерия
19.3.2. Обнаружение не принадлежащих распределению входов
19.3.2.1. Методы идентификации ID/OOD с учителем (выявление выбросов)
19.3.2.2. Методы, предсказывающие уверенность классификации
19.3.2.3. Конформное предсказание
19.3.2.4. Методы обучения без учителя
19.3.3. Избирательное предсказание
19.3.3.1. Пример: SGLD и СГС для МСП
19.3.4. Распознавание открытого множества и открытого мира
19.4. Робастность к дрейфу распределения
19.4.1. Пополнение данных
19.4.2. Устойчивая к изменению распределения оптимизация
19.5. Адаптация к дрейфу распределения
19.5.1. Адаптация с учителем с применением переноса обучения
19.5.1.1. Предобучение и дообучение
19.5.1.2. Дообучение с подсказками (обучение в контексте)
19.5.2. Взвешенная ERM для дрейфа ковариат
19.5.2.1. Почему дрейф ковариат является проблемой для дискриминантных моделей
19.5.2.2. Как оценивать веса ERM
19.5.3. Адаптация к домену без учителя для дрейфа ковариат
19.5.4. Методы без учителя для дрейфа меток
19.5.5. Адаптация на этапе тестирования
19.6. Обучение на примерах из нескольких распределений
19.6.1. Многозадачное обучение
19.6.2. Обобщение домена
19.6.3. Минимизация инвариантного риска
19.6.4. Метаобучение
19.6.4.1. Метаобучение как вероятностный вывод для предсказания
19.6.4.2. Нейронные процессы
19.6.4.3. Градиентное метаобучение (MAML)
19.6.4.4. Метрическое обучение на нескольких примерах (прототипические сети)
19.7. Непрерывное обучение
19.7.1. Дрейф домена
19.7.2. Дрейф концепта
19.7.3. Инкрементное обучение задач
19.7.4. Катастрофическое забывание
19.7.5. Онлайновое обучение
19.8. Состязательные примеры
19.8.1. Градиентные атаки на белый ящик
19.8.2. Безградиентные атаки на черный ящик
19.8.3. Состязательные атаки в реальном мире
19.8.4. Защита, основанная на робастной оптимизации
19.8.5. Почему для моделей имеются состязательные примеры
ЧАСТЬ IV. ПОРОЖДЕНИЕ
Глава 20. Порождающие модели: общий обзор
20.1. Введение
20.2. Типы порождающих моделей
20.3. Цели порождающего моделирования
20.3.1. Генерирование данных
20.3.2. Оценивание плотности
20.3.3. Подстановка
20.3.4. Обнаружение структуры
20.3.5. Интерполяция латентного пространства
20.3.6. Арифметика в латентном пространстве
20.3.7. Порождающее проектирование
20.3.8. Обучение с подкреплением на основе модели
20.3.9. Обучение представлений
20.3.10. Сжатие данных
20.4. Оценивание порождающих моделей
20.4.1. Оценивание на основе правдоподобия
20.4.1.1. Вычисление логарифмического правдоподобия
20.4.1.2. Иногда правдоподобие трудно вычислить
20.4.1.3. Правдоподобие не связано с качеством выборки
20.4.2. Расстояния и расхождения в пространстве признаков
20.4.3. Метрики точности и полноты
20.4.4. Статистические критерии
20.4.5. Проблемы использования предобученных классификаторов
20.4.6. Использование выборок из модели для обучения классификаторов
20.4.7. Оценка переобучения
20.4.8. Оценивание человеком
Глава 21. Вариационные автокодировщики
21.1. Введение
21.2. Основы VAE
21.2.1. Модельные предположения
21.2.2. Обучение модели
21.2.3. Сравнение VAE и автокодировщиков
21.2.4. VAE оптимизируют в дополненном пространстве
21.3. Обобщения VAE
21.3.1. β-VAE
21.3.1.1. Разделенные представления
21.3.1.2. Связь с информационным бутылочным горлышком
21.3.2. InfoVAE
21.3.2.1. Связь с MMD VAE
21.3.2.2. Связь с β-VAE
21.3.2.3. Связь с состязательными автокодировщиками
21.3.3. Мультимодальные VAE
21.3.4. VAE, обучаемые с частичным привлечением учителя
21.3.5. VAE с последовательными кодировщиками/декодерами
21.3.5.1. Модели
21.3.5.2. Приложения
21.4. Избегание схлопывания апостериорного распределения
21.4.1. Отжиг расхождения КЛ
21.4.2. Ограничение скорости снизу
21.4.3. Бесплатные биты
21.4.4. Добавление прямых связей
21.4.5. Улучшенный вариационный вывод
21.4.6. Альтернативные целевые функции
21.5. VAE с иерархической структурой
21.5.1. Восходящий и нисходящий вывод
21.5.2. Пример: очень глубокие VAE
21.5.3. Связь с моделями авторегрессии
21.5.4. Вариационная обрезка
21.5.5. Другие трудности оптимизации
21.6. VAE с векторным квантованием
21.6.1. Автокодировщик с бинарным кодом
21.6.2. Модель VQ-VAE
21.6.3. Обучение априорного распределения
21.6.4. Иерархическое обобщение (VQ-VAE-2)
21.6.5. Дискретный VAE
21.6.6. VQ-GAN
Глава 22. Модели авторегрессии
22.1. Введение
22.2. Нейронные авторегрессионные оцениватели плотности (NADE)
22.3. Каузальные СНС
22.3.1. Одномерные каузальные СНС (сверточные марковские модели)
22.3.2. Двумерная каузальная СНС (PixelCNN)
22.4. Трансформеры
22.4.1. Генерирование текста (GPT и т. д.)
22.4.2. Генерирование изображений (DALL-E и т. д.)
22.4.3. Другие применения
Глава 23. Нормализующие потоки
23.1. Введение
23.1.1. Предварительные сведения
23.1.2. Как обучать потоковую модель
23.1.2.1. Оценивание плотности
23.1.2.2. Вариационный вывод
23.2. Конструирование потоков
23.2.1. Аффинные потоки
23.2.2. Поэлементные потоки
23.2.2.1. Аффинная скалярная биекция
23.2.2.2. Возмущения высшего порядка
23.2.2.3. Комбинации строго монотонных скалярных функций
23.2.2.4. Скалярные биекции, являющиеся результатом интегрирования
23.2.2.5. Сплайны
23.2.3. Связывающие потоки
23.2.4. Авторегрессионные потоки
23.2.4.1. Аффинные авторегрессионные потоки
23.2.4.2. Замаскированные авторегрессионные потоки
23.2.4.3. Обратные авторегрессионные потоки
23.2.4.4. Связь с моделями авторегрессии
23.2.5. Остаточные потоки
23.2.5.1. Сжимающие остаточные блоки
23.2.5.2. Остаточные блоки с якобианом низкого ранга
23.2.6. Потоки с непрерывным временем
23.3. Приложения
23.3.1. Оценивание плотности
23.3.2. Порождающее моделирование
23.3.3. Вывод
Глава 24. Модели на основе энергии
24.1. Введение
24.1.1. Пример: произведение экспертов (PoE)
24.1.2. Вычислительные трудности
24.2. Обучение методом максимального правдоподобия
24.2.1. Градиентные MCMC-методы
24.2.2. Сопоставительное расхождение
24.2.2.1. Обучение ограниченных машин Больцмана методом CD
24.2.2.2. Сохраняемое сопоставительное расхождение
24.2.2.3. Другие методы
24.3. Приравнивание вкладов (SM)
24.3.1. Базовое приравнивание вкладов
24.3.2. Шумоподавляющее приравнивание вкладов (DSM)
24.3.2.1. Трудности
24.3.3. Слоистое приравнивание вкладов (SSM)
24.3.4. Связь с сопоставительным расхождением
24.3.5. Порождающие модели на основе вклада
24.4. Шумосопоставительное оценивание
24.4.1. Связь с приравниванием вкладов
24.5. Другие методы
24.5.1. Минимизация разностей и производных расхождений КЛ
24.5.2. Минимизация расхождения Штейна
24.5.3. Состязательное обучение
Глава 25. Диффузионные модели
25.1. Введение
25.2. Шумоподавляющие диффузионные вероятностные модели (DDPM)
25.2.1. Кодировщик (прямая диффузия)
25.2.2. Декодер (обратная диффузия)
25.2.3. Обучение модели
25.2.4. Обучение плана изменения шума
25.2.5. Пример: генерирование изображений
25.3. Порождающие модели на основе вклада
25.3.1. Пример
25.3.2. Прибавление шума при нескольких масштабах
25.3.3. Эквивалентность DDPM
25.4. Модели с непрерывным временем и дифференциальные уравнения
25.4.1. СДУ прямой диффузии
25.4.2. ОДУ прямой диффузии
25.4.3. СДУ обратной диффузии
25.4.4. ОДУ обратной диффузии
25.4.5. Сравнение подходов на основе СДУ и ОДУ
25.4.6. Пример
25.5. Ускорение диффузионных моделей
25.5.1. DDIM-отборщик
25.5.2. Негауссовы сети-декодеры
25.5.3. Дистилляция
25.5.4. Диффузия в латентном пространстве
25.6. Условное порождение
25.6.1. Условная диффузионная модель
25.6.2. Руководство со стороны классификатора
25.6.3. Руководство без классификатора
25.6.4. Генерирование изображений высокого разрешения
25.7. Диффузия для пространств дискретных состояний
25.7.1. Дискретные шумоподавляющие диффузионные вероятностные модели
25.7.2. Выбор переходных матриц марковской цепи для прямых процессов
25.7.3. Параметризация обратного процесса
25.7.4. План изменения шума
25.7.5. Связи с другими вероятностными моделями дискретных последовательностей
Глава 26. Порождающие состязательные сети
26.1. Введение
26.2. Обучение путем сравнения
26.2.1. Руководящие принципы
26.2.2. Оценивание отношения плотностей с помощью бинарных классификаторов
26.2.3. Границы f-расхождений
26.2.4. Интегральные вероятностные метрики
26.2.5. Приравнивание моментов
26.2.6. Об отношениях и разностях плотностей
26.3. Порождающие состязательные сети
26.3.1. От принципов обучения к функциям потерь
26.3.2. Градиентный спуск
26.3.3. Проблемы обучения GAN
26.3.4. Улучшение оптимизации GAN
26.3.5. Сходимость обучения GAN
26.4. Условные GAN
26.5. Вывод с помощью GAN
26.6. Нейронные архитектуры в GAN
26.6.1. Важность архитектуры дискриминатора
26.6.2. Архитектурные индуктивные смещения
26.6.3. Механизмы внимания в GAN
26.6.4. Прогрессивное генерирование
26.6.5. Регуляризация
26.6.6. Масштабирование моделей GAN
26.7. Приложения
26.7.1. Применение GAN для генерирования изображений
26.7.1.1. Условное генерирование изображений
26.7.1.2. Парное генерирование изображений
26.7.1.3. Непарное генерирование изображений
26.7.2. Генерирование видео
26.7.3. Генерирование звука
26.7.4. Генерирование текста
26.7.5. Имитационное обучение
26.7.6. Адаптация домена
26.7.7. Дизайн, искусство и творчество
ЧАСТЬ V. ОБНАРУЖЕНИЕ
Глава 27. Методы обнаружения: обзор
27.1. Введение
27.2. Обзор части V
Глава 28. Модели латентных факторов
28.1. Введение
28.2. Смесовые модели
28.2.1. Модели гауссовой смеси (GMM)
28.2.2. Модели бернуллиевой смеси
28.2.3. Масштабированные гауссовы смеси (GSM)
28.2.3.1. t-распределение Стьюдента как GSM
28.2.3.2. Распределение Лапласа как GSM
28.2.3.3. Импульсно-плоское распределение
28.2.3.4. Подковообразное распределение
28.2.4. Использование GMM в качестве априорного распределения для задач обращения изображений
28.2.4.1. Почему этот метод работает
28.2.4.2. Ускорение вывода с помощью дискриминантных моделей
28.2.4.3. Задача обращения вслепую
28.2.5. Использование смесовых моделей в задачах классификации
28.2.5.1. Гибридное обучение порождающе-дискриминантной модели
28.2.5.2. Проблемы оптимизации
28.2.5.3. Численные проблемы
28.3. Факторный анализ
28.3.1. Факторный анализ: основы
28.3.1.1. ФА как гауссово распределение с ковариационной матрицей в виде суммы диагональной матрицы и матрицы низкого ранга
28.3.1.2. Вычисление апостериорного распределения
28.3.1.3. Вычисление правдоподобия
28.3.1.4. Обучение модели с помощью EM-алгоритма
28.3.1.5. Обработка отсутствия данных
28.3.1.6. Неидентифицируемость параметров
28.3.2. Вероятностный PCA
28.3.2.1. Вывод MLE
28.3.2.2. PCA – предел в отсутствие шума
28.3.2.3. Вычисление апостериорного распределения
28.3.2.4. Обучение модели с помощью EM-алгоритма
28.3.3. Смесь факторных анализаторов
28.3.3.1. Определение модели
28.3.3.2. Обучение модели с помощью EM-алгоритма
28.3.3.3. Обучение модели с помощью СГС
28.3.3.4. Выбор модели
28.3.3.5. Применение MixFA для генерирования изображений
28.3.4. Модели факторного анализа для спаренных данных
28.3.4.1. PCA с учителем
28.3.4.2. Метод частичных наименьших квадратов
28.3.4.3. Канонический корреляционный анализ
28.3.5. Факторный анализ с правдоподобиями из экспоненциального семейства
28.3.5.1. Пример: бинарный PCA
28.3.5.2. Пример: категориальный PCA
28.3.6. Факторный анализ с ГНС-правдоподобиями (VAE)
28.3.7. Факторный анализ с ГП-правдоподобиями (GP-LVM)
28.4. Модели латентных факторов с негауссовыми априорными распределениями
28.4.1. Неотрицательное матричное разложение (НМР)
28.4.2. Мультиномиальный PCA
28.4.2.1. Пример: данные о поименном голосовании
28.4.2.2. Преимущество априорного распределения Дирихле перед гауссовым
28.4.2.3. Связь со смесовыми моделями
28.5. Тематические модели
28.5.1. Латентное распределение Дирихле (LDA)
28.5.1.1. Определение модели
28.5.1.2. Многозначность
28.5.1.3. Вывод апостериорного распределения
28.5.1.4. Определение числа тем
28.5.2. Коррелированная тематическая модель
28.5.3. Динамическая тематическая модель
28.5.4. LDA-HMM
28.6. Анализ независимых компонент (ICA)
28.6.1. Незашумленная модель ICA
28.6.2. Необходимость негауссовых априорных распределений
28.6.3. Оценка максимального правдоподобия
28.6.4. Альтернативы MLE
28.6.4.1. Максимизация негауссовости
28.6.4.2. Минимизация полной корреляции
28.6.4.3. Максимизация взаимной информации (InfoMax)
28.6.5. Разреженное кодирование
28.6.6. Нелинейный ICA
Глава 29. Модели пространства состояний
29.1. Введение
29.2. Скрытые марковские модели (HMM)
29.2.1. Свойства условной независимости
29.2.2. Модель переходов состояний
29.2.3. Дискретные правдоподобия
29.2.4. Гауссовы правдоподобия
29.2.5. Авторегрессионные правдоподобия
29.2.6. Нейросетевые правдоподобия
29.3. HMM: приложения
29.3.1. Сегментация временных рядов
29.3.2. Выравнивание последовательностей белков
29.3.3. Исправление орфографических ошибок
29.3.3.1. Базовая модель
29.3.3.2. Модель HMM
29.3.3.3. Расширенная модель HMM
29.4. HMM: обучение параметров
29.4.1. Алгоритм Баума–Велша
29.4.1.1. Логарифмическое правдоподобие
29.4.1.2. E-шаг
29.4.1.3. M-шаг
29.4.1.4. Инициализация
29.4.1.5. Пример: HMM для казино
29.4.2. Оценивание параметров с помощью СГС
29.4.2.1. Пример: HMM казино
29.4.3. Оценивание параметров спектральными методами
29.4.4. Байесовские HMM
29.4.4.1. Блочная выборка Гиббса для HMM
29.5. HMM: обобщения
29.5.1. Скрытая полумарковская модель (HSMM)
29.5.2. Иерархические HMM
29.5.3. Факториальные HMM
29.5.4. Спаренные HMM
29.5.5. Динамические байесовские сети (DBN)
29.5.6. Обнаружение точки перемены
29.5.6.1. Пример
29.5.6.2. Обобщения
29.6. Линейные динамические системы (ЛДС)
29.6.1. Свойства условной независимости
29.6.2. Параметризация
29.7. ЛДС: применения
29.7.1. Прослеживание объектов и оценивание состояний
29.7.2. Онлайновая байесовская линейная регрессия (рекурсивный метод наименьших квадратов)
29.7.3. Адаптивная фильтрация
29.7.4. Прогнозирование временных рядов
29.8. LDS: обучение параметров
29.8.1. EM-алгоритм для ЛДС
29.8.2. Методы идентификации подпространства
29.8.3. Обеспечение устойчивости динамической системы
29.8.4. Байесовские ЛДС
29.8.4.1. Блочная выборка Гиббса для ЛДС
29.9. Переключательные линейные динамические системы (ПЛДС)
29.9.1. Параметризация
29.9.2. Вывод апостериорного распределения
29.9.3. Приложение: сопровождение нескольких целей
29.9.3.1. Прогрев
29.9.3.2. Привязка данных
29.9.3.3 Венгерский алгоритм аппроксимации по ближайшему соседу
29.9.3.4. Другие схемы приближенного вывода
29.9.3.5. Обработка неизвестного числа целей
29.10. Нелинейные SSM
29.10.1. Пример: сопровождение объекта и оценивание состояния
29.10.2. Вывод апостериорного распределения
29.11. Негауссовы SSM
29.11.1. Пример: моделирование последовательности импульсов
29.11.2. Пример: стохастические модели волатильности
29.11.3. Вывод апостериорного распределения
29.12. Структурные модели временных рядов
29.12.1. Введение
29.12.2. Структурные строительные блоки
29.12.2.1. Модель локального уровня
29.12.2.2. Локальная линейная модель
29.12.2.3. Добавление ковариат
29.12.2.4. Моделирование сезонности
29.12.2.5. Сведение воедино
29.12.3. Обучение модели
29.12.4. Прогнозирование
29.12.5. Примеры
29.12.5.1. Пример: прогнозирование уровней CO2 из-за выбросов вулкана Мауна-Лоа
29.12.5.2. Пример: прогноз потребления энергии (вещественного)
29.12.5.3. Пример: предсказание объема продаж (целочисленного)
29.12.5.4. Пример: иерархическая SSM для данных электоральной панели
29.12.6. Каузальные последствия вмешательства во временные ряды
29.12.6.1. Вычисление контрфактического предсказания
29.12.6.2. Предположения, при которых метод работает
29.12.6.3. Пример
29.12.6.4. Сравнение с синтетическим управлением
29.12.7. Библиотека Prophet
29.12.8. Нейронные методы прогнозирования
29.13. Глубокие SSM
29.13.1. Глубокие марковские модели
29.13.2. Рекуррентная SSM
29.13.3. Улучшение многошаговых предсказаний
29.13.4. Вариационные РНС
Глава 30. Обучение графов
30.1. Введение
30.2. Модели с латентными величинами для графов
30.3. Обучение структуры графовой модели
Глава 31. Непараметрические байесовские модели
31.1. Введение
Глава 32. Обучение представлений
32.1. Введение
32.2. Оценивание и сравнение обученных представлений
32.2.1. Последующее качество
32.2.1.1. Линейные классификаторы и линейное оценивание
32.2.1.2. Дообучение
32.2.1.3. Разделение
32.2.2. Сходство представлений
32.2.2.1. Анализ сходства представлений и выравнивание центрированных ядер
32.2.2.2. Канонический корреляционный анализ и родственные методы
32.2.2.3. Сравнение мер сходства представлений
32.3. Подходы к обучению представлений
32.3.1. Обучение представлений с учителем и их передача
32.3.2. Обучение порождающих представлений
32.3.2.1. Модели с латентными величинами
32.3.2.2. Полностью наблюдаемые модели
32.3.2.3. Автокодировщики
32.3.2.4. Проблемы обучения порождающих представлений
32.3.3. Обучение представлений с самоконтролем
32.3.3.1. Шумоподавление и замаскированное предсказание
32.3.3.2. Предсказание преобразования
32.3.4. Многоракурсное обучение представлений
32.3.4.1. Выбор ракурса
32.3.4.2. Сопоставительные потери
32.3.4.3. Потери без отрицательных примеров
32.3.4.4. Секреты ремесла
32.4. Теория обучения представлений
32.4.1. Идентифицируемость
32.4.2. Максимизация информации
Глава 33. Интерпретируемость
33.1. Введение
33.1.1. Роль интерпретируемости: неизвестные и недоспецификация
33.1.2. Терминология и экосистема
33.2. Методы интерпретируемого машинного обучения
33.2.1. Внутренне интерпретируемые методы: модель сама является своим объяснением
33.2.2. Внутренне полуинтерпретируемые модели: методы на основе примеров
33.2.3. Ретроспективное применение или совместное обучение: объяснение дает частичный вид модели
33.2.3.1. Из чего состоит объяснение
33.2.3.2. Как вычисляется объяснение
33.2.4. Прозрачность и визуализация
33.3. Свойства: абстракция посередине между контекстом и методом
33.3.1. Свойства объяснений из интерпретируемого машинного обучения
33.3.2. Свойства объяснений, заимствованные из когнитивистики
33.4. Оценивание моделей интерпретируемого машинного обучения
33.4.1. Вычислительное оценивание: обладает ли метод желательными свойствами
33.4.2. Оценивание с участием пользователей: помогает ли метод пользователю решить задачу
33.4.2.1. Исследования с участием пользователей в реальных контекстах
33.4.2.2. Основные элементы исследования с участием пользователей
33.4.2.3. Исследования с участием пользователей в синтетических контекстах
33.5. Обсуждение: как рассматривать интерпретируемое машинное обучение
ЧАСТЬ V. ДЕЙСТВИЕ
Глава 34. Принятие решений в условиях неопределенности
34.1. Теория статистических решений
34.1.1. Основы
34.1.2. Частотная теория принятия решений
34.1.3. Байесовская теория принятия решений
34.1.4. Частотная оптимальность байесовского подхода
34.1.5. Примеры задач однократного принятия решения
34.1.5.1. Классификация
34.1.5.2. Регрессия
34.1.5.3. Оценивание параметров
34.1.5.4. Оценивание дискретных параметров
34.1.5.5. Структурное предсказание
34.1.5.6. Справедливость
34.2. Диаграммы решений (влияния)
34.2.1. Пример: бурение нефтяных скважин наугад
34.2.2. Информационные ребра
34.2.3. Ценность информации
34.2.4. Вычисление оптимальной стратегии
34.3. A/B-тестирование
34.3.1. Байесовский подход
34.3.1.1. Оптимальная стратегия
34.3.1.2. Оптимальный размер выборки
34.3.1.3. Сожаление
34.3.1.4. Ожидаемая частота ошибок
34.3.2. Пример
34.4. Контекстуальные бандиты
34.4.1. Типы бандитов
34.4.2. Применения
34.4.3. Компромисс между исследованием и использованием
34.4.4. Оптимальное решение
34.4.5. Верхние доверительные границы (ВДГ)
34.4.5.1. Частотный подход
34.4.5.2. Байесовский подход
34.4.5.3. Пример
34.4.6. Выборка Томпсона
34.4.7. Сожаление
34.5. Марковские задачи принятия решений
34.5.1. Основные положения
34.5.2. Частично наблюдаемые МППР
34.5.3. Эпизоды и доходы
34.5.4. Функции ценности
34.5.5. Оптимальные функции ценности и стратегии
34.5.5.1. Пример
34.6. Планирование МППР
34.6.1. Итерация по ценности
34.6.2. Итерация по стратегиям
34.6.3. Линейное программирование
34.7. Активное обучение
34.7.1. Сценарии активного обучения
34.7.2. Связь с другими формами последовательного принятия решений
34.7.3. Стратегии селекции
34.7.3.1. Выборка по степени неопределенности
34.7.3.2. Коллективный запрос
34.7.3.3. Теоретико-информационные методы
34.7.4. Пакетное активное обучение
34.7.4.1. BatchBALD
34.7.4.2. Оптимизация BatchBALD
34.7.4.3. Вычисление BatchBALD
34.7.4.4. Экспериментальное сравнение BALD и BatchBALD на наборе данных MNIST
Глава 35. Обучение с подкреплением
35.1. Введение
35.1.1. Обзор методов
35.1.2. Методы на основе ценности
35.1.3. Методы поиска стратегии
35.1.4. ОП на основе модели
35.1.5. Компромисс между исследованием и использованием
35.1.5.1. ε-жадная стратегия
35.1.5.2. Исследование Больцмана
35.1.5.3. Верхние доверительные границы и выборка Томпсона
35.1.5.4. Оптимальные решения с использованием байесовски-адаптивных МППР
35.2. ОП на основе ценности
35.2.1. ОП Монте-Карло
35.2.2. Обучение на основе временных различий (TD-обучение)
35.2.3. TD-обучение со следами приемлемости
35.2.4. SARSA: TD-обучение с единой стратегией
35.2.5. Q-обучение: TD-обучение с разделенной стратегией
35.2.5.1. Пример
35.2.5.2. Двойное Q-обучение
35.2.6. Глубокая Q-сеть (DQN)
35.3. ОП на основе стратегии
35.3.1. Теорема о градиенте стратегии
35.3.2. REINFORCE
35.3.3. Метод типа исполнитель–критик
35.3.3.1. A2C и A3C
35.3.3.2. Следы приемлемости
35.3.4. Методы ограниченной оптимизации
35.3.5. Детерминированные методы градиента стратегии
35.3.6. Безградиентные методы
35.4. ОП на основе модели
35.4.1. Управление на основе предсказательной модели (MPC)
35.4.1.1. Эвристический поиск
35.4.1.2. Поиск Монте-Карло по дереву (MCTS)
35.4.1.3. Оптимизация траекторий для непрерывных действий
35.4.2. Комбинирование безмодельных методов с методами на основе модели
35.4.3. MBRL с применением гауссовских процессов
35.4.3.1. PILCO
35.4.3.2. GP-MPC
35.4.4. MBRL с использованием ГНС
35.4.5. MBRL с использованием моделей с латентными величинами
35.4.5.1. Модели мира
35.4.5.2. PlaNet и Dreamer
35.4.6. Устойчивость к ошибкам модели
35.5. Обучение с разделенной стратегией
35.5.1. Простые методы
35.5.1.1. Прямой метод
35.5.1.2. Выборка по значимости
35.5.1.3. Дважды робастная оценка
35.5.1.4. Метод с регуляризированным поведением
35.5.2. Проклятие горизонта
35.5.3. Смертельная триада
35.6. Управление как вывод
35.6.1. Обучение с подкреплением с максимальной энтропией
35.6.2. Другие подходы
35.6.3. Имитационное обучение
35.6.3.1. Имитационное обучение путем клонирования поведения
35.6.3.2. Имитационное обучение посредством обратного обучения с подкреплением
35.6.3.3. Имитационное обучение посредством минимизации расхождения
Глава 36. Каузальность
36.1. Введение
36.2. Каузальный формализм
36.2.1. Структурные каузальные модели
36.2.2. Каузальные ОАГ
36.2.3. Идентификация
36.2.4. Контрфактические вопросы и каузальная иерархия
36.3. Рандомизированные контролируемые испытания
36.4. Поправка на искажающие факторы
36.4.1. Каузальный оцениваемый показатель, статистический оцениваемый показатель и идентификация
36.4.2. Оценивание ATE с наблюдаемыми искажающими факторами
36.4.2.1. Корректировка модели исходов
36.4.2.2. Корректировка коэффициента предрасположенности
36.4.2.3. Двойное машинное обучение
36.4.2.4. Перекрестное обучение
36.4.3. Количественное выражение неопределенности
36.4.4. Сопоставление
36.4.5. Практические соображения и процедуры
36.4.5.1. Что корректировать
36.4.5.2. Перекрытие
36.4.5.3. Выбор оцениваемого показателя и среднего эффекта воздействия на получивших лечение
36.4.6. Резюме и практические рекомендации
36.5. Стратегии, основанные на инструментальных величинах
36.5.1. Аддитивное ненаблюдаемое искажение
36.5.2. Монотонность инструментальных величин и локальный средний эффект воздействия
36.5.2.1. Оценивание
36.5.3. Двухэтапный метод наименьших квадратов
36.6. Разность разностей
36.6.1. Оценивание
36.7. Проверки правдоподобности
36.7.1. Проверки на плацебо
36.7.2. Анализ чувствительности к ненаблюд