Введение в методы машинного обучения с подкреплением

Содержание книги "Введение в методы машинного обучения с подкреплением "

ВВЕДЕНИЕ
1. ОСНОВЫ МАШИННОГО ОБУЧЕНИЯ С УЧИТЕЛЕМ
1.1. Классификация методов машинного обучения
1.2. Наивный байесовский классификатор
1.3. Деревья решений
1.4. Метод опорных векторов
1.5. Линейная регрессия
1.6. Структурная схема обучения с учителем
Контрольные вопросы к разделу 1
2. ПРАКТИЧЕСКАЯ РАБОТА 1. ИССЛЕДОВАНИЕ НАИВНОГО БАЙЕСОВСКОГО КЛАССИФИКАТОРА
2.1. Задание к практической работе 1
2.2. Варианты заданий к практической работе 1
3. ПРАКТИЧЕСКАЯ РАБОТА 2. ПОСТРОЕНИЕ ДЕРЕВА РЕШЕНИЙ
3.1. Задание к практической работе 2
3.2. Варианты заданий к практической работе 2
Контрольные вопросы к практической работе 2
4. ГЛУБОКОЕ ОБУЧЕНИЕ С УЧИТЕЛЕМ. АРХИТЕКТУРЫ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ
4.1. Понятие глубокой нейронной сети
4.2. Структура сверточной нейронной сети
4.3. Операция свертки
4.4. Операция дополнения
4.5. Операция объединения
4.6. Выходные слои сверточной сети
4.7. Функции активации
4.8. Пример структуры сверточной нейронной сети
4.9. Архитектура сети Resnet
Контрольные вопросы к разделу 4
5. ПРАКТИЧЕСКАЯ РАБОТА 3. ОБУЧЕНИЕ СВЕРТОЧНОЙ СЕТИ ЗАДАЧЕ ПЛАНИРОВАНИЯ ПУТИ
5.1. Задание к практической работе 3
5.2. Пример выполнения практической работы
5.3. Варианты заданий к практической работе 3
Контрольные вопросы к практической работе 3
6. ОСНОВНЫЕ ПОНЯТИЯ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ
6.1. Элементы обучения с подкреплением
6.2. Классификация методов обучения с подкреплением
6.3. Задача о k-руком бандите
6.4. Метод ценности действий
6.5. Итерационная форма оценки ценности действий
6.6. Доход и эпизоды
6.7. Стратегии и функции ценности
Контрольные вопросы к разделу 6
7. ПРАКТИЧЕСКАЯ РАБОТА 4. ИССЛЕДОВАНИЕ ЗАДАЧИ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ НА ПРИМЕРЕ МНОГОРУКОГО БАНДИТА
7.1. Описание задачи о многоруком бандите
7.2. е-жадная стратегия
7.3. Задание к практической работе 4
7.4. Варианты к практической работе 4
7.5. Пример выполнения практической работы 4
Контрольные вопросы к практической работе 4
8. МЕТОД ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ И МОНТЕ–КАРЛО В ОБУЧЕНИИ С ПОДКРЕПЛЕНИЕМ
8.1. Марковский процесс принятия решений
8.2. Метод динамического программирования
8.3. Метод Монте – Карло. Оценивание ценности
8.4. Метод Монте – Карло. Улучшение стратегии
8.5. Метод Монте – Карло. Инкрементная форма оценивания
8.6. Улучшение стратегии методом МК с разделенной стратегией
Контрольные вопросы к разделу 8
9. ПРАКТИЧЕСКАЯ РАБОТА 5. ИССЛЕДОВАНИЕ ПРОЦЕССА ОЦЕНКИ ЦЕННОСТИ СОСТОЯНИЙ МЕТОДОМ ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ
9.1. Задание к практической работе 5
9.2. Пример выполнения практической работы 5
9.3. Варианты заданий к практической работе 5
Контрольные вопросы к практической работе 5
10. ПРАКТИЧЕСКАЯ РАБОТА 6. ИССЛЕДОВАНИЕ МЕТОДА МОНТЕ–КАРЛО В ОБУЧЕНИИ С ПОДКРЕПЛЕНИЕМ
10.1. Задание к практической работе 6
10.2. Пример выполнения практической работы 6
10.3. Варианты заданий к практической работе 6
11. ОБУЧЕНИЕ НА ОСНОВЕ ВРЕМЕННЫХ РАЗЛИЧИЙ
11.1. Предсказание методами временных различий
11.2. Алгоритм SARSA
11.3. Алгоритм Expected SARSA
11.4. Двойное обучение (DQ-обучение)
11.5. Многошаговое предсказание
11.6. n-шаговый алгоритм SARSA
Контрольные вопросы к разделу 11
12. ПРАКТИЧЕСКАЯ РАБОТА 7. ИССЛЕДОВАНИЕ МЕТОДА Q-ОБУЧЕНИЯ
12.1. Описание задачи
12.2. Задание к практической работе 7
12.3. Пример выполнения практической работы 7
12.4. Варианты к практической работе 7
13. ПРАКТИЧЕСКАЯ РАБОТА 8. ИССЛЕДОВАНИЕ МЕТОДА Q-ОБУЧЕНИЯ С МОДЕЛЬЮ
13.1. Краткие теоретические сведения
13.2. Описание задачи
13.3. Пример выполнения практической работы 8
13.4. Варианты к практической работе 8
14. ПРИБЛИЖЕННЫЕ МЕТОДЫ АППРОКСИМАЦИИ ФУНКЦИИ ЦЕННОСТИ
14.1. Задача аппроксимации функции ценности
14.2. Стохастические градиентные и полуградиентные методы
14.3. Линейная по параметрам аппроксимация
14.4. Пример аппроксимации полиномами
14.5. Радиально-базисные функции
14.6. Нелинейная аппроксимация искусственными нейронными сетями
14.7. Алгоритм TD наименьших квадратов
14.8. Алгоритм аппроксимации с запоминанием
14.9. Заинтересованность и значимость
Контрольные вопросы к разделу 14
15. ПРАКТИЧЕСКАЯ РАБОТА 9. ИССЛЕДОВАНИЕ КЛАССИЧЕСКИХ И НЕЙРОСЕТЕВЫХ СПОСОБОВ АППРОКСИМАЦИИ ФУНКЦИИ ЦЕННОСТИ
15.1. Описание задачи
15.2. Задание к практической работе 9
15.3. Пример выполнения практической работы 9
15.4. Варианты к практической работе 9
16. ПРАКТИЧЕСКАЯ РАБОТА 10. ИССЛЕДОВАНИЕ АЛГОРИТМА ГЛУБОКОГО Q-ОБУЧЕНИЯ В ЗАДАЧЕ ДВИЖЕНИЯ В ЦЕЛЕВУЮ ТОЧКУ
16.1. Описание задачи
16.2. Задание к практической работе 10
16.3. Пример выполнения практической работы 10
16.4. Варианты к практической работе 10
Контрольные вопросы к практической работе 10
17. ПРИБЛИЖЕННОЕ УПРАВЛЕНИЕ И АППРОКСИМАЦИЯ
17.1. Эпизодический полуградиентный алгоритм SARSA
17.2. Использование среднего вознаграждения вместо обесценивания
17.3. Расходимость полуградиентных методов с разделенной стратегией
17.4. Основные причины расходимости
17.5. Геометрия линейной аппроксимации
17.6. Градиентные методы для беллмановской ошибки
17.7. Градиентные TD-методы
Контрольные вопросы к разделу 17
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЯ