Введение в методы машинного обучения с подкреплением

Читать фрагмент

книга

Введение в методы машинного обучения с подкреплением

Cодержит теоретические сведения и практические задания учебного курса «Использование методов машинного обучения в разработке киберфизических систем», изучаемых магистрантами направлений «Мехатроника и робототехника», «Электротехника и электроэнергетика» Передовой инженерной школы Южного федерального университета. Последовательно рассматриваются следующие темы: классические методы обучения с учителем, глубокое обучение с учителем, архитектуры нейронных сетей, основные понятия обучения с подкреплением, метод динамического программирования, метод Монте-Карло, обучение на основе временных различий, приближенные методы аппроксимации функций ценности действий, приближенное управление и аппроксимация.Содержит теоретический материал, контрольные вопросы и задачи, практические задания для выполнения в среде Matlab или Python. Предназначен для магистрантов, которые обучаются по программам магистратуры в области мехатроники и робототехники.

Форматы: PDF

Издательство: Южный федеральный университет

Год: 2025

Место издания: Ростов-на-Дону, Таганрог

ISBN: 978-5-9275-5006-7

Страниц: 219

Артикул: 115939

Возрастная маркировка: 16+

Электронная книга

326 ₽

Купить и скачать

Содержание

Содержание книги "Введение в методы машинного обучения с подкреплением "

ВВЕДЕНИЕ

1. ОСНОВЫ МАШИННОГО ОБУЧЕНИЯ С УЧИТЕЛЕМ

1.1. Классификация методов машинного обучения

1.2. Наивный байесовский классификатор

1.3. Деревья решений

1.4. Метод опорных векторов

1.5. Линейная регрессия

1.6. Структурная схема обучения с учителем

Контрольные вопросы к разделу 1

2. ПРАКТИЧЕСКАЯ РАБОТА 1. ИССЛЕДОВАНИЕ НАИВНОГО БАЙЕСОВСКОГО КЛАССИФИКАТОРА

2.1. Задание к практической работе 1

2.2. Варианты заданий к практической работе 1

3. ПРАКТИЧЕСКАЯ РАБОТА 2. ПОСТРОЕНИЕ ДЕРЕВА РЕШЕНИЙ

3.1. Задание к практической работе 2

3.2. Варианты заданий к практической работе 2

Контрольные вопросы к практической работе 2

4. ГЛУБОКОЕ ОБУЧЕНИЕ С УЧИТЕЛЕМ. АРХИТЕКТУРЫ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ

4.1. Понятие глубокой нейронной сети

4.2. Структура сверточной нейронной сети

4.3. Операция свертки

4.4. Операция дополнения

4.5. Операция объединения

4.6. Выходные слои сверточной сети

4.7. Функции активации

4.8. Пример структуры сверточной нейронной сети

4.9. Архитектура сети Resnet

Контрольные вопросы к разделу 4

5. ПРАКТИЧЕСКАЯ РАБОТА 3. ОБУЧЕНИЕ СВЕРТОЧНОЙ СЕТИ ЗАДАЧЕ ПЛАНИРОВАНИЯ ПУТИ

5.1. Задание к практической работе 3

5.2. Пример выполнения практической работы

5.3. Варианты заданий к практической работе 3

Контрольные вопросы к практической работе 3

6. ОСНОВНЫЕ ПОНЯТИЯ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ

6.1. Элементы обучения с подкреплением

6.2. Классификация методов обучения с подкреплением

6.3. Задача о k-руком бандите

6.4. Метод ценности действий

6.5. Итерационная форма оценки ценности действий

6.6. Доход и эпизоды

6.7. Стратегии и функции ценности

Контрольные вопросы к разделу 6

7. ПРАКТИЧЕСКАЯ РАБОТА 4. ИССЛЕДОВАНИЕ ЗАДАЧИ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ НА ПРИМЕРЕ МНОГОРУКОГО БАНДИТА

7.1. Описание задачи о многоруком бандите

7.2. е-жадная стратегия

7.3. Задание к практической работе 4

7.4. Варианты к практической работе 4

7.5. Пример выполнения практической работы 4

Контрольные вопросы к практической работе 4

8. МЕТОД ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ И МОНТЕ–КАРЛО В ОБУЧЕНИИ С ПОДКРЕПЛЕНИЕМ

8.1. Марковский процесс принятия решений

8.2. Метод динамического программирования

8.3. Метод Монте – Карло. Оценивание ценности

8.4. Метод Монте – Карло. Улучшение стратегии

8.5. Метод Монте – Карло. Инкрементная форма оценивания

8.6. Улучшение стратегии методом МК с разделенной стратегией

Контрольные вопросы к разделу 8

9. ПРАКТИЧЕСКАЯ РАБОТА 5. ИССЛЕДОВАНИЕ ПРОЦЕССА ОЦЕНКИ ЦЕННОСТИ СОСТОЯНИЙ МЕТОДОМ ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ

9.1. Задание к практической работе 5

9.2. Пример выполнения практической работы 5

9.3. Варианты заданий к практической работе 5

Контрольные вопросы к практической работе 5

10. ПРАКТИЧЕСКАЯ РАБОТА 6. ИССЛЕДОВАНИЕ МЕТОДА МОНТЕ–КАРЛО В ОБУЧЕНИИ С ПОДКРЕПЛЕНИЕМ

10.1. Задание к практической работе 6

10.2. Пример выполнения практической работы 6

10.3. Варианты заданий к практической работе 6

11. ОБУЧЕНИЕ НА ОСНОВЕ ВРЕМЕННЫХ РАЗЛИЧИЙ

11.1. Предсказание методами временных различий

11.2. Алгоритм SARSA

11.3. Алгоритм Expected SARSA

11.4. Двойное обучение (DQ-обучение)

11.5. Многошаговое предсказание

11.6. n-шаговый алгоритм SARSA

Контрольные вопросы к разделу 11

12. ПРАКТИЧЕСКАЯ РАБОТА 7. ИССЛЕДОВАНИЕ МЕТОДА Q-ОБУЧЕНИЯ

12.1. Описание задачи

12.2. Задание к практической работе 7

12.3. Пример выполнения практической работы 7

12.4. Варианты к практической работе 7

13. ПРАКТИЧЕСКАЯ РАБОТА 8. ИССЛЕДОВАНИЕ МЕТОДА Q-ОБУЧЕНИЯ С МОДЕЛЬЮ

13.1. Краткие теоретические сведения

13.2. Описание задачи

13.3. Пример выполнения практической работы 8

13.4. Варианты к практической работе 8

14. ПРИБЛИЖЕННЫЕ МЕТОДЫ АППРОКСИМАЦИИ ФУНКЦИИ ЦЕННОСТИ

14.1. Задача аппроксимации функции ценности

14.2. Стохастические градиентные и полуградиентные методы

14.3. Линейная по параметрам аппроксимация

14.4. Пример аппроксимации полиномами

14.5. Радиально-базисные функции

14.6. Нелинейная аппроксимация искусственными нейронными сетями

14.7. Алгоритм TD наименьших квадратов

14.8. Алгоритм аппроксимации с запоминанием

14.9. Заинтересованность и значимость

Контрольные вопросы к разделу 14

15. ПРАКТИЧЕСКАЯ РАБОТА 9. ИССЛЕДОВАНИЕ КЛАССИЧЕСКИХ И НЕЙРОСЕТЕВЫХ СПОСОБОВ АППРОКСИМАЦИИ ФУНКЦИИ ЦЕННОСТИ

15.1. Описание задачи

15.2. Задание к практической работе 9

15.3. Пример выполнения практической работы 9

15.4. Варианты к практической работе 9

16. ПРАКТИЧЕСКАЯ РАБОТА 10. ИССЛЕДОВАНИЕ АЛГОРИТМА ГЛУБОКОГО Q-ОБУЧЕНИЯ В ЗАДАЧЕ ДВИЖЕНИЯ В ЦЕЛЕВУЮ ТОЧКУ

16.1. Описание задачи

16.2. Задание к практической работе 10

16.3. Пример выполнения практической работы 10

16.4. Варианты к практической работе 10

Контрольные вопросы к практической работе 10

17. ПРИБЛИЖЕННОЕ УПРАВЛЕНИЕ И АППРОКСИМАЦИЯ

17.1. Эпизодический полуградиентный алгоритм SARSA

17.2. Использование среднего вознаграждения вместо обесценивания

17.3. Расходимость полуградиентных методов с разделенной стратегией

17.4. Основные причины расходимости

17.5. Геометрия линейной аппроксимации

17.6. Градиентные методы для беллмановской ошибки

17.7. Градиентные TD-методы

Контрольные вопросы к разделу 17

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

Отрывок из книги

1.6. Структурная схема обучения с учителем 23 1.5. Линейная регрессия Задача линейной регрессии заключается в построении линейной функ-ции, наилучшим образом аппроксимирующую заданный набор данных (xi, yi) (рис. 1.12) линейной функцией

Внимание!
При обнаружении неточностей или ошибок в описании книги "Введение в методы машинного обучения с подкреплением (автор Михаил Медведев)", просим Вас отправить сообщение на почту help@directmedia.ru. Благодарим!

Введение в методы машинного обучения с подкреплением

Содержание

Отрывок из книги

Медведев М. Ю. другие книги автора

С книгой "Введение в методы машинного обучения с подкреплением" читают