Метаобучение

Содержание книги "Метаобучение : применение в AutoML и науке о данных"

От издательства
Предисловие
Часть I. ОСНОВНЫЕ КОНЦЕПЦИИ И АРХИТЕКТУРА
Глава 1. Введение
1.1. Структура книги
1.2. Основные концепции и архитектура (часть I)
1.2.1. Основные понятия
Роль машинного обучения
Роль метаобучения
Определение метаобучения
Метаобучение или автоматизированное машинное обучение
Происхождение термина «метаобучение»
1.2.2. Основные типы задач
1.2.3. Базовая архитектура систем метаобучения и AutoML
1.2.4. Выбор алгоритма с использованием метаданных из предыдущих задач (главы 2,5)
1.2.5. Оценка и сравнение различных систем (глава 3)
1.2.6. Роль характеристик/метапризнаков набора данных (глава 4)
1.2.7. Различные типы моделей метауровня (глава 5)
1.2.8. Оптимизация гиперпараметров (глава 6)
1.2.9. Автоматические методы формирования конвейера (глава 7)
1.3. Передовые технологии и методы (часть II)
1.3.1. Настройка пространств конфигураций и экспериментов (глава 8)
1.3.2. Автоматические методы для ансамблей и потоков
Объединение базовых учеников в ансамбли (глава 9)
Метаобучение ансамблевыми методами (глава 10)
Рекомендации по выбору алгоритма для потоковых данных (глава 11)
1.3.3. Перенос метамоделей между задачами (глава 12)
1.3.4. Метаобучение глубоких нейронных сетей (глава 13)
1.3.5. Автоматизация обработки данных и проектирование сложных систем
Автоматизация науки о данных (глава 14)
Автоматизация проектирования сложных систем (глава 15)
1.4. Хранилища результатов экспериментов (часть III)
1.4.1. Хранилища метаданных (глава 16)
1.4.2. Обучение на метаданных в репозиториях (глава 17)
1.4.3. Заключительные замечания (глава 18)
1.5. Литература
Глава 2. Применение метаобучения к выбору алгоритма (рейтинг)
2.1. Введение
2.1.2. Структура этой главы
2.2. Различные типы рекомендаций
2.2.1. Лучший алгоритм в наборе
2.2.2. Подмножество лучших алгоритмов
Определение алгоритмов с сопоставимой производительностью
Объединение подмножеств
2.2.3. Линейное ранжирование
2.2.4. Квазилинейное (слабое) ранжирование
2.2.5. Неполный рейтинг
2.2.6. Поиск лучшего алгоритма в рамках заданного бюджета
2.3. Ранжирование моделей для выбора алгоритма
2.3.1. Создание метамодели в виде ранжированного списка
Получение оценок производительности
Объединение результатов производительности в единый рейтинг
Пример: нахождение среднего рейтинга
2.3.2. Использование метамодели ранжирования для прогнозов (стратегия top-n)
Пример
2.3.3. Оценка рекомендуемых рейтингов
2.4. Использование комбинированного показателя точности и времени выполнения
2.5. Расширения и другие подходы
2.5.1. Использование метода ранжирования по среднему для рекомендации конвейеров
2.5.2. Ранжирование может занизить рейтинг алгоритмов
2.5.3. Подходы, основанные на многокритериальном анализе с DEA
2.5.4. Использование схожести наборов данных для определения соответствующих частей метаданных
2.5.5. Работа с неполным ранжированием
Агрегирование неполных рейтингов
2.6. Литература
Глава 3. Оценка рекомендаций систем метаобучения и
AutoML
3.1. Введение
3.2. Методика оценки алгоритмов базового уровня
3.2.1. Ошибка обобщения
3.2.2. Стратегии оценки
3.2.3. Потеря и функция потери
3.3. Нормализация производительности для алгоритмов базового уровня
Подстановка значений производительности по рангам
Масштабирование к интервалу 0–1
Преобразование значений в нормальное распределение
Преобразование в квантильные значения
Нормализация с учетом погрешности
3.4. Методика оценки метаобучения и систем AutoML
3.4.1. Однопроходная оценка с откладыванием
Цель систем метаобучения/AutoML
Выполнение внутренней оценки системами метаобучения/AutoML
Избегайте предвзятой оценки
3.4.2. Оценка на метауровне с перекрестной проверкой
Оценка на метауровне с поиском в таблице
3.5. Оценка рекомендаций путем измерения корреляции
Ранговая корреляция Спирмена
Взвешенная мера ранговой корреляции
3.6. Оценка влияния рекомендаций
3.6.1. Потери производительности и кривые потерь
3.6.2. Характеризация кривых потерь по AUC
3.6.3. Агрегирование кривых потерь после нескольких проходов CV
3.6.4. Статистические тесты при заданном бюджете времени
3.7. Некоторые полезные меры
3.7.1. Низкая точность
3.7.2. Нормализованный дисконтированный совокупный прирост
3.8. Литература
Глава 4. Характеристики набора данных (метапризнаки)
4.1. Введение
4.1.1. Что такое хорошие признаки набора данных
4.1.2. Характеристики, зависящие от задач и данных
4.1.3. Характеристики алгоритмов
4.1.4. Разработка метапризнаков
4.2. Характеризация данных в задачах классификации
4.2.1. Простые, статистические и теоретико-информационные метапризнаки
Простые метапризнаки
Статистические метапризнаки
Теоретико-информационные метапризнаки
4.2.2. Метапризнаки на основе модели
4.2.3. Метапризнаки на основе производительности
Ориентиры
Относительные ориентиры
Ориентиры подвыборки и частичные кривые обучения
Вектор ориентиров производительности
4.2.4. Метапризнаки, основанные на концепции и сложности
Вариативность/неровность выходного пространства
Перекрытие отдельных признаков
Разделимость классов
Связь некоторых мер сложности с другими типами
4.3. Характеризация данных, используемая в задачах регрессии
4.3.1. Простые и статистические метапризнаки
Метапризнаки на основе корреляции
4.3.2. Меры на основе сложности задачи
4.3.3. Меры на основе сложности/модели
4.3.4. Меры гладкости
4.3.5. Меры нелинейности
4.4. Характеризация данных, используемых в задачах временных рядов
4.4.1. Общая статистика (описательная статистика)
4.4.2. Характеристики в частотной области
4.4.3. Характеристики на основе автокорреляции
4.5. Характеризация данных, используемых в задачах кластеризации
4.5.1. Простые, статистические и теоретико-информационные метапризнаки
4.5.2. Метапризнаки на основе модели
4.5.3. Метапризнаки на основе производительности
4.5.4. Метаобучение или оптимизация на целевом наборе данных
4.6. Получение новых признаков из базового набора
4.6.1. Генерация новых признаков путем агрегации
4.6.2. Генерация полного набора метапризнаков
4.6.3. Создание новых признаков с помощью PCA
4.6.4. Преобразование признаков путем отбора и проекции
4.6.5. Построение новых скрытых признаков с помощью матричного разложения
4.6.6. Создание новых признаков в виде встраиваний
4.7. Отбор метапризнаков
4.7.1. Статический отбор метапризнаков
4.7.2. Динамическая (итеративная) характеризация данных
4.8. Специфичные для алгоритма характеристики и проблемы представления
4.8.1. Характеристика данных, зависящая от алгоритма
Характеристика данных полезна для ранжирования пар алгоритмов
4.8.2. Проблемы представления
4.9. Установление сходства между наборами данных
4.9.1. Сходство на основе метапризнаков
4.9.2. Сходство, основанное на результатах работы алгоритмов
Корреляционное подобие результатов производительности
4.10. Литература
Глава 5. Применение метаобучения к выбору алгоритма (продолжение)
5.1. Введение
5.2. Использование регрессионных моделей в системах метаобучения
5.2.1. Эмпирические модели производительности
Использование метаданных из текущего набора данных
Подходы, использующие метаданные из других наборов данных
5.2.2. Нормализация производительности
5.2.3. Модели производительности
5.2.4. Деревья кластеризации
5.2.5. Преобразование прогнозов производительности в рейтинги
5.2.6. Прогнозирование производительности для каждого экземпляра
5.2.7. Преимущества и недостатки прогнозирования производительности
Преимущества
Недостатки
5.3. Использование классификации на метауровне для прогнозирования применимости
5.3.1. Алгоритмы классификации, используемые на метауровне
5.4. Методы, основанные на попарных сравнениях
5.4.1. Парные тесты, использующие ориентиры
5.4.2. Парный метод, основанный на частичных кривых обучения
Представление частичных кривых обучения
Проведение тестов на целевом наборе данных
Поиск наиболее похожих кривых обучения
Адаптация полученных кривых
Выполнение прогнозов для k ближайших наборов данных
Основные результаты
5.5. Парный метод для набора алгоритмов
Подробности приведены в следующих разделах
Повтор сравнения для всех пар и создание частичного рейтинга
Определение лучшего алгоритма(ов)
Оценка
Недостатки этого подхода
Использование частичного ранжирования для выполнения top-n алгоритмов
Расширение метода среднего ранжирования до частичного ранжирования
5.6. Итеративный подход к проведению парных тестов
Инициализация текущего лучшего алгоритма
Поиск лучшего парного теста
Вариант метода, учитывающий точность и время
Основные выводы
Связь с суррогатными моделями
5.7. Использование ART-деревьев и лесов
Построение набора парных моделей
Использование лесов ART для создания прогнозов
5.8. Активное тестирование
5.8.1. Активное тестирование, учитывающее точность и время выполнения
5.8.2. Активное тестирование с упором на аналогичные наборы данных
Сходство, основанное на полярности различий в производительности
5.8.3. Заключение
Определение наилучшего варианта для тестирования с помощью функций сбора
Использование метода AT для выбора и настройки рабочего процесса
Связь АТ с сокращением пространств конфигураций
5.9. Непропозициональные подходы
5.10. Литература
Глава 6. Оптимизация гиперпараметров с помощью метаобучения
6.1. Введение
6.1.1. Обзор этой главы
6.2. Основные методы оптимизации гиперпараметров
6.2.1. Основные понятия
6.2.2. Основные методы оптимизации
Поиск по сетке
Случайный поиск
Расширение поиска с помощью гоночных методов
6.2.3. Эволюционные методы
6.2.4. Методы эвристического поиска
6.2.5. Гиперградиенты
6.2.6. Методы переменной точности
Последовательное деление пополам
Hyperband и расширения для последовательного деления пополам
6.3. Байесовская оптимизация
6.3.1. Последовательная оптимизация на основе модели
Функция сбора
Гауссовы процессы как суррогатные модели потерь
Случайные леса как суррогатные модели потерь
Примечание о предшествующих методах
6.3.2. Оценщик Парзена с древовидной структурой
6.4. Оптимизация гиперпараметров с помощью метаобучения
6.4.1. Горячий запуск: использование метазнаний при инициализации
Повторное использование лучшей конфигурации
Поиск глобально лучшей конфигурации
Ранжирование конфигураций
6.4.2. Использование метазнаний в байесовской оптимизации
Суррогатная совместная настройка (SCoT/MKL)
Гауссов процесс с многоядерным обучением (MKL-GP)
Многозадачная и переменная байесовская оптимизация
Ансамбль индивидуальных суррогатных моделей (SGPT)
Функция переноса-сбора (TAF)
Фокусировка внимания на высокоэффективных регионах с помощью QRF
6.4.3. Адаптивное сходство наборов данных
6.5. Заключительные замечания
Планирование эксперимента, исследование и использование
6.6. Заключение
6.7. Вопросы для обсуждения
6.8. Литература
Глава 7. Автоматизация проектирования конвейеров
7.1. Введение
7.1.1. Организация этой главы
7.1.2. Процесс KDD
7.2. Ограничение поиска при автоматизированном проектировании конвейера
7.2.1. Определение пространства альтернатив (декларативная предвзятость)
Роль онтологий
Что онтологии обычно не выражают
7.2.2. Различные способы добавления процедурной предвзятости
Использование эвристического ранжировщика
7.2.3. Контекстно-независимые грамматики
Пример
Индуктивный вывод CFG из примеров рабочих процессов
Ограничения CFG
7.3. Стратегии, используемые при создании конвейера
7.3.1. Операторы
7.3.2. Ручной выбор операторов
7.3.3. Ручное изменение существующих конвейеров
7.3.4. Использование планирования в разработке рабочего процесса
Абстрактные и конкретные операторы
Как работает планирование
Использование иерархического планирования
Инструмент оптимизации конвейера на основе дерева (TPOT)
Общий помощник по автоматическому машинному обучению (GAMA)
Методы сокращения пространства поиска
Приоритизация поиска
Использование метазнаний в планировании
Методы ревизии рабочих процессов (конвейеров)
7.4. Использование рейтингов успешных планов
Эффективность ранжирования конвейеров
Портфель успешных конвейеров
7.5. Литература
Часть II. ПЕРЕДОВЫЕ ТЕХНОЛОГИИ И МЕТОДЫ
Глава 8. Настройка пространств конфигураций и экспериментов
8.1. Введение
8.1.1. Структура этой главы
8.2. Типы пространств конфигураций
8.2.1. Пространства конфигураций, связанные с выбором алгоритма
8.2.2. Пространства конфигураций, связанные с оптимизацией гиперпараметров и CASH
Типы гиперпараметров
Непрерывные и дискретные пространства
Условные гиперпараметры и пространства
Выборка в непрерывных подпространствах
8.2.3. Пространства конфигураций, связанные с проектированием конвейера
8.3. Соответствие пространства конфигураций текущим задачам
8.3.1. Общие принципы построения пространств конфигураций
8.4. Значимость гиперпараметра и предельный вклад
8.4.1. Предельный вклад алгоритмов (конвейеров)
8.4.2. Определение значимости гиперпараметра для заданного набора данных
Прямой отбор
Абляционный анализ
Функциональный дисперсионный анализ
8.4.3. Определение значимости гиперпараметров для нескольких наборов данных
8.5. Сокращение пространства конфигураций
8.5.1. Сокращение портфелей алгоритмов/конфигураций
Выявление конкурентных алгоритмов
Пример
Использование алгоритма покрытия для выбора «неизбыточных»
алгоритмов
Использование алгоритма покрытия с подобием на макроуровне
Использование алгоритма покрытия с подобием на микроуровне
8.5.2. Метод сокращения, основанный на комбинации мер
Подход, основанный на огибающей кривой
8.6. Пространства конфигураций в символическом обучении
8.6.1. Пространства версий
Управление предвзятостью предметно-ориентированного языка
Расширение предвзятости предметно-ориентированного языка
8.7. Какие наборы данных необходимы
8.7.1. Использование существующих репозиториев наборов данных
8.7.2. Создание синтетических наборов данных
8.7.3. Создание вариантов существующих наборов данных
8.7.4. Сегментация большого набора данных или потока данных
8.7.5. Поиск наборов данных, обладающих различающей способностью
Использование характеристик наборов данных и 2D-следов
Использование корреляции рейтингов для характеризации разнообразия
8.8. Полные и неполные метаданные
8.8.1. Можно ли получить полные метаданные
Слишком много ожидаемых экспериментов
Некоторые эксперименты могут привести к неудаче
Добавление новых наборов данных
Использование оценок вместо реальных значений
8.8.2. Необходимо ли иметь полные метаданные
8.8.3. Имеет ли значение порядок тестов
8.9. Использование стратегий многоруких бандитов для планирования экспериментов
8.9.1. Некоторые концепции и стратегии MAB
ϵ-жадная стратегия
ϵ-начальная стратегия
ϵ-убывающая стратегия
Метод сопоставления вероятностей (SoftMax)
Методы интервальной оценки и верхней доверительной границы
Стратегии ценообразования (POKER)
Контекстная задача многорукого бандита
8.10. Заключение
8.11. Литература
Глава 9. Объединение базовых учащихся в ансамбли
9.1. Введение
9.2. Бэггинг и бустинг
9.2.1. Бэггинг
9.2.2. Бустинг
9.3. Стекинг и каскадное обобщение
9.3.1. Стекинг
9.3.2. Каскадное обобщение
9.4. Каскадирование и делегирование
9.4.1. Каскадирование
9.4.2. Делегирование
9.5. Арбитраж
9.6. Деревья метарешений
9.7. Обсуждение
9.8. Литература
Глава 10. Метаобучение в ансамблевых методах
10.1. Введение
10.2. Основные характеристики ансамблевых систем
Хотим ли мы использовать существующий портфель решений
Прогнозы для всего набора данных или для каждого примера
Какой ансамблевый метод используется
Модели генерируются с помощью одного или разных алгоритмов
Метаданные извлекаются из текущих или прошлых наборов данных
Какова задача обучения базового уровня
10.3. Ансамблевые методы на основе выбора
10.4. Ансамблевое обучение (на наборе данных)
10.4.1. Метаобучение на этапах построения и сокращения
Генерация и сокращение
Повторное использование подходов на основе выбора для ансамблевого обучения
Выбор алгоритма ML на метауровне
Моделирование взаимозависимости моделей
Метапризнаки
Стратегия, используемая в Auto-sklearn
10.4.2. Метаобучение на этапе интеграции
Интеграция
Метод метаобучения
10.5. Динамический выбор моделей (для каждого экземпляра)
Повторное использование подходов на основе выбора для ансамблевого обучения
Структура слоев в системе ALMA
Моделирование взаимозависимости моделей
10.5.1. Метапризнаки
Использование признаков базового уровня и прогнозов в качестве метапризнаков
10.6. Генерация иерархических ансамблей
10.6.1. Иерархические ансамбли
10.6.2. Развитие иерархических ансамблей с эволюционными вычислениями
10.6.3. Метаобучение в методах иерархического ансамбля
10.7. Выводы и перспективные направления
10.8. Литература
Глава 11. Система рекомендации алгоритмов для потоковых данных
11.1. Введение
Формальное представление
11.1.1. Адаптация пакетных классификаторов к потоковым данным
11.1.2. Адаптация ансамблей к потоковым данным
11.1.3. Общая постановка задачи
11.2. Подходы на основе метапризнаков
11.2.1. Методы
11.2.2. Обучение метамодели
11.2.3. Метапризнаки
11.2.4. Соображения относительно гиперпараметров
11.2.5. Метамодель
11.2.6. Оценка систем метаобучения для потоковых данных
11.2.7. Эталонные показатели
11.2.8. Промежуточный итог
11.3. Ансамблирование в области потоковых данных
11.3.1. Лучший классификатор на последнем интервале (Blast)
11.3.2. Коэффициенты затухания
11.3.3. Неоднородные ансамбли для случая дрейфа признаков
11.3.4. Соображения относительно выбора базовых классификаторов
11.3.5. Промежуточный итог
11.4. Повторяющиеся модели метауровня
11.4.1. Ансамбль, взвешенный по точности
11.4.2. Двухуровневая архитектура
11.5. Направления будущих исследований
11.6. Литература
Глава 12. Перенос знаний между задачами
12.1. Введение
12.2. Предыстория, терминология и обозначения
12.2.1. Когда применяется перенос обучения
12.2.2. Различные типы переноса обучения
12.2.3. Что именно можно переносить
12.3. Архитектуры, применяемые при переносе обучения
12.3.1. Перенос в нейронных сетях
12.3.2. Перенос обучения в ядерных методах
12.3.3. Перенос знаний в параметрических байесовских моделях
12.4. Теоретический базис «обучения обучению»
12.4.1. Сценарий «обучения обучению»
12.4.2. Границы ошибки обобщения для метаучеников
12.4.3. Другие теоретические исследования
Определение границ с использованием алгоритмической устойчивости
Границы в сценарии адаптации предметной области
12.4.4. Систематическая ошибка и дисперсия в метаобучении
Приложение A
12.5. Литература
Глава 13. Метаобучение и глубокие нейронные сети
13.1. Введение
13.2. Предыстория и обозначения
13.2.1. Метаабстракция для глубоких нейронных сетей
13.2.2. Общие процедуры обучения и оценки
N-классовое k-кратное обучение
13.2.3. Обзор остальной части этой главы
13.3. Метаобучение на основе метрик
Пример
13.3.1. Сиамские нейронные сети
13.3.2. Сопоставляющие сети
13.3.3. Графовые нейронные сети
13.3.4. Внимательные рекуррентные компараторы
Методы на основе метрик – краткий итог
13.4. Метаобучение на основе моделей
Пример
13.4.1. Нейронные сети с дополненной памятью
13.4.2. Метасети
13.4.3. Простой нейронный внимательный метаученик (SNAIL)
13.4.4. Условные нейронные процессы
Методы на основе моделей – краткие итоги
13.5. Метаобучение на основе оптимизации
Пример
13.5.1. Оптимизатор LSTM
13.5.2. Оптимизатор на основе обучения с подкреплением
13.5.3. Независимое от модели метаобучение (MAML)
13.5.4. Reptile
Методы на основе оптимизации – краткий итог
13.6. Обсуждение и перспективы исследований
13.6.1. Нерешенные проблемы
13.6.2. Перспективные направления исследований
13.7. Литература
Глава 14. Автоматизация науки о данных
14.1. Введение
14.2. Определение текущей проблемы/задачи
14.2.1. Понимание и описание проблемы
14.2.2. Создание дескрипторов задач
14.2.3. Определение типа задачи и целей
Роль целей обучения
Планирование целей обучения
14.3. Определение предметной области и знаний
Определение области путем сопоставления дескрипторов/метапризнаков
Определение области путем классификации
Представление данных и целей
14.4. Получение данных
14.4.1. Выбрать существующие данные или спланировать получение новых
14.4.2. Выявление данных и контекстных знаний, относящихся к предметной области
14.4.3. Получение данных и базовых знаний из разных источников
Получение данных из куба OLAP
14.5. Автоматизация предварительной обработки и преобразования данных
14.5.1. Преобразование/подготовка данных
Вывод типов данных
Некоторые способы подготовки данных
Система FOOFAH
Использование ILP в подготовке данных
Системы TDE и SYNTH
14.5.2. Выбор записей и сжатие модели
14.5.3. Автоматизация выбора метода предварительной обработки
14.5.4. Изменение степени детализации представления
Генерация агрегированных данных из куба OLAP
14.6. Автоматизация создания моделей и отчетов
14.6.1. Автоматизация создания и развертывания модели
14.6.2. Автоматическое создание отчетов
14.7. Литература
Глава 15. Автоматизация проектирования сложных систем
15.1. Введение
15.1.1. Обзор этой главы
15.2. Использование расширенного набора операторов
15.3. Изменение степени детализации путем введения новых понятий
Получение новых понятий из внешних источников
Автономное добавление новых понятий
15.3.1. Определение новых понятий путем кластеризации
15.3.2. Конструктивная индукция
15.3.3. Переформулировка теорий, состоящих из правил
Переформулировка теорий по специализации
Свертывание и развертывание
Поглощение
15.3.4. Введение новых понятий, выраженных в виде правил
15.3.5. Пропозиционализация
15.3.6. Автоматическое построение признаков в глубоких нейросетях
15.3.7. Повторное использование новых понятий для переопределения онтологий
15.4. Повторное использование новых понятий в продолжающемся обучении
Пример: использование приобретенных навыков для обучения более сложному поведению
15.5. Итеративное обучение
Пример: изучение определения сортировки вставками
15.6. Обучение решению взаимозависимых задач
15.7. Литература
Часть III. ОРГАНИЗАЦИЯ И ИСПОЛЬЗОВАНИЕ МЕТАДАННЫХ
Глава 16. Хранилища метаданных
16.1. Введение
16.2. Как устроен мир информации о машинном обучении
16.2.1. Потребность в качественных метаданных
16.2.2. Инструменты и инициативы
16.3. Что такое OpenML
16.3.1. Наборы данных
16.3.2. Типы задач
16.3.3. Задачи
16.3.4. Потоки
16.3.5. Установки
16.3.6. Прогоны
16.3.7. Исследования и тестовые наборы
16.3.8. Интеграция OpenML в среды машинного обучения
Пример исследования с использованием существующих оценочных результатов
16.4. Литература
Глава 17. Обучение на метаданных в репозиториях
17.1. Введение
17.2. Анализ производительности алгоритмов на разных наборах данных
17.2.1. Сравнение различных алгоритмов
17.2.2. Влияние изменения некоторых настроек гиперпараметров
17.3. Анализ производительности алгоритмов на разных наборах данных
17.3.1. Эффект от использования разных классификаторов с гиперпараметрами по умолчанию
Оценка статистической значимости
17.3.2. Эффект оптимизации гиперпараметров
17.3.3. Выявление алгоритмов (рабочих процессов) со схожими прогнозами
17.4. Влияние определенных характеристик данных/рабочего процесса на производительность
17.4.1. Влияние выбора линейных и нелинейных моделей
17.4.2. Эффект от применения отбора признаков
17.4.3. Влияние конкретных настроек гиперпараметров
Настраиваемость алгоритмов
Настраиваемость гиперпараметров
Определение важности гиперпараметров в наборах данных с помощью ANOVA
17.5. Заключение
17.6. Литература
Глава 18. Заключительные соображения
18.1. Введение
18.2. Форма метазнания, используемая в различных подходах
18.2.1. Применение метазнаний в методах выбора алгоритма
Способы ранжирования, использующие априорные метаданные
Подходы, использующие динамические метаданные
18.2.2. Метазнания в подходах к оптимизации гиперпараметров
18.2.3. Использование метазнаний при разработке конвейеров
18.2.4. Метазнания в переносе обучения и в глубоких нейронных сетях
18.3. Перспективные задачи и направления исследований
18.3.1. Разработка метапризнаков, связанных с характеристиками набора данных и производительностью
18.3.2. Дальнейшая интеграция подходов метаобучения и AutoML
18.3.3. Автоматизация подстройки к текущей задаче
Автоматизация получения метаданных
18.3.4. Автоматизация сокращения пространства конфигураций
Автоматизация сокращения алгоритмов базового уровня
Автоматизация сокращения пространства гиперпараметров
Автоматизация сокращения пространства рабочего процесса (конвейера)
18.3.5. Автоматизация анализа потоков данных
18.3.6. Автоматизация настройки параметров нейронной сети
18.3.7. Автоматизация науки о данных
Постановка текущей проблемы/задачи
Выбор подходящего предметно-ориентированного метазнания
Получение данных
Изменение детализации представления
18.3.8. Автоматизация проектирования решений с более сложными структурами
18.3.9. Проектирование платформ метаобучения/AutoML
18.4. Заключение и обращение к читателям
18.5. Литература
Предметный указатель