Содержание книги "Нейросетевые методы в обработке естественного языка
"
Об авторе
Предисловие
Благодарности
Предисловие от издательства
Глава 1. Введение
1.1. Проблемы, стоящие перед обработкой естественного языка
1.2. Нейронные сети и глубокое обуче ние
1.3. Глубокое обуче ние в NLP
1.5. Что не вошло в книгу
1.6. Замечание о терминологии
1.7. Математическая нотация
Часть I. К ЛАССИФИКАЦИЯ С УЧИТЕЛЕМ И НЕЙРОННЫЕ СЕТИ ПРЯМОГО РАСПРОСТРАНЕНИЯ
Глава 2. Основы обуче ния и линейные модели
2.1. Обучение с учителем и параметрические функции
2.2. Обучающий, тестовый и контрольный наборы
2.3. Линейные модели
2.4. Представления
2.5. Представления в виде унитарного и плотного векторов
2.6. Логлинейная многоклассовая классификация
2.7. Обучение как оптимизация
2.8. Градиентная оптимизация
Глава 3. От линейных моделей к многослойным перцептронам
3.1. Ограничения линейных моделей: проблема XOR
3.2. Нелинейные преобразования входа
3.3. Ядерные методы
3.4. Обучаемые отображающие функции
Глава 4. Нейронные сети прямого распространения
4.1. Метафора, инспирированная мозгом
4.2. Математическая нотация
4.3. Репрезентативная способность
4.4. Стандартные нелинейности
4.5. Функции потерь
4.6. Регуляризация и прореживание
4.7. Слои вычисления сходства и расстояния
4.8. Слои погружения
Глава 5. Обучение нейронной сети
5.1. Абстракция графа вычислений
5.2. Практические вопросы
Часть II. РАБОТА С ДАННЫМИ ЕСТЕСТВЕННОГО ЯЗЫКА
Глава 6. Признаки для текстовых данных
6.1. Типология проблем классификации NLP
6.2. Признаки для проблем NLP
Глава 7. Примеры признаков в NLP
7.1. Классификация документов: определение языка
7.2. Классификация документов: тематическая классификация
7.3. Классификация документов: установление авторства
7.4. Слово в контексте: частеречная разметка
7.5. Слово в контексте: распознавание именованных сущностей
7.6. Слово в контексте, лингвистические признаки : разрешение лексической многозначности предлогов
7.7. Отношения между словами в контексте: анализ методом разложения на дуги
Глава 8. От текстовых признаков к входным данным
8.1. Кодирование категориальных признаков
8.2. Объединение плотных векторов
8.3. Соотношение между унитарным и плотным векторами
8.4. Разные разности
8.5. Пример: частеречная разметка
8.6. Пример: анализ методом разложения на дуги
Глава 9. Языковое моделирование
9.1. Задача языкового моделирования
9.2. Оценивание языковых моделей: перплексивность
9.3. Традиционные подходы к языковому моделированию
9.4. Нейросетевые языковые модели
9.5. Использование языковых моделей для порождения
9.6. Побочный продукт: представления слов
Глава 10. Предобученные представления слов
10.1. Случайная инициализация
10.2. Специализированное предобуче ние с учителем
10.3. Предобуче ние без учителя
10.4. Алгоритмы погружения слов
10.5. Выбор контекстов
10.6. Обработка многословных единиц и словоизменения
10.7. Ограничения дистрибутивных методов
Глава 11. Использование погружений слов
11.1. Получение векторов слов
11.2. Сходство слов
11.3. Кластеризация слов
11.4. Нахождение похожих слов
11.5. Вычеркивание лишних
11.6. Сходство коротких документов
11.7. Словесные аналоги
11.8. Донастройка и проекции
11.9. Практические вопросы и подводные камни
Глава 12. Пример: применение архитектуры прямого распространения для вывода смысла предложения
12.1. Естественно-языковой вывод и набор данных NLI
12.2. Сеть для установления сходства текстов
Часть III. СПЕЦИАЛИЗИРОВАННЫЕ АРХИТЕКТУРЫ
Глава 13. Детекторы n-грамм: сверточные нейронные сети
13.1. Свертка + пулинг – основы
13.3. Иерархические свертки
Глава 14. Рекуррентные нейронные сети: последовательности и стеки
14.1. Абстракция РНС
14.2. Обучение РНС
14.3. Типичные примеры использования РНС
14.4. Двунаправленные РНС (biRNN)
14.5. Многослойные РНС
14.6. РНС для представления стеков
14.7. Замечание о чтении литературы
Глава 15. Конкретные архитектуры рекуррентных нейронных сетей
15.1. CBOW как РНС
15.2. Простая РНС
15.3. Вентильные архитектуры
15.4. Другие варианты
15.5. Прореживание в РНС
Глава 16. Моделирование с помощью рекуррентных сетей
16.1. Приемщики
16.2. РНС как экстракторы признаков
Глава 17. Условная генерация
17.1. РНС-генераторы
17.2. Условная генерация (кодировщик–декодер)
17.3. Установление сходства предложений без учителя
17.4. Условная генерация с вниманием
17.5. Модели на основе внимания в NLP
Часть IV. ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ
Глава 18. Моделирование деревьев с помощью рекурсивных нейронных сетей
18.1. Формальное определение
18.2. Обобщения и вариации
18.3. Обучение рекурсивных нейронных сетей
18.4. Простая альтернатива – линеаризованные деревья
18.5. Перспективы
Глава 19. Предсказание структурного выхода
19.1. Структурное предсказание на основе поиска
19.2. Жадное структурное предсказание
19.3. Условная генерация как предсказание структурного выхода
19.4. Примеры
Глава 20. Обучение каскадное, многозадачное и с частичным привлечением учителя
20.1. Каскадирование моделей
20.2. Многозадачное обуче ние
20.3. Обучение с частичным привлечением учителя
20.4. Примеры
20.5. Перспективы
Глава 21. Заключение
21.1. Что мы узнали?
21.2. Что ждет впереди?
Список литературы
