Изучаем и используем Presto

Содержание книги "Изучаем и используем Presto : быстрый и надежный SQL-движок для анализа данных"

От издательства
Предисловие
Об авторах
Колофон
Глава 1. Введение в Presto
Хранилища данных и озера данных
Роль Presto в озере данных
Происхождение и истоки архитектуры Presto
Высокая производительность
Масштабирование
Соответствие стандарту ANSI SQL
Объединение данных
Запуск в облаке
Архитектура Presto и его ключевые компоненты
Альтернативы Presto
Apache Impala
Apache Hive
Spark SQL
Trino
Сценарии использования Presto
Отчетность и информационные панели
Специальные (ad hoc) запросы
Извлечение и загрузка данных с использованием SQL
Хранилище-озеро
Аналитика в реальном времени
Введение в модельное хранилище
Заключение
Глава 2. Первые шаги в освоении Presto
Установка Presto вручную
Запуск Presto в Docker
Установка Docker
Образ Presto
Сборка и запуск Presto
«Песочница» для Presto
Развертывание Presto в Kubernetes
Введение в Kubernetes
Настройка Presto в Kubernetes
Добавление каталога
Запуск приложения в Kubernetes
Запросы к кластеру Presto
Список каталогов
Список схем
Список таблиц
Запрос к таблице
Заключение
Глава 3. Коннекторы
Концепция SPI (Service Provider Interface)
Архитектура коннектора
Популярные коннекторы
Thrift
Разработка коннектора
Предварительные требования
Классы Plugin и Module
Конфигурация
Метаданные
Ввод-вывод
Установка коннектора
Apache Pinot
Настройка и конфигурация Presto
Запрос из Presto в Pinot
Заключение
Глава 4. Подключение клиентов
Настройка окружения
Клиент Presto
Docker-образ
Узел Kubernetes
Подключение к Presto
REST API
Python
R
JDBC
Node.js
ODBC
Прочие клиентские библиотеки для Presto
Разработка клиентской информационной панели на Python
Настройка клиента
Разработка панели
Заключение
Глава 5. Open Data Lakehouse
Появление хранилища-озера
Архитектура хранилища-озера
Озеро данных
Система хранения
Форматы файлов
Табличные форматы
Движок запросов
Управление метаданными
Стратегическое управление данными
Разграничение доступа к данным
Построение модельного хранилища-озера
Настройка MinIO
Настройка HMS
Настройка Spark
Регистрация таблиц Hudi в HMS
Подключение Presto и выполнение запросов
Заключение
Глава 6. Администрирование Presto
Введение в администрирование Presto
Конфигурирование
Конфигурационные файлы Presto
Настройки сеансов
JVM
Мониторинг
Консоль
REST API
Метрики мониторинга
Управление
Ресурсные группы
Верификатор
Управление настройками сеансов
Пространства имен функций
Заключение
Глава 7. Безопасность Presto
Введение в безопасность Presto
Безопасность коммуникаций
Шифрование
Хранилище ключей
Настройка HTTPS/TLS
Аутентификация
Аутентификация, основанная на файлах
LDAP
Kerberos
Создание нестандартного аутентификатора
Авторизация
Авторизация доступа к REST API
Настройка управления доступом
Авторизация при помощи Apache Ranger
Заключение
Глава 8. Настройка производительности
Введение в настройку производительности
Побудительные мотивы настройки производительности
Жизненный цикл настройки производительности
Модель выполнения запроса
Подходы к настройке производительности Presto
Выделение ресурсов
Система хранения данных
Оптимизация запросов
Aria Scan
Сканирование таблицы
Перераспределение задач
Практическая настройка производительности
Создание CSV-таблицы и загрузка в MinIO
Преобразование CSV-таблицы в ORC
Определение параметров настройки
Нагрузочное тестирование
Заключение
Глава 9. Масштабирование Presto
Введение в масштабирование
Когда требуется масштабирование
Часто возникающие проблемы
Основные принципы
Доступность
Управляемость
Производительность
Защита
Настройка
Как масштабировать Presto
Несколько координаторов
Presto на Spark
Подкачка
Использование облачных сервисов
Заключение
Предметный указатель