Читать фрагмент

книга

Изучаем и используем Presto

Автор: Анжелика Ло Дука, Т. Михан, В. Бхаратан, Су Ин

Данная книга посвящена Presto – распределенному SQL-движку с открытым исходным кодом. Авторы объясняют, как появилась эта платформа и чем она отличается от других инструментов хранения и обработки данных. Вы научитесь устанавливать и настраивать Presto, подключать его к различным источникам данных, а также использовать Presto как источник данных для построения отчетов и бизнес-аналитики. Кроме того, разберетесь с архитектурными концепциями и типичными сценариями использования Presto.Издание предназначено аналитикам, архитекторам данных, администраторам и программистам, которые хотят научиться получать ценную информацию из разрозненных наборов данных.

Форматы: PDF

Издательство: Books.kz

Год: 2024

Место издания: [Москва]

ISBN: 978-6-01810-343-8 (каз.). – ISBN 978-1-098-14185-1 (англ.)

Страниц: 184

Артикул: 112870

Возрастная маркировка: 16+

Электронная книга

999 ₽

Купить и скачать

Содержание

Содержание книги "Изучаем и используем Presto : быстрый и надежный SQL-движок для анализа данных"

От издательства

Предисловие

Об авторах

Колофон

Глава 1. Введение в Presto

Хранилища данных и озера данных

Роль Presto в озере данных

Происхождение и истоки архитектуры Presto

Высокая производительность

Масштабирование

Соответствие стандарту ANSI SQL

Объединение данных

Запуск в облаке

Архитектура Presto и его ключевые компоненты

Альтернативы Presto

Apache Impala

Apache Hive

Spark SQL

Trino

Сценарии использования Presto

Отчетность и информационные панели

Специальные (ad hoc) запросы

Извлечение и загрузка данных с использованием SQL

Хранилище-озеро

Аналитика в реальном времени

Введение в модельное хранилище

Заключение

Глава 2. Первые шаги в освоении Presto

Установка Presto вручную

Запуск Presto в Docker

Установка Docker

Образ Presto

Сборка и запуск Presto

«Песочница» для Presto

Развертывание Presto в Kubernetes

Введение в Kubernetes

Настройка Presto в Kubernetes

Добавление каталога

Запуск приложения в Kubernetes

Запросы к кластеру Presto

Список каталогов

Список схем

Список таблиц

Запрос к таблице

Заключение

Глава 3. Коннекторы

Концепция SPI (Service Provider Interface)

Архитектура коннектора

Популярные коннекторы

Thrift

Разработка коннектора

Предварительные требования

Классы Plugin и Module

Конфигурация

Метаданные

Ввод-вывод

Установка коннектора

Apache Pinot

Настройка и конфигурация Presto

Запрос из Presto в Pinot

Заключение

Глава 4. Подключение клиентов

Настройка окружения

Клиент Presto

Docker-образ

Узел Kubernetes

Подключение к Presto

REST API

Python

JDBC

Node.js

ODBC

Прочие клиентские библиотеки для Presto

Разработка клиентской информационной панели на Python

Настройка клиента

Разработка панели

Заключение

Глава 5. Open Data Lakehouse

Появление хранилища-озера

Архитектура хранилища-озера

Озеро данных

Система хранения

Форматы файлов

Табличные форматы

Движок запросов

Управление метаданными

Стратегическое управление данными

Разграничение доступа к данным

Построение модельного хранилища-озера

Настройка MinIO

Настройка HMS

Настройка Spark

Регистрация таблиц Hudi в HMS

Подключение Presto и выполнение запросов

Заключение

Глава 6. Администрирование Presto

Введение в администрирование Presto

Конфигурирование

Конфигурационные файлы Presto

Настройки сеансов

JVM

Мониторинг

Консоль

REST API

Метрики мониторинга

Управление

Ресурсные группы

Верификатор

Управление настройками сеансов

Пространства имен функций

Заключение

Глава 7. Безопасность Presto

Введение в безопасность Presto

Безопасность коммуникаций

Шифрование

Хранилище ключей

Настройка HTTPS/TLS

Аутентификация

Аутентификация, основанная на файлах

LDAP

Kerberos

Создание нестандартного аутентификатора

Авторизация

Авторизация доступа к REST API

Настройка управления доступом

Авторизация при помощи Apache Ranger

Заключение

Глава 8. Настройка производительности

Введение в настройку производительности

Побудительные мотивы настройки производительности

Жизненный цикл настройки производительности

Модель выполнения запроса

Подходы к настройке производительности Presto

Выделение ресурсов

Система хранения данных

Оптимизация запросов

Aria Scan

Сканирование таблицы

Перераспределение задач

Практическая настройка производительности

Создание CSV-таблицы и загрузка в MinIO

Преобразование CSV-таблицы в ORC

Определение параметров настройки

Нагрузочное тестирование

Заключение

Глава 9. Масштабирование Presto

Введение в масштабирование

Когда требуется масштабирование

Часто возникающие проблемы

Основные принципы

Доступность

Управляемость

Производительность

Защита

Настройка

Как масштабировать Presto

Несколько координаторов

Presto на Spark

Подкачка

Использование облачных сервисов

Заключение

Предметный указатель

Внимание!
При обнаружении неточностей или ошибок в описании книги "Изучаем и используем Presto : быстрый и надежный SQL-движок для анализа данных (автор Анжелика Ло Дука, Т. Михан, В. Бхаратан, Су Ин)", просим Вас отправить сообщение на почту help@directmedia.ru. Благодарим!