Читать фрагмент

книга

Изучаем Spark

Автор: Холден Карау, Энди Конвински, Патрик Венделл, Матей Захария

Объем обрабатываемых данных во всех областях человеческой деятельности продолжает расти быстрыми темпами. Существуют ли эффективные приемы работы с ним? В этой книге рассказывается об Apache Spark, открытой системе кластерных вычислений, которая позволяет быстро создавать высокопроизводительные программы анализа данных. C помощью Spark вы сможете манипулировать огромными объемами данных посредством простого API на Python, Java и Scala.Написанная разработчиками Spark, эта книга поможет исследователям данных и программистам быстро включиться в работу. Она рассказывает, как организовать параллельное выполнение заданий всего несколькими строчками кода, и охватывает примеры от простых пакетных приложений до программ, осуществляющих обработку потоковых данных и использующих алгоритмы машинного обучения.

Форматы: PDF

Издательство: ДМК Пресс

Год: 2023

Место издания: Москва

ISBN: 978-5-89818-320-2

Страниц: 305

Артикул: 103290

Возрастная маркировка: 16+

Электронная книга

519 ₽

Купить и скачать

Содержание

Содержание книги "Изучаем Spark : молниеносный анализ данных"

Предисловие

Вступление

Глава 1. Введение в анализ данных с помощью Spark

Что такое Apache Spark?

Унифицированный стек

Кто и с какой целью использует Spark?

Краткая история развития Spark

Версии Spark

Механизмы хранения данных для Spark

Глава 2. Загрузка и настройка Spark

Загрузка Spark

Введение в командные оболочки Spark для Python и Scala

Введение в основные понятия Spark

Автономные приложения

В заключение

Глава 3. Программирование операций с RDD

Основы RDD

Создание RDD

Операции с RDD

Передача функций в Spark

Часто используемые преобразования и действия

Сохранение (кэширование)

В заключение

Глава 4. Работа с парами ключ/значение

Вступление

Создание наборов пар

Преобразования наборов пар

Действия над наборами пар ключ/значение

Управление распределением данных

В заключение

Глава 5. Загрузка и сохранение данных

Вступление

Форматы файлов

Файловые системы

Структурированные данные и Spark SQL

Базы данных

В заключение

Глава 6. Дополнительные возможности Spark

Введение

Аккумуляторы

Широковещательные переменные

Работа с разделами по отдельности

Взаимодействие с внешними программами

Числовые операции над наборами RDD

В заключение

Глава 7. Выполнение в кластере

Введение

Архитектура среды Spark времени выполнения

Развертывание приложений с помощью spark-submit

Упаковка программного кода и зависимостей

Планирование приложений и в приложениях Spark

Диспетчеры кластеров

Выбор диспетчера кластера

В заключение

Глава 8. Настройка и отладка Spark

Настройка Spark с помощью SparkConf

Компоненты выполнения: задания, задачи и стадии

Поиск информации

Ключевые факторы, влияющие на производительность

В заключение

Глава 9. Spark SQL

Включение Spark SQL в приложения

Использование Spark SQL в приложениях

Загрузка и сохранение данных

Функции, определяемые пользователем

Производительность Spark SQL

В заключение

Глава 10. Spark Streaming

Простой пример

Архитектура и абстракция

Преобразования

Операции вывода

Источники исходных данных

Круглосуточная работа

Веб-интерфейс Spark Streaming

Проблемы производительности

В заключение

Глава 11. Машинное обучение с MLlib

Обзор

Системные требования

Основы машинного обучения

Типы данных

Алгоритмы

Советы и вопросы производительности

Высокоуровневый API машинного обучения

В заключение

Предметный указатель

Внимание!
При обнаружении неточностей или ошибок в описании книги "Изучаем Spark : молниеносный анализ данных (автор Холден Карау, Энди Конвински, Патрик Венделл, Матей Захария)", просим Вас отправить сообщение на почту help@directmedia.ru. Благодарим!