GPT-4. Руководство по использованию API OpenAI

Содержание книги "GPT-4. Руководство по использованию API OpenAI "

Предисловие от издательства
Предисловие
Об авторе
История OpenAI и ChatGPT
Об этой книге
Оставайтесь на связи
Как работает GPT
Подготовка среды разработки
Важные примечания
Установка Python, pip и виртуальной среды для разработки
Получение ключа API OpenAI
Установка официальных средств интеграции Python
Тестирование ключей API
Доступные модели и выбор оптимального варианта
Модели OpenAI и важные соглашения
Какую модель лучше использовать
Серии моделей OpenAI
Серия GPT-4
Серия GPT-3.5
Серия InstructGPT-3
Базовая серия GPT-3
Серия Codex
Content Filter
Серия DALL-E
Серия TTS
Модель Whisper
Модель встраивания
Модели и цены OpenAI
Что дальше
Использование функции завершения
Вводный пример
Роли system, user и assistant
Роль system
Роль user
Роль assistant
Завершение чата и обучение на нескольких примерах
Форматирование вывода
Ограничение количества выходных токенов
Управление остановкой завершения
Температура и галлюцинации
Параметр top_p
Что выбрать – temperature или top_p? В чем разница
Потоковая передача ответа API
Управление повторяемостью: presence_penalty и frequency_penalty
Что штрафовать – частоту или наличие
Управление количеством результатов через API
Заключение
Продвинутые примеры и разработка промптов
Что такое разработка промптов
Обучение на нескольких примерах: основной метод разработки промптов
Избыточная генерация и выбор лучшего варианта
Генерация знаний по запросу: создание песни в стиле рэп
Что такое Apple – фрукт или компания
Динамическое управление количеством токенов
Создание интерактивного помощника в окне командной строки
Что дальше
Встраивание
Что такое встраивание
Варианты применения: от поисковых систем до беспилотных автомобилей
Tesla: применение встраиваний в беспилотных автомобилях
Kalendar AI: применение встраиваний в управлении продажами
Notion: расширенные возможности поиска
DALL-E 2: преобразование текста в изображение
Изучаем встраивание текста
Встраивания для нескольких входов
Пример применения: семантический поиск
Что такое косинусное подобие
Семантический поиск и встраивание текста OpenAI
За кулисами: как работает встраивание
Продвинутые примеры встраивания
Рекомендация подходящего сорта кофе
Разработка более «нечеткого» поиска
Прогнозирование категории новостей: классификация с помощью встраивания
Оценка точности классификатора
Точность приложений классификатора в различных сценариях
Тонкая настройка и передовые методы работы
Обучение на ограниченных примерах
Улучшенное обучение на ограниченных примерах
Практическое применение тонкой настройки
Полезные приемы тонкой настройки
Выбор модели
Проверка набора данных
Максимальное количество токенов
Размер набора данных
Тестирование и улучшение обучения (гиперпараметры)
Количество эпох
Коэффициент скорости обучения
Размер пакета
Ориентировочная оценка затрат
Качество набора данных
Экспериментируйте и учитесь
Используйте проверочные наборы данных
Тестирование модели
Анализ результатов
Продвинутый пример тонкой настройки: виртуальный консультант
Набор данных, используемый в примере
Подготовка данных
Проблемы использования модели в реальных приложениях
Контекст и память: как сделать искусственный интеллект более реалистичным
В чем проблема
Отсутствие контекста = хаос случайности
История = контекст
Недостатки переноса контекста через историю
Память «последним вошел – первым вышел» (LIFO)
Проблема с памятью типа LIFO
Избирательный контекст
Применение векторной базы данных
Введение
Что такое векторная база данных
Пример 1. Использование Weaviate для повышения контекстной зависимости модели
Пример 2. Семантический поиск с помощью Weaviate и OpenAI
Пример 3. Генеративный поиск с помощью Weaviate и OpenAI
Распознавание и перевод речи с Whisper
Что такое Whisper
С чего начать
Распознавание и перевод речи
Использование Whisper SDK в коде Python
Использование API OpenAI для преобразования аудиозаписи в текст
API распознавания
API перевода
Улучшение качества распознавания речи с Whisper
Очистка аудиозаписи
Использование подсказки
Постобработка полученного текста
Преобразование текста в речь
Диалог между двумя ИИ на основе OpenAI и Weaviate
Генерация аудиофайлов
Использование аватаров модели
Что дальше
Послесловие
Предметный указатель