Основы теории информации и кодирования

Содержание книги "Основы теории информации и кодирования "

Предисловие
Введение
Глава 1. Введение в теорию информации
1.1. Информация. Общие понятия
1.1.1. Информация и материя
1.1.2. Информация в адаптивной системе
1.2. Методологическая схема формирования и материализации информации
1.3. Этапы обращения информации
1.4. Виды информации
1.5. Структура информации
Контрольные вопросы и задания
Глава 2. Измерение информации
2.1. Структурные меры количества информации
2.2. Статистические меры информации
2.2.1. Вероятность и информация
2.2.2. Понятие энтропии
2.2.3. Энтропия ансамбля
2.2.4. Свойства энтропии
2.2.5. Энтропия объединения
2.2.6. Количество информации и избыточность
2.2.7. Производительность источника
2.3. Семантические меры информации
2.3.1. Содержательность информации
2.3.2. Целесообразность информации
2.3.3. Динамическая энтропия
2.3.4. Существенность информации
Контрольные вопросы
Контрольные задания
Глава 3. Дискретизация и квантование сигналов
3.1. Виды дискретизации (квантования)
3.1.1. Критерии точности представления квантованного сигнала
3.1.2. Элементы обобщенной спектральной теории сигналов
3.2. Дискретизация по времени
3.2.1. Разложение в ряд Котельникова (Теорема Котельникова)
3.2.2. Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
3.2.3. Выбор интервала дискретизации по критерию среднеквадратического отклонения
3.3. Квантование по уровню
3.3.1. Оптимальное квантование по уровню
3.3.2. Дисперсия ошибки в случае использования равномерной шкалы квантования по уровню
3.3.3. Расчет неравномерной оптимальной в смысле максимума количества информации в квантованном сигнале шкалы квантования
3.3.4. Закон компандирования при условии равномерного закона распределения квантуемого сигнала
3.4. Энтропия непрерывных сообщений
3.4.1. Экстремальные свойства энтропии непрерывных сообщений
3.4.2. Эпсилон-энтропия источника непрерывных сообщений
3.4.3. Энтропия дискретного сообщения, получаемого из непрерывного путем его квантования по уровню
Контрольные вопросы
Глава 4. Кодирование информации
4.1. Элементы теории кодирования
4.1.1. Неравенство Крафта
4.1.2. Теорема об обобщении некоторых результатов, полученных для префиксных кодов, на все однозначно декодируемые коды
4.1.3. Основная теорема кодирования для канала связи без шума
4.1.4. Теорема о минимальной средней длине кодового слова при поблочном кодировании
4.2. Оптимальные неравномерные коды
4.2.1. Коды Хаффмена
4.2.2. Коды Шеннона í Фано
4.2.3. Параметры эффективности оптимальных кодов
4.2.4. Особенности эффективных кодов
4.3. Помехоустойчивое кодирование
4.3.1. Классификация кодов
4.3.2. Простейшие модели цифровых каналов связи с помехами
4.3.3. Расчет вероятности искажения кодового слова в ДСМК
4.3.4. Общие принципы использования избыточности
4.3.5. Граница Хэмминга
4.3.6. Избыточность помехоустойчивых кодов
4.3.7. Математическое введение к алгебраическим кодам
4.3.8. Линейные коды
4.3.9. Упрощённый способ построения линейного кода
4.3.10. Порядок декодирования
4.3.11. Двоичные циклические коды
4.3.12. Некоторые свойства циклических кодов
4.3.13. Построение кода с заданной корректирующей способностью
4.3.14. Матричное описание циклических кодов
4.3.15. Выбор образующего полинома
Контрольные вопросы
Контрольные задания
Глава 5. Передача информации
5.1. Виды каналов передачи информации
5.2. Разделение каналов связи
5.3. Пропускная способность каналов связи
5.3.1. Пропускная способность дискретного канала связи с шумом
5.3.2. Типичные последовательности и их свойства
5.3.3. Основная теорема Шеннона для дискретного канала с шумом
5.3.4. Пропускная способность непрерывного канала при наличии аддитивного шума
Контрольные вопросы
Контрольные задания
Заключение
Рекомендательный список литературы
Приложение