15.4. Решение задач на определение объёма информации
Содержание
Чтобы решить задачу на определение объёма информации, выясняют, что требуется найти: число бит для одного из возможных исходов, объём сообщения из символов или информацию о событии с известной вероятностью. Для равновероятных вариантов используют соотношение N = 2^i, для текста - V = K * i, для события - 1/p = 2^i. При нескольких исходах разной вероятности применяют формулу Шеннона.
Что нужно понять
- Для N равновероятных исходов число бит i находят из соотношения N = 2^i. Если требуется целое число бит для кодирования, результат округляют вверх.
- Бросок шестигранного кубика имеет шесть равновероятных результатов: двух бит недостаточно, а трёх достаточно для их кодирования.
- Для текста из K символов информационный объём равен V = K * i, где i - информационный вес символа в выбранном алфавите.
- При восьмибитном кодировании один символ занимает один байт; в одном килобайте 1024 байта.
- Если кодируют целые значения от -30 до 34 градусов включительно, возможны 65 значений, и для каждого достаточно 7 бит.
- Вероятность события определяют отношением благоприятных исходов к общему числу равновозможных исходов: p = K/N.
- Информацию о событии с вероятностью p находят из 1/p = 2^i: менее вероятному событию соответствует больше бит информации.
- Если исходы имеют разные вероятности, среднее количество информации вычисляют по формуле Шеннона, учитывая вероятность каждого исхода.
Видео
Скачать к теме
Главное по теме
Способ вычисления зависит от условий задачи: числа возможных исходов, длины и кодировки сообщения либо вероятностей событий. Полученный результат проверяют по единицам измерения.
Ключевые понятия
Формулы
- N число равновероятных исходов или мощность алфавита
- i информация об одном исходе или символе , бит
- V информационный объём текста , бит
- K число символов в тексте , символов
- i информационный вес одного символа , бит/символ
- p вероятность события
- K число благоприятных исходов
- N общее число равновозможных исходов
- p вероятность события
- i количество информации о его наступлении , бит
- I среднее количество информации , бит
- p1, p2, ..., pN вероятности возможных исходов
- N число различных исходов
Как это работает
Что нужно запомнить
- При подсчёте целых значений диапазона учитывают обе границы.
- Для хранения кода требуется целое число бит; при нехватке разрядов округляют вверх.
- Для текстовых сообщений не смешивают биты, байты и килобайты.
- Формула Шеннона учитывает разные вероятности исходов.
Проверь себя
Сколько целых бит нужно для кодирования результата броска шестигранного кубика?
Сколько различных целых значений температуры от -30 до 34 градусов включительно?
Сообщение размером 11 Кбайт содержит 11 264 символа. Сколько байт приходится на символ?
Какую формулу применяют для определения количества информации при нескольких исходах с разными вероятностями?
В ящике 32 мяча. Сообщение о выборе жёлтого мяча несёт 4 бита. Сколько жёлтых мячей?