15.3. Вероятностный подход
Содержание
Вероятностный подход оценивает информацию с учётом вероятности события. Чем менее вероятен результат, тем больше информации несёт сообщение о его наступлении. Если событие имеет вероятность p, количество информации i определяется соотношением 1/p = 2^i. Для нескольких исходов в источнике приводится формула Шеннона.
Что нужно понять
- Не все события одинаково вероятны; вероятность зависит от числа благоприятных исходов и общего числа возможностей.
- Вероятность события вычисляют как p = K / N, где K - число благоприятных исходов, N - общее число исходов.
- Информация о наступлении события связана с вероятностью соотношением 1/p = 2^i.
- Чем меньше вероятность события, тем больше информация о его наступлении.
- Формула Шеннона учитывает несколько возможных событий с вероятностями p1, p2 и так далее.
- Если вероятности всех исходов одинаковы, формула Шеннона переходит в формулу Хартли.
- В задачах о цветных шарах вероятность можно определить по доле шаров нужного цвета от общего количества.
Видео
Скачать к теме
Главное по теме
Количество информации о событии связано с его вероятностью: редкое событие несёт больше информации.
Ключевые понятия
Формулы
- p вероятность интересующего события
- K число благоприятных исходов
- N общее число равновозможных исходов
- p вероятность события
- i количество информации , бит
- I количество информации о распределении исходов , бит
- p1, ..., pN вероятности отдельных исходов
- N число возможных событий
Как это работает
Что нужно запомнить
- В вероятностном подходе учитывается вероятность, а не длина сообщения.
- Формула Хартли получается как частный случай равных вероятностей.
Проверь себя
Какое событие несёт больше информации при сообщении о его наступлении?
Как вычисляют вероятность по числу благоприятных и всех исходов?
Какое соотношение связывает вероятность p и количество информации i?
При каком условии формула Шеннона сводится к формуле Хартли?
Какой подход учитывает различные вероятности исходов?