Количество информации: Хартли и Шеннон

N = 2^i, алфавитный подход и энтропия H = −Σpᵢ·log₂pᵢ

От режима зависят поля ниже

Например, 8 — это 3 бита

Сколько различных символов в алфавите

Через пробел или запятую; сумма должна быть равна 1

Нашли ошибку или хотите предложить улучшение?

Улучшить калькулятор «Количество информации: Хартли и Шеннон»

Теория

Количество информации измеряют в битах. Один бит — это информация, которую несёт ответ на вопрос с двумя равновероятными исходами («да» или «нет», орёл или решка). Если вариантов N и все они равновероятны, количество информации считают по формуле Хартли: \(i = \log_2 N\). Обратная связь тоже важна: \(N = 2^i\) — восьми вариантам соответствует 3 бита, потому что \(2^3 = 8\).

При алфавитном подходе считают, что все символы алфавита равновероятны. На один символ приходится \(i = \log_2 N\) бит, где N — мощность алфавита, а объём всего сообщения равен \(V = k \cdot i\) для k символов. Например, алфавит из 32 символов даёт 5 бит на символ, а сообщение из 10 знаков занимает 50 бит — это 6,25 байта, поскольку 1 байт равен 8 битам.

Когда символы встречаются с разными вероятностями, равновероятное допущение завышает объём. Точный ответ даёт формула Шеннона: \(H = -\sum p_i \log_2 p_i\), где \(p_i\) — вероятности символов. Энтропия H максимальна, когда все вероятности равны, и тогда она совпадает с формулой Хартли; редкие символы дают почти нулевой вклад.

Важно: вероятности в формуле Шеннона должны в сумме давать единицу, а символ с нулевой вероятностью вклада не даёт: \(0 \cdot \log_2 0\) считается равным нулю.

Пример с решением

  1. Условие. В сообщении три символа, которые встречаются с вероятностями 0,5; 0,25 и 0,25. Найдите среднее количество информации на один символ.
  2. Формула. \(H = -\sum p_i \log_2 p_i\).
  3. Подстановка. \(H = -(0{,}5 \cdot \log_2 0{,}5 + 0{,}25 \cdot \log_2 0{,}25 + 0{,}25 \cdot \log_2 0{,}25) = 0{,}5 \cdot 1 + 0{,}25 \cdot 2 + 0{,}25 \cdot 2\).
  4. Вычисление. \(H = 0{,}5 + 0{,}5 + 0{,}5 = 1{,}5\) бита на символ.
  5. Ответ. Средняя информация одного символа — 1,5 бита. Калькулятор в режиме «Формула Шеннона» при списке вероятностей 0.5 0.25 0.25 даёт те же 1,5 бита.

Главное

  • Формула Хартли: \(i = \log_2 N\); обратно \(N = 2^i\).
  • Бит — информация об одном из двух равновероятных исходов.
  • Алфавитный подход: \(i = \log_2 N\) бит на символ, объём \(V = k \cdot i\); 1 байт = 8 бит.
  • Формула Шеннона: \(H = -\sum p_i \log_2 p_i\) — для неравновероятных символов; при равных вероятностях совпадает с Хартли.
  • Сумма вероятностей равна 1; нулевые вероятности вклада не дают.