Лекция на тему Подходы к измерению информации

Предпросмотр материала:

Лекция: Подходы к измерению информации

Введение: Что такое информация?

Информация — это не данные (сырые факты), а сведения, которые уменьшают неопределенность знаний о каком-либо событии у их получателя.

Простой пример: Если вы знаете, что монета упала орлом, сообщение "выпал орел" не несет для вас новой информации. Но если вы не видели броска, то это же сообщение полностью снимает неопределенность и является информативным.

Для измерения информации существует несколько фундаментальных подходов.

1. Содержательный (вероятностный) подход

Этот подход был предложен в середине XX века американским математиком Клодом Шенноном, основателем теории информации. Он связывает количество информации с вероятностью события.

Ключевая идея: Чем менее вероятно событие, тем больше информации мы получаем при его наступлении.

Сообщение о редком, неожиданном событии (например, "летом выпал снег") очень информативно.
Сообщение о частом, ожидаемом событии (например, "летом было тепло") несет мало информации.

Формула Шеннона для количества информации

Если событие имеет вероятность p, то количество информации i в сообщении о его наступлении вычисляется по формуле:

i = log₂(1/p) = -log₂(p)

Выбор основания логарифма: Основание 2 не является строго обязательным, но оно наиболее удобно для вычислительной техники, так как соответствует выбору между двумя состояниями (0 и 1). Единица измерения в этом случае — бит.

Пример расчета:

Подбросим несимметричную монету, у которой вероятность выпадения орла (P(О)) = 0.25, а решки (P(Р)) = 0.75.

Информация в сообщении "выпал орел": i = -log₂(0.25) = 2 бита.
Информация в сообщении "выпала решка": i = -log₂(0.75) ≈ 0.42 бита.

Как мы и ожидали, сообщение о более редком событии (орел) несет больше информации.

Энтропия Шеннона

Если возможны несколько событий (например, outcomes A, B, C) с вероятностями p₁, p₂, p₃, то для оценки средней неопределенности всей системы (источника информации) используется понятие энтропии (H).

Формула энтропии:
H = - Σ (pᵢ * log₂(pᵢ))

Энтропия — это среднее количество информации, приходящееся на одно сообщение от источника.

Энтропия максимальна, когда все события равновероятны (максимальная неопределенность).
Энтропия равна 0, когда одно из событий имеет вероятность 1 (полная определенность, никакой новой информации мы не получаем).

2. Алфавитный (объемный) подход

Этот подход абстрагируется от содержания и вероятности событий. Он отвечает на вопрос: "Какой объем памяти требуется, чтобы хранить это сообщение?".

Ключевая идея: Информация рассматривается как последовательность символов из некоторого алфавита.

Алфавит — это конечный набор символов (например, {0, 1} для двоичного кода, {А, Б, ..., Я} для русского языка).
Мощность алфавита (N) — это количество символов в нем.

Формула Хартли

Для определения количества информации i, которое несет один символ алфавита мощностью N, используется формула, предложенная Ральфом Хартли:

i = log₂(N)

Пример:

Двоичный алфавит (N=2: 0, 1): i = log₂(2) = 1 бит. Один бит — это количество информации, которое несет один символ двоичного алфавита.
Алфавит русского языка (допустим, N=32 буквы + пробел = 33): i = log₂(33) ≈ 5.04 бита. То есть для кодирования одной буквы такого алфавита в среднем потребуется чуть более 5 бит.

Расчет объема всего сообщения

Если сообщение состоит из K символов, то его информационный объем (I) вычисляется по формуле:

I = K * i = K * log₂(N)

На практике из-за разной частоты использования символов (буква "О" встречается чаще, чем "Ъ") это формула дает завышенную оценку. Реальный объем близок к тому, который рассчитывается по вероятностному подходу Шеннона.

3. Практические единицы измерения информации

Поскольку бит — очень мелкая единица, в которой используется производные единицы:

1 байт = 8 бит
1 килобайт (КБ) = 1024 байта = 2¹⁰ байт
1 мегабайт (МБ) = 1024 КБ = 2²⁰ байт
1 гигабайт (ГБ) = 1024 МБ = 2³⁰ байт
1 терабайт (ТБ) = 1024 ГБ = 2⁴⁰ байт

Обратите внимание: В сфере маркетинга (производители жестких дисков) часто используются единицы СИ, где приставка "кило-" означает 1000, а не 1024. Поэтому емкость диска может в системе отображаться чуть меньше, чем заявлено на упаковке.

Сравнительная таблица подходов

Критерий	Вероятностный подход (Шеннон)	Алфавитный подход (Хартли)
Сущность	Измерение информации как уменьшения неопределенности.	Измерение информации как объема данных.
Что измеряет	Качество информации (информативность события).	Количество информации (длина кода, размер памяти).
Учет вероятности	Учитывает вероятности событий.	Не учитывает вероятности, считает все символы равнозначными.
Основная формула	i = -log₂(p)	I = K * log₂(N)
Применение	Теория информации, сжатие данных (архивация), криптография.	Организация памяти ЭВМ, измерение объема файлов, пропускной способности каналов.

Заключение

Оба подхода не противоречат, а дополняют друг друга:

Подход Шеннона более фундаментален. Он описывает суть информации и позволяет создавать оптимальные коды, где частые символы кодируются короткими последовательностями (как в архиватора ZIP или RAR), что экономит память.
Подход Хартли является упрощенным, но чрезвычайно удобным для технической реализации. Именно он лежит в основе всех современных вычислительных систем, работающих с двоичным кодом.

Понимание разницы между этими подходами является ключевым для изучения информатики, теории передачи данных и смежных дисциплин.

Лекция на тему Подходы к измерению информации

DOCX

01.10.2026

Файл будет скачан в формате:

DOCX

Автор материала

Ляшков Михаил Алексеевич

Преподаватель

На сайте: 1 год и 11 месяцев
Всего просмотров: 3414
Подписчики: 0
Всего материалов: 28

3414
просмотров
28
материалов
0
подписчиков

Настоящий материал опубликован пользователем Ляшков Михаил Алексеевич.
InfoLesson является информационным посредником. Всю ответственность за опубликованные материалы несут пользователи, загрузившие материал на сайт. Если Вы считаете, что материал нарушает авторские права либо по каким-то другим причинам должен быть удален с сайта, Вы можете на материал.