Current mood:	tired
Current music:	Gas

Об энтропии
По поводу энтропии,
в качестве ответа на комментарии к старой записи.
http://www.livejournal.com/talkread.bml?journal=tiphareth&itemid=120663

Шеннон уподобляет сообщение эргодической
динамической системе, или же марковскому процессу.
То есть под "сообщением" понимается типа старичок,
который трындит себе бесконечно в углу,
а эргодичность процесса понимается таком образом,
что два одинаковых старичка, посаженные рядом, будут
выдавать нечто статистически неотличимое от одного и того
же старичка, который натрындит в два раза больше.

Энтропия сообщения
понимается аксиоматически, следующим образом:

1. Она аддитивна. Другими словами, энтропия в сообщении
двух старичков, которые пользуются разными буквами,
такая же, как если бы один старичок говорил то же самое
в двух кодировках.

2. Если все буквы встречаются с одной и той же вероятностью,
то энтропия увеличивается при увеличении числа букв.

http://www.math.psu.edu/gunesch/entropy.html

Энтропия сообщения больше всего, если все буквы
и буквосочетания употребляются с одной и той же
вероятностью. В природе, сообщения с максимальной
энтропией встречаются если кто-то сядет на клавиатуру
очень толстый; типа вот

йфгй,бвдщй,шбхцохешоцйс
[цплшикуф09813р98о;/МК/М ;ОАДУХВ[0ь2УР9=-

Нег-энтропию сообщения можно вычислять двояко.
Можно говорить о минимальной длине алгоритма,
который будет выписывать (с некоторой степенью
достоверности или точно) данное сообщение;
это есть более-менее мера предсказуемости
сообщения. Можно говорить о минимальной
длине алгоритма, который будет проверять
(с некоторой степенью достоверности или
точно), сделано ли сообщение данным конкретным
старичком. Скажем, если старичок всегда
говорит в рифму, мы можем потребовать
от алгоритма, чтобы он проверял концовки строк;
а если старичок рассказывает про банду ельцина
под суд, пусть алгоритм следит, чтобы старичок не
говорил особо хорошего про Чубайса. Ну, проверяет
орфографию типа и все такое.

Отношение первой негэнтропии ко второй и есть,
собственно говоря, величие и монументальность;
а также красота, добро, справедливость, любовь,
женские половые признаки, советская власть и
электрификация всей страны.

Скажем, научная теорема хороша если она
(а) трудно доказуема и (б) легко формулируется.

Ане по поводу новой версии "Анархии не катит".
Она УЖАСНА.

Такие дела
Миша.