Тиетта. 2017, N 2 (40).

Г / • / i Наука / Science Эти вероятности известны, но это - всё, что нам и звестно относительно того, какое событие произойдёт. Можно ли найти меру того, насколько велик «выбор» из такого набора событий или сколь неопределёнен для нас его исход? Если имеется такая мера, скажем H(pv p2 ... pn), то разумно потребовать, чтобы она обладала следующими свойствами: 1. Н должна быть не­ прерывной относительно p.. 2. Если все pt равны, pi = 1/n, то Н должна быть монотонно возрастаю­ щей функцией от n. В случае равновероятных со­ бытий имеется больше возможностей выбора или неопределённости, чем в случае, когда имеются разновероятные события. 3. Если бы выбор рас­ падался на два последовательных выбора, то пер­ воначальная Н должна была бы быть взвешенной суммой индивидуальных значений Н. < ...> В при­ ложении 2 (с. 323-324 - Ю.В.) устанавливается сле­ дующее. Теорема 2. Существует единственная функ­ ция Н , удовлетворяющая трём перечисленным выше свойствам. При этом Н имеет вид H =- K t PilogPi i=1 где К - некоторая положительная константа». О подходе Э. Альфена читаем у А.А. Юшке­ вича (1974, с. 168-170). «Отправным пунктом авто­ ра является следующая задача статистики. По не­ скольким независимым наблюдениям случайно­ го опыта с n возможными исходами нужно про­ верить гипотезу о том, что распределение веро­ ятностей этих исходов с точностью до их нумера­ ции совпадает с данным распределением {p:, ..., p }. При решении этой задачи имеет смысл поль­ зоваться такими характеристиками распределе­ ния, которые инвариантны относительно всех пе­ рестановок чисел p 1, . , p n. Эти характеристики Э. Альфен назвал внутренними (intrinseque). Сперва вводятся внутренние моменты ф(к) = p1k+1+ ... pnk+1 = M pk (1) - математические ожидания целых степеней слу­ чайной вероятности р наблюдённого исхода. Это аналоги обычных моментов т, ' р, + ... + x кp = M xk i l n г n случайной величины х, принимающей значения ху ..., xn с вероятностями p1, ..., pn. Выражение (1) сохраняет смысл при замене натурального числа к любым действительным t. Получающаяся анали­ тическая функция ф(t) = M pt (2) рассматривается как внутренний аналог обычной характеристической функции <p(t) = M eUx . (3) Внутренняя характеристическая функция < . > определяет числа p1, . , pn с точностью до пе­ рестановки. < ...> Аналитическую функцию естественно разло­ жить в ряд Маклорена, т.е. выразить через значение её производных любого порядка в нуле. В случае обычной характеристической функции (3) эти про­ изводные возвращают нас к обычным моментам ф (к)(0) = ikM хк. В случае внутренней характеристической функции (2) получаем внутренние логарифмиче­ ские моменты Гк= ty(k)(0) = p1lnkp1+ ... + pnlnkpn= M lnkp . Нулевой момент Г всегда равен 1. Первым нетривиальным моментом является Г = М ln p. Поскольку p < 1, то Г < 0, и вместо Г предлагается в качестве первой, главной внутренней характери­ стики распределения рассматривать положитель­ ную величину Н = - Г1= - р1ln p1- ... - pnln pn= - M In p. (4) Эту характеристику распределения {p1, ..., pn} Э. Альфен называет его неопределённостью. Та же самая величина Н под названием энтропии вводится и К. Шенноном в качестве меры неопре- делённости распределения p pn}. < ...> Э. Аль- фен устанавливает следующие свойства неопреде- лённости Н, оправдывающие её название. 1. Н > 0, причём Н = 0 тогда и только тогда, когда одна из вероятностей pi равна 1, а остальные - 0 (так что исход испытания можно точно предугадать). 2. При фиксированном числе исходов n неопреде- лённость Н максимальна, когда все исходы равно­ вероятны; для распределений с равновероятны­ ми исходами Н возрастает с ростом n. < ...> Пер­ вые два свойства сопровождают определение эн­ тропии и у К. Шеннона. Второе свойство входит в состав аксиоматического определения меры не- определённости, из которого К. Шеннон получа­ ет формулу (4)». Э. Альфен выводит и третье свойство, кото­ рого у К. Шеннона нет. Оно аналогично хорошо известному неравенству П.Л. Чебышёва, характе­ ризующему вероятности отклонений случайной величины от математического ожидания. Сре­ ди прочего, это подчёркивает самостоятельность работы Э. Альфена. Три независимых подхода к выводу формулы Больцмана - Альфена - Шенно­ x