Valószínűségi megközelítés annak értékeléséhez, az információ mennyisége

Középpontjában a világunk alapját három összetevőből áll: anyag, energia és információ. Mint sok a világon az anyag, energia és információ? Lehetséges, hogy mérni őket, és hogyan? Tisztában vagyunk azzal, módszerek mennyiségét mérjük az anyag és energia. De mi a helyzet az információt? Meg tudjuk mérni?

Már jeleztük, hogy számos megközelítés annak értékeléséhez, az információ mennyiségét. Most van egy közelebbi pillantást az egyiket.

Bármilyen üzenet lesz informatív, ha kitölti az ember a tudás, azaz a Csökkenti a bizonytalanság a tudás.

equiprobable események

Például a pénzfeldobást, megpróbáljuk kitalálni, merre esik. Lehetséges az alábbi eredményeket: az érme lenne a „sas” vagy „farka”. Mindegyik két esemény lesz egyformán valószínű, azaz a. E. Egyik sem előnyösebb, mint a többi. Mielőtt feldobás egy pénzérmét, senki sem tudja, hogyan esik, azaz bizonytalanság van a tudás. Bekövetkezése után az esemény, éppen ellenkezőleg, van teljes bizonyossággal, mint a dobó kap egy vizuális üzenet állapotáról az érmék, amelyek viszont csökkenti a bizonytalanságot annak ismerete kétszer, mert két egyformán valószínű esemény volt egy.

Egy másik példa az a helyzet hatlapú kocka, azaz dobás előtt nem lehet tudni, hogy milyen módon fog esni. Ebben az esetben van lehetőség, hogy emiatt a hat egyformán. Így akár öntött bizonytalanság tudás dobó lesz egyenlő 6 után a lövés, akkor csökkenni fog pontosan 6-szor, mivel ez volt a 6. egyformán valószínű az események.

Vegyünk egy példát, ahol a vizsgálatot készítettünk 40 jegyeket. Annak a valószínűsége az események, hogy fog történni, ha húzza a jegyet, egyenlő lesz 40. És ezek az események egyformán valószínű. Ebben az esetben, a bizonytalanság a tudás a tanuló választhat a jegyet, egyenlő lesz 40. Ennek megfelelően, a bizonytalanság a tudás után a hallgató vette a jegyet kell csökkenteni 40-szer. Tegyük fel magunknak, hogy ez a szám az a szám a húzott jegyet függ. Nem, mert az események egyformán valószínű.

Elemzése után minden példát fentebb, arra lehet következtetni, hogy minél nagyobb a kezdeti számos lehetséges equiprobable események, annál nagyobb a szám, ahányszor csökkenti a bizonytalanságot a tudás, és minél több információt kell tartalmaznia a jelentés az eredmények a tapasztalat.

Problémák kontroll minden tantárgyból. 10 éves tapasztalat! Ár 100 rubelt. 1-jétől nap!

nonequiprobable események

Tekintsük a példát a beszélt nyelv. Térjünk át a tényeket bizonyított tanulmányok azt mutatják, hogy mind a beszélt nyelv egyes betűk sokkal gyakoribb, mint mások. A kutatási eredmények arra utalnak, hogy a $ 1,000 $ betűk különböző beszélt nyelvek teszik ki a különböző ismétlések számát. Például, az alábbi táblázat mutatja a betűk a magyar és angol nyelven:

Ezen túlmenően, a valószínűségét az egyes betűk attól függ, milyen leveleket használják őket. Tehát a magyar nyelv után magánhangzóra nem lehet puha jele, és a szavak nem használt négy egymást követő magánhangzók stb Beszélt nyelvek, mint általában, azok jellemzőit és minták. Ezért az információk mennyisége szereplő üzenetek bármely beszélt nyelv elfogadhatatlan értékeltük Hartley képlet amelyet abc megközelítés becslése és jellemző információ példát equiprobable események (például az érme és a kocka).

Problémák kontroll minden tantárgyból. 10 éves tapasztalat! Ár 100 rubelt. 1-jétől nap!

Hogyan állapítható meg, hogy mennyi információt tartalmaz, például a szöveg a regény „Háború és béke” vagy freskók és festmények a nagy olasz művészek, vagy a genetikai kód? A választ ezekre a kérdésekre, és hasonlók még nem ismertek a tudomány, és minden valószínűség szerint nem fog hamar ismertté. Azonban mindenki érdekelt abban, lehetséges, hogy objektíven értékelni az információ mennyiségét? A probléma az ilyen jellegű lehetnek a következő példa.

Annak megállapítása, hogy az üzenetek, egyformán valószínű „első kijön az épületből nő”, és „az első, hogy jöjjön ki az épületből egy férfi”? Az egyértelmű válasz erre a kérdésre: nem. Minden attól függ, hogy milyen épület ez kérdéses. Ha igen, például az épület egy nőgyógyászati ​​klinikán, a lehetőséget, hogy menjen először a nők igen magas, ha ez egy katonai létesítménybe, a valószínűsége, hogy menjen először a férfiak magasabb, mint a nők, de ha ez a mozi épületében, annak a valószínűsége, hogy menjen előre és férfiak nő egyforma.

Becslése mennyiségű információt. Shannon formula

A problémák megoldására az ilyen típusú használt átfogó értékelést az információk mennyisége által kínált az amerikai tudós Claude Shannon 1948. Ő hozta létre a képlet meghatározására mennyiségű információt képes figyelembe venni az esetleges egyenlőtlen valószínűsége üzenetek tartalma a készlet. Shannon létrehozásakor használt képlet alkalmazott matematika és a hidrodinamika valószínűségi mértéket bizonytalanság (úgynevezett entrópia) annak érdekében, hogy teljes mértékben értékelni az állam a vizsgált rendszerrel és a lehető legjobb információkat a jelenlegi folyamatok a rendszerben. Ez a becslés az információk mennyisége lényegében egy valószínűségi mérték. és hogyan kell megbecsülni a bizonytalanság, ez tükrözi a képessége minden hatalom gyakorlására egyre több állami és ezáltal ad tájékoztatást.

Problémák kontroll minden tantárgyból. 10 éves tapasztalat! Ár 100 rubelt. 1-jétől nap!

Shannon entrópia átlagaként definiáltuk logaritmikus függvény a beállított valószínűségek a lehetséges állapotok a rendszer (a lehetséges kimenetelek a kísérlet). Kiszámításához a Shannon entrópia javasolt a következő egyenletet:

$ H = - (. P_1log_2p_1 + p_2log_2p_2 + + p_Nlog_2p_N) $,

ahol a $ p_i $ - valószínűsége $ i $ -edik esemény a készlet $ N $ események.

Ezután az információk mennyisége eredményeként kapott tapasztalat, nem egyszerűen a különbség az entrópia a rendszer ($ H_0 $) és után ($ H_1 $) tapasztalat:

és ha a bizonytalanság a tapasztalatok eredményeképpen teljesen kizárt, hogy van:

$ I = \ Sigma (p_ilog_2p_i), i = 1, \ dots, N $.

Vegyünk egy példát, amely megerősíti a használata az elmélet Shannon a gyakorlatban.

A tó ad otthont minnows és sügér. Számolja az egyedszám az összes populációban (minnows - $ 1500 $ és sügér - $ 500 $). Meg kell határozni, hogy mennyi információ van jelen a jelentések, hogy a halász fogott minnows, sügér, a hal?

Határozat. Események fogni minnows és sügér nem egyformán valószínű, mert sügér a tóban él sokkal kevesebb, mint minnows.

A teljes száma minnows és sügér, hogy él a tóban:

Határozzuk meg a valószínűsége fogás minnows:

Határozzuk meg annak a valószínűsége, sügér fogás:

ahol I_1 $ $ és $ $ I_2 - valószínűség fogás minnows és sügér volt.

Az információk mennyisége foglalt nyilatkozatot fogási minnows:

$ I_1 = log_2 (\ frac) »0,43 $ bit

Az információk mennyisége foglalt nyilatkozatot fogás sügér:

$ I_2 = log_2 (\ frac) »2 $ bit.

Az információk mennyisége az üzenetben lévő a halfogás (Carassius vagy álsügér) kiszámítása a következő képlet Shannon:

$ I = - p_1log_2p_1 - p_2log_2p_2 $

$ I = -0,75 \ cdot log_20,75- 0,25 \ cdot log_20,25 = -0,75 \ cdot (\ frac) -0,25 \ cdot (\ frac) = 0604 bit „$ 0,6 bit.

Válasz: Az üzenet tartalmazza a $ 0.6 $ bit információt