Feladatok az önálló munkavégzésre entrópia

Problémák a következő témában: „Az információ mennyisége”

Lásd. 1_SPD előadás és 1_SPD_dopolnenie

Példa 0. Tekintsük iskolai értékelés meghatározni, hogy mi a valószínűsége, hogy az egyes értékelési, meg kell számolni az összes különböző becslések egy tanuló kellően hosszú ideig, és hogy hány kettesével, hármasával, négyesével és ötös.

Tegyük fel, hogy úgy döntött, hogy két éven át kapott 100 hallgató értékeléseket. Ezek közül 60 - "5" Öt valószínűsége P5 = 60/100 = 0,6% 60 25 - «4» P4 = 25/100 = 0,25 25% 10 - «3» P3 = 10/100 = 0, január 10% 5 - «2» P2 = 5/100 = 0,05% Leírás 5: N - a teljes számú lehetséges variáció egy protsessan - amelyek mi érdekli sobytiep = n / N most, ismerve a valószínűsége az esemény lehet meghatározni az információk mennyisége a jelentésben mindegyikről. Az elmélet szerint, meg kell oldani egy exponenciális egyenlet

I «5» = log2 (1 / 0,6) = log2 (5/3) = 0737 bit I «4» = log2 (1 / 0,25) = log2 (4) = 2 bites I «3» = log2 (1 / 0,1) = log2 (10) = 3322 bit I «2» = log2 (1 / 0,05) = log2 (20) = 4322 bit kisebb a valószínűsége, hogy egy esemény, annál több információt hordoz üzenetet. Az információ mennyisége a jelentésben néhány esetben attól függ, hogy a valószínűsége ennek az eseménynek. Minél kisebb a valószínűsége, annál több információt.

Példa 0. A három betűvel A, B, és C) létrehozása üzenetek maximális számát, kombinálásával legalább három betű az üzenet. b) Mennyi információra van szükség egy ilyen jelentéseket? c) Mi a mennyiségű információt a karakter az elsődleges ábécé?

Határozat. a) m2 = 3; n = 3; N == március 3 = 27

b) I = log2 N = log2 27 = 4,75489 bit;

c) H = log 2 m1 = log2N = log2

1. példa Student szállít eltolás. Ő nem tudja átadni a tesztet, és adja át azonos valószínűséggel. Határozzuk meg a tartalmazott információk mennyiségének a jelentésben, hogy átadta a ranglistán. Mivel az események „offset megfelelt” és „nem felelt meg ellensúlyozni” egyformán használjuk a képlet egyaránt Hartley üzeneteket, és kap, hogy üzenet tartalmazza log2 2 = 1 bit információt.

2. példa: Egy ember gondol egy számot 0 és 15. Mi az a minimális számú kérdés, hogy szükség van válasza „igen” vagy „nem”, akkor kell kitalálni a számot? Ismét Hartley képlet: I = log2N, kicsit

log2 16 = 4 kérdés

3. példa A házban 16 apartman mindegyike laknak átlagosan 2 fő részére. Mi az a minimális számú kérdés, hogy szükség van válasza „igen” vagy „nem”, akkor világosan meg kell találni az egy főre jutó?

A személyek számát a házban 16 * 2 = 32.

Igen / nem kérdés - 1 bit információt, azaz a alapú logaritmusa 2.

Képletének alkalmazásával Hartley log2 m logirifm állapotok száma, amely egyenlő 32.

Ebből következik, hogy a minimális számú kérdést kell feltenni, hogy megtalálják 1 lakosra képlettel számítjuk ki, és még mindig Hartley log2 32 = 5

4. példa egyidejűleg dob két kockával. Határozzuk meg a tartalmazott információk mennyiségének egy üzenetet, hogy a termék a szám csökkent pontot páratlan.

Nebhodimo számolni a valószínűsége páros és páratlan darab.

Összesen metszettel a két kocka 36, ​​páratlan esemény (1,3, 5) két Ćupića 3 * 3 = 9.

Annak a valószínűsége, páratlan termék = 1/4. még 3/4

A Shannon képletű

5. példa dob két kockával egyidejűleg. Határozza meg az információ mennyiségét az üzenetben, hogy az összeg a kihagyott pontok nem egyenlő 6.

Nebhodimo számolni a valószínűsége, hogy a megfelelő összeget 6.

Példa 5.1. Hányféleképpen lehet átadni a helyzetét figurák a sakktáblán? Mi az információk mennyisége az egyes esetekben?

Határozat. Lehetőség van, hogy felsorolni az összes sejt a sakktábla, és továbbítja sejtek számát. Ez megköveteli a 64 minőségi jellemzője m = 64, de az átviteli, a sejtek számának elegendő Bude egy üzenetet.

Ebben az esetben az információk mennyisége

Határozza meg a kívánt sejt tábla, átvezetve a koordinátákat vízszintesen és függőlegesen. Elég minőségi jellemzők nyolc (nyolc szobája a vízszintes és nyolc függőleges), de meg kell, hogy adja át két üzenetet. Ebben az esetben az információk mennyisége

Ha a szám a vízszintes és függőleges átadása a bináris kód lesz szükség két minőségi tulajdonság, hogy a kombinált három elemet az üzenet. Ebben az esetben az információk mennyisége

6. példa: Mennyi információ (Shannon) kapunk, ha ismertté vált, hogy pontosan milyen területen sakktábla, milyen színű és milyen szám van beállítva?

Fekete király a pályán h 7.

Az általunk használt képlet: I = -log p. ahol

pchkph7 - valószínűleg a fekete király a pályán h 7. Ez a valószínűség egy kapott egyidejű előfordulása három esemény: választani fekete darab (PCH = 1/2), King (PKR = 1/16), a területen h 7 (pH = 7 = 1/64) .

Azzal érvelve, hasonlóan lehet számítani az információ mennyiségét bármely szám, tekintve, hogy az kiválasztásának valószínűségét egy gyalog - 1 \ 2; elefántok, és a ló bástya -1 \ 8; dáma, király -1 \ 16.

Számolja magát az információk mennyisége a különböző számok és az átlagos mennyiségű információt egyetlen számmal.

A válasz állítólag - 9,125 [bit].

7. példa Az ábécé áll az A, B, C, D. A valószínűségét a betűk rendre = PA PB = 0,25; pc = 0,34; PD = 0,16. Határozza meg az információk mennyisége a karakter az üzenet, alkotják az ilyen leveleket.

Határozat. Az információ mennyisége az ábécé van entrópia az ábécé. Mivel az ábécé betűit, egyformán valószínű, akkor az entrópia

Feladatok önálló munka keretében (a védelem a kollokvium)

Kinyújtotta sejt egy sakktáblán. Hány megválaszolandó kérdés „igen” vagy „nem”, akkor kell kitalálni, a ketrec?

A házban 16 apartman, mindegyik él átlagosan 2 fő részére. Mi az a minimális számú kérdés, hogy szükség van válasza „igen” vagy „nem”, akkor világosan meg kell találni az egy főre jutó?

A házban 16 apartman, mindegyik haza pontosan egy ember. Mi az a minimális számú kérdés, hogy szükség van válasza „igen” vagy „nem”, akkor világosan meg kell találni az egy főre jutó?

Dob két kockával egy időben. Határozzuk meg a tartalmazott információk mennyiségének egy üzenetet, hogy a termék a pontok száma csökkent még.

Dob két kockával egy időben. Határozza meg az információ mennyiségét az üzenetben, hogy az összeg a kihagyott pontok értéke 6.

Dob két kockával egy időben. Határozza meg az információ mennyiségét az üzenetben, hogy az összeg a kihagyott pontok nem egyenlő 6.

Dob két kockával egy időben. Határozza meg az információ mennyiségét az üzenetben, hogy az összeg a kihagyott pontok nem egyenlő 6.

Dob két kockával egy időben. Határozzuk meg a tartalmazott információk mennyiségének egy üzenetet, hogy a termék a szám csökkent pontot páratlan.

Az óra megállt, és megmutatta 15:23. Határozza meg az információ mennyiségét az üzenetben.

A forrás generál jelet egy valószínűségi p1 Z1 és Z2 valószínűséggel p2. Határozza meg, hogy átlagosan mennyi információt az üzenetben n karakter az ábécé, feltételezve, hogy a kapcsolat egymást követő szimbólumok között hiányzik.

A forrás generál jelet egy valószínűségi p1 Z1 és Z2 valószínűséggel p2. Mi a forrása az entrópia?

Student egyformán valószínű, hogy bármilyen értékelési teszt. Határozza meg az információ mennyiségét az üzenetben, hogy megadja magát, de nem 5.

Student egyformán valószínű, hogy megkapja lubuyu értékelést a vizsgálat. Mennyiségének meghatározására szereplő információk a jelentés, hogy ő letette a vizsgát.

Student egyformán valószínű, hogy bármilyen értékelési teszt. Mennyiségének meghatározására szereplő információk a jelentés, hogy ő átadott 4.

Diák vesz hitelt. Ő nem tudja átadni a tesztet, és adja át azonos valószínűséggel. Határozzuk meg a tartalmazott információk mennyiségének a jelentésben, hogy átadta a ranglistán.

Diák vesz hitelt. Valószínűség át p1, nem kézzel - p2. Határozza meg az információ mennyiségét az üzenetben, hogy nem ad hitelt.

Diák vesz hitelt. Valószínűség át p1, nem kézzel - p2. Határozzuk meg a tartalmazott információk mennyiségének a jelentésben, hogy átadta a ranglistán.

Két nyíl, amelyre a valószínűsége, ütő a cél rendre egyenlő P1 és P2 által gyártott egy lövés. Az eredmény az volt, hogy a cél ütött. Hogy mennyi információ található ebben az üzenetben?

Két nyíl, amelyre a valószínűsége, ütő a cél rendre egyenlő P1 és P2 által gyártott egy lövés. Az eredmény az volt, hogy a cél nem volt lenyűgözve. Hogy mennyi információ található ebben az üzenetben?

Vannak n számú azonos érméket, amelyek közül az egyik könnyebb. Hány mérés sugár egyensúly szükséges és elégséges, hogy megtalálja?

Egy ember gondol egy számot 0 és 15. Mi az a minimális számú kérdés, hogy szükség van válasza „igen” vagy „nem”, akkor kell kitalálni a számot?

Egy személy gondol egy számot 0-tól 15 Ismeretes, hogy pontosan kitalálni időben ad az igaz, a rossz válasz. Mi az a minimális számú kérdés, hogy szükség van válasza „igen” vagy „nem”, akkor kell kitalálni a számot?

Feladat 1.12. Mi az entrópia a rendszer, az állam, melynek leírása diszkrét értéket az alábbi valószínűségi eloszlás:

Mi az információk mennyisége egy üzenetben küldött bináris kombinációja öt számjegyű és öt számjegyű a kettő kombinációja, ha a karakterek vannak kódolva ábécé egyaránt?

Mi az információk mennyisége a készítmény 8 üzenet még négy hármas kódot?