Iga arvutifail koosneb baitidest. Baidi väärtus võib olla vahemikus 0 kuni 255. Informatsiooni entroopia on statistiline parameeter, mis näitab failis teatud baitide esinemise tõenäosust.
Entroopia astet saate visuaalselt hinnata histogrammi abil - failis samade baitide kordamise tõenäosuse jaotust. Faili entroopia põhjal võime arvata, mis tüüpi fail meie ees on, nähes ainult selle histogrammi.
Tutvustamiseks võtame kolm erinevat tüüpi faili ja võrdleme nende histogramme. Olgu esimene tekstifail (*. TXT). Selle histogramm on näidatud joonisel:
Tekstifail sisaldab ainult teksti. Iga teksti märk kodeeritakse kindlate baitidega vastavalt kodeerimistabelile. Ehkki kodeerimistüüpe on palju, on ilmne, et tähtnumbrilisi märke on piiratud arv, mis on tavaliselt alla 255. Seetõttu on esimesel histogrammil hõivatud ainult mõned alad ja mõned baidid pole üldse.
Järgmine fail on PDF-vormingus:
See fail sisaldab kõiki võimalikke baite, kuna PDF on kodeeritud erinevalt tekstifailidest. See salvestab palju teenuseteavet: vormindus, fondid, pildid jne. Kuid selle histogramm näitab, et mõned baidid esinevad ligikaudu sama tõenäosusega, teised aga palju sagedamini kui teised. Siit tulenevad histogrammi mitmed teravad pursked ja üldiselt on see üsna "räsitud" välimusega, ehkki see hõivab kogu saadaoleva laiuse.
Ja viimane fail on pakitud 7Z-vormingus:
Sellel histogrammil on kaks peamist omadust: esiteks leitakse kõik baidid ZIP-failist enam-vähem võrdse tõenäosusega (üsna tasane ülemine serv) ja teiseks pole histogrammi kohal praktiliselt vaba ruumi, mis näitab peaaegu täielikku puudumist sellise faili koondamine. Seega võime järeldada, et arhiivija algoritm mingil erilisel viisil "segab" faili baidid, et saavutada nende maksimaalne ühtlane jaotus.
Seega on entroopia arvutiteaduses, nagu ka füüsikas, süsteemi häire, antud juhul failis olevate baitide jaotuse häire. Entroopia võimaldab teil hinnata faili tihendusastet ja - kaudselt - selle tüüpi.
