哪位专家能解释一下通信中“熵”和“冗余”的含义?希望能举例说明。
我不会给你一个具体的学术定义,但我会告诉你通俗的意思。你可以结合书上的定义来理解。
熵:不确定性/信息不足。
比如你对我一无所知,你就会有疑问。你有多高?你体重多少?你的专业是什么?.....诸如此类,说明你对我的信息是模糊的,不充分的。这种模糊性就是熵。
我回答你的时候,比如:我学英语170,我学英语120,所以你对我有了一个初步的印象,就是熵减。
当一件事,你知道得很清楚,知道所有的信息。那就是“负熵”。
-
大家都知道“消息传递游戏”。第一个人对第二个人耳语一句话,第二个人把这句话交给第三个人...到了最后一个人,这句话很可能会变得面目全非。
如果第一个人把这句话告诉第二个人,而第二个人继续告诉第三个人...
这样,也许这句话对最后一个人来说会比第一条信息更准确。
重复同样的过程,直到最后一个人能准确说出第一个人说的话。
在这个过程中,信息量本身没有变化,就是那句话的内容。
但是重复了很多次之后。
这就是“冗余”的概念。
冗余是指信息本身的内容没有增加,但是传播信息的次数增加了,为了保证信息到达时的准确性。