Shannon entropy is one of the most important metrics in information theory. Entropy measures the uncertainty associated with a random variable, i.e. the expected value of the information in the message (in classical informatics it is
measured in bits).

The concept was introduced by Claude E. Shannon in  the paper „A Mathematical Theory of Communication” (1948). Shannon entropy allows to estimate
the average minimum number of bits needed to encode a string of symbols based on the alphabet size and the frequency of the symbols.

The Shannon entropy is calculated using formula:

当b=2时，H(X)就表示这个变量可以用几个bit来表示。bit就是H(X)的单位。如一个变量表示掷硬币正反面，如果正反面的概率都是1/2，那么H(X)就为1，1个bit就可以表示这个变量。

最新文章

1. 深入理解Java：String
2. IOS之UI -- UITableView -- 1 -- 相关初识
3. 慕课网-安卓工程师初养成-4-9 Java循环语句之 for
4. 复习IOS多线程知识
5. Servlet中Service方法
6. JavaScript学习笔记之原型对象
7. iOS 7 beta4 体验
8. UVa 793 - Network Connections
9. CentOS安装scp命令
10. Android Stutio中使用java8的Lambda表达式
11. 超简单的canvas绘制地图
12. QT之setstylesheet防止子窗体继承父窗体样式
13. Android导出数据库文件
14. mysql通配符使用
15. JS字符串和正则总结
16. Django之集合函数使用与mysql表的创建特殊字段分析
17. Threadlocal 传递参数(百度二面)
18. uboot 网络驱动模型
19. Telephone interview with Youyou Tu
20. 探索TFS Git 库文件换行（CRLF）的处理方式

热门文章

1. C# 获取sql数据库表列名,及列名说明备注信息
2. C语言回顾-函数和位运算
3. MVC（一）
4. DNS Prefetch
5. java ftp下载文件
6. 网页特殊符号HTML代码大全
7. 使用C# yield关键字来提高性能和可读性
8. [问题2014A02] 复旦高等代数 I（14级）每周一题（第四教学周）
9. CentOs 设置静态IP 方法
10. Spring 框架下Controller 返回结果在EasyUI显示