信息熵，是对可能产生信息量的期望，也是在度量事件发生概率的变异程度：样本概率变异程度大，不确定度越小，信息熵越小
因此，套用信息熵的计算方法，得到相对熵，用来衡量量的变异程度
熵权法概览
学科分属
熵权法隶属于应用数学中的信息论学科分支1。
历史发展
熵最先由Claude
Shannon引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。照信息论基本原理的解释，信息是系统有序程度的一个度量，熵是系统无序程度的一个度量；如果指标的信息熵越小，该指标提供的信息量越大，在综合评价中所起作用理当越大，权重就应该越高。
熵权法模型介绍
定义介绍
熵权法的基本思路是根据指标变异性的大小来确定客观权重。一般来说，若某个指标的信息熵Ej越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信息熵Ej越大，表明指标值得变异程度越小，提供的信息量也越少，在综合评价中所起到的作用也越小，其权重也就越小。
熵权法赋权步骤
数据标准化
将各个指标的数据进行标准化处理。假设给定了k个指标X1,X2,…Xk,其中Xi = x1, x2, ...xn。假设对各指标数据标准化后的值为Y1, Y2, ...Yk,那么
求各指标的信息熵
根据信息论中信息熵的定义，一组数据的信息熵
其中$P_{ij} = Y_{ij} / \sum_{i=1}^n
Y_{ij}$,如果Pij = 0,则定义limpij → 0pijln pij = 0
确定各指标的权重
根据信息论中信息熵的计算公式，计算出各个指标的信息熵为。
通过信息熵计算各指标的权重：
熵权法与层次分析法（AHP）的比较
- 熵权法
- 优点
- 客观性（相对于主观赋值法）
- 适应性（用于任何确定权重的过程，也可以结合其它方法)
- 缺点
- 目前只在确定权重的过程中使用，所以使用范围有限
- 层次分析法
- 优点
- 系统性的分析方法
- 简洁实用的决策方法，所需定量数据信息较少
- 不能为决策提供新方案，定量数据上，定性成分多
熵权法赋权应用
常见应用场景
熵权法一般在需要确定每个因素对总体影响的权重的过程中使用，且其可和很多模型方法结合使用。
熵权法赋权实例应用
背景介绍
某医院为了提高自身的护理水平，对拥有的11个科室进行了考核，考核标准包括9项整体护理，并对护理水平较好的科室进行奖励。下表是对各个科室指标考核后的评分结果。
科室 | X1 | X2 | X3 | X4 | X5 | X6 | X7 | X8 | X9 |
A | 100 | 90 | 100 | 84 | 90 | 100 | 100 | 100 | 100 |
B | 100 | 100 | 78.6 | 100 | 90 | 100 | 100 | 100 | 100 |
C | 75 | 100 | 85.7 | 100 | 90 | 100 | 100 | 100 | 100 |
D | 100 | 100 | 78.6 | 100 | 90 | 100 | 94.4 | 100 | 10 |
E | 100 | 90 | 100 | 100 | 100 | 90 | 100 | 100 | 8 |
F | 100 | 100 | 100 | 100 | 90 | 100 | 100 | 85.7 | 10 |
G | 100 | 100 | 78.6 | 100 | 90 | 100 | 55.6 | 100 | 100 |
H | 87.5 | 100 | 85.7 | 100 | 100 | 100 | 100 | 100 | 100 |
I | 100 | 100 | 92.9 | 100 | 80 | 100 | 100 | 100 | 100 |
J | 100 | 90 | 100 | 100 | 100 | 100 | 100 | 100 | 100 |
K | 100 | 100 | 92.9 | 100 | 90 | 100 | 100 | 100 | 100 |
但是由于各项护理的难易程度不同，因此需要对9项护理进行赋权，以便能够更加合理的对各个科室的护理水平进行评价。
数据标准化
对上表进行标准化，得到标准化的得分表。
科室 | X1 | X2 | X3 | X4 | X5 | X6 | X7 | X8 | X9 |
A | 1.00 | 0.00 | 1.00 | 0.00 | 0.50 | 1.00 | 1.00 | 1.00 | 1.00 |
B | 1.00 | 1.00 | 0.00 | 1.00 | 0.50 | 1.00 | 1.00 | 1.00 | 1.00 |
C | 0.00 | 1.00 | 0.33 | 1.00 | 0.50 | 1.00 | 1.00 | 1.00 | 1.00 |
D | 1.00 | 1.00 | 0.00 | 1.00 | 0.50 | 1.00 | 0.87 | 1.00 | 1.00 |
E | 1.00 | 0.00 | 1.00 | 1.00 | 1.00 | 0.00 | 1.00 | 1.00 | 0.00 |
F | 1.00 | 1.00 | 1.00 | 1.00 | 0.50 | 1.00 | 1.00 | 0.00 | 1.00 |
G | 1.00 | 1.00 | 0.00 | 1.00 | 0.50 | 1.00 | 0.00 | 1.00 | 1.00 |
H | 0.50 | 1.00 | 0.33 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 |
I | 1.00 | 1.00 | 0.67 | 1.00 | 0.00 | 1.00 | 1.00 | 1.00 | 1.00 |
J | 1.00 | 0.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 |
K | 1.00 | 1.00 | 0.67 | 1.00 | 0.50 | 1.00 | 1.00 | 1.00 | 1.00 |
求各指标的信息熵
根据信息熵的计算公式
$$
E_{j}=-\ln (n)^{-1} \sum_{i=1}^{n} p_{i j} \ln p_{i j}
$$
可以计算出9项护理指标各自的信息熵如下：
ㅤ | X1 | X2 | X3 | X4 | X5 | X6 | X7 | X8 | X9 |
信息熵 | 0.95 | 0.87 | 0.84 | 0.96 | 0.94 | 0.96 | 0.96 | 0.96 | 0.96 |
计算各指标的权重
根据指标权重的计算公式
$$
W_{i}=\frac{1-E_{i}}{9-\sum E_{i}}(i=1,2, \ldots, 9)
$$
可以得到各个指标的权重如下表所示：
ㅤ | X1 | X2 | X3 | X4 | X5 | X6 | X7 | X8 | X9 |
权重 | 0.08 | 0.22 | 0.27 | 0.07 | 0.11 | 0.07 | 0.07 | 0.07 | 0.07 |
对各科室进行评分
根据计算出的指标权重，以及对11个科室9项护理水平的评分。设Zl为第l个科室的最终得分，则
$$
Z_{l}=\sum_{i=1}^{9} X_{l i} W_{i}
$$
各个科室最终得分如下
科室 | A | B | C | D | E | F | G | H | I | J | K |
得分 | 95.71 | 93.14 | 93.17 | 92.77 | 95.84 | 98.01 | 90.21 | 95.17 | 95.97 | 97.81 | 97.02 |
数学建模竞赛的应用
暂无
代码实现
matlab代码如下：
python代码如下：
修改记录
- 2022-09-12，杨伟程添加内容
- 2020-12-16， 贺龙坤更新页面
- 2020-11-25， 任桐鑫更新数学理论
- 2018-01-28， @汪海洋创建初始页面