文章目录
- 引言
- I 最大熵原理
-
- 1.1 含义
- 1.2 最大熵模型的优势
- 1.3 弊端
- 1.4 结论
- II 最大熵原理的应用
-
- 2.1 自然语言处理
- 2.2 对冲基金
引言
要把道理总结得简单易懂，自己需要有深刻的理解，在科学上，要得到形式简单的规律，反而要做更多的工作。
人类不可能等到建立起牛顿力学才制定历法，等到门捷列夫画出元素的周期表才开始寻找基本元素。在寻找到这样的本质规律之前，可能需要有很多过渡性的模型，让它们来帮助我们解决当下的问题，在建立那些过渡性的模型时应该遵循最大熵原理。
I 最大熵原理
最大熵模型在形式上是最漂亮、最完美的统计模型，在效果上也是最好、最安全的模型。
1.1 含义
当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要作任何主观假设。这样的概率模型会使得熵，也就是不确定性，达到最大值，因此这种模型被称为“最大熵模型”。相应的，建立模型的原则就被称为最大熵
