Jeremy Vonderfecht, 现任教美国波特兰州立大学，硕士研究生导师，讲授数据聚类、数据挖掘和算法等研究生课程。曾在太平洋西北国家实验室担任数据科学家，在谷歌担任网络开发人员。研究方向为深度学习及图像处理。 

  报告摘要：熵是信息论中的一个核心概念，也是深度学习中的重要概念，熵是一种不确定性度量，或者说是一种衡量我们对某事物未知程度的指标。在本次报告中将介绍：1）熵的概念；2）展示它与数据压缩之间的关系；3）解释它在大型语言模型（LLM）的训练中为何是一个核心概念。