信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。自1948年Shannon发表了著名的论文“通信的数学原理”为信息论奠定了理论基础以来,信息论作为通信系统的理论基础,指导着通信理论的发展。以通信理论为核心的经典信息论所涉及的内容早已超越了狭义的通信工程范畴,进入了新兴的信息科学领域。信息熵是信息理论的基本概念之一,并有离散信息熵和连续信息熵之分。离散信息熵具有良好的性质,如非负性、量纲一致性、坐标变换不变性等;但是连续信息熵是发散的,而去除了无限大项所得到的微分熵,则不具有离散信息熵的良好性质。针对微分熵的不足,许多学者作出了改进工作。有限精度的信息熵是改进微分熵的一种尝试。它消除了微分熵的不足并实现了连续与离散信息熵的统一。本文首先介绍了鉴别信息、基于方差的连续信息熵、Renyi熵、Kolmogorov复杂度和加权熵等对Shannon信息熵的改进工作。接着,介绍了有限精度函数理论以及有限精度的概率和信息熵的定义。进而,研究了有限精度信息熵的基本性质以及有限精度测量信息系统中的数学建模,导出了平均互信息的表达式并揭示了有限精度的信息传输理论的基本内涵。最后,讨论了有限精度信息熵与不确定性分析理论如证据理论、模糊集合理论和可能性理论中对不确定性度量的区别与联系。阐述了有限精度的概率与信息理论中的概率关联和非概率关联与其它不确定性理论中的冲突和非特异性之间的某种对应关系。本文的结果将为基于概率的经典信息论以及广义信息论的进一步的研究工作提供一定的参考与借鉴的作用。