面对严峻的气候变化、能源压力以及经济需求，建筑能耗的快速增长已成为当前建筑节能的主要挑战。在整个建筑的能耗中，暖通空调系统的能源消耗占总能耗的较大一部分。因此，对暖通空调系统进行节能控制研究具有重要意义。传统控制算法在解决暖通空调这类复杂系统的控制问题时往往表现较差，并且现有控制算法研究所基于的暖通空调系统模型较为简化，使得控制算法无法获取足够的传感器数据进行决策。为了解决以上问题，本论文从暖通空调系统的建模出发，基于精细化暖通空调系统模型，通过强化学习算法对暖通空调系统的设备参数设定点进行控制，最终达到系统节能的目标，主要贡献如下：（1）搭建了一套暖通空调系统的灰盒模型。本文结合暖通空调系统的原理和实际暖通空调系统设计，利用OpenModelica软件完成了基于Modelica的暖通空调系统模型的建立并进行了模型的仿真验证和参数校准，搭建了精细化暖通空调系统灰盒模型。实验结果体现了暖通空调系统模型的准确性和系统内部传感器数据对于节能算法研究的价值。（2）开发了一套暖通空调系统强化学习仿真平台。现有Modelica模型和算法模型之间无法进行交互，所以本文在暖通空调系统模型代码上进行二次开发，引入标准强化学习库Gym环境的开发规范，开发了暖通空调系统强化学习仿真平台。实验结果验证了该平台对算法研究的支撑作用。（3）实现了基于强化学习算法的暖通空调系统节能控制方法。本文设计了强化学习问题的奖励函数、状态空间和动作，并设计了系统安全边界。然后分别基于传统强化学习算法和深度强化学习算法，开发了基于Q-Learning、DQN和DDPG的控制算法，对暖通空调系统的冷冻水泵进行控制，最终提升了系统能源利用效率。实验结果验证了所实现的强化学习算法的节能控制效果。（4）提出了基于自编码器的暖通空调系统特征编码方法。本文考虑到目前暖通空调系统特征构建方式的不足，提出了通过自编码器对暖通空调系统状态量进行编码以挖掘潜在特征的方法。实验结果验证了所提出的自编码器编码特征的方法对强化学习算法节能效果的提升能力。