自然场景的三维仿真是计算机图形学中的一个重要研究领域，在三维游戏、影视特效、计算机动画、虚拟现实和增强现实等方面具有非常广泛的应用。树木作为自然场景中最常见的植物，模拟出逼真的树木摇曳效果会极大地提高场景的真实感。由于树木结构和动力系统的复杂性，用物理的方式来模拟摇曳效果往往得不到很好的实时性和真实性，因此需要一种新的方法来实现树木摇曳效果的模拟。针对三维树木摇曳效果的模拟，给出了基于视频数据驱动的的解决方案。可以分为三个部分，包括图像处理模块、统计模型模块以及树木运动合成模块。图像处理模块负责视频图像信息的提取和三维静止树木模型的重建，利用混合边缘检测和基于色彩的K-均值聚类的算法来对树木图像进行分割，分割得到树木树干模型和树叶的云点集合，对树木树干进行力学分析得到风速信息，采用双目视觉来实现静止树木模型的三维重建。统计模型模块负责统计模型的构建、推理和参数学习，利用统计模型对视频序列进行分类和跟踪，得到树木摇曳的运动轨迹。运动合成模块则根据统计模块中得到的运动轨迹来合成树木的运动，将树枝对应的位移加载至静止的三维树木模型上实现运动的合成，将树叶信息加载至云点集合中的三维坐标实现树叶运动的合成。利用MATLAB平台实现了系统的分模块仿真，并分析各模块的运行时间，实时计算部分只占系统运行时间的12%左右，从而保证了实时性。同时引入了基于图像的三维重建，使得三维树木更逼真，基于统计模型生成的风速序列，更符合自然条件的风场模型，使得模拟效果更自然。