云计算因为交付形式上的创新,顺应了信息技术变革的需要,正在成为一种新的社会基础设施。云服务不断普及同时也促进其本身演化,出现完全托管的公有云、自主管理的私有云以及整合公私资源的混合云等部署方式。混合云由于安全性、灵活性和成本等方面的优势,受到青睐并成为目前主要的云计算使用形式。另一方面,随着公私计算资源融合程度加深也遇到新的技术挑战,因此混合云系统受到工业界和学术界的广泛关注。混合云环境中的计算与存储调度受到公有云安全域、可用时间与费用等方面的限制,同时私有部分依然需要面对经典分布式系统问题,如可靠性保证。具体地,混合云中的公有和私有部分分属不同的安全域,因而对任务调度的访问安全提出了新的要求。引入的公有云,作为外部系统存在某些不可控的因素或特征,以可用时间为条件约束调度。此外,与传统私有系统大规模投入,而后追求充分利用的思路不同,混合方案得益于公有云按需付费的特性,相应地必须在使用阶段就考虑费用优化问题。面对混合云系统这类特殊的异构分布式系统,本文提出了受限调度优化理论与方法,以期对提高分布式系统适应性和混合云资源管理效率展开深入研究与探索,解决其中的部分关键理论与技术问题。针对混合云系统中公有云带来可控性和可靠性挑战,本文提出了一种扩展基于角色的访问控制调度体系。可靠问题可以通过随机工作流模型描述,而公有云带来的不可控因素可视为一种调度的约束。由此,建立了通过扩展经典的角色隔离访问控制方法,新增角色绑定约束和角色时间约束,在随机执行时间工作流下的受限调度体系。该体系调度过程首先确定角色能否执行,是一类约束补偿问题。基于角色隔离与绑定这对互斥逻辑,设计了一种加速剪枝的回溯算法查找可用授权方案。实验结果表明,相比通用的回溯和向前检查的约束补偿求解策略,在各种问题规模中都有更好的性能。其次,角色时间约束限定的可用时段与任务就绪时间,同时限制了混合云工作流执行,因此需要寻找最佳方案,调度工作流不因时间约束发生延迟或影响最小化。给定确定执行时间工作流,我们使用形式化表达与推导获得时间约束延时模型。以此为基础,提出基于最早就绪时间的授权算法(EAF)和全局延时优化的调度算法(GAA),并分三阶段证明了 GAA算法为最优调度算法,可以作为理论上限评价其他算法。评估结果表明,GAA效果好于以EAF为代表立即执行的局部算法,从而验证了模型的有效性。再次,考虑私有平台与公有云组成的异构分布式系统可靠性问题,在上述约束调度中引入随机模型,提出了混合云环境中随机工作流受约束调度问题。基于任务执行时间为正态分布的随机变量的假设,求解任务立即开始概率以及调度方案的最佳到达时间区间。结合确定时间模型,设计了随机任务全局延时优化调度算法(SGAA),将授权方案选择依据由已知转变为寻求最大概率落入最佳到达时间区间,因而减少时间约束影响。实验结果通过正态分布参数构造了不稳定的执行状况,SGAA都能相较与EAF取得更好的调度结果。云存储是云计算的主力服务之一,已成为简化企业和个人用户的存储管理的一种极具吸引力的解决方案。但是,针对本地磁盘或私有存储后端进行优化的缓存策略,无法充分利用云的计费特性进一步降低成本,同时公网延迟也成为潜在性能瓶颈。本文提出一种云费用优化的缓存调度算法,通过分析和利用云存储服务的费用模型,基于KD树算法管理缓存空间,辅以自适应的抖动调节机制,使得缓存策略在性能和费用成本之间取得平衡。进而设计了混合云文件系统,将云存储视为网络文件系统的后端。系统基于上述缓存算法并引入优化的云端数据布局,垃圾回收等策略,在各种工作负载组成的评估中达到了节约成本和性能提升的目标。