论文部分内容阅读
存计算框架的低延迟特性大幅提高了集群的计算效率，但Shuffle过程的性能瓶颈仍不可规避.宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果，同步过程不仅浪费计算资源，更增加了作业延时，这一现象在异构集群环境下尤为突出.针对内存计算框架Shuffle操作的同步问题，建立了资源需求模型、执行效率模型和任务分配及调度模型.给出了分配效能熵（allocation efficiency entropy$AEE)和节点贡献度（worker contribution degree,WCD)的定义，提出了算法的优化