tp393

基于作业类型和优先级权重的容量调度算法( /HTML) TP393.0 针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题进行了Hadoop容量调度算法资源调度机制研究提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类将用户提交的作业划分为CPU(central processing unit中央处理器)负载类型作业和I/O(input/output输入/输出)负载类型作业并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源从而实现集群性能的提升。结果表明在异构环境下相比容量调度算法本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%从而有效地提高了作业执行效率和系统的资源利用率