博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop优先级调度
阅读量:5132 次
发布时间:2019-06-13

本文共 1994 字,大约阅读时间需要 6 分钟。

当同时在集群中运行多个作业时,默认情况下,Hadoop将提交的作业放入一个FIFO,一个作业结束后,Hadoop就启动下一个作业。

当一个运行时间长但是优先级较低的作业先于运行时间短而优先级较高的作业提交时,优先级高的作业会长时间排队等待。

为了解决这个问题,Hadoop定义了5种不同的作业优先级,分别是:VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW,作业的默认优先级是NORMAL,可以通过$hadoop job -set-priority进行修改。
例子:
1.在集群中启动1个运行时间较长的作业
caiyong@caiyong:/opt/hadoop$ bin/hadoop jar hadoop-examples-1.2.1.jar pi 2000  2000
2.查看作业列表
caiyong@caiyong:/opt/hadoop$ bin/hadoop job -list
1 jobs currently running
JobId                                     State    StartTime       UserName    Priority    SchedulingInfo
job_201503171201_0003   1   1426565671593   caiyong        NORMAL            NA
3.查看作业的运行状态
caiyong@caiyong:/opt/hadoop$ bin/hadoop job -status job_201503171201_0003
Job: job_201503171201_0003
file: hdfs://127.0.0.1:8020/home/caiyong/tmp/mapred/staging/caiyong/.staging/job_201503171201_0003/job.xml
tracking URL:http://localhost:50030/jobdetails.jsp?jobid=job_201503171201_0003
map() completion: 0.012500001
reduce() completion: 0.0
Counters: 19
    Job Counters 
        SLOTS_MILLIS_MAPS=117080
        Launched map tasks=26
        Data-local map tasks=26
    File Input Format Counters 
        Bytes Read=2832
    FileSystemCounters
        HDFS_BYTES_READ=5870
        FILE_BYTES_WRITTEN=1316654
    Map-Reduce Framework
        Map output materializedbytes=672
        Map input records=24
        Spilled Records=48
        Map output bytes=432
        Total committed heap usage(bytes)=3815768064
        CPU time spent (ms)=9530
        Map input bytes=576
        SPLIT_RAW_BYTES=3038
        Combine input records=0
        Combine output records=0
        Physical memory (bytes)snapshot=4156928000
        Virtual memory (bytes) snapshot=9500446720
        Map output records=48
4.把作业的优先级提高为VERY_HIGH
caiyong@caiyong:/opt/hadoop$ bin/hadoop job -set-priority job_201503171201_0003    VERY_HIGH
Changed job priority.
5.查看更改后的作业优先级
caiyong@caiyong:/opt/hadoop$ bin/hadoop job -list
1 jobs currently running
JobId                                     State    StartTime          UserName    Priority    SchedulingInfo
job_201503171201_0003   1   1426565671593   caiyong      VERY_HIGH   NA
6.强制结束正在运行的作业
caiyong@caiyong:/opt/hadoop$ bin/hadoop job -kill job_201503171201_0003
Killed job job_201503171201_0003

转载于:https://www.cnblogs.com/peizhe123/p/5886338.html

你可能感兴趣的文章
C语言学习笔记--数组指针和指针数组
查看>>
多语言 SEO
查看>>
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 解决方法
查看>>
html标签种类
查看>>
jsp页面运行的步骤以及原理
查看>>
CCF认证201712-2游戏
查看>>
ASP.NET 发邮件方法
查看>>
[py]py常用模块小结
查看>>
HTML DOM 事件
查看>>
使用HslCommunication实现PLC数据的远程客户端监视,以及web端实时监视,远程操作设备示例...
查看>>
go JSON
查看>>
ASP.NET 网站管理工具“安全”选项卡为什么打不开?
查看>>
webpack--安装,使用
查看>>
存储引擎
查看>>
有关Linux下的一些配置
查看>>
解析网页(KMP算法实现部分)
查看>>
Qt Creator 4.9 发布
查看>>
十四、View Port 2.0
查看>>
爬虫神器xpath的用法(三)
查看>>
360企业版使用感受
查看>>