1. 云图网首页
  2. 技术专区
  3. 大数据

NodeManagerMetrics上精确化Container指标监控详解大数据

• 大数据

前言

在准备开始写本篇文章之前,我一直在想应该给本篇文章定一个怎样的标题才能最精准的表达出主题而又不会让字数变得过多.因为Metric指标监控在YARN中早已经存在了,而且支持的指标非常多,所以本篇文章当然不会是简简单单介绍某几个指标监控的含义和如何添加自定义Metric指标监控这样的内容,关键点在于2个字,精化.精化的潜在意思有2个,1个是在原有监控的指标的基础上,增加更细粒度的监控,去改善原有监控的不足,还有1个是添加新的对于某种case的监控.而本文今天所讲述的主要内容就是基于这2点.

现有的Container监控

在讲述新内容之前,需要了解一下目前的一些监控,目标对象NodeManager中的container容器监控.统计的结果在Ganglia中的展示结果就是下面显示的样子:

NodeManagerMetrics上精确化Container指标监控详解大数据

上面只是其中的局部指标,都是很典型的资源量指标,包括内存,核数等,当然这些不是重点,因为本文的主题指标在于AllocatedContainers,就是申请的容器个数指标.不知道读者在读到这里的时候,是否想到过,在这里其实还是有些文章可以做的.有下面几个疑问:

1.申请的容器个数是否意味着一定会启动这么多的容器?

2.突然在申请容器成功之后,接收到了kill命令了怎么办?

3.容器在正式运行前几步初始化操作失败次数如何监控?

Container流程图

上述几个问题如果你想要去解决,那你就得要先去了解container的流程状态转化图,为了方便大家理解,我抽了一点时间粗粗的理了理结构,做成了下面的一张流程图:

NodeManagerMetrics上精确化Container指标监控详解大数据

有几个名称需要解释一下,localize的意思指的是container在初始化操作时,要下载相关的资源到本地,包括可能的一些public级别的公共文件或是private级别的文件,在这个过程中如果出现下载失败的情况,就会变到localizaionFailed状态,container就会直接宣告失败,更不会走下面启动的操作了.在这个环节上的监控,也正是目前Hadoop所没有覆盖到的监控.红箭头的kill操作表示的是在整个过程中,随时可能会有外界的kill命令来结束container的运行.其他的流程就不多加以解释了,大家从上往下看.

精化指标

下面开始是本文的重点所在了,前面都是铺垫.之前在Ganglia监控图中看到的allocatedContainer指标大家不要直接等于了启动的container个数,因为中间还是有概率出错,主要2钟情况:

1.在initing container操作的时候出现错误,诸如localizationFailed状况的出现,在上图中已经有所展现.

2.在最终的launch Event启动操作之前收到kill command的命令.LaunchEvent操作才是最终启动container的最好依据指标.这个event事件会触发shell脚本启动container的操作.相关代码入下:

[java] 
view plain
copy
print
?

  1. @Override  
  2. public void handle(ContainersLauncherEvent event) {  
  3.   // TODO: ContainersLauncher launches containers one by one!!  
  4.   Container container = event.getContainer();  
  5.   ContainerId containerId = container.getContainerId();  
  6.   switch (event.getType()) {  
  7.     case LAUNCH_CONTAINER:  
  8.       Application app =  
  9.         context.getApplications().get(  
  10.             containerId.getApplicationAttemptId().getApplicationId());  
  11.   
  12.       ContainerLaunch launch =  
  13.           new ContainerLaunch(context, getConfig(), dispatcher, exec, app,  
  14.             event.getContainer(), dirsHandler, containerManager);  
  15.       containerLauncher.submit(launch);  
  16.       running.put(containerId, launch);  

最终会调用这里的操作:

[java] 
view plain
copy
print
?

  1. else {  
  2.         exec.activateContainer(containerID, pidFilePath);  
  3.         ret = exec.launchContainer(container, nmPrivateContainerScriptPath,  
  4.                 nmPrivateTokensPath, user, appIdStr, containerWorkDir,  
  5.                 localDirs, logDirs);  
  6.       }  

exec就会执行shell脚本的操作了.

所以在这里,我们基本明白要精化的2个指标,1个是增加localizationFailed的计数监控,要明白到底container会不会经常出现这类操作的失败导致container没有真正启动起来.第2个指标是Contain真实启动次数,我这里指的是真正用脚本启动起来,并且状态转化成了RUNNING状态的情形,我相信这绝对是我们所关心的1个指标.OK,下面是怎么添加的问题,首先当然新增加指标变量:

[java] 
view plain
copy
print
?

  1. @Metrics(about=“Metrics for node manager”, context=“yarn”)  
  2. public class NodeManagerMetrics {  
  3.   @Metric MutableCounterInt containersLaunched;  
  4.   ……  
  5.   @Metric MutableCounterInt containerLocalizeFailed;  
  6.   @Metric MutableCounterInt containersLaunchEventOperation;  
  7.     
  8.   ….  

再定义相应的增加计数的方法

[java] 
view plain
copy
print
?

  1.  public void localizeFailed() {  
  2.    containerLocalizeFailed.incr();  
  3.  }  
  4.   
  5.  public void doLaunchEvent() {  
  6.    containersLaunchEventOperation.incr();  
  7.  }  
  8.   
  9. ….  
  10.   
  11.  @VisibleForTesting  
  12.  public int getLocalizeFailedContainers() {  
  13.    return containerLocalizeFailed.value();  
  14.  }  
  15.   
  16.  @VisibleForTesting  
  17.  public int getLaunchEventContainers() {  
  18.    return containersLaunchEventOperation.value();  
  19.  }  

然后添加监控的代码很简单,在适当的地方加上代码即可,比如要监控localizationFailed的操作,找到对应的状态机转化函数的地方

[java] 
view plain
copy
print
?

  1. /** 
  2.  * State transition when a NEW container receives the INIT_CONTAINER 
  3.  * message. 
  4.  *  
  5.  * If there are resources to localize, sends a 
  6.  * ContainerLocalizationRequest (INIT_CONTAINER_RESOURCES)  
  7.  * to the ResourceLocalizationManager and enters LOCALIZING state. 
  8.  *  
  9.  * If there are no resources to localize, sends LAUNCH_CONTAINER event 
  10.  * and enters LOCALIZED state directly. 
  11.  *  
  12.  * If there are any invalid resources specified, enters LOCALIZATION_FAILED 
  13.  * directly. 
  14.  */  
  15. @SuppressWarnings(“unchecked”) // dispatcher not typed  
  16. static class RequestResourcesTransition implements  
  17.     MultipleArcTransition<ContainerImpl,ContainerEvent,ContainerState> {  
  18.   @Override  
  19.   public ContainerState transition(ContainerImpl container,  
  20.       ContainerEvent event) {  
  21.     if (container.recoveredStatus == RecoveredContainerStatus.COMPLETED) {  
  22.       container.sendFinishedEvents();  
  23.       return ContainerState.DONE;  
  24.     } else if (container.recoveredAsKilled &&  
  25.         container.recoveredStatus == RecoveredContainerStatus.REQUESTED) {  
  26.       // container was killed but never launched  
  27.       container.metrics.killedContainer();  
  28.       NMAuditLogger.logSuccess(container.user,  
  29.           AuditConstants.FINISH_KILLED_CONTAINER, “ContainerImpl”,  
  30.           container.containerId.getApplicationAttemptId().getApplicationId(),  
  31.           container.containerId);  
  32.       container.metrics.releaseContainer(container.resource);  
  33.       container.sendFinishedEvents();  
  34.       return ContainerState.DONE;  
  35.     }  
  36.   
  37.     final ContainerLaunchContext ctxt = container.launchContext;  
  38.     container.metrics.initingContainer();  
  39.   
  40.     container.dispatcher.getEventHandler().handle(new AuxServicesEvent  
  41.         (AuxServicesEventType.CONTAINER_INIT, container));  
  42.   
  43.     // Inform the AuxServices about the opaque serviceData  
  44.     Map<String,ByteBuffer> csd = ctxt.getServiceData();  
  45.     if (csd != null) {  
  46.       // This can happen more than once per Application as each container may  
  47.       // have distinct service data  
  48.       for (Map.Entry<String,ByteBuffer> service : csd.entrySet()) {  
  49.         container.dispatcher.getEventHandler().handle(  
  50.             new AuxServicesEvent(AuxServicesEventType.APPLICATION_INIT,  
  51.                 container.user, container.containerId  
  52.                     .getApplicationAttemptId().getApplicationId(),  
  53.                 service.getKey().toString(), service.getValue()));  
  54.       }  
  55.     }  
  56.   
  57.     // Send requests for public, private resources  
  58.     Map<String,LocalResource> cntrRsrc = ctxt.getLocalResources();  
  59.     if (!cntrRsrc.isEmpty()) {  
  60.       try {  
  61.         for (Map.Entry<String,LocalResource> rsrc : cntrRsrc.entrySet()) {  
  62.           try {  
  63.             LocalResourceRequest req =  
  64.                 new LocalResourceRequest(rsrc.getValue());  
  65.             List<String> links = container.pendingResources.get(req);  
  66.             if (links == null) {  
  67.               links = new ArrayList<String>();  
  68.               container.pendingResources.put(req, links);  
  69.             }  
  70.             links.add(rsrc.getKey());  
  71.             storeSharedCacheUploadPolicy(container, req, rsrc.getValue()  
  72.                 .getShouldBeUploadedToSharedCache());  
  73.             switch (rsrc.getValue().getVisibility()) {  
  74.             case PUBLIC:  
  75.               container.publicRsrcs.add(req);  
  76.               break;  
  77.             case PRIVATE:  
  78.               container.privateRsrcs.add(req);  
  79.               break;  
  80.             case APPLICATION:  
  81.               container.appRsrcs.add(req);  
  82.               break;  
  83.             }  
  84.           } catch (URISyntaxException e) {  
  85.             LOG.info(“Got exception parsing “ + rsrc.getKey()  
  86.                 + ” and value “ + rsrc.getValue());  
  87.             throw e;  
  88.           }  
  89.         }  
  90.       } catch (URISyntaxException e) {  
  91.         // malformed resource; abort container launch  
  92.         LOG.warn(“Failed to parse resource-request”, e);  
  93.         container.cleanup();  
  94.         container.metrics.endInitingContainer();  
  95.         container.metrics.localizeFailed();  
  96.         return ContainerState.LOCALIZATION_FAILED;  
  97.       }  

还有1处是launchEvent发送事件的地方:

[java] 
view plain
copy
print
?

  1. } catch (URISyntaxException e) {  
  2.           // malformed resource; abort container launch  
  3.           LOG.warn(“Failed to parse resource-request”, e);  
  4.           container.cleanup();  
  5.           container.metrics.endInitingContainer();  
  6.           container.metrics.localizeFailed();  
  7.           return ContainerState.LOCALIZATION_FAILED;  
  8.         }  
  9.         Map<LocalResourceVisibility, Collection<LocalResourceRequest>> req =  
  10.             new LinkedHashMap<LocalResourceVisibility,  
  11.                         Collection<LocalResourceRequest>>();  
  12.         if (!container.publicRsrcs.isEmpty()) {  
  13.           req.put(LocalResourceVisibility.PUBLIC, container.publicRsrcs);  
  14.         }  
  15.         if (!container.privateRsrcs.isEmpty()) {  
  16.           req.put(LocalResourceVisibility.PRIVATE, container.privateRsrcs);  
  17.         }  
  18.         if (!container.appRsrcs.isEmpty()) {  
  19.           req.put(LocalResourceVisibility.APPLICATION, container.appRsrcs);  
  20.         }  
  21.           
  22.         container.dispatcher.getEventHandler().handle(  
  23.               new ContainerLocalizationRequestEvent(container, req));  
  24.         return ContainerState.LOCALIZING;  
  25.       } else {  
  26.         container.sendLaunchEvent();  
  27.         container.metrics.endInitingContainer();  
  28.         container.metrics.doLaunchEvent();  
  29.         return ContainerState.LOCALIZED;  
  30.       }  

和另外一个处:

[java] 
view plain
copy
print
?

  1.   /** 
  2.    * Transition when one of the requested resources for this container 
  3.    * has been successfully localized. 
  4.    */  
  5.   static class LocalizedTransition implements  
  6.       MultipleArcTransition<ContainerImpl,ContainerEvent,ContainerState> {  
  7.     @SuppressWarnings(“unchecked”)  
  8.     @Override  
  9.     public ContainerState transition(ContainerImpl container,  
  10.         ContainerEvent event) {  
  11.       ContainerResourceLocalizedEvent rsrcEvent = (ContainerResourceLocalizedEvent) event;  
  12.       LocalResourceRequest resourceRequest = rsrcEvent.getResource();  
  13.       Path location = rsrcEvent.getLocation();  
  14.       List<String> syms = container.pendingResources.remove(resourceRequest);  
  15.       if (null == syms) {  
  16.         LOG.warn(“Localized unknown resource “ + resourceRequest +  
  17.                  ” for container “ + container.containerId);  
  18.         assert false;  
  19.         // fail container?  
  20.         return ContainerState.LOCALIZING;  
  21.       }  
  22.       container.localizedResources.put(location, syms);  
  23.   
  24.       // check to see if this resource should be uploaded to the shared cache  
  25.       // as well  
  26.       if (shouldBeUploadedToSharedCache(container, resourceRequest)) {  
  27.         container.resourcesToBeUploaded.put(resourceRequest, location);  
  28.       }  
  29.       if (!container.pendingResources.isEmpty()) {  
  30.         return ContainerState.LOCALIZING;  
  31.       }  
  32.   
  33.       container.dispatcher.getEventHandler().handle(  
  34.           new ContainerLocalizationEvent(LocalizationEventType.  
  35.               CONTAINER_RESOURCES_LOCALIZED, container));  
  36.   
  37.       container.sendLaunchEvent();  
  38.       container.metrics.endInitingContainer();  
  39.       container.metrics.doLaunchEvent();  
  40. …  

OK,监控指标添加完毕,要想看新的监控结果的话,只要重新编译代码新的代码,观察你的Gangia即可.我已将此新功能打成patch,提交开源社区,详见
YARN-4381
.

相关链接

开源社区Issue 链接:https://issues.apache.org/jira/browse/YARN-4381

Patch代码链接:https://github.com/linyiqun/open-source-patch/blob/master/yarn/YARN-4381/YARN-4381.patch

原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/9180.html

赞 (0)
0
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论