外部容器化工具

发布于 2015-12-05 11:08:31 | 495 次阅读 | 评论: 0 | 来源: 网络整理

EC = external containerizer.外部容器化管理器，Mesos slave节点的一个部分，提供给外部插件执行容器化操控的API。
ECP = external containerizer program. 外部容器化工具，指与容器化系统（例如： Docker）接口，实际实现容器化的外部插件。

外部容器化管理器会在命令行中执行外部容器化工具，以命令形式传递参数给外部容器化工具，额外的数据则通过 stdin 和 stdout 交换。

若所有命令都可执行，外部容器化工具将不会退出。如果退出，则表示可能出错了。下文将会列出把所有外部容器化工具需要实现的功能的概况，及其机制示意图。

外部容器化工具使用stderr来获得状态和调试信息，这些信息被记录在文件里，详见 Enviroment: Sandbox.

调用和通信示意图

外部容器化工具通过命令行，实现下面所述的功能。很多外部容器化工具会通过 stdin 传输一个 protobuf 信息。有些外部容器化工具还会通过 stdout 传回一个结果 protobuf 信息。所有的 protobuf 信息都会把其原有长度放在前缀里——这叫 "Record-IO"-格式。详见Record-IO De/Serializing示例.

命令	传入INPUT-PROTO	结果RESULT-PROTO
`launch`	`containerizer::Launch`	无
`update`	`containerizer::Update`	无
`usage`	`containerizer::Usage`	`mesos::ResourceStatistics`
`wait`	`containerizer::Wait`	`containerizer::Termination`
`destroy`	`containerizer::Destroy`	无
`containers`	无	`containerizer::Containers`
`recover`	无	无

命令的执行顺序一般不用特别在意，但有一个例外：当载入一个任务时，外部容器管理器将在特定容器上，先接收到launch，并返回后，容器才可以运行其他的命令。

外部容器化管理器和外部容器工具加载任务概况

外部容器化管理器在外部容器化工具中调入执行launch操作。
- 外部容器化工具将通过 stdin 收到containerizer::Launch protobuf 信息
- 外部容器化管理器因此可确认执行器已经开始工作。 Note launch操作不会等待执行结果，而是直接返回 - 外部容器化工具里通过fork-exec实现。
外部容器化管理器在外部容器化工具里执行等待wait操作。
- 外部容器化工具将通过 stdin 收到containerizer::Wait protobuf 信息
- 外部容器化工具将等待，直到载入的命令执行有结果。——可在外部容器化工具通过waitpid实现。
- 当命令执行有结果了，外部容器化工具将通过 stdout发出一个 containerizer::Termination protobuf信息，然后返回外部容器化管理器

容器生命周期示意图

容器加载

仔细观察从已经载入的容器启动，直到其结束整个状态。

容器加载示意图

运行容器

容器载入后，slave节点将不再认为其仍然处于命令行环境中，外部容器化工具里的容器，其整个生命周期里都将被下面的命令操控。注：命令顺序不重要。

容器运行示意图

资源限额

当容器是活动状态时，可通过外部容器化工具的分隔机制设置资源限额（比如内存限额）。

资源限额示意图

Slave节点还原概况

Slave节点可以通过运行状态锚点进行还原。
外部容器化管理器通过外部容器化工具调用命令recover，执行还原操作。 - 操作的结果将不返回任何 protobuf 的信息。
必要时，外部容器化工具会利用自身failover 机制恢复其内部状态。
在recover命令返回后，外部容器化管理器将调用外部容器化工具里的containers命令。
外部容器化工具会返回所有当前活动状态的容器列表 Note 所有的容器信息可以通过外部容器化工具获得，但部分信息slave节点可能并不知道（比如slave节点若在加载后的等待时间前或之中故障）。 - 这些不为slave节点管理的容器可视为孤机容器。
外部容器化管理器会对比 slave节点已知的容器列表和完整的Containers命令返回的容器列表，对于标记为孤机的容器，slave节点将在调用等待 wait 命令之后，执行destroy销毁之。
slave节点将在外部容器化工具里通过外部容器化管理器对所有已经恢复的容器调用等待 wait命令。在生命周期所有其他命令执行完毕后， wait 才退出。

Slave节点还原流程示意图

还原

当容器处于活动状态时，slave节点故障。

还原示意图

孤机销毁

外部容器化管理器标记的孤机，处于虽然活动但无法被slave节点恢复的状态，最终将被销毁。

孤机销毁示意图

加载launch

启动容器化执行器

执行器载入任务的所有必须的信息都通过该命令获取。此命令不会等待执行器或命令返回信息。 wait 才会等待程序执行完成返回信息后才退出。

launch &lt; containerizer::Launch

此操作会通过stdin 收到 containerizer::Launch protobuf 如下：

/**
 * Encodes the launch command sent to the external containerizer
 * program.
 */
message Launch {
  required ContainerID container_id = 1;
  optional TaskInfo task_info = 2;
  optional ExecutorInfo executor_info = 3;
  optional string directory = 4;
  optional string user = 5;
  optional SlaveID slave_id = 6;
  optional string slave_pid = 7;
  optional bool checkpoint = 8;
}

此操作不会通过stdout返回任何数据。

等待wait

从终止的执行器处获得信息

用于中止执行器或命令，此命令会阻塞直至执行器或命令被中止。

wait &lt; containerizer::Wait &gt; containerizer::Termination

此操作会通过stdin 收到 containerizer::Wait protobuf 如下：

/**
 * Encodes the wait command sent to the external containerizer
 * program.
 */
message Wait {
  required ContainerID container_id = 1;
}

此操作会通过stdout 返回 containerizer::Termination protobuf 如下：

/**
 * Information about a container termination, returned by the
 * containerizer to the slave.
 */
message Termination {
  // A container may be killed if it exceeds its resources; this will
  // be indicated by killed=true and described by the message string.
  required bool killed = 1;
  required string message = 2;

  // Exit status of the process.
  optional int32 status = 3;
}

只有当容器化工具或者底层隔离器通过终止任务进程来强制使用限制时(例如：任务使用内存超过内存使用限额)，终止参数 killed才会被设置。

更新update

更新容器的资源限额

用于给指定的容器发送新的资源配额。新的资源配额会改变容器内任务的处理速度。

update &lt; containerizer::Update

此操作会通过stdin 收到 containerizer::Update protobuf 如下：

/**
 * Encodes the update command sent to the external containerizer
 * program.
 */
message Update {
  required ContainerID container_id = 1;
  repeated Resource resources = 2;
}

此操作不会通过stdout返回任何数据。

使用情况usage

采集容器任务的资源使用数据

用于获知指定容器当前资源使用情况。

usage &lt; containerizer::Usage &gt; mesos::ResourceStatistics

此操作会通过stdin 收到 containerizer::Usage protobuf 如下：

/**
 * Encodes the usage command sent to the external containerizer
 * program.
 */
message Usage {
  required ContainerID container_id = 1;
}

此操作会通过stdout 收到 containerizer::ResourceStatistics protobuf 如下：

/*
 * A snapshot of resource usage statistics.
 */
message ResourceStatistics {
  required double timestamp = 1; // Snapshot time, in seconds since the Epoch.

  // CPU Usage Information:
  // Total CPU time spent in user mode, and kernel mode.
  optional double cpus_user_time_secs = 2;
  optional double cpus_system_time_secs = 3;

  // Number of CPUs allocated.
  optional double cpus_limit = 4;

  // cpu.stat on process throttling (for contention issues).
  optional uint32 cpus_nr_periods = 7;
  optional uint32 cpus_nr_throttled = 8;
  optional double cpus_throttled_time_secs = 9;

  // Memory Usage Information:
  optional uint64 mem_rss_bytes = 5; // Resident Set Size.

  // Amount of memory resources allocated.
  optional uint64 mem_limit_bytes = 6;

  // Broken out memory usage information (files, anonymous, and mmaped files)
  optional uint64 mem_file_bytes = 10;
  optional uint64 mem_anon_bytes = 11;
  optional uint64 mem_mapped_file_bytes = 12;
}

销毁destroy

终止容器化执行器

比较少用，有点像被控关机，不过是在slave节点出现故障切换的时候。详见Slave Recovery。

destroy &lt; containerizer::Destroy

此操作会通过stdin 收到 containerizer::Destroy protobuf 如下：

/**
 * Encodes the destroy command sent to the external containerizer
 * program.
 */
message Destroy {
  required ContainerID container_id = 1;
}

此操作不会通过stdout返回任何数据。

容器containers

获取所有活动的容器识别号

返回所有活动状态的容器识别号。

containers &gt; containerizer::Containers

此操作不会通过stdin接收任何额外数据。

此操作会通过stdout 传回 containerizer::Containers protobuf 如下：

/**
 * Information on all active containers returned by the containerizer
 * to the slave.
 */
message Containers {
  repeated ContainerID containers = 1;
}

还原recover