云原生時代，Kubernetes(K8s) 已經(jīng)成為云原生應用編排、管理的事實標準，越來越多的應用選擇向 Kubernetes 遷移。

在 CAE 仿真、動漫渲染、物理化學、石油勘探、生命科學、氣象環(huán)境等需要進行大規(guī)模數(shù)據(jù)計算的領域，HPC(高性能計算) 作為傳統(tǒng)的分布式計算模式，有著廣泛的應用。在這些相關(guān)領域的從業(yè)者中，也有很多人希望能將 HPC 應用遷移到容器中運行，通過 Kubernetes 強大的功能來進行作業(yè)管理。開源的 Volcano 項目就是一個很好的解決方案。

Volcano 是一個基于 Kubernetes 的云原生批量計算平臺，也是 CNCF 的首個容器批量計算項目，主要用于 AI、大數(shù)據(jù)、基因、渲染等諸多高性能計算場景，對主流通用計算框架均有很好的支持。它提供面向高性能負載的調(diào)度策略、完善的作業(yè)生命周期管理、異構(gòu)硬件管理、面向高性能負載的性能優(yōu)化等能力，目前在很多領域都已落地應用。

業(yè)界在使用一些計算框架進行大規(guī)模運算時，由于不同框架對作業(yè)管理、并行計算等要求不同，導致在高計算密度情況下，資源需求波動大，缺乏高級調(diào)度能力。同時也導致了后續(xù)部署運維復雜等問題。

Volcano 面向主流計算框架提供統(tǒng)一的批量調(diào)度平臺，提高資源利用率。同時還提供通用的作業(yè)管理、Fair-share，Gang ，bin-pack，preempt，reservation等高級調(diào)度算法，簡化運維管理。目前 Volcano 已經(jīng)支持幾乎所有的主流計算框架，包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飛槳、Spark、Flink、HOROVOD 等。

Volcano 支持的部分計算框架

Volcano 整體架構(gòu)

Volcano 利用聲明式的 CRD 定義 API，主要有 3 個核心的 API：Volcano Job、PodGroup、Queue。

Volcano Job 是對高性能作業(yè)通用定義，PodGroup 提供了Job 中 Task 的管理能力，Queue為作業(yè)排隊、公平調(diào)度提供了基礎。

Volcano 的架構(gòu)

Volcano 核心組件主要包含三個：Admission、ControllerManager、Scheduler 。

Admission 對 Volcano CRD API 提供校驗能力;

ControllerManager 負責對 Volcano CRD 進行資源管理;

Scheduler 對作業(yè)供豐富的調(diào)度能力。

Volcano社區(qū)概況

Volcano 起源于 kube-batch 項目，這個項目最初的目的是解決 Kubernetes 中的分組調(diào)度問題。隨著 AI 和大數(shù)據(jù)服務開始要求 Kubernetes 提供更強大、更靈活的調(diào)度，kube-batch 與各種場景特定的實踐相結(jié)合，提供了更豐富的調(diào)度能力，同時增加了作業(yè)管理、數(shù)據(jù)管理、運行時管理、異構(gòu)硬件管理等，形成了一個統(tǒng)一的批處理系統(tǒng)，并被重新命名為Volcano。2020 年 4 月，Volcano 項目由華為云正式貢獻給 CNCF，成為 CNCF 迎來的首個容器批量計算項目。

在開源開放、廠商中立的社區(qū)治理下，目前 Volcano 在代碼托管平臺上已獲得了 2k+star，430+fork，有 290+ 來自國內(nèi)外的開發(fā)者參與代碼貢獻。Volcano 社區(qū)擁有 9位Maintainer，12 位 Reviewer，有超過50家企業(yè)與科研機構(gòu)參與項目合作，合作伙伴包括華為、騰訊、百度、愛奇藝、滴滴出行、京東、建信金融科技等。在未來，Volcano 將在企業(yè)數(shù)字化、云原生轉(zhuǎn)型過程中發(fā)揮越來越重要的作用。