关于 Kubernetes中Job&CronJob的一些笔记
写在前面
- 学习K8s涉及到这些，整理笔记加以记忆
- 博文内容涉及：
job的创建,参数解析,并行多work的job创建cron job的创建- Demo个别地方使用了
ansible,不影响阅读
很多道理我憋在心里，想要跟这个世界好好的说上一说! ——烽火戏诸侯《剑来》
Job&CronJob
Job：批处理工作计划
Kubernetes从1.2版本开始支持批处理类型的应用,我们可以通过Kubernetes Job资源对象来定义并启动一个批处理任务。
批处理任务通常并行(或者串行)启动多个计算进程去处理一批工作项(work item)处理完成后,整个批处理任务结束。
K8s官网中这样描述：Job 会创建一个或者多个 Pods，并将继续重试 Pods 的执行，直到指定数量的 Pods 成功终止。 随着 Pods 成功结束，Job 跟踪记录成功完成的 Pods 个数。 当数量达到指定的成功个数阈值时，任务（即 Job）结束。 删除 Job 的操作会清除所创建的全部 Pods。 挂起 Job 的操作会删除 Job 的所有活跃 Pod，直到 Job 被再次恢复执行。
一种简单的使用场景下，你会创建一个 Job 对象以便以一种可靠的方式运行某 Pod 直到完成。 当第一个 Pod 失败或者被删除（比如因为节点硬件失效或者重启）时，Job 对象会启动一个新的 Pod。也可以使用 Job 以并行的方式运行多个 Pod。
考虑到批处理的并行问题, Kubernetes将Job分以下三种类型。
| 类型 | 描述 |
|---|---|
| Non-parallel Jobs | 通常一个Job只启动一个Pod,除非Pod异常,才会重启该Pod,一旦此Pod正常结束, Job将结束。 |
| Parallel Jobs with a fixed completion count | 并行Job会启动多个Pod,此时需要设定Job的.spec.completions参数为一个正数,当正常结束的Pod数量达至此参数设定的值后, Job结束。此外, Job的.spec.parallelism参数用来控制并行度,即同时启动几个Job来处理Work Item. |
| Parallel Jobs with a work queue | 任务队列方式的并行Job需要一个独立的Queue, Work item都在一个Queue中存放,不能设置Job的.spec.completions参数,此时Job有以下特性。每个Pod都能独立判断和决定是否还有任务项需要处理。 如果某个Pod正常结束,则Job不会再启动新的Pod. 如果一个Pod成功结束,则此时应该不存在其他Pod还在工作的情况,它们应该都处于即将结束、退出的状态。 如果所有Pod都结束了,且至少有一个Pod成功结束,则整个Job成功结束。 |
嗯，我们就第一个，第二搞一个Demo，第三中之后有时间搞，其实就是资源配置参数的问题
环境准备
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl config set-context $(kubectl config current-context) --namespace=liruiling-job-createContext "kubernetes-admin@kubernetes" modified.┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl create ns liruiling-job-createnamespace/liruiling-job-create created┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$vim myjob.yaml创建一个job
创建一个Job，执行echo "hello jobs"
myjob.yaml
apiVersion: batch/v1kind: Jobmetadata: creationTimestamp: null name: my-jobspec: template: metadata: creationTimestamp: null spec: containers: - command: - sh - -c - echo "hello jobs" - sleep 15 image: busybox name: my-job resources: {} restartPolicy: Neverstatus: {}┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl apply -f myjob.yamljob.batch/my-job created┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAMEREADY STATUSRESTARTS AGEmy-job--1-jdzqd 0/1 ContainerCreating 0 7s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 0/1 17s 17s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAMEREADY STATUS RESTARTS AGEmy-job--1-jdzqd 0/1 Completed 0 24sSTATUS 状态变成 Completed意味着执行成功，查看日志
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 1/1 19s 46s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl logs my-job--1-jdzqdhello jobs┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$job的配置参数解析
job的restart策略
restartPolicy: Never- Nerver :
只要任务没有完成，则是新创建pod运行，直到job完成 会产生多个pod - OnFailure :
只要pod没有完成，则会重启pod，直到job完成
activeDeadlineSeconds：最大可以运行时间
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl explain jobs.spec | grep act activeDeadlineSeconds <integer> may be continuously active before the system tries to terminate it; value given time. The actual number of pods running in steady state will be less false to true), the Job controller will delete all active Pods associated┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$vim myjobact.yaml使用activeDeadlineSeconds：最大可以运行时间创建一个job
myjobact.yaml
apiVersion: batch/v1kind: Jobmetadata: creationTimestamp: null name: my-jobspec: template: metadata: creationTimestamp: null spec: activeDeadlineSeconds: 5 #最大可以运行时间 containers: - command: - sh - -c - echo "hello jobs" - sleep 15 image: busybox name: my-job resources: {} restartPolicy: Neverstatus: {}超过5秒任务没有完成，所以从新创建一个pod运行
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl delete -f myjob.yamljob.batch "my-job" deleted┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl apply -f myjobact.yamljob.batch/my-job created┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAMEREADY STATUSRESTARTS AGEmy-job--1-ddhbj 0/1 ContainerCreating 0 7s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 0/1 16s 16s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAMEREADY STATUSRESTARTS AGEmy-job--1-ddhbj 0/1 Completed 0 23smy-job--1-mzw2p 0/1 ContainerCreating 0 3s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAMEREADY STATUS RESTARTS AGEmy-job--1-ddhbj 0/1 Completed 0 48smy-job--1-mzw2p 0/1 Completed 0 28s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 0/1 55s 55s其他的一些参数
parallelism: N 一次性运行N个pod
completions: M job结束需要成功运行的Pod个数，即状态为Completed的pod数
backoffLimit: N 如果job失败，则重试几次
parallelism：一次性运行几个pod，这个值不会超过completions的值。
创建一个并行多任务的Job
apiVersion: batch/v1kind: Jobmetadata: creationTimestamp: null name: my-jobspec: backoffLimit: 6 #重试次数 completions: 6 # 运行几次 parallelism: 2 # 一次运行几个 template: metadata: creationTimestamp: null spec: containers: - command: - sh - -c - echo "hello jobs" - sleep 15 image: busybox name: my-job resources: {} restartPolicy: Neverstatus: {}创建一个有参数的job
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl apply -f myjob-parma.yamljob.batch/my-job created┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get pods jobsError from server (NotFound): pods "jobs" not found┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get pods jobError from server (NotFound): pods "job" not found┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 0/6 19s 19s查看参数设置的变化，运行6个job
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAMEREADY STATUSRESTARTS AGEmy-job--1-9vvst 0/1 Completed 0 25smy-job--1-h24cw 0/1 ContainerCreating 0 5smy-job--1-jgq2j 0/1 Completed 0 24smy-job--1-mbmg6 0/1 ContainerCreating 0 1s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 2/6 35s 35s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 3/6 48s 48s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$└─$kubectl get podsNAMEREADY STATUS RESTARTS AGEmy-job--1-9vvst 0/1 Completed 0 91smy-job--1-b95qv 0/1 Completed 0 35smy-job--1-h24cw 0/1 Completed 0 71smy-job--1-jgq2j 0/1 Completed 0 90smy-job--1-mbmg6 0/1 Completed 0 67smy-job--1-njbfj 0/1 Completed 0 49s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobsNAME COMPLETIONS DURATION AGEmy-job 6/6 76s 93s实战:计算圆周率2000位
命令行的方式创建一个job
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl create job job3 --image=perl --dry-run=client -o yaml -- perl -Mbignum=bpi -wle 'print bpi(500)'apiVersion: batch/v1kind: Jobmetadata: creationTimestamp: null name: job3spec: template: metadata: creationTimestamp: null spec: containers: - command: - perl - -Mbignum=bpi - -wle - print bpi(500) image: perl name: job3 resources: {} restartPolicy: Neverstatus: {}拉取相关镜像，命令行创建job
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$ansible node -m shell -a "docker pull perl"┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl create job job2 --image=perl -- perl -Mbignum=bpi -wle 'print bpi(500)'job.batch/job2 created┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAME READY STATUS RESTARTS AGEjob2--1-5jlbl 0/1 Completed 0 2m4s查看运行的job输出
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl logs job2--1-5jlbl3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491Cronjob(定时任务)
在 cronjob 的 yaml 文件里的 .spec.jobTemplate.spec 字段里，可以写 activeDeadlineSeconds 参数，指定 cronjob 所生成的 pod 只能运行多久
Kubernetes从1.5版本开始增加了一种新类型的Job,即类似LinuxCron的定时任务Cron Job,下面看看如何定义和使用这种类型的Job首先,确保Kubernetes的版本为1.8及以上。
在Kubernetes 1.9版本后，kubectl命令增加了别名cj来表示cronjob，同时kubectl set image/env命令也可以作用在CronJob对象上了。
创建一个 Cronjob
每分钟创建一个pod执行一个date命令
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl create cronjob test-job --image=busybox --schedule="*/1 * * * *" --dry-run=client -o yaml -- /bin/sh -c "date"apiVersion: batch/v1kind: CronJobmetadata: creationTimestamp: null name: test-jobspec: jobTemplate: metadata: creationTimestamp: null name: test-job spec: template: metadata: creationTimestamp: null spec: containers: - command: - /bin/sh - -c - date image: busybox name: test-job resources: {} restartPolicy: OnFailure schedule: '*/1 * * * *'status: {}可是使用yaml文件或者命令行的方式创建
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNo resources found in liruiling-job-create namespace.┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl apply -f jobcron.yamlcronjob.batch/test-job configured┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobNAME COMPLETIONS DURATION AGEtest-job-27330246 0/1 0s 0s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAME READY STATUS RESTARTS AGEtest-job-27330246--1-xn5r6 1/1 Running 0 4s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get podsNAME READY STATUS RESTARTS AGEtest-job-27330246--1-xn5r6 0/1 Completed 0 100stest-job-27330247--1-9blnp 0/1 Completed 0 40s运行--watch命令,可以更直观地了解Cron Job定期触发任务执行的历史和现状:
┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl apply -f jobcron.yamlcronjob.batch/test-job created┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get cronjobsNAMESCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGEtest-job */1 * * * * False 0 <none> 12s┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobs --watchNAME COMPLETIONS DURATION AGEtest-job-27336917 0/1 0stest-job-27336917 0/1 0s 0stest-job-27336917 1/1 25s 25stest-job-27336918 0/1 0stest-job-27336918 0/1 0s 0stest-job-27336918 1/1 26s 26s^C┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$kubectl get jobs -o wideNAME COMPLETIONS DURATION AGE CONTAINERS IMAGES SELECTORtest-job-27336917 1/1 25s 105s test-job busybox controller-uid=35e43bbc-5869-4bda-97db-c027e9a36b97test-job-27336918 1/1 26s 45s test-job busybox controller-uid=82d2e4a5-716c-42bf-bc7d-3137dd0e50e8┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-jobs-create]└─$
