自动化部署任务管理(实践篇)

自动化部署项目分析

  1. 分析业务,将强关联业务放入到一组。常用分组方式有按业务分组、按开发团队分组。
  2. 分析业务,获得该业务组下包含的所有服务。
  3. 获得业务服务属性,包括源代码SCM路径、编译方法、目标文件、部署方式、服务启停、配置文件等。
  4. 分析完成后,可获得一个物理架构图

Jenkins任务建立

  1. 使用SCM用户登录Jenkins。
  2. 点击左侧『新建』(New Item),在『 项目名称』(Enter an item name)中填入项目代称。必须英文名,便于源代码管理和项目管理等。
  3. 项目类型中选择『文件夹』(Folder), 点击OK保存。系统将自动跳转至文件夹的信息完善页面

  4. 在『显示名称』(Display Name)中,填入项目中文名。 点击Save,保存。系统将自动跳转至文件夹查看页面。

  5. 点击左上角『新建』(New Item),建立builds子文件夹,『显示名称』留空,点击OK保存。

  6. 在builds文件夹的查看页面,点击左上角『新建』,建立编译工程。『 项目名称』中填入任务的英文代称,一般可使用SCM中的目录命名。

  7. 如果项目编译为Maven项目,在『复制项目』Copy From填入/openpay/builds/opm。从以往的已经完成的配置中复制配置过来, 以便减少配置的复杂性和统一配置。 然后点击保存,自动进入任务信息完善页面。

  8. 在『源码管理』 中,修改SCM设置,填入SVM类型和代码路径。修改『构建后操作』/『用于存档的文件』的文件路径 。

  9. 根据需要可修改其他的设置, 如构建设置的邮件通知等。然后保存。完成编译任务的建立

  10. 回到项目文件夹,左上角点击『新建』,准备建立发布任务
  11. 在『 项目名称』中填入: $SERVICE_publisher 。$SERVICE为第6步使用的英文代称。

  12. 当项目的编译方法为Jar时,可在『复制项目』填入 /dspay/api_publisher,以便减少配置工作量。点击OK,进入任务信息完善页面。

  13. 在『高级项目选项』(Advanced Project Options)中点击『高级』展开选项, 在『显示名称』填入中文名称,如『点刷支付 API(BIZ) 发布』。

  14. 在 Properties Content 中设置以下值。

    PROJECT_NAME=dspay #为项目名称。
    SERVICE_NAME=api   #为服务名称>
    BUILD_JOB=${PROJECT_NAME}/builds/api_all   #为编译工作。
    TARGET_FILE=ds-biz-1.0.tar.gz              #为编译工作内的用于存档的文件的目标文件。
    PLAYBOOK=${PROJECT_NAME}/${SERVICE_NAME}   #为上线的playbook脚本,存储在rhasta项目中。一般不改。 Playbook的新增和维护工作由运维部负责。
  15. 点击保存。然后测试build job 和publish job。

Jenkins权限分配

完成项目的任务建立和测试工作后,即可将项目交付给测试人员、开发人员进行使用。

  1. 使用admin用户登录Jenkins
  2. 通过系统管理 =》管理和分配角色 =》 管理角色, 进入项目角色管理页面 http://jenkins:8080/role-strategy/manage-roles。
  3. 在 『项目角色』(Project roles) –『添加角色』(Role to add) 填入项目代称, 在 Pattern 填入  ^项目代称.*。 这里的项目代称与『Jenkins任务建立』流程的第6步的代称一致。
  4. 点击保存,完成项目角色的创建。
  5. 通过系统管理 =》管理和分配角色 =》 分配角色,进入角色分配页面,在『项目角色』(Project roles)表中,将刚建立的项目角色分配给需要的用户。
  6. 如果用户不存在,先参考『自动化部署用户及权限(实践篇)』创建用户,并在 『项目角色』中通过『添加用户组』(User/group to add)将用户增加到项目角色表。
  7. 最终点击保存,使权限配置生效。

Jenkins部署流程图

 

  1. 开发者发起任务,一般开发者指QA, 也包括test,scm人员
  2. Jenkins根据任务配置,调用构建工作,Builder编译节点将进行检出代码、执行构建工作。
  3. 同时,Builder节点也进行一些静态的代码检查,包括单元测试、代码风格检查等。
  4. 构建及静态检查通过后,将获得存档目标文件,返回给Jenkins。
  5. Jenkins将文件发送至Ansible服务器
  6. Ansible服务器通过部署脚本、根据环境配置,对测试环境进行部署工作
  7. 测试人员针对测试环境进行功能测试等各类测试,并反馈测试结果。
  8. 根据测试环境的测试结果,重复5,6,7过程,完成准生产环境、生产环境的部署工作。

最佳实践补充

  1. jenkins本身的配置、项目及任务都应该被代码管理,保障JOBS和Jenkins配置的更新历史。因此可将Jenkins Home提交到git,并定期登录到Jenkins服务器执行 git commit 和 git push工作

  2. 这一过程也可通过Jenkins Plugin:SCM Sync Configuration Plugin 自动完成

自动化部署任务管理(理论篇)

基本元素

业务服务更新过程主要的元素包括:

  • 业务代码。

为业务开发人员编写的代码, 存储在代码控制系统(SCM)中,包括git或svn。

  • 配置

业务服务运行时,依赖于运行参数和运行环境,如测试环境、生产环境等参数不一致。因此对这一类参数需要进行配置化管理。配置文件的维护由配置工程师维护,也存储在SCM中。

  • 目标文件

通过业务代码、配置文件及编译过程,将业务代码转化成的可运行的文件(或可在容器内运行的文件)。

  • 服务

运行目标文件或容器,并提供业务功能的进程。服务一般需要进行进程启停和监控、日志写入、文件读写等相关运维管理工作。

  • 过程和流程管理

将以上的代码、配置,转化为提供服务的过程,在这一过程中,增加环境上线审批等流程。

过程和流程管理

在本章Jenkins部署过程中业务更新的重要环节为:

  1. 签出代码,将指定的业务代码签出
  2. 编译代码,得到准备上线的目标文件。
  3. 对代码进行自动化测试,包括静态代码检查活可运行的单元测试等
  4. 将目标文件发布至测试环境,同时上线的还有针对测试环境的配置文件。
  5. 启动或重新启动服务,使新的目标文件生效。
  6. 重复第4、5步骤,将目标文件和配置发布至准生产环境、生产环境,并使服务生效
  7. 对于准生产环境、生产环境的上线,增加测试审批流程。

 

自动化部署用户及权限(实践篇)

一、初始化用户及角色系统

  1. 通过Jenkins插件管理,安装Role Strategy Plugin,然后重启生效。
  2. 进入系统管理 =》全局安全配置, 将访问控制修改为『Unix用户/组数据库』, 授权策略修改为 『Role-Based Stategy』。
  3. 『Unix用户/组数据库』需要将jenkins服务的运行者修改为root组。
    sudo usermod -a -G root jenkins
    sudo chmod g+r /etc/shadow
  4. 保存全局安全配置页面, 重启Jenkins服务。
  5. 进入系统管理 =》管理和分配角色 =》 管理角色, 在『全局角色』中建立角色表,如表:
    Role Overall Credentials Agent Job Run View SCM Lockable Resources
    Administer ConfigureUpdateCenter Read RunScripts UploadPlugins Create Delete ManageDomains Update View Build Configure Connect Create Delete Disconnect Build Cancel Configure Create Delete Discover Move Read Workspace Delete Replay Update Configure Create Delete Read Tag Reserve Unlock
    Anonymous
    admin Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
    authenticated Y
    dev Y Y Y Y
    qa Y Y Y Y Y Y
    sa Y Y Y Y Y Y Y Y Y
    scm Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
  6. 登录到Jenkins的Linux/Unix系统,增加角色

for g in dev qa sa scm admin; do
sudo groupadd $g
done

二、创建用户

  1. 发现用户。Jenkins会自动导入SCM中的用户,列表在Jenkins用户列表http://jenkins:8080/asynchPeople/页面。
  2. 如无法在jenkins用户列表中找到用户,如测试人员,SA人员等,则可通过http://jenkins:8080/securityRealm/ 页面新建用户。
  3. 通过Shell登录到Jenkins服务器,建立Unix系统用户、密码、分配组
    USERNAME=用户名 #用户名与jenkins系统中找到或建立的用户名相同。
    GROUP=组 #dev qa sa scm admin其中之一
    sudo adduser -r -s /bin/false $USERNAME
    sudo usermod -a -G $GROUP $USERNAME
    sudo passwd $USERNAME  #然后输入密码。
  4. 如果用户有多个组,则可多次运行 usermod 指令。
  5. 角色管理页面和Unix组添加是重复步骤,需保持缺一不可。
  6. 更多的用户操作,如删除用户,修改组等方法可以使用userdel,/etc/group等。详细参考Linux系统手册,
  7. 缺点:为了Jenkins的系统安全,用户的Shell使用/bin/false,因此用户不能登录、无法修改密码,密码修改操作需由Jenkins 系统管理员进行。

自动化部署用户及权限(理论篇)

一、Jenkins安全域管理

Jenkins可使用多种方式对用户授权进行管理。在实际应用中,一般大型团队可建立LDAP服务器,小型团队可使用Unix用户/ 组。

Jenkins专有用户数据库 Jenkins的内置验证,适用于没有用户数据库小范围的设定。不支持组概念。
LDAP 轻量目录访问协议验证,需要在外部建立LDAP服务器
Servlet容器代理 使用Servlet容器认证用户,遵循Servlet规范。旧版本遗留功能。
Unix用户/组数据库 将授权验证委托给Jenkins的操作系统。

表1: Jenkins安全域管理

二、授权策略

Jenkins内置的授权策略为任何用户可以做任何事、登录用户可以做任何事、或遗留模式。内置模式无法满足多角色操作的需求,因此我们引入插件 Role Strategy Plugin,来实现用户ACL管理策略。RSP可建立的策略包括:

  • 建立角色,如系统管理员,项目管理员,匿名用户等。并在全局范围内赋予工作台、从节点、项目、运行、视图或版本控制权限。
  • 建立项目角色,对指定的项目赋予管理和运行权限
  • 建立从节点角色,管理节点相关权限
Overall  全局, 系统级别的定义组
  Administer 管理员,分配后具备Jenkins所有操作权限
  Read 系统访问,该权限包括大部分Jenkins页面的只读权限
  RunScripts 运行脚本,在Jenkins系统中运行脚本,包括Groovy脚本或可交互的Groovy命令行,不包括任务。
Credentials   凭证
   Create、Update、View、Delete 分别为创建、更新、访问、删除凭证
  ManageDomains 凭证域管理
Agent   节点
  Create、Configure、Delete 创建、修改、删除节点
Connect、Disconnect 连接、断开连接操作
 Job  任务
  Create、Configure、Delete、Read 创建、修改、删除、查看任务
  Discover 发现。当勾选后,无Read权限的用户访问任务URL时,将被提示重新登录。若为不勾选,则会出现404.
  Build、Cancel 启动一个构建、中断正在运行的构建
  Workspace 工作区的源代码访问权限
Run  构建
  Update、Delete 更新或删除一个构建
View  视图
  Create Configure、Delete、Read 创建、修改、删除、查看视图

表2.系统权限表

三、组织结构

按照组织结构和任务分工,可将用户分为开发(dev)、测试(qa)、配置管理(scm)、运维工程师(sa)、管理员(admin)等角色。

角色  职责
dev
  • 对关联项目具有只读权限,可进行编译工作和发布至测试环境工作。
  • 不可发布准生产(UAT)环境、生产(Prod)环境
qa
  • 具有dev的所有权限
  • 发布代码至UAT、PROD环境
  • 对已发布版本标记Tag功能。
scm
  •  建立项目、配置Jenkins项目权限
  • 不受限于项目配置分配
  • 由于Jenkins项目需要,scm也一般也具备dev的编译和发布至测试环境工作
sa
  • 具有认证帐号的管理权限,如svn的帐号密码,git的访问私钥、ssh密钥等
  • 无项目管理权限
admin
  • 具有全部功能权限
  • 用户管理、项目组管理及用户权限分配
  • 用于其他系统排错及异常处理工作
  • 一般不使用admin账户进行日常发布工作

表3:Jenkins用户角色职责表

 

注: Role Strategy Plugin: https://wiki.jenkins-ci.org/display/JENKINS/Role+Strategy+Plugin

 

 

自动化部署FAQ

问:程序要修改配置文件怎么办?

答:程序配置文件修改提交给自动化配置管理工程师,提交内容包括:

  •  修改了哪个文件
  • 增加了那几行
  • test, uat, prod环境分别是什么

问:业务服务自动化的一般过程是什么?

答:1. 基础系统自动化,构建setup.yml,进行系统配置及基础服务安装,如时间同步脚本、语言设置、supervisor服务管理工具等,JDK安装等。
2. 项目基础环境安装,运行项目内的的全部任务,加上—tags=setup,完成项目依赖的环境安装,如项目目录、日志目录、容器等初始化过程。
3. 构建Jenkins任务,推送项目文件。

 

DevOps最佳实践(开篇)

十年工作以来,我一直工作在IT工作领域,从事的工作包括工程师,高级工程师,技术总监,产品总监,也包括有事业部总经理,集团副总裁等管理职能。每次职能提升,我更多的看到是跨部门协作和沟通的重要性和难度。如何处理部门间的工作分配、协同、甚至是整合,成了我日常工作的重要内容。

开发部的利益诉求,是保障产品功能得以快速上线,功能正常运行;运维团队的利益诉求是系统安全、功能稳定,系统高效。在运维的最佳实践中,大都会指明:『为了更好的保证数据安全和运维稳定,应该禁止开发人员直接访问和修改生产环境』。该实践说明运维原则的Why和What,但少有公司能解决How。在缺乏工具的时代,常常是开发人员完成工作后,将开发结果交给运维人员,运维人员再通过FTP等工具上传至生产服务器,完成部署和重启工作。而这个过程中,运维人员对上线的的服务不了解,承担不了上线过程的审核工作,只是机械的重复的完成了FTP、代码搬运、服务重启的执行工作。而开发人员也在惆怅说没有生产环境权限,对于部署中或部署后的日志访问权限受限,降低了服务故障的识别效率。

DevOps(Development和Operations的组合词)是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程,来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。借助这一理论框架,可对公司的开发和运维方式建立一套解决方案。

我最早接触DevOps概念是2007年在『满星』任职时期。当时还不叫DevOps的概念,但开发、测试、运维的实际工作与DevOps的组织结构很相似。开发人员使用PHP进行开发,CVS用于代码管理,运维提供称之为『Code Ballinrobe Launcher』的WEB工具。 cheap NBA jerseys 在每次上线时,开发人员先声明需要增量发布的标记Tag,使用这个Tag对需要增量更新的代码进行标记;而后交付给开发团队进行代码走查,测试人员使用『Code cheap jerseys Lancher』将Tag文件签出,上线到测试环境进行回归测试。测试通过后,再将测试环境的代码rsync到生产环境完成整个上线过程。这套工具很好的释放了运维工程师,将上线工作交给了测试人员,因为测试人员有审核代码是否达到上线标准的权利。 wholesale NBA jerseys 2010年进入腾讯,广告平台部。我继承了满星的思路,使用Python开发了一个全新的发布系统,称之为『Code wholesale NBA jerseys Builder』,用来承载广告平台部门及其外包部门的代码管理和发布工作。然后DevOps的概念开始蔓延,capistrano、 Tasar?m Jenkins等各种辅助工具出现,并相互渗透整合,形成了DevOps的生态链。至此我也放弃了对CodeBuilder的继续维护,并切换到开源微服务阵营。

DevOps的技术理论和工具的不断完善,给自动化运维带来了福音。他不是一个新的产品活工具,而是提供了一个跨部门的管理框架。

之所以开篇写此系列,是希望能将我爬过山,填过的坑做一个整理,将过往的经验进行一次整理,形成一个DevOps的最佳实践。我尽量将『最佳实践』进行了抽象和整理,尽可能少的涉及到业务细节和开发语言细节,使其具有一定的适应性和简便性,但每一次实践都取决于特定时期和特定环境,实践是否能在读者的工作环境快速推进,需要读者根据当前的环境认真分析和决策。