一个靠谱的GIT分支模型(GIT Flow)

作者:Vincent Driessen

原文连接: http://nvie.com/posts/a-successful-git-branching-model/

译者:罗春晖

译文连接:http://www.luochunhui.com/blog/a-successful-git-branching-model/

译者注:这是一套靠谱的git分支指导。充分的适配于团队的日常开发、新功能开发、紧急bug修复,通过该模型可建立一套行之有效的上线发布流程。本模型后来作为 GIT Flow 的标准被推行。

 

In this post I present the development model that I’ve introduced for some of my projects (both at work and private) about a year ago, and which has turned out to be very successful. I’ve been meaning to write about it for a while now, but I’ve never really found the time to do so thoroughly, until now. I won’t talk about any of the projects’ details, merely about the branching strategy and release management.

本文我将介绍近一年内,在我项目中(包括公司项目和个人项目)应用的开发模型。实践证明,这个模型发挥了非常良好的效果,相当靠谱。很早之前我就想写点东西,但直到今天才抽出时间。本文不涉及任何的项目细节,仅仅讨论分支策略和发布管理方法。

It focuses around Git as the tool for the versioning of all of our source code.

本文版本管理工具使用GIT。

Why git?

为什么使用GIT

For a thorough discussion on the pros and cons of Git compared to centralized source code control systems, see the web. There are plenty of flame wars going on there. As a developer, I prefer Git above all other tools around today. Git really changed the way developers think of merging and branching. From the classic CVS/Subversion world I came from, merging/branching has always been considered a bit scary (“beware of merge conflicts, they bite you!”) and something you only do every once in a while.

经过一些讨论和对比,我们最终选用GIT作为我们的版本管理工具,详情参考文章: GitSvnComparison 。GIT有非常多的亮点,作为一个开发人员,GIT是我最喜欢的版本管理工具,没有之一。 GIT改变了开发人员对代码分支和合并的思维方式。在经典的CVS/SVN的世界中,分支和合并被认为是危险的(小心合并冲突,他真的会咬你!),我们经常不得不考虑在很长一段时间,绝对必要时才去进行一次合并操作。

But with Git, these actions are extremely cheap and simple, and they are considered one of the core parts of your daily workflow, really. For example, in CVS/Subversion books, branching and merging is first discussed in the later chapters (for advanced users), while in every Git book, it’s already covered in chapter 3 (basics).

但在GIT中,分支和合并工作是很方便和简单的,他们可以作为日常工作的一部分。比方来说,在CVS/SVN的书籍中,分支合并的讨论一般会作为高级教程,放在全书的后面章节。但在GIT的书籍中,分支介绍则作为基础章节中进行提前介绍。

As a consequence of its simplicity and repetitive nature, branching and merging are no longer something to be afraid of. Version control tools are supposed to assist in branching/merging more than anything else.

因为GIT作为新的版本管理工具,给我们提供了相当完善的分支和合并支持,妈妈再也不用担心我们在分支和合并时难受了。

Enough about the tools, let’s head onto the development model. The model that I’m going to present here is essentially no more than a set of procedures that every team member has to follow in order to come to a managed software development process.

介绍完工具,接下来我们将定义一个开发模型。通过这个模型,我们约定所有的开发人员的操作规范,建立对应的处理流程,使得软件的开发过程更易于管理。

Decentralized but centralized

去中心化和中心化

The repository setup that we use and that works well with this branching model, is that with a central “truth” repo. Note that this repo is only considered to be the central one (since Git is a DVCS, there is no such thing as a central repo at a technical level). We will refer to this repo as origin, since this name is familiar to all Git users.

在这个模型中,我们需要一个唯一的中心仓库(从技术角度来看,GIT并没有中心仓库概念)。我们将其命名为origin,这个名字GIT用户都比较熟悉。

 

Each developer pulls and pushes to origin. But besides the centralized push-pull relationships, each developer may also pull changes from other peers to form sub teams. For example, this might be useful to work together with two or more developers on a big new feature, before pushing the work in progress to origin prematurely. In the figure above, there are subteams of Alice and Bob, Alice and David, and Clair and David.

每一个开发人员都从origin中拉取和推送代码。在中心仓库之外,模型也允许开发人员相互之间进行代码的拉取和推送,形成一个小项目组,允许两个或两个以上的人员共同开发一个新功能。在新功能完成之前,这个小项目组不必将代码提交给origin。在上图中,Alice和Bob,Alice和David,Clair和David分别组成了三个小项目组。

Technically, this means nothing more than that Alice has defined a Git remote, named bob, pointing to Bob’s repository, and vice versa.

技术方面,Alice需要定一个GIT远程仓库,命名为Bob,并连接至Bob的本地代码仓库。其他的子小组成员也是一样。

The main branches

主要分支

At the core, the development model is greatly inspired by existing models out there. The central repo holds two main branches with an infinite lifetime:

  • master
  • develop

核心模型与传统的GIT简单开发模型相似。在中心仓库中,包含了两个主要的分支,这些分支在项目生命周期中一直存在:

  • master 主分支
  • develop 开发分支

The master branch at origin should be familiar to every Git user. Parallel to the master branch, another branch exists called develop.

master主分支是GIT用户的常用名称。与master主分支同时存在的分支,称之为develop开发分支。

We consider origin/master to be the main branch where the source code of HEAD always reflects a production-ready state.

origin/master作为主要分支之一,是因为这个分支上的最新代码总是代表着生产环境的发布版本。

We consider origin/develop to be the main branch where the source code of HEAD always reflects a state with the latest delivered development changes for the next release. Some would call this the “integration branch”. This is where any automatic nightly builds are built from.

origin/develop作为另一个主要分支,是因为这个分支上的最新代码代表着开发人员为下一个发布版本提交的最新代码。有时我们也将其称之为『集成分支』。它一般可用于自动集成工具发布『每日构建』。

When the source code in the develop branch reaches a stable point and is ready to be released, all of the changes should be merged back into master somehow and then tagged with a release number. How this is done in detail will be discussed further on.

当源代码在develop分支中被开发完成,并准备发布时,所有的提交变更都应该被合并至master分支,并使用tag工具标记一个版本号。详细的操作方法我们稍后会继续讨论。

Therefore, each time when changes are merged back into master, this is a new production release by definition. We tend to be very strict at this, so that theoretically, we could use a Git hook script to automatically build and roll-out our software to our production servers everytime there was a commit on master.

也就是说,在master上出现新的代码提交和合并时,就代表一个新的生产发布需求产生了。在实际中工作中,我们可以建立一个git钩子脚本,自动检测master分支的变更。当master上有新的提交时,我们就自动编译代码并发布至生产环境。

Supporting branches

辅助分支

Next to the main branches master and develop, our development model uses a variety of supporting branches to aid parallel development between team members, ease tracking of features, prepare for production releases and to assist in quickly fixing live production problems. Unlike the main branches, these branches always have a limited life time, since they will be removed eventually.

讨论完主分支和开发分支后,接下来我们介绍一些辅助分支。他们将用于支持团队成员的并行开发,包括新功能开发、生产发布准备,生产环境的问题修复等。和主要分支不同,辅助分支一般只在需要时被建立,生命周期结束后即被释放删除。

The different types of branches we may use are:

  • Feature branches
  • Release branches
  • Hotfix branches

我们使用的辅助分支有如下几类:

  • 新功能分支
  • 发布分支
  • BUG修复分支

Each of these branches have a specific purpose and are bound to strict rules as to which branches may be their originating branch and which branches must be their merge targets. We will walk through them in a minute.

每一种分支都有特殊的用途,对分支的创建和合并操作进行了严格定义。它们只能从指定的来源分支建立,然后必须合并至另一指定的目标分支。我们很快会讨论细节。

By no means are these branches “special” from a technical perspective. The branch types are categorized by how we use them. They are of course plain old Git branches.

技术上将,这些分支和普通的GIT分支没什么两样。我们只是按照他们的用途进行分类。

Feature branches

新功能分支(别名:特性分支)

May branch off from:
develop
Must merge back into:
develop
Branch naming convention:
anything except master, develop, release-*, or hotfix-*
分支来源:
develop
分支合并目标:
develop
分支命名规范:
任何名字,但不要使用 master, develop, release-* 或 hotfix-*

Feature branches (or sometimes called topic branches) are used to develop new features for the upcoming or a distant future release. When starting development of a feature, the target release in which this feature will be incorporated may well be unknown at that point. The essence of a feature branch is that it exists as long as the feature is in development, but will eventually be merged back into develop (to definitely add the new feature to the upcoming release) or discarded (in case of a disappointing experiment).

新功能分支(有时也称之为特性分支)被用于即将开发的或更长期的功能开发。新功能分支建立时,我们可能还无法准确预知它的能完成时间。新功能分支在该功能开发过程中存在,当开发完毕后,被合并至develop分支,完成其生命周期。

Feature branches typically exist in developer repos only, not in origin.

新功能分支一般在开发人员的仓库中存在,不需要在origin中被创建。

Creating a feature branch

创建一个新功能分支

When starting work on a new feature, branch off from the develop branch.

从develop分支中创建新功能分支:

$ git checkout -b myfeature develop
Switched to a new branch "myfeature"

Incorporating a finished feature on develop

将新功能分支合并至develop分支

Finished features may be merged into the develop branch to definitely add them to the upcoming release:

当新功能完成时,我们将其合并至develop分支,准备下一次发布。

$ git checkout develop
Switched to branch 'develop'
$ git merge --no-ff myfeature
Updating ea1b82a..05e9557
(Summary of changes)
$ git branch -d myfeature
Deleted branch myfeature (was 05e9557).
$ git push origin develop

The --no-ff flag causes the merge to always create a new commit object, even if the merge could be performed with a fast-forward. This avoids losing information about the historical existence of a feature branch and groups together all commits that together added the feature. Compare:

--no-ff 标记强制创建一个新的提交,禁止合并操作使用『快速前进(fast-forward)』方式进行。这样可以避免在合并时丢失了新功能分支脚力和消亡过程。标记功能的比较图示如下:

In the latter case, it is impossible to see from the Git history which of the commit objects together have implemented a feature—you would have to manually read all the log messages. Reverting a whole feature (i.e. a group of commits), is a true headache in the latter situation, whereas it is easily done if the--no-ff flag was used.

在右侧图中,新功能分支中的所有提交,都被嵌入到了develop分支中,除了认真阅读提交的日志信息,没法把他们分离出来。当我们试图回顾这个新功能分支中做了哪些改动时,将是个很麻烦的事情。但我们加上--no-ff标记,则可以很容易的解决这种麻烦。

Yes, it will create a few more (empty) commit objects, but the gain is much bigger than the cost.

当然,这会导致新创建了一个空的提交。但它带来的好处,远大于这一点点消耗。

Release branches

发布分支

May branch off from:
develop
Must merge back into:
develop and master
Branch naming convention:
release-*
分支来源:
develop
分支合并目标:
develop 和 master
分支命名规范:
release-*

Release branches support preparation of a new production release. They allow for last-minute dotting of i’s and crossing t’s. Furthermore, they allow for minor bug fixes and preparing meta-data for a release (version number, build dates, etc.). By doing all of this work on a release branch, the develop branch is cleared to receive features for the next big release.

发布分支用于新版本发布前的准备工作。它允许我们在发布前,做最后一点点改动,包括少量BUG的修改、元数据(如版本信息、编译参数等)的修改等。当所有工作完成后,develop分支再将这些修改全部合并回来,开始下一个版本的开发工作。

The key moment to branch off a new release branch from develop is when develop (almost) reflects the desired state of the new release. At least all features that are targeted for the release-to-be-built must be merged in to develop at this point in time. All features targeted at future releases may not—they must wait until after the release branch is branched off.

发布分支仅在我们决定发布新版本时进行创建,从develop分支中拉取并标记新版本的发布状态信息。此时所有准备上线的功能代码,都必须先合并至develop分支。针对未来的功能改动不得提交至此分支,它们必须等待下一个发布计划进行提交。

It is exactly at the start of a release branch that the upcoming release gets assigned a version number—not any earlier. Up until that moment, the develop branch reflected changes for the “next release”, but it is unclear whether that “next release” will eventually become 0.3 or 1.0, until the release branch is started. That decision is made on the start of the release branch and is carried out by the project’s rules on version number bumping.

发布分支决定了新版本及新版本号的开始。在此之前,develop分支并不决定下一个版本的版本号,不清楚下一个版本应该是『0.3』还是『1.0』,直到下一个发布分支建立时,才能知道。版本号命名交由将由项目版本管理计划决定。

Creating a release branch

创建一个发布分支

Release branches are created from the develop branch. For example, say version 1.1.5 is the current production release and we have a big release coming up. The state of develop is ready for the “next release” and we have decided that this will become version 1.2 (rather than 1.1.6 or 2.0). So we branch off and give the release branch a name reflecting the new version number:

发布分支从develop分支创建。举例来说,假设我们现在已经发布的版本为1.1.5 。开发人员已经基本完成了代码开发工作。经过评估,我们认为这次改动较大,决定将其作为版本1.2(不是1.1.6,也不是2.0)进行发布,然后创建这个新的发布分支:

$ git checkout -b release-1.2 develop
Switched to a new branch "release-1.2"
$ ./bump-version.sh 1.2
Files modified successfully, version bumped to 1.2.
$ git commit -a -m "Bumped version number to 1.2"
[release-1.2 74d9424] Bumped version number to 1.2
1 files changed, 1 insertions(+), 1 deletions(-)

After creating a new branch and switching to it, we bump the version number. Here, bump-version.sh is a fictional shell script that changes some files in the working copy to reflect the new version. (This can of course be a manual change—the point being that some files change.) Then, the bumped version number is committed.

创建新的发布分支并切换后,我们声明了版本号。在bump-version.sh脚本中,我们修改了一些工作文件,以便新版本生效(也可以手工修改)。然后提交掉这些代码。

This new branch may exist there for a while, until the release may be rolled out definitely. During that time, bug fixes may be applied in this branch (rather than on the develop branch). Adding large new features here is strictly prohibited. They must be merged into develop, and therefore, wait for the next big release.

这个分支将存在一段时间,直到这次发布完成。在此期间,可能发生一些bug修复(这些修改不在develop分支进行)。 不允许提交大功能的改进代码,它们必须被合并提交到develop,然后等待下一个发布工作。

Finishing a release branch

完成发布分支

When the state of the release branch is ready to become a real release, some actions need to be carried out. First, the release branch is merged into master (since every commit on master is a new release by definition, remember). Next, that commit on master must be tagged for easy future reference to this historical version. Finally, the changes made on the release branch need to be merged back into develop, so that future releases also contain these bug fixes.

当一个发布分支已经准备好分布时,需要可以进行如下操作。首先,该发布分支需要被合并至master分支(注意,所有master分支的提交都代表一个新的发布工作);然后,对master增加一个tag,以便未来对历史进行跟踪;最后,所有发布分支上的提交都需要合并回develop分支,确保下一个发布工作中包括了所有的bug修复。

The first two steps in Git:

前两项工作的GIT操作如下:

$ git checkout master
Switched to branch 'master'
$ git merge --no-ff release-1.2
Merge made by recursive.
(Summary of changes)
$ git tag -a 1.2

The release is now done, and tagged for future reference.

通过这些操作,一次发布工作已经完成,并标记了tag,以供未来参考之用。

Edit: You might as well want to use the -s or -u <key> flags to sign your tag cryptographically.

提醒:在tag操作中,你可能需要增加-s-u <key> 参数,用来对tag代表的代码进行签名,防止纂改。

To keep the changes made in the release branch, we need to merge those back into develop, though. In Git:

为确保下一个发布工作中包括了本次发布分支中所有的变更,我们还需要在develop中进行合并工作,git命令行如下:

$ git checkout develop
Switched to branch 'develop'
$ git merge --no-ff release-1.2
Merge made by recursive.
(Summary of changes)

This step may well lead to a merge conflict (probably even, since we have changed the version number). If so, fix it and commit.

本操作可能会导致一些冲突(可能仅仅是版本号冲突)。如果发生了,就修复并且再次提交。

Now we are really done and the release branch may be removed, since we don’t need it anymore:

现在我们已经完成了发布分支的全部工作,我们可以删除它了:

$ git branch -d release-1.2
Deleted branch release-1.2 (was ff452fe).

Hotfix branches

紧急修复分支

May branch off from:
master
Must merge back into:
develop and master
Branch naming convention:
hotfix-*
分支来源:
master
分支合并目标:
develop 和 master
分支命名规范:
hotfix-*

Hotfix branches are very much like release branches in that they are also meant to prepare for a new production release, albeit unplanned. They arise from the necessity to act immediately upon an undesired state of a live production version. When a critical bug in a production version must be resolved immediately, a hotfix branch may be branched off from the corresponding tag on the master branch that marks the production version.

紧急修复分支和发布分支相似,但它并不是计划中的工作。它应用于生产环境中出现的紧急bug修复。紧急修复分支基于线上运行的tag号签出,并以此为基础进行修改。

The essence is that work of team members (on the develop branch) can continue, while another person is preparing a quick production fix.

这样,此处修复可以不影响当前的开发工作(在develop分支中),专门抽取一个人力来快速的修复生产环境的问题。

Creating the hotfix branch

创建一个紧急修复分支

Hotfix branches are created from the master branch. For example, say version 1.2 is the current production release running live and causing troubles due to a severe bug. But changes on develop are yet unstable. We may then branch off a hotfix branch and start fixing the problem:

紧急修复分支基于master创建。比方来说,现在生产环境运行的是1.2版本,不幸的是,它发生了一个严重的bug。与此同时,我们的开发工作正在进行中,还没有准备下一次发布。我们需要创建一个紧急修复分支,来解决现在生产服务器上发生的问题:

$ git checkout -b hotfix-1.2.1 master
Switched to a new branch "hotfix-1.2.1"
$ ./bump-version.sh 1.2.1
Files modified successfully, version bumped to 1.2.1.
$ git commit -a -m "Bumped version number to 1.2.1"
[hotfix-1.2.1 41e61bb] Bumped version number to 1.2.1
1 files changed, 1 insertions(+), 1 deletions(-)

Don’t forget to bump the version number after branching off!

建立分支时,别忘了声明新的版本号。

Then, fix the bug and commit the fix in one or more separate commits.

然后,并通过一两次代码提交工作,来完成bug的修复工作。

$ git commit -m "Fixed severe production problem"
[hotfix-1.2.1 abbe5d6] Fixed severe production problem
5 files changed, 32 insertions(+), 17 deletions(-)

Finishing a hotfix branch

完成紧急修复分支

When finished, the bugfix needs to be merged back into master, but also needs to be merged back into develop, in order to safeguard that the bugfix is included in the next release as well. This is completely similar to how release branches are finished.

当修复工作完成后,代码重新合并至master进行发布。同时将其合并至develop分支,已确保在下一次发布工作中正常的包含了本次修复。合并工作于发布分支操作类似。

First, update master and tag the release.

首先切换到master分支,合并,然后标记tag。

$ git checkout master
Switched to branch 'master'
$ git merge --no-ff hotfix-1.2.1
Merge made by recursive.
(Summary of changes)
$ git tag -a 1.2.1

Edit: You might as well want to use the -s or -u <key> flags to sign your tag cryptographically.

提醒:在tag操作中,你可能需要增加-s-u <key> 参数,用来对tag代表的代码进行签名,防止纂改。

Next, include the bugfix in develop, too:

然后,在develop中合并本次分支:

$ git checkout develop
Switched to branch 'develop'
$ git merge --no-ff hotfix-1.2.1
Merge made by recursive.
(Summary of changes)

The one exception to the rule here is that, when a release branch currently exists, the hotfix changes need to be merged into that release branch, instead of develop. Back-merging the bugfix into the release branch will eventually result in the bugfix being merged into develop too, when the release branch is finished. (If work in develop immediately requires this bugfix and cannot wait for the release branch to be finished, you may safely merge the bugfix into develop now already as well.)

这里需要做一个特别说明,如果此时已经创建了一个发布分支,正准备下一次上线工作,则紧急修复分支应该被合并至该发布分支,而不是develop分支。紧急修复的代码将在发布分支完成时,经由发布分支合并至develop分支中(如果develop分支也需要立即使用这个紧急修复的代码,则也可以将紧急修复分支同时合并在develop中)。

Finally, remove the temporary branch:

最后,移除这个临时的修复分支。

$ git branch -d hotfix-1.2.1
Deleted branch hotfix-1.2.1 (was abbe5d6).

Summary

总结

While there is nothing really shocking new to this branching model, the “big picture” figure that this post began with has turned out to be tremendously useful in our projects. It forms an elegant mental model that is easy to comprehend and allows team members to develop a shared understanding of the branching and releasing processes.

这个分支模型没什么可惧怕的,在文章最开始的概览图中已经包含了全部有用的信息。相信你能够很容易的理解,并指导团队建立一个可协作的、易于使用和理解的分支和发布流程。

A high-quality PDF version of the figure is provided here. Go ahead and hang it on the wall for quick reference at any time.

PDF的阅读版本附在文后,便于你可以翻阅查看。

下载PDF版本(英文版)

 

 

Jenkins基础

Jenkins是一个自动化引擎,开发者通过工作流、使用插件构建一套适用于自己或企业的构建生态系统,完成持续化集成、自动测试、持续发布的工作。

工作流(pipeline)

Jenkins工作流是V2版本中推出的全新概念,使用Groovy编写。Groovy语法可以参考网址:Groovy syntax。如果你会编写Groovy是好的,但并不是绝对必须的。如果你有一些其他的语言编程经验,那么翻阅一下Groovy Syntax,参考现有的groovy说明,就能很快建立一个工作流。

工作流主要包括阶段(stage)、工作节点(node)、 工作步骤(step)概念。下一章我们会重点介绍。

节点(slave)

Jenkins的编译任务执行,都在节点中进行。Jenkins默认会在本机建立一个工作节点,小型团队可直接使用。但为了编译效率、权限管理,我将节点分为三类进行建设:

编译节点:根据编译的环境需求进行建立,如JDK,C,Android,Mac等。

临时节点:用于自动化用例测试、代码质量检查等代码质量处理工作。

发布节点:根据运营环境的访问策略,建立测试、准生产、生产节点。通过Jenkins的stash工具,将编译结果传输到发布节点,在由发布节点运行Ansible指令完成发布

插件(plugin)

Jenkins提供的了非常优秀的插件,常实用的插件包括

  1. 工作流,工作流是以插件的的方式加载到Jenkins中的,包括核心库和众多的工具库;
  2. SCM类,用于git,subversion的代码迁出,github插件提供对gtihub的访问权限;
  3. 权限管理:一般使用Role Strategy。对用户分角色、分项目进行精细化管理;
  4. 编译工具类,包括Maven、Ant、Gradle、xcode等

视图(View)

Jenkins根据工作流,通过可视化的方式将其展示出来,便于更好的监控和管理。

贴图

 

Steve工具介绍

Steve

建立了一个Bash脚本,用于启停进程。启停前后,均会对进程关联进程进行检查,确保进程被完全关闭,也确保进程被正确启动。 对于顽固进程特别有效! 功能:

  • 服务安全启动
  • 服务安全关闭
  • 监控服务状态
  • 自动重启服务。 当服务意外蹦了的时候,自动重启之
  • 以及Supervisord提供的管理服务的WEB工具

更多介绍和使用说明,参考 Wiki

安装

本脚本为纯Bash, 尽量较少运维依赖。 Git clone后即可使用。 服务启动依赖于Supervisor。 Supervisord是用Python实现的一款非常实用的进程管理工具,类似于monit。 Supervisord会能将你的程序转化为Daemon服务。

Supervisord 安装

supervisord可使用Linux系统原生的包管理工具安装,也可以使用easy_install, pip进行安装。 详细参考 http://supervisord.org/installing.html 简单介绍一下centos easy_install的方法:

 yum install python-setuptools
 easy_install -U supervisor
 echo_supervisord_conf > /etc/supervisord.conf
 supervisord

Supervisor 配置

在/etc/supervisord.conf中增加行。

[include]
files = /etc/supervisor.d/*.ini

建立/etc/supervisor.d/目录,以servicename.ini命名,建立需要管理的多项任务。 示例任务见 examples 下文件。 配置文件修改和任务新增后,别忘了重启supervisor服务。通过命令可查看各任务状态:supervisorctl status

Steve 配置

[hello]
###set the port here. You have to check the port manually.
use_port=10888
###set the pname here. I will check the processname which contains this.
use_pname=hello.jar
###sleep N second for next checking
sleep_time=2
### How many times need to check
retry_time=5
### use kill in N times checking
forcekill=1
### use kill -9 in N times checking
forcekill9=3
#stdlog=/data/jfpal_workspace/architect/samples/logs/
#JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home
#supervisor_name=hello
### type may be jar, tomcat, weblogic
type=jar
### file is no useful
file=/data/jfpal_workspace/architect/samples/hello.jar

配置为键值对,以=分割。 以#,[开头的配置行被直接忽略, 没有=号的也被忽略。 =号两边不要放空格, 行首行尾不要放空格。

  • supervisor_name (option) 如果没有填写,则和service名称相同。
  • use_port (option) 进程使用端口。 进程启停时,将检查端口占用情况。
  • use_pname (option) 进程名。 进程启停时,将通过ps进行检查。 应该选用能显示能唯一代表进程的名字,如文件名.jar等。 不要使用java等进程名,以防误判误伤。
  • sleep_time (option) Default: 5。检查后等待sleep_time秒后,进行下一次检查。
  • retry_time (option) Default: 5。检查失败后的重试次数
  • forcekill (option) 在第N次检查后,如果服务仍未停止,则使用kill -TERM杀掉进程。 检查包括port, pname检查。 N从0开始
  • forcekill9 (option) 在第N次检查后,如果服务仍未停止,则使用kill -KILLkill -9))杀掉进程。 检查包括port, pname检查。 N从0开始。 如果forcekill, forcekill9无此选项,或大约retry_time, 则不会使用kill灭进程。 forcekill9 数字应该大于 forcekill

Steve使用

下载到steve.sh脚本后,在同级目录下建立config文件夹,并建立配置文件。

./steve.sh -k restart -s tomcat

参数说明:

  • -s Server name 服务名称。将读取文件夹下对应的配置文件,执行steve
  • -k Action. start, stop, restart, debug 操作明。 对服务进行启动、停止、重启、或显示测试信息
  • -h|-? Show this message 帮助
  • -V Steve Version 显示Steve版本
  • -v Verbose 显示调试信息
  • -f Force run 强制运行,即使在检查中发生错误。 尽量别用。

Steve Processes

STOP

            +---------------+
            |               |
+Stop+------>   Check Port  |
            |               |
            +--------+------+
                     |                     +---------------------+
                     |                     |                     |
                     |                     |                     |
           +---------v--------+            |                     +<-------------------------------------+
           |                  |            |                     |                                      |
           |  Check PID file  |            |                     |                                      |
           |                  |            |                     |                                      |
           +---------+--------+            |                     |                                      |
                     |                     |             +-------v-------+     +---------------------+  |
                     |                     |             |               |     |                     |  |
                     |           +---------+----------+  |   CheckPort   o-----+  kill +Signal       |  |
          +----------v-------+   |                    |  |               |     |         When Needed |  |
          |                  |   |    Stop Service    |  +--------+------+     +-----+---+-----------+  |
          |  Check Process   |   |                    |           |                  |   |              |
          |       Name       |   +--------^-----------+           |                  |   |              |
          +--------+---------+            |                       |                  |   |              |
                   |                      |             +---------v--------+         |   |              |
                   |                      |             |                  |         |   |              |
                   |                      |             |  Check PID file  o---------+   |              |
                   |                      |             |                  |             |              |
                   |                      |             +---------+--------+             |              |
                   |                      |                       |                      |              |
                   +----------------------+                       |                      |              |
                                                                  |                      |              |
                                                       +----------v-------+              |              |
                                                       |                  |              |              |
                                                       |  Check Process   o--------------+              |
                                                       |       file       |                             |
                                                       +----------+-------+                             |
                                                                  |          Retry when                 |
                                                                  |          check failed               |
                                                                  +-------------------------------------+
                                                                  |
                                                                  |
                                                       +----------v------------+
                                                       |                       |
                                                       |      Stop Result      |
                                                       |                       |
                                                       +-----------------------+

START

             +---------------+
             |               |
-Start------->   CheckPort   |
             |               |
             +--------+------+
                      |                     +----------- ----------+
                      |                     |                      |
                      |                     |                      |
            +---------v--------+            |                      | <----------------+
            |                  |            |                      |                  |
            |  Check PID file  |            |                      |                  |
            |                  |            |                      |                  |
            +---------+--------+            |                      |                  |
                      |                     |              +-------v-------+          |
                      |                     |              |               |          |
                      |           +---------+----------+   |   CheckPort   |          |
           +----------v-------+   |                    |   |               |          |
           |                  |   |                    |   +--------+------+          |
           |  Check Process   |   |   Start Ser^ice    |            |                 |
           |    file          |   |                    |            |                 |
           +--------+---------+   +--------+-----------+            |                 |
                    |                      ^              +---------v--------+        |
                    |                      |              |                  |        |
                    |                      |              |  Check PID file  |        |
                    |                      |              |                  |        |
                    |                      |              +---------+--------+        |
                    |                      |                        |                 |
                    +----------------------+                        |                 |
                    |                                               |                 |
                    |                                    +----------v-------+         |
          +---------v---------------------+              |                  |         |
          |                               |              |  Check Process   |         |
          |         Exit                  |              |    file          |         |
          |   When the process is running |              +----------+-------+         |
          |                               |                         |                 |
          +-------------------------------+                         |   Retry when    |
                                                                    |  check failed   |
                                                                    +-----------------+
                                                                    |
                                                         +----------v------------+
                                                         |                       |
                                                         |                       |
                                                         |     Show  Result      |
                                                         |                       |
                                                         +-----------------------+

RESTART

STOP && Start

源码

源码代码库: https://github.com/gikoluo/Steve

 

自动化部署任务管理(实践篇)

自动化部署项目分析

  1. 分析业务,将强关联业务放入到一组。常用分组方式有按业务分组、按开发团队分组。
  2. 分析业务,获得该业务组下包含的所有服务。
  3. 获得业务服务属性,包括源代码SCM路径、编译方法、目标文件、部署方式、服务启停、配置文件等。
  4. 分析完成后,可获得一个物理架构图

Jenkins任务建立

  1. 使用SCM用户登录Jenkins。
  2. 点击左侧『新建』(New Item),在『 项目名称』(Enter an item name)中填入项目代称。必须英文名,便于源代码管理和项目管理等。
  3. 项目类型中选择『文件夹』(Folder), 点击OK保存。系统将自动跳转至文件夹的信息完善页面

  4. 在『显示名称』(Display Name)中,填入项目中文名。 点击Save,保存。系统将自动跳转至文件夹查看页面。

  5. 点击左上角『新建』(New Item),建立builds子文件夹,『显示名称』留空,点击OK保存。

  6. 在builds文件夹的查看页面,点击左上角『新建』,建立编译工程。『 项目名称』中填入任务的英文代称,一般可使用SCM中的目录命名。

  7. 如果项目编译为Maven项目,在『复制项目』Copy From填入/openpay/builds/opm。从以往的已经完成的配置中复制配置过来, 以便减少配置的复杂性和统一配置。 然后点击保存,自动进入任务信息完善页面。

  8. 在『源码管理』 中,修改SCM设置,填入SVM类型和代码路径。修改『构建后操作』/『用于存档的文件』的文件路径 。

  9. 根据需要可修改其他的设置, 如构建设置的邮件通知等。然后保存。完成编译任务的建立

  10. 回到项目文件夹,左上角点击『新建』,准备建立发布任务
  11. 在『 项目名称』中填入: $SERVICE_publisher 。$SERVICE为第6步使用的英文代称。

  12. 当项目的编译方法为Jar时,可在『复制项目』填入 /dspay/api_publisher,以便减少配置工作量。点击OK,进入任务信息完善页面。

  13. 在『高级项目选项』(Advanced Project Options)中点击『高级』展开选项, 在『显示名称』填入中文名称,如『点刷支付 API(BIZ) 发布』。

  14. 在 Properties Content 中设置以下值。

    PROJECT_NAME=dspay #为项目名称。
    SERVICE_NAME=api   #为服务名称>
    BUILD_JOB=${PROJECT_NAME}/builds/api_all   #为编译工作。
    TARGET_FILE=ds-biz-1.0.tar.gz              #为编译工作内的用于存档的文件的目标文件。
    PLAYBOOK=${PROJECT_NAME}/${SERVICE_NAME}   #为上线的playbook脚本,存储在rhasta项目中。一般不改。 Playbook的新增和维护工作由运维部负责。
  15. 点击保存。然后测试build job 和publish job。

Jenkins权限分配

完成项目的任务建立和测试工作后,即可将项目交付给测试人员、开发人员进行使用。

  1. 使用admin用户登录Jenkins
  2. 通过系统管理 =》管理和分配角色 =》 管理角色, 进入项目角色管理页面 http://jenkins:8080/role-strategy/manage-roles。
  3. 在 『项目角色』(Project roles) –『添加角色』(Role to add) 填入项目代称, 在 Pattern 填入  ^项目代称.*。 这里的项目代称与『Jenkins任务建立』流程的第6步的代称一致。
  4. 点击保存,完成项目角色的创建。
  5. 通过系统管理 =》管理和分配角色 =》 分配角色,进入角色分配页面,在『项目角色』(Project roles)表中,将刚建立的项目角色分配给需要的用户。
  6. 如果用户不存在,先参考『自动化部署用户及权限(实践篇)』创建用户,并在 『项目角色』中通过『添加用户组』(User/group to add)将用户增加到项目角色表。
  7. 最终点击保存,使权限配置生效。

Jenkins部署流程图

 

  1. 开发者发起任务,一般开发者指QA, 也包括test,scm人员
  2. Jenkins根据任务配置,调用构建工作,Builder编译节点将进行检出代码、执行构建工作。
  3. 同时,Builder节点也进行一些静态的代码检查,包括单元测试、代码风格检查等。
  4. 构建及静态检查通过后,将获得存档目标文件,返回给Jenkins。
  5. Jenkins将文件发送至Ansible服务器
  6. Ansible服务器通过部署脚本、根据环境配置,对测试环境进行部署工作
  7. 测试人员针对测试环境进行功能测试等各类测试,并反馈测试结果。
  8. 根据测试环境的测试结果,重复5,6,7过程,完成准生产环境、生产环境的部署工作。

最佳实践补充

  1. jenkins本身的配置、项目及任务都应该被代码管理,保障JOBS和Jenkins配置的更新历史。因此可将Jenkins Home提交到git,并定期登录到Jenkins服务器执行 git commit 和 git push工作

  2. 这一过程也可通过Jenkins Plugin:SCM Sync Configuration Plugin 自动完成

自动化部署任务管理(理论篇)

基本元素

业务服务更新过程主要的元素包括:

  • 业务代码。

为业务开发人员编写的代码, 存储在代码控制系统(SCM)中,包括git或svn。

  • 配置

业务服务运行时,依赖于运行参数和运行环境,如测试环境、生产环境等参数不一致。因此对这一类参数需要进行配置化管理。配置文件的维护由配置工程师维护,也存储在SCM中。

  • 目标文件

通过业务代码、配置文件及编译过程,将业务代码转化成的可运行的文件(或可在容器内运行的文件)。

  • 服务

运行目标文件或容器,并提供业务功能的进程。服务一般需要进行进程启停和监控、日志写入、文件读写等相关运维管理工作。

  • 过程和流程管理

将以上的代码、配置,转化为提供服务的过程,在这一过程中,增加环境上线审批等流程。

过程和流程管理

在本章Jenkins部署过程中业务更新的重要环节为:

  1. 签出代码,将指定的业务代码签出
  2. 编译代码,得到准备上线的目标文件。
  3. 对代码进行自动化测试,包括静态代码检查活可运行的单元测试等
  4. 将目标文件发布至测试环境,同时上线的还有针对测试环境的配置文件。
  5. 启动或重新启动服务,使新的目标文件生效。
  6. 重复第4、5步骤,将目标文件和配置发布至准生产环境、生产环境,并使服务生效
  7. 对于准生产环境、生产环境的上线,增加测试审批流程。

 

自动化部署用户及权限(实践篇)

一、初始化用户及角色系统

  1. 通过Jenkins插件管理,安装Role Strategy Plugin,然后重启生效。
  2. 进入系统管理 =》全局安全配置, 将访问控制修改为『Unix用户/组数据库』, 授权策略修改为 『Role-Based Stategy』。
  3. 『Unix用户/组数据库』需要将jenkins服务的运行者修改为root组。
    sudo usermod -a -G root jenkins
    sudo chmod g+r /etc/shadow
  4. 保存全局安全配置页面, 重启Jenkins服务。
  5. 进入系统管理 =》管理和分配角色 =》 管理角色, 在『全局角色』中建立角色表,如表:
    Role Overall Credentials Agent Job Run View SCM Lockable Resources
    Administer ConfigureUpdateCenter Read RunScripts UploadPlugins Create Delete ManageDomains Update View Build Configure Connect Create Delete Disconnect Build Cancel Configure Create Delete Discover Move Read Workspace Delete Replay Update Configure Create Delete Read Tag Reserve Unlock
    Anonymous
    admin Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
    authenticated Y
    dev Y Y Y Y
    qa Y Y Y Y Y Y
    sa Y Y Y Y Y Y Y Y Y
    scm Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
  6. 登录到Jenkins的Linux/Unix系统,增加角色

for g in dev qa sa scm admin; do
sudo groupadd $g
done

二、创建用户

  1. 发现用户。Jenkins会自动导入SCM中的用户,列表在Jenkins用户列表http://jenkins:8080/asynchPeople/页面。
  2. 如无法在jenkins用户列表中找到用户,如测试人员,SA人员等,则可通过http://jenkins:8080/securityRealm/ 页面新建用户。
  3. 通过Shell登录到Jenkins服务器,建立Unix系统用户、密码、分配组
    USERNAME=用户名 #用户名与jenkins系统中找到或建立的用户名相同。
    GROUP=组 #dev qa sa scm admin其中之一
    sudo adduser -r -s /bin/false $USERNAME
    sudo usermod -a -G $GROUP $USERNAME
    sudo passwd $USERNAME  #然后输入密码。
  4. 如果用户有多个组,则可多次运行 usermod 指令。
  5. 角色管理页面和Unix组添加是重复步骤,需保持缺一不可。
  6. 更多的用户操作,如删除用户,修改组等方法可以使用userdel,/etc/group等。详细参考Linux系统手册,
  7. 缺点:为了Jenkins的系统安全,用户的Shell使用/bin/false,因此用户不能登录、无法修改密码,密码修改操作需由Jenkins 系统管理员进行。

自动化部署用户及权限(理论篇)

一、Jenkins安全域管理

Jenkins可使用多种方式对用户授权进行管理。在实际应用中,一般大型团队可建立LDAP服务器,小型团队可使用Unix用户/ 组。

Jenkins专有用户数据库 Jenkins的内置验证,适用于没有用户数据库小范围的设定。不支持组概念。
LDAP 轻量目录访问协议验证,需要在外部建立LDAP服务器
Servlet容器代理 使用Servlet容器认证用户,遵循Servlet规范。旧版本遗留功能。
Unix用户/组数据库 将授权验证委托给Jenkins的操作系统。

表1: Jenkins安全域管理

二、授权策略

Jenkins内置的授权策略为任何用户可以做任何事、登录用户可以做任何事、或遗留模式。内置模式无法满足多角色操作的需求,因此我们引入插件 Role Strategy Plugin,来实现用户ACL管理策略。RSP可建立的策略包括:

  • 建立角色,如系统管理员,项目管理员,匿名用户等。并在全局范围内赋予工作台、从节点、项目、运行、视图或版本控制权限。
  • 建立项目角色,对指定的项目赋予管理和运行权限
  • 建立从节点角色,管理节点相关权限
Overall  全局, 系统级别的定义组
  Administer 管理员,分配后具备Jenkins所有操作权限
  Read 系统访问,该权限包括大部分Jenkins页面的只读权限
  RunScripts 运行脚本,在Jenkins系统中运行脚本,包括Groovy脚本或可交互的Groovy命令行,不包括任务。
Credentials   凭证
   Create、Update、View、Delete 分别为创建、更新、访问、删除凭证
  ManageDomains 凭证域管理
Agent   节点
  Create、Configure、Delete 创建、修改、删除节点
Connect、Disconnect 连接、断开连接操作
 Job  任务
  Create、Configure、Delete、Read 创建、修改、删除、查看任务
  Discover 发现。当勾选后,无Read权限的用户访问任务URL时,将被提示重新登录。若为不勾选,则会出现404.
  Build、Cancel 启动一个构建、中断正在运行的构建
  Workspace 工作区的源代码访问权限
Run  构建
  Update、Delete 更新或删除一个构建
View  视图
  Create Configure、Delete、Read 创建、修改、删除、查看视图

表2.系统权限表

三、组织结构

按照组织结构和任务分工,可将用户分为开发(dev)、测试(qa)、配置管理(scm)、运维工程师(sa)、管理员(admin)等角色。

角色  职责
dev
  • 对关联项目具有只读权限,可进行编译工作和发布至测试环境工作。
  • 不可发布准生产(UAT)环境、生产(Prod)环境
qa
  • 具有dev的所有权限
  • 发布代码至UAT、PROD环境
  • 对已发布版本标记Tag功能。
scm
  •  建立项目、配置Jenkins项目权限
  • 不受限于项目配置分配
  • 由于Jenkins项目需要,scm也一般也具备dev的编译和发布至测试环境工作
sa
  • 具有认证帐号的管理权限,如svn的帐号密码,git的访问私钥、ssh密钥等
  • 无项目管理权限
admin
  • 具有全部功能权限
  • 用户管理、项目组管理及用户权限分配
  • 用于其他系统排错及异常处理工作
  • 一般不使用admin账户进行日常发布工作

表3:Jenkins用户角色职责表

 

注: Role Strategy Plugin: https://wiki.jenkins-ci.org/display/JENKINS/Role+Strategy+Plugin

 

 

自动化部署FAQ

问:程序要修改配置文件怎么办?

答:程序配置文件修改提交给自动化配置管理工程师,提交内容包括:

  •  修改了哪个文件
  • 增加了那几行
  • test, uat, prod环境分别是什么

问:业务服务自动化的一般过程是什么?

答:1. 基础系统自动化,构建setup.yml,进行系统配置及基础服务安装,如时间同步脚本、语言设置、supervisor服务管理工具等,JDK安装等。
2. 项目基础环境安装,运行项目内的的全部任务,加上—tags=setup,完成项目依赖的环境安装,如项目目录、日志目录、容器等初始化过程。
3. 构建Jenkins任务,推送项目文件。

 

DevOps最佳实践(开篇)

十年工作以来,我一直工作在IT工作领域,从事的工作包括工程师,高级工程师,技术总监,产品总监,也包括有事业部总经理,集团副总裁等管理职能。每次职能提升,我更多的看到是跨部门协作和沟通的重要性和难度。如何处理部门间的工作分配、协同、甚至是整合,成了我日常工作的重要内容。

开发部的利益诉求,是保障产品功能得以快速上线,功能正常运行;运维团队的利益诉求是系统安全、功能稳定,系统高效。在运维的最佳实践中,大都会指明:『为了更好的保证数据安全和运维稳定,应该禁止开发人员直接访问和修改生产环境』。该实践说明运维原则的Why和What,但少有公司能解决How。在缺乏工具的时代,常常是开发人员完成工作后,将开发结果交给运维人员,运维人员再通过FTP等工具上传至生产服务器,完成部署和重启工作。而这个过程中,运维人员对上线的的服务不了解,承担不了上线过程的审核工作,只是机械的重复的完成了FTP、代码搬运、服务重启的执行工作。而开发人员也在惆怅说没有生产环境权限,对于部署中或部署后的日志访问权限受限,降低了服务故障的识别效率。

DevOps(Development和Operations的组合词)是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程,来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。借助这一理论框架,可对公司的开发和运维方式建立一套解决方案。

我最早接触DevOps概念是2007年在『满星』任职时期。当时还不叫DevOps的概念,但开发、测试、运维的实际工作与DevOps的组织结构很相似。开发人员使用PHP进行开发,CVS用于代码管理,运维提供称之为『Code Ballinrobe Launcher』的WEB工具。 cheap NBA jerseys 在每次上线时,开发人员先声明需要增量发布的标记Tag,使用这个Tag对需要增量更新的代码进行标记;而后交付给开发团队进行代码走查,测试人员使用『Code cheap jerseys Lancher』将Tag文件签出,上线到测试环境进行回归测试。测试通过后,再将测试环境的代码rsync到生产环境完成整个上线过程。这套工具很好的释放了运维工程师,将上线工作交给了测试人员,因为测试人员有审核代码是否达到上线标准的权利。 wholesale NBA jerseys 2010年进入腾讯,广告平台部。我继承了满星的思路,使用Python开发了一个全新的发布系统,称之为『Code wholesale NBA jerseys Builder』,用来承载广告平台部门及其外包部门的代码管理和发布工作。然后DevOps的概念开始蔓延,capistrano、 Tasar?m Jenkins等各种辅助工具出现,并相互渗透整合,形成了DevOps的生态链。至此我也放弃了对CodeBuilder的继续维护,并切换到开源微服务阵营。

DevOps的技术理论和工具的不断完善,给自动化运维带来了福音。他不是一个新的产品活工具,而是提供了一个跨部门的管理框架。

之所以开篇写此系列,是希望能将我爬过山,填过的坑做一个整理,将过往的经验进行一次整理,形成一个DevOps的最佳实践。我尽量将『最佳实践』进行了抽象和整理,尽可能少的涉及到业务细节和开发语言细节,使其具有一定的适应性和简便性,但每一次实践都取决于特定时期和特定环境,实践是否能在读者的工作环境快速推进,需要读者根据当前的环境认真分析和决策。