最近有个小需求，我们公司写文档是通过slate来的。每一次文档编写完成之后都需要执行bundle exec middleman build --clean生成静态文件。然后再使用rsync来进行上传操作。虽然只有2步。但是做的次数多了难免也让人觉得厌烦。萌生了自动化处理的想法。比较粗暴的方式有。每隔几分钟去检测一次git版本库是否有更新(以前本人真这样实现过)，自己写个小web程序。设置webhook。接收到webhook再拉取进行操作(我也实现过，目前一切运行良好)。现在尝试下使用可持续集成的套路去实现。

说一下第三种方案相对前两种方案的特点。

  • 集中化管理。第一二种方案都需要将脚本放在对应的应用机器上面。第三种不需要，它集中化了。所有的webhook都在可持续集成平台处理。由平台再来操控应用。而且每一次触发操作都有详尽的日志。集中在一起比较容易看出哪里出了什么问题
  • 不需要在每一台应用机处理webhook(处理意味着每个应用机都需要绑定一个域名)，可能和上面的集中化管理的优点是一个意思吧
  • 对于一个良好的架构。可持续集成平台比零散的脚本无疑更合适
  • 算是一个缺点。单独写脚本独立处理webhook相对可持续集成更容易

Drone配置

docker-compose我都不大用了，直接用docker stack deploy替代。后者相对前者实际没有什么区别。或者说前者是因为docker网络配置欠发达的产物。docker-compose适合单机部署，docker-swarm适合多主机。开启docker-swarm只需要docker swarm init大概就可以了，更详细的知识请查看官方文档

drone.yml 文件大概如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
version: '3'

services:
  drone-server:
    image: drone/drone:0.7
    ports:
      - 82:8000
    volumes:
      - /data/github_drone:/var/lib/drone/
    environment:
      - DRONE_OPEN=false
      - DRONE_ADMIN=ficapy
      - DRONE_GITLAB=true
      - DRONE_GITHUB_CLIENT=xxxxxxxxx
      - DRONE_GITHUB_SECRET=xxxxxxxxxx
      - DRONE_SECRET=xxxpwdxxx

  drone-agent:
    image: drone/drone:0.7
    command: agent
    depends_on:
      - drone-server
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    environment:
      - DRONE_SERVER=ws://drone-server:8000/ws/broker
      - DRONE_SECRET=xxxpwdxxx

然后执行docker stack deploy --compose-file=drone.yml drone，整个程序就运行起来了。此处是监听81端口。从配置文件中也可以猜一个大概。了解下drone的流程。service主要用来响应浏览器端的请求。接收到请求后使用websocket和agent通信用来下发任务获取结果。agent通过/var/run/docker.sock来和docker daemon进行通信。执行创建容器。执行命令等一系列过程。

有几点需要注意的

  • 最好指定管理员用户DRONE_ADMIN，因为有些操作需要admin权限
  • DRONE_OPEN设置为true的时候所有的用户都能授权后使用你的Drone进行集成测试。这往往是你不愿意的，个人的诉求往往是私有的
  • github和gitlab在一个drone不能同时使用，所以我部署了两套，使用了不同的域名
  • 起码了解OAuth流程和webhook的过程，才能更好的理解整套流程
  • 其他事宜可以查看Drone的安装文档

之所以监听81端口，是因为我使用的Caddy当做前置web服务器。配置如下Caddyfile

1
2
3
4
5
6
drone.ficapy.com {
    proxy / dockerhost:81 {
        websocket
        transparent
    }
}

对应的docker-compose文件如下

1
2
3
4
5
6
7
8
9
10
11
12
13
version: "3"

services:
  Caddy:
    image: "abiosoft/caddy"
    volumes:
      - /root/caddy/Caddyfile:/etc/Caddyfile
      - /root/.caddy:/root/.caddy
    ports:
      - "80:80"
      - "443:443"
    extra_hosts:
      - "dockerhost:${dockerhost}"

此处使用了环境变量dockerhost，我将它写入了zshrc配置文件中export dockerhost="172.17.0.1",不难看出只是为了转发请求, 和drone一样。执行docker stack deploy --compose-file=caddy_compose.yml caddy启动

持续集成部署

当使用Drone，并授权之后。Drone会自动给你的项目加上webhook地址。我们在项目根目录放置.drone.yml文件后会使用docker自动构建

实现本文开头说的需求.drone.yml文件如下

1
2
3
4
5
6
7
8
9
10
11
12
pipeline:
  build:
    image: ruby:2.3
    commands:
      - bundle config mirror.https://rubygems.org https://gems.ruby-china.org
      - bundle install
      - apt-get update && apt-get install nodejs rsync -y && bundle exec middleman build --clean
      - rsync -r --rsh='ssh -o LogLevel=ERROR -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o IdentitiesOnly=yes -i /data/id_rsa -p 22' build/* user@host:~/docs --progress --delete
    volumes:
      - /data:/data
    when:
      branch: master

在使用之前。我现在/data目录使用ssh-agent生成了密匙对。在目标主机上放上公钥，让我们能够ssh连接远端主机。然后容器创建的时候将密匙挂载到容器目录(此处需要管理员权限将项目设置为可信)。然后就顺理成章了。搭建环境，生成静态文件，rsync同步就完成了。