BuildKitでイメージをビルドする

Dockerでコンテナイメージをビルドするときに、下記のようなことを考えていました。

1. ビルド時間を短くしたい
2. Raspberry Piでも動くコンテナイメージを作りたい

そこでBuildKitを使って、マルチプラットフォーム(multi-platform)のイメージを
マルチステージ(multi-stage)ビルドをすることにしました。

BuildKitについての説明をスキップしてビルド方法を知りたい場合は、
BuildKitとdocker-buildxプラグイン の章から読んでください。

BuildKitとは

BuildKit¹ とは、コンテナをビルドするためのツールキットであり、
buildkitdというデーモンとbuildctlコマンドで構成されています。

Dockerの標準のビルドと比べて、BuildKitでビルドした場合には以下のようなメリットがあります。

• マルチステージDockerfileの各ステージを並列ビルドできる
• ビルドキャッシュをDockerHubなどに外部保存/再利用ができる
• マルチプラットフォーム対応のイメージをビルドできる (2020年6月時点ではLinuxのみ)
• Dockerfile内のビルド時に実行するRUNコマンドで、新たな実験的機能を使用できる
  • SSH接続でリモートのファイルを取得
  • 秘密鍵などのファイルをイメージ内に残さないようにマウント など⁵

また、BuildKitの一部機能はDocker 18.06以降のDocker Engineに統合されており、
Docker単体でもBuildKitの一部機能を利用することができます。

BuildKitとdocker-buildxプラグイン

BuildKitを使用してビルドをするには、buildkitdデーモンを起動してbuildctlコマンドからビルドを実行できます。
しかし、既にDockerを使用しているのであれば、docker-buildx² プラグインを利用することで、 下記の様なメリットがあります。

• ビルド時に、自動で buildkitd, buildctl を含むコンテナを起動
• dockerコマンドと同じようなUIでビルドができる

docker-buildxプラグインをインストール

docker-buildx² プラグインを利用するには下記の3点が必要です。

• Docker CLIの実験的機能の有効化
  docker-buildxは2020年6月時点では、まだ実験的機能と位置づけられているため、 docker CLIの設定で実験的機能を有効化する必要があります。

• docker-buildxプラグインのインストール (Docker for Linuxの場合)
  Docker for Linuxを使用している場合は、GitHubのdocker/buildx のリリースページからバイナリをダウンロード、インストールします。
  Docker Desktopの場合は、あらかじめインストールされています。

• qemu-user-staticのインストール (Docker for Linuxの場合)
  マルチプラットフォームイメージをビルドする場合は、対応するアーキテクチャの実行環境が必要です。
  今回は qemu-user-static をインストール⁶し、エミュレーション環境を用意します。
  こちらもDocker Desktopの場合は、あらかじめインストールされています。

# 実験的機能の有効化 (方法1: ~/.docker/config.jsonの編集)
cp -p ~/.docker/config.json{,.bk} && \
cat ~/.docker/config.json.bk | docker run -i --rm alpine:latest sh -c \
"apk add --no-cache jq > /dev/null \
&& jq '. |= .+{\"experimental\": \"enabled\"}'" > ~/.docker/config.json

# もしくは、
# 実験的機能の有効化 (方法2: 環境変数'DOCKER_CLI_EXPERIMENTAL'を設定)
export DOCKER_CLI_EXPERIMENTAL=enabled

# docker-buildxのインストール
mkdir -p  ~/.docker/cli-plugins && \
docker run --rm alpine:latest sh -c \
"apk add --no-cache curl jq > /dev/null \
&& curl -sS https://api.github.com/repos/docker/buildx/releases/latest | \
    jq -r '.assets[].browser_download_url' | grep linux-amd64 | xargs curl -sSL" \
            > ~/.docker/cli-plugins/docker-buildx \
&& chmod a+x ~/.docker/cli-plugins/docker-buildx

# buildxのバージョン表示確認
docker buildx version

# qemu-user-staticのインストール (Ubuntu/Debian の場合)
sudo apt install qemu-user-static

# qemu-user-staticのインストール (Fedora の場合)
sudo dnf install qemu-user-static

# もしくは、
# qemu-user-staticのインストール (Dockerイメージを使う場合)
docker run --rm --privileged multiarch/qemu-user-static --reset -p yes

ビルダーインスタンスの選択

docker-buildxプラグインでビルドする際には「ビルダーインスタンス」と呼ばれるものを使用します。

デフォルトではDocker Engine内のBuildKitを使用する'docker'ドライバのビルダーインスタンスを使用する設定になっています。
フル機能のBuildKitを利用する場合には、'docker-container' ドライバか 'kubernetes' ドライバのビルダーインスタンスを作成して使用します。

# コンテナドライバのビルダーインスタンスを作成、現在のインスタンスを切り替える
docker buildx create --driver docker-container --name container-builder --use
# ビルダーインスタンスを確認 (container-builder の右に '*' が付いている)
docker buildx ls
  NAME/NODE            DRIVER/ENDPOINT                STATUS   PLATFORMS
  container-builder *  docker-container
    container-builder0 npipe:////./pipe/docker_engine inactive
  default              docker
    default            default                        running  linux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/arm/v7, linux/arm/v6

# ビルダーインスタンスのコンテナを停止する
docker buildx stop

docker-buildxでビルド

Docker Hubなどのレジストリに/から、ビルドキャッシュをインポート/エクスポートするには、 --cache-from, cache-toオプションを使用します。

# レジストリからビルドキャッシュインポートしてビルドし、
# その後にレジストリへコンテナイメージとビルドキャッシュを別々に保存
docker buildx build \
    --cache-from "type=registry,ref=username/repo_name:cache_tag_name" \
    --cache-to "type=registry,ref=username/repo_name:cache_tag_name" \
    --push --tag username/repo_name:tag_name .

また、マルチプラットフォームイメージをビルドする場合は、--platformオプションを使用します。

# x86,x64,armv6,armv7,aarch64で利用できるイメージをビルドしてpush
docker buildx build \
    --platform linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8 \
    --push --tag username/repo_name:tag_name .

その他のBuildKitの利用方法

以降の章ではdocker-buildxプラグインを利用しないBuildKitでのビルド方法を説明します。

Dockerを使用せず、buildkitdとbuildctlでビルドする

Dockerを使用せずにビルドするには、BuildKitのインストールが必要です。 以下の手順でインストールし、デーモンを起動します。

# BuildKitをインストール
docker run --rm alpine:latest sh -c \
"apk add --no-cache curl jq > /dev/null \
&& curl -sS https://api.github.com/repos/moby/buildkit/releases | \
    jq -r '.[].assets[].browser_download_url' | \
    grep linux-amd64 | head -n 1 | xargs curl -sSL" | \
sudo tar zxf - -C /usr/local/

# buildkitdデーモンを起動
sudo buildkitd

# buildctlコマンドでビルド実行
sudo buildctl build --frontend=dockerfile.v0 --local context=. --local dockerfile=.

Docker EngineのBuildKitでビルド

BuildKitやdocker-buildxプラグインをインストールせず、 Docker 18.06以降のDocker Engineに統合されているBuildKitでビルドします。

# Docker統合のBuildKit有効化 (方法1: 設定ファイルに追記し、Docker Engineを再起動)
(test -f /etc/docker/daemon.json && cat /etc/docker/daemon.json || echo "{}") | \
    jq '. |= .+{"features": {"buildkit": true}}' | sudo tee /etc/docker/daemon.json

sudo systemctl restart docker.servie

# または、
# Docker統合のBuildKit有効化 (方法2: 環境変数'DOCKER_BUILDKIT'を設定)
export DOCKER_BUILDKIT=1

# ビルド実行
docker build .

Docker EngineのBuildKitで利用できる機能

2020年6月時点で、Docker 18.06以降のDocker Engineに統合されているBuildKitでは
利用できない機能がいくつかあります。

それぞれで利用できる機能の差については、下記の表を参照してください。