Kubernetesのモダンな活用法 - 設計メソッドと、Virtual Kubeletで実現するサーバーレス化を学ぼう

現在ではマスターノードやワーカーノードの構築や運用管理が不要な、いわゆるマネージドなKubernetesがいくつかあります。AWSのElastic Kubernetes Service、GCPのGoogle Kubernetes Engine、そしてAzure Kubernetes Serviceもそのひとつです。Azure Kubernetes Service（以下、AKS）を一例に挙げますが、AKSではマスターノードは確かにフルマネージドですが、ワーカーノードの実態は仮想マシンです。そしてAKSの運用では、仮想マシンであることを意識することが必要なケースがあります。

例えば、クラスタ新規構築時に仮想マシンのサイズを指定したり、ワーカーノード（稼働マシン）をスケールさせる際も同様に、スケール上限数などを設定する必要があります。ただし、実際の運用において、未来のワークロードを正確に予測して、仮想マシンの適正サイズや数を事前に設定するというのは、なかなかに困難です。

この問題を解決するために、ワーカーノードさえも意識しなくてよい、本当の意味でのサーバーレスKubernetesを実現するソリューションがいくつか登場しました。その中から今回はVirtual Kubeletを紹介します。

ユーザーを仮想マシン運用から開放するサーバーレスコンテナプラットフォーム

Virtual Kubeletをご説明する前に、その構成の中核をなす「サーバーレスコンテナプラットフォーム」について、説明します。

まずクラウド上でコンテナを稼働させたい場合にはどのようにするでしょうか。すぐ思いつくのは、仮想マシンを立ち上げ、そこにDockerをインストールし、その上でコンテナを立てる、といった方法でしょう。しかし、この方法では、「仮想マシンの運用」が必要になってきます。サーバーレスが隆盛を極める昨今、やはりこの手間は省きたいものです。

「サーバーレスコンテナプラットフォーム」はこうした課題を解決するためのテクノロジーです。利用者はコンテナを稼働させるためのインフラを意識することなく、設定を定義するだけで必要なだけコンテナを稼働させることができます。コンテナを実行する基盤はすべてクラウド側で面倒を見てくれます。

また、サーバーレスコンテナプラットフォームは、コンテナが実行された時間だけ秒単位で課金されます。例えば1日1時間しか動かさないバッチのために、仮想マシンを1日中動作させているのはコストのムダですが、サーバーレスコンテナプラットフォームでは、この場合1日1時間分しか課金がされず、限られたリソースの有効活用が可能です。

サーバーレスコンテナプラットフォームは各社から出揃っており、AWSではAWS Fargate、GCPではServerless containers、そしてAzureではAzure Container Instancesが提供されています。

サーバーレスコンテナプラットフォームを実現するVirtual Kubelet

こうしたサーバーレスコンテナプラットフォームに、Kubeletが実際に行う処理を委ねる仕組みが、KubernetesにおけるKubeletの実装の一つであるVirtual Kubeletです。Kubernetesからはノードのひとつのように見えますが、従来の仮想マシンで構成されていたノードのような実態はありません。

仮想的なノード内にあるVirtual Kubeletが従来のKubeletのように振る舞い、先に紹介したAzure Container InstancesやAWS FargateなどのサーバーレスコンテナプラットフォームにAPIを発行し、Pod（コンテナを格納する最小単位）を作成します。その構成は、下図のようなイメージになります。

例えば、Podを100個増やすとします。仮想マシンで構成されるワーカーノードの場合、Podを100個動かすためには、ワーカーノードをスケールアップしたりスケールアウトしたりと、仮想マシンのサイズや数を意識した運用が必須になります。しかし、Virtual Kubeletの場合は、サーバーレスコンテナプラットフォームが管理するコンピューティングリソースの許す限り、Podを増やせます。必要な作業は下記のコマンド一発です。

kubectl scale --replicas=100 rs/hoge

これだけでPodを100個生成できます。仮想マシンを全く意識せずにPodを作成できるーーこれがサーバーレスと表現される由縁です。

Virtul Kubeletのプロバイダー（Virtual KubeletがAPIを発行する先のサービス）は、上図に記載のAWS FargateやAzure Container Instancesの他に、Alibaba CloudElastic Container Instanceのなど多数のものが利用できます。

Azure Kubernetes Serviceによるサーバーレスの実践

では、サーバーレスをいかにして実現するか。本章では実践編としてAKSを用いて、Kubernetesクラスターを構築するとともに、先程ご紹介した「irtual Kubeletによって、サーバーレスKubernetesを実現する手順を紹介します。

AKSによるKubernetesクラスターの構築

まずはAKSの構築から始めましょう。本実践はAzure CLIを用いて行いますので、以下のリンクを参考に事前にAzure CLIの環境を用意してください。

Azure CLI のインストール | Microsoft Docs

まず、AKSクラスターを格納するリソースグループを作成します。

$ az group create --name myAKSrg --location japaneast

続いて、AKSクラスターが配置される仮想ネットワークを作成します。

$ az network vnet create \
    --resource-group myAKSrg \
    --name myVnet \
    --address-prefixes 10.0.0.0/8 \
    --subnet-name myAKSSubnet \
    --subnet-prefix 10.240.0.0/16

AKSクラスターが仮想ネットワークなどの各種リソースにアクセスできるよう、サービスプリンシパル（サービス専用アカウント）を作成します。

$ az ad sp create-for-rbac --skip-assignment
{
  "appId": "cef76eb3-f743-4a97-8534-03e9388811fc",
  "displayName": "azure-cli-2020-05-30-18-42-00",
  "name": "http://azure-cli-2020-05-30-18-42-00",
  "password": "1d257915-8714-4ce7-a7fb-0e5a5411df7f",
  "tenant": "73f988dd-86f2-41vf-91ad-2e7cd011eb48"
}

また、AKSクラスターが仮想ネットワークにアクセスできるように、先程作成したサービスプリンシパルに適切な権限を付与します。まずは、先程作成した仮想ネットワークのリソースIDを取得します。

$ az network vnet show --resource-group myAKSrg --name myVnet --query id -o tsv
/subscriptions/a2b379a4-5530-4d43-9360-b705cf560d75/resourceGroups/myAKSrg/providers/Microsoft.Network/virtualNetworks/myVnet

以下のコマンドで、サービスプリンシパルに権限を付与します。

$ az role assignment create --assignee <先程作成したサービスプリンシパルのappId> --scope <先程取得した仮想ネットワークのリソースID> --role Contributor

先の手順で作成したAKS用のサブネットに、AKSクラスターをデプロイします。そのために、このサブネットのIDを取得します。

$ az network vnet subnet show --resource-group myAKSrg --vnet-name myVnet --name myAKSSubnet --query id -o tsv

以下のコマンドでAKSクラスターを作成します。

az aks create \
    --resource-group myAKSrg \
    --name myAKSCluster \
    --network-plugin azure \
    --service-cidr 10.0.0.0/16 \
    --dns-service-ip 10.0.0.10 \
    --docker-bridge-address 172.17.0.1/16 \
    --vnet-subnet-id <先程取得したサブネットのID> \
    --service-principal <先程作成したサービスプリンシパルのappId> \
    --client-secret <先程作成したサービスプリンシパルのpassword> \
    -s Standard_B2s

さらに、AKSクラスターに接続するための資格情報を取得します。

$ az aks get-credentials --resource-group myAKSrg --name myAKSCluster

AKSクラスターの作成が完了していることを確認します。以下のようにワーカーノードが3つ表示されるはずです。

$ kubectl get nodes
NAME                                STATUS   ROLES   AGE   VERSION
aks-nodepool1-38191134-vmss000000   Ready    agent   16m   v1.15.11
aks-nodepool1-38191134-vmss000001   Ready    agent   15m   v1.15.11
aks-nodepool1-38191134-vmss000002   Ready    agent   16m   v1.15.11

続いて、このAKSクラスターにアプリケーションをデプロイしてみます。ReplicaSetのリソースを使い、ApacheのDockerイメージを元にしたPodを3つ作成します。さらに、Load Balancer Serviceを作成し、外部からアクセス可能にします。Load Balancer Serviceを作成すると、内部的にはAzure Load Balancerが作成され、Podへのリクエストが外部から到達可能になります。

まず、上記の内容を実現するためのマニフェストを作成します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: aks-sample
spec:
  replicas: 3
  selector:
    matchLabels:
      app: aks-sample
  template:
    metadata:
      labels:
        app: aks-sample
    spec:
      containers:
      - name: aks-sample
        image: httpd:2.4.43
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: aks-sample
spec:
  type: LoadBalancer
  selector:
    app: aks-sample
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80

このマニフェストをAKSクラスターに適用します。

$ kubectl apply -f aks-sample.yml

以下のコマンドを実施して、ロードバランサーのIPアドレス（aks-sampleリソースのEXTERNAL-IP）を取得します。

$ kubectl get service
NAME         TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)        AGE
aks-sample   LoadBalancer   10.0.164.152   52.140.234.246   80:30863/TCP   46s
kubernetes   ClusterIP      10.0.0.1       <none>           443/TCP        41m

http://<先程取得したロードバランサーのIPアドレス>にアクセスすると、Apacheデフォルトのindex.html(It works!)が表示されます。これでAKSクラスターの構築は完了です。

Virtual KubeletによるKubernetesのサーバーレス化

では、先程作成したAKSクラスターをサーバーレス化してみます。まずはVirtual Kubeletによって仮想ノードを作成します。

過去、Azure Container Instancesを一度も使用していない場合、Azure Container Instancesのサービスをプロバイダー登録する必要があります。登録済みかどうかは以下のコマンドで確認できます。

$ az provider list --query "[?contains(namespace,'Microsoft.ContainerInstance')]" -o table

コマンド実施後、以下のように表示されれば登録済みです。

Namespace                    RegistrationState    RegistrationPolicy
---------------------------  -------------------  --------------------
Microsoft.ContainerInstance  Registered           RegistrationRequired

もし未登録の場合には、以下のコマンドを実行して、プロバイダー登録します。

$ az provider register --namespace Microsoft.ContainerInstance

プロバイダーの登録が完了したら、次に仮想ノード用のサブネットを作成します。

$ az network vnet subnet create \
    --resource-group myAKSrg \
    --vnet-name myVnet \
    --name myVirtualNodeSubnet \
    --address-prefixes 10.241.0.0/16

仮想ノードを有効にするために、以下のコマンドを実施します。先ほど作成した myVirtualNodeSubnetに仮想ノードを作成します。

$ az aks enable-addons \
    --resource-group myAKSrg \
    --name myAKSCluster \
    --addons virtual-node \
    --subnet-name myVirtualNodeSubnet

これで仮想ノードの作成は完了です。実際に仮想ノードが作成されていることを確認してみます。以下のvirtual-node-aci-linuxが作成した仮想ノードです。

$ kubectl get nodes
NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-38191134-vmss000000   Ready    agent   84m     v1.15.11
aks-nodepool1-38191134-vmss000001   Ready    agent   83m     v1.15.11
aks-nodepool1-38191134-vmss000002   Ready    agent   84m     v1.15.11
virtual-node-aci-linux              Ready    agent   5m55s   v1.14.3-vk-azure-aci-v1.2.1.1

この仮想ノードにPodをデプロイしてみましょう。動作確認を簡単にするため、先程AKSクラスター構築の際にデプロイしたPodは以下のコマンドで削除します。

$ kubectl delete deployment.apps/aks-sample

Podをデプロイするために以下のマニフェストを作成します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: aks-sample
spec:
  replicas: 3
  selector:
    matchLabels:
      app: aks-sample
  template:
    metadata:
      labels:
        app: aks-sample
    spec:
      containers:
      - name: aks-sample
        image: httpd:2.4.43
        ports:
        - containerPort: 80
      nodeSelector:
        kubernetes.io/role: agent
        beta.kubernetes.io/os: linux
        type: virtual-kubelet
      tolerations:
      - key: virtual-kubelet.io/provider
        operator: Exists
      - key: azure.com/aci
        effect: NoSchedule

AKSを構築したときのマニフェストとは異なるポイントが2つあります。

ひとつは、nodeSelectorを指定することで、作成された仮想ノードにPodがデプロイされるようにする必要がある点です。

もうひとつは、Kube-proxyなどの重要なPodが仮想ノードにデプロイされないよう、仮想ノードにはTaintsが付与されている点です。よって、仮想ノードにPodをデプロイする場合は、Tolerationsを指定し強制的に仮想ノードにPodをデプロイさせる必要があります。

では、以下のコマンドで先程のマニフェストをデプロイしてみましょう。

$ kubectl apply -f aks-sample-virtual-nodes.yml

ここでPodの状態を取得してみると、3個のPodが仮想ノードにデプロイされているのがわかります。

$ kubectl describe nodes virtual-node-aci-linux
・・・ 略 ・・・
Non-terminated Pods:         (3 in total)
  Namespace                  Name                           CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                  ----                           ------------  ----------  ---------------  -------------  ---
  default                    aks-sample-6d586c44b8-4vrf9    0 (0%)        0 (0%)      0 (0%)           0 (0%)         21m
  default                    aks-sample-6d586c44b8-7n98h    0 (0%)        0 (0%)      0 (0%)           0 (0%)         21m
  default                    aks-sample-6d586c44b8-rwkk4    0 (0%)        0 (0%)      0 (0%)           0 (0%)         25m
・・・ 略 ・・・

http://<先程取得したロードバランサーのIPアドレス>にアクセスすると、Apacheデフォルトのindex.html(It works!)が表示されます。

ここでAzureポータルで、AKSクラスターのリソースグループを見てみます。

マニフェストにおいてReplicaSetsで指定した3つのAzure Container Instancesが作成されています。Virtual KubeletがサーバーレスコンテナプラットフォームにAPIを発行して、Podを作成しているのがわかるかと思います。

まとめ

駆け足でしたが、設計、サーバーレス化の実践までKubernetesの比較的新しい活用ノウハウを紹介してきました。繰り返しになりますがKubernetesは非常に速いスピードで進化しており、その活用法も拡大し続けています。例えば、Iot分野におけるエッジ（IoTセンサー / デバイスと、クラウドサービスの中間に位置し、集計やフィルタリングを実施手からクラウドにデータを送付する機能を持つサーバー）へのKubernetesの導入など、新たなトピックも豊富です。本稿だけでなく、ぜひ、さまざまなKubernetesの最新事例にアンテナを張り、みなさんの開発に役立ててみてください。

武井宜行（たけい・のりゆき） @noriyukitakei

サイオステクノロジー株式会社シニアアーキテクト。Java、PHP、サーバーレスアプリケーション、コンテナ、Azure（Functions、Azure Kubernetes Serviceなど）を得意とする。多数の登壇、ブログ『SIOS Tech.Lab』での記事執筆は年間で100本を超えるなど、発信活動にも注力している。Microsoft MVP for Azure。

編集：馮富久（株式会社技術評論社）