K3s AutoK3s 創(chuàng)建Native集群

概述

本文介紹了如何在一個能夠運行主流操作系統(tǒng)（如 Ubuntu、Debian、Raspbian 等）的虛擬機（VM）中創(chuàng)建和初始化 K3s 集群，以及為已有的 K3s 集群添加節(jié)點的操作步驟。除此之外，本文還提供了在 VM 上運行 AutoK3s 的進階操作指導，如配置私有鏡像倉庫和啟用 UI 組件。

前置要求

虛擬機要求

提供一個運行主流操作系統(tǒng)（如 Ubuntu、Debian、Raspbian 等）的 VM，并為它們注冊或設置SSH密鑰/密碼。

網絡

VM 實例至少需要應用以下入站及出站規(guī)則：

Rule        Protocol    Port      Source             Description
InBound     TCP         22        ALL                SSH Connect Port
InBound     TCP         6443      K3s agent nodes    Kubernetes API
InBound     TCP         10250     K3s server & agent Kubelet
InBound     TCP         8999      K3s dashboard      (Optional) Required only for Dashboard UI
InBound     UDP         8472      K3s server & agent (Optional) Required only for Flannel VXLAN
InBound     TCP         2379,2380 K3s server nodes   (Optional) Required only for embedded ETCD
OutBound    ALL         ALL       ALL                Allow All

UI 使用說明

接下來我們將基于 AutoK3s 本地 UI 介紹如何使用 AutoK3s 工具，在任意主機上創(chuàng)建和管理 K3s 集群。

您可以通過快速體驗中的描述，通過 Docker 或者 CLI 啟動本地 UI，打開瀏覽器，訪問目標端口 ?8080 ?即可。

快速創(chuàng)建集群

您可以使用快速創(chuàng)建功能，在指定的云提供商服務中，快速啟動一個K3s集群。

以下圖為例，我們將在您準備好的 VM 中使用默認配置創(chuàng)建一個單節(jié)點的 K3s 集群。

表 1：快速創(chuàng)建參數(shù)

自定義參數(shù)創(chuàng)建

您可以在集群列表頁點擊 Create 按鈕進入自定義參數(shù)頁面進行更多參數(shù)的設置。

使用 Native 模式創(chuàng)建 K3s 集群的自定義參數(shù)配置分為三項，VM 配置、K3s集群配置、高級選項。接下來對每個配置項進行詳細說明。

VM 配置

實例配置主要配置的內容為 VM 的連接信息。

表 3：實例配置參數(shù)

K3s 參數(shù)配置

K3s 參數(shù)配置項主要對 K3s 集群進行設置，例如是否部署 HA 模式、K3s 安裝版本等。

表 4：K3s 配置參數(shù)

高級選項

配置要開啟的 UI 組件（kubernetes-dashboard/kube-explorer）。

表 4：高級選項

集群模板

您可以使用模板功能，提前預置好常用的集群模板，每次創(chuàng)建集群時可以用模板參數(shù)進行填充，極大精簡了重復操作。一次編寫，多次運行，提升效率。

創(chuàng)建集群模板的參數(shù)與上面描述的自定義參數(shù)創(chuàng)建集群的表單內容相同，在這里不做贅述。

您可以選擇最常用的模板，點擊右側下拉框中的 Set Default 按鈕，將模板設置為默認模板。

設置為默認模板后，您可以通過快速創(chuàng)建功能一鍵部署常用配置的 K3s 集群。

如果您想使用其他模板創(chuàng)建集群，您還可以在快速創(chuàng)建頁面的右上角，或者在自定義創(chuàng)建集群的右上角篩選模板，點擊 Fill Form 按鈕后，會自動根據模板內容填充表單。

集群管理

您可以在集群列表頁查看和管理使用 AutoK3s 創(chuàng)建的 K3s 集群。

添加節(jié)點

選中您要添加節(jié)點的集群，點擊右側下拉菜單中的 Join Node 按鈕，在彈出的窗口中設置要添加的節(jié)點 IP 及可連接到主機的 SSH 信息即可。

集群升級

選中您要升級的集群，點擊右側下拉菜單中的 Upgrade 按鈕，在彈出窗口中會顯示您當前集群配置的版本信息，例如下圖示例中，顯示集群版本為 ?v1.19.16+k3s1?。

如果我們要將集群升級到 ?v1.20.15+k3s1?，則修改 Version 為指定版本號即可；如果想要將集群升級到最新的stable版本，則刪除掉 Version 指定的版本號。

選擇要升級的版本后，點擊 Upgrade 按鈕，等待集群升級完成。

Kubectl

如果您想操作 K3s 集群數(shù)據，可以點擊右上角 Launch Kubectl 按鈕，在下拉框中選擇要操作的集群后，便可以在 UI 控制臺操作選中的集群了。

下載 Kubeconfig 文件

如果您想在其他地方管理集群，可以單獨下載指定集群的 Kubeconfig 文件。點擊指定集群右側下拉菜單中的 Download KubeConfig 按鈕，在彈出窗口中選擇復制或下載文件。

SSH

如果您想連接到遠程主機進行操作，您可以在集群列表頁面點擊集群名稱，進入詳情頁面，選擇要連接的主機，點擊右側 Execute Shell 按鈕。

開啟 kube-explorer dashboard

您可以在創(chuàng)建集群時，通過 Additional Options 選擇 explorer 選項開啟 kube-explorer 功能。

也可以通過右側下拉菜單中選擇 Enable Explorer 功能來開啟 kube-explorer。

開啟后，在集群列表會增加 dashboard 跳轉鏈接按鈕，點擊跳轉鏈接便可以訪問 kube-explorer dashboard 頁面了。

關閉 kube-explorer dashboard

對于已經開啟了 kube-explorer 功能的集群，可以在右側下拉菜單中選擇 Disable Explorer 功能來關閉 kube-explorer 服務。

CLI 使用說明

更多參數(shù)請運行?autok3s <sub-command> --provider native --help?命令。

創(chuàng)建普通集群

運行以下命令，在 VM 上創(chuàng)建并啟動創(chuàng)建一個名為 “myk3s”的集群，并為該集群配置 1 個 master 節(jié)點和 1 個 worker 節(jié)點。

autok3s -d create \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --master-ips <master-ip-1,master-ip-2> \
    --worker-ips <worker-ip-1,worker-ip-2>

創(chuàng)建高可用 K3s 集群

創(chuàng)建高可用集群的命令分為兩種，取決于您選擇使用的是內置的 etcd 還是外部數(shù)據庫。

嵌入式 etcd（k3s 版本 >= 1.19.1-k3s1)

運行以下命令，在 VM 上創(chuàng)建并啟動創(chuàng)建了一個名為“myk3s”的高可用 K3s 集群。

autok3s -d create \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --master-ips <master-ip-1,master-ip-2,master-ip-3> \
    --cluster

外部數(shù)據庫

在高可用模式下使用外部數(shù)據庫，需要滿足兩個條件：

• master 節(jié)點的數(shù)量不小于 1。
• 需要提供外部數(shù)據庫的存儲路徑。

所以在以下的代碼示例中，我們通過?--master-ips <master-ip-1,master-ip-2>?指定 master 節(jié)點數(shù)量為 2，滿足 master 節(jié)點的數(shù)量不小于 1 這個條件；且通過?--datastore "PATH"?指定外部數(shù)據庫的存儲路徑，提供外部數(shù)據庫的存儲路徑。

運行以下命令，在 VM 上創(chuàng)建并啟動創(chuàng)建了一個名為“myk3s”的高可用 K3s 集群：

autok3s -d create \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --master-ips <master-ip-1,master-ip-2> \
    --datastore "mysql://<user>:<password>@tcp(<ip>:<port>)/<db>"

添加 K3s 節(jié)點

請使用?autok3s join?命令為已有集群添加 K3s 節(jié)點。

普通集群

運行以下命令，為“myk3s”集群添加 2 個 worker 節(jié)點。

autok3s -d join \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --worker-ips <worker-ip-2,worker-ip-3>

高可用 K3s 集群

添加 K3s 節(jié)點的命令分為兩種，取決于您選擇使用的是內置的 etcd 還是外部數(shù)據庫。

嵌入式 etcd

運行以下命令，為高可用集群（嵌入式 etcd: k3s 版本 >= 1.19.1-k3s1）“myk3s”集群添加 2 個 master 節(jié)點。

autok3s -d join \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --master-ips <master-ip-2,master-ip-3>

外部數(shù)據庫

運行以下命令，為高可用集群（外部數(shù)據庫）“myk3s”集群添加 2 個 master 節(jié)點。值得注意的是，添加節(jié)點時需要指定參數(shù)?--datastore?，提供外部數(shù)據庫的存儲路徑。

autok3s -d join \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --master-ips <master-ip-2,master-ip-3> \
    --datastore "mysql://<user>:<password>@tcp(<ip>:<port>)/<db>"

向已有集群（非AutoK3s管理的集群）添加節(jié)點

在 v0.4.9 版本以后，AutoK3s 支持使用 ?join ?命令向已有集群中添加節(jié)點，在命令執(zhí)行完成后，可以在 AutoK3s 中對已有的集群進行統(tǒng)一的管理，在使用此功能之前您需要了解以下限制：

• 向已有集群中添加節(jié)點時，請保證要添加的主機節(jié)點與傳入的 master 主機節(jié)點使用相同的 ssh 配置，以便 AutoK3s 可以連接到 master 主機節(jié)點獲取 token 及 kubeconfig 信息。
• 用戶執(zhí)行刪除集群操作時，AutoK3s 不會為每個主機執(zhí)行自動卸載功能。
• 如果想連接到集群已有的主機節(jié)點（不是通過 ?AutoK3s join? 命令添加進來的主機節(jié)點），請使用 ?autok3s ssh? 命令，UI暫不支持。

運行以下命令，可以將已存在的集群導入到 AutoK3s 中管理，并向該集群中添加 1 個 worker 節(jié)點，使用 ?--ip? 參數(shù)指向已有集群的 master 節(jié)點。

autok3s -d join \
    --provider native \
    --name myk3s \
    --ip <master-ip> \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --worker-ips <worker-ip>

刪除 K3s 集群

刪除一個 k3s 集群，這里刪除的集群為 myk3s。

autok3s -d delete --provider native --name myk3s

查看集群列表

顯示當前主機上管理的所有 K3s 集群列表。

autok3s list

   NAME     REGION  PROVIDER  STATUS   MASTERS  WORKERS    VERSION
  myk3s             native    Running  1        0        v1.22.6+k3s1

查看集群詳細信息

顯示具體的 K3s 信息，包括實例狀態(tài)、主機 ip、集群版本等信息。

autok3s describe -n <clusterName> -p native

注意：如果使用不同的 provider 創(chuàng)建的集群名稱相同，describe 時會顯示多個集群信息，可以使用?-p <provider>?對 provider 進一步過濾。例如：?autok3s describe -n myk3s -p native?。

Name: myk3s
Provider: native
Region:
Zone:
Master: 1
Worker: 0
Status: Running
Version: v1.22.6+k3s1
Nodes:
  - internal-ip: [x.x.x.x]
    external-ip: [x.x.x.x]
    instance-status: -
    instance-id: xxxxxxxxxx
    roles: control-plane,master
    status: Ready
    hostname: test
    container-runtime: containerd://1.5.9-k3s1
    version: v1.22.6+k3s1

Kubectl

群創(chuàng)建完成后，?autok3s ?會自動合并 ?kubeconfig ?文件。

autok3s kubectl config use-context myk3s
autok3s kubectl <sub-commands> <flags>

在多個集群的場景下，可以通過切換上下文來完成對不同集群的訪問。

autok3s kubectl config get-contexts
autok3s kubectl config use-context <context>

SSH

SSH 連接到集群中的某個主機，這里選擇的集群為 myk3s。

autok3s ssh --provider native --name myk3s

如果集群是通過 AutoK3s join 導入管理的，連接到集群其他節(jié)點（不是通過 ?AutoK3s join? 命令添加進來的主機節(jié)點），且該節(jié)點 ssh 配置與通過 ?AutoK3s join? 命令添加進來的主機節(jié)點不同時，可以運行如下命令：

autok3s ssh --provider native --name myk3s <ip> --ssh-user <ssh-user> --ssh-key-path <ssh-key-path>

升級 K3s 集群

您可以使用以下命令將指定的 K3s 集群升級到 ?latest ?版本

autok3s upgrade --provider native --name myk3s --k3s-channel latest

如果您想將 K3s 集群升級到指定版本，可以指定 ?--k3s-version?

autok3s upgrade --provider native --name myk3s --k3s-version v1.22.4+k3s1

進階使用

AutoK3s 集成了一些與當前 provider 有關的高級組件，例如私有鏡像倉庫和 UI。

配置私有鏡像倉庫

在運行?autok3s create?或?autok3s join?時，通過傳遞?--registry /etc/autok3s/registries.yaml?參數(shù)以使用私有鏡像倉庫，例如：

autok3s -d create \
    --provider native \
    --name myk3s \
    --ssh-user <ssh-user> \
    --ssh-key-path <ssh-key-path> \
    --master-ips <master-ip-1,master-ip-2> \
    --worker-ips <worker-ip-1,worker-ip-2> \
    --registry /etc/autok3s/registries.yaml

使用私有鏡像倉庫的配置請參考以下內容，如果您的私有鏡像倉庫需要 TLS 認證，?autok3s?會從本地讀取相關的 TLS 文件并自動上傳到遠程服務器中完成配置，您只需要完善?registry.yaml?即可。

mirrors:
  docker.io:
    endpoint:
      - "https://mycustomreg.com:5000"
configs:
  "mycustomreg:5000":
    auth:
      username: xxxxxx # this is the registry username
      password: xxxxxx # this is the registry password
    tls:
      cert_file: # path to the cert file used in the registry
      key_file:  # path to the key file used in the registry
      ca_file:   # path to the ca file used in the registry

啟用 UI 組件

AutoK3s 支持兩種 UI 組件，包括 kubernetes-dashboard 和 kube-explorer

開啟 kubernetes dashboard

autok3s -d create -p native \
    ... \
    --enable dashboard

訪問 Token 等設置請參考 此文檔 。

開啟 kube-explorer

autok3s explorer --context <context> --port 9999

您可以通過 http://127.0.0.1:9999 訪問 kube-explorer dashboard 頁面。