KVM集群远程控制方案

1、API角色上的操作（管理证书）

创建临时目录，以将文件和更改保存到其中：

    mkdir /opt/cert_file
    cd /opt/cert_file

使用 openssl 命令创建 2048 位 RSA 密钥：

   openssl genrsa -out cakey.pem 2048

使用该密钥针对本地 CA 创建自签名证书：

这里参数： 按需修改：/C=> CN> /L=> GDFS> /O=> EFLY> /CN=> KVM CA

  openssl req -new -x509 -days 1095 -key cakey.pem -out cacert.pem -sha256 \\
-subj "/C=CN/L=GDFS/O=EFLY/CN=KVM CA"

检查 CA 证书：

   openssl x509 -noout -text -in cacert.pem

创建客户端和KVM服务端的证书

1、创建密钥：

 openssl genrsa -out serverkey.pem 2048
 openssl genrsa -out clientkey.pem 2048

为服务器创建证书签名请求。

这里默认是用代理映射端口， 所以CN需要设置为集群名(IP也可以)， 而不是KVM的hostname

 openssl req -new -key serverkey.pem -out serverkey.csr \\
      -subj "/C=CN/O=EFLY/CN=${KVM}"
 exp： openssl req -new -key serverkey.pem -out serverkey.csr \\
      -subj "/C=CN/O=EFLY/CN=KVM_PROXY"

为客户机创建证书签名请求：

openssl req -new -key clientkey.pem -out clientkey.csr \\
-subj "/C=CN/O=EFLY/OU=virtualization/CN=root"

创建客户机和服务器证书

 openssl x509 -req -days 3650 -in clientkey.csr -CA cacert.pem -CAkey cakey.pem \\
      -set_serial 1 -out clientcert.pem
 openssl x509 -req -days 3650 -in serverkey.csr -CA cacert.pem -CAkey cakey.pem \\
      -set_serial 94345 -out servercert.pem

检查密钥：

 openssl rsa -noout -text -in clientkey.pem
 openssl rsa -noout -text -in serverkey.pem

检查证书：

 openssl x509 -noout -text -in clientcert.pem
 openssl x509 -noout -text -in servercert.pem

2、服务端

1、将认证中心 (CA) 证书 cacert.pem 文件复制到 /etc/pki/CA/cacert.pem

scp [proxy_ip]:/path/cacert.pem /etc/pki/CA/cacert.pem

2、创建 /etc/pki/libvirt 目录。将 servercert.pem 服务器证书文件复制到 /etc/pki/libvirt/servercert.pem。创建 /etc/pki/libvirt/private 目录。将 serverkey.pem 服务器密钥文件复制到 /etc/pki/libvirt/private/serverkey.pem 目录。确保只有 root 用户才能够访问专用密钥。

mkdir /etc/pki/libvirt
scp [proxy_ip]:/path/servercert.pem /etc/pki/libvirt/.
mkdir /etc/pki/libvirt/private
scp [proxy_ip]:/path/serverkey.pem /etc/pki/libvirt/private/.
chmod -R o-rwx /etc/pki/libvirt/private

验证这些文件是否已正确放置：

find /etc/pki/CA/*|xargs ls -l
ls -lR /etc/pki/libvirt

3、配置libvirt

生成 /etc/default/libvirtd 文件和 /etc/libvirt/libvirtd.conf 文件的副本。

编辑 /etc/default/libvirtd 文件

# Start libvirtd to handle qemu/kvm:
start_libvirtd="yes"
# options passed to libvirtd, add "-l" to listen on tcp
-  libvirtd_opts=""
+  libvirtd_opts="-l"

ps：- 是修改前内容， + 是修改后内容

4、 编辑 /etc/libvirt/libvirtd.conf 文件，并在 libvirtd.conf 文件中使用 tls_allowed_dn_list 伪指令配置一组允许的主题。以下示例显示原始文件中的更改。它将可接受的客户机证书限制为具有 O=IBM,OU=virtualization 值的证书，而系统可能会对国家或地区 (C) 和公共名 (CN) 分配任何值。主题中字段的顺序必须与您创建证书时使用的顺序相同。

- #tls_allowed_dn_list = ["DN1", "DN2"]
+tls_allowed_dn_list =     ["C=*,O=EFLY,OU=virtualization,CN=*"]
- listen_tcp = 0
+ listen_tls = 1
+ tls_port = "16514"

重新启动 libvirtd 守护程序服务，以使更改生效：

$ /etc/init.d/libvirtd restart
Stopping libvirtd daemon:                                  [  OK  ]
Starting libvirtd daemon:                                  [  OK  ]

3、客户端操作

1、 将认证中心 (CA) 证书 cacert.pem 从 PowerKVM 主机复制到管理站 /etc/pki/CA/ 目录。请勿变更文件名。

  scp [proxy_ip]:/path/cacert.pem /etc/pki/CA/

2、将客户机证书 clientcert.pem 复制到 /etc/pki/libvirt/ 目录，并将客户机密钥 clientkey.pem 从 PowerKVM 主机复制到 /etc/pki/libvirt/private/ 目录。使用缺省文件名称，并确保只有 root 用户才能够访问专用密钥。

mkdir -p /etc/pki/libvirt/
scp [proxy_ip]:/path/clientcert.pem /etc/pki/libvirt/.
mkdir /etc/pki/libvirt/private
scp [proxy_ip]:/path/clientkey.pem /etc/pki/libvirt/private/.
chmod -R o-rwx /etc/pki/libvirt/private

3、验证这些文件是否已正确放置：

ls -lR /etc/pki/libvirt/

4、设置hosts

这里主要是libvirt tls远程需要域名解析，与上面证书的CN值有关

vim /etc/hosts
10.10.250.35 KVM_PROXY

4、设置代理可以使用nginx 或者 haproxy等工具，如haproxy

apt-get install haproxy
vim /etc/haproxy/haproxy.cfg
  listen kvm-proxy-35
  bind 0.0.0.0:16515
  mode tcp
  use_backend kvm-tls-35
backend kvm-tls-35
  mode tcp
  server kvm-tls-35 10.10.250.35:16514

启动haproxy

service haproxy restart

验证连通

root@KvmApiServer:~# virsh -c qemu+tls://KVM_PROXY:16515/system hostname
ubuntu-kvm35

返回正常， 则完成远程

5、Sasl认证 （1）libvirt sasl配置在/etc/sasl2/libvirt.conf，Tls是tcp的加密传输协议，所以mech_list:需要设置成digest-md5。

vim /etc/sasl2/libvirt.conf
- #sasldb_path: /etc/libvirt/passwd.db
+ sasldb_path: /etc/libvirt/passwd.db
- mech_list: gssapi
# mech_list: gssapi
mech_list: digest-md5   # mandatory for TCP connections

（2）创建用户

root@ubuntu-kvm35:/etc/libvirt# saslpasswd2 -a libvirt efly
Password:
Again (for verification):

（3）指定密码库

root@ubuntu-kvm35:/etc/sasl2# sasldblistusers2 -f /etc/libvirt/passwd.db
efly@ubuntu-kvm35: userPassword

（4）重启libvirtd

systemctl restart  libvirtd

（5）测试连接

root@KvmApiServer:~# virsh -c qemu+tls://KVM_PROXY:16515/system hostname
Please enter your authentication name: efly
Please enter your password:
ubuntu-kvm35