bind篇01-Bind+Keepalived安装高可用DNS集群

本文最后更新于:May 20, 2021 pm

本文主要对bind进行安装配置,并且搭配keepalived实现高可用。

1、系统环境准备

这里我们使用的是centos7的操作系统,默认使用yum安装的情况下,bind的程序named会安装到/var/named目录下,注意保证分区的大小,当然也可以使用chroot包来修改目录,这里使用默认目录

1
2
3
4
5
6
$ lsb_release -a
LSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1-noarch:languages-4.1-amd64:languages-4.1-noarch:printing-4.1-amd64:printing-4.1-noarch
Distributor ID: CentOS
Description: CentOS Linux release 7.9.2009 (Core)
Release: 7.9.2009
Codename: Core

2、bind安装

bind的安装非常简单,默认的centos系统的yum源中就包含了其安装包,不同的系统版本对应的bind版本略有差异但是不大。

1
2
3
4
5
6
7
8
9
$ yum list | egrep ^bind.x86_64
bind.x86_64 32:9.11.20-5.el8_3.1 appstream
$ cat /etc/redhat-release
CentOS Linux release 8.3.2011

[root@tiny-cloud ~]# yum list | egrep ^bind.x86_64
bind.x86_64 32:9.11.4-26.P2.el7_9.5 updates
[root@tiny-cloud ~]# cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

一般我们只需要安装bind和bind-utils这两个包,前者是bind的主要程序named和控制工具rndc等,后者则是一些常用工具如dig命令等。

1
$ yum install bind bind-utils

安装完成之后我们就会发现系统主要新增了/var/named/etc/named/etc/named*一系列文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ ll /var/named/
total 28K
drwxrwx--- 2 named named 4.0K Apr 29 22:05 data
drwxrwx--- 2 named named 4.0K Apr 29 22:05 dynamic
-rw-r----- 1 root named 2.3K Apr 5 2018 named.ca
-rw-r----- 1 root named 152 Dec 15 2009 named.empty
-rw-r----- 1 root named 152 Jun 21 2007 named.localhost
-rw-r----- 1 root named 168 Dec 15 2009 named.loopback
drwxrwx--- 2 named named 4.0K Apr 29 22:05 slaves
$ ll /etc/named*
-rw-r----- 1 root named 1.8K Apr 29 22:06 /etc/named.conf
-rw-r--r-- 1 root named 3.9K Apr 29 22:06 /etc/named.iscdlv.key
-rw-r----- 1 root named 931 Jun 21 2007 /etc/named.rfc1912.zones
-rw-r--r-- 1 root named 1.9K Apr 13 2017 /etc/named.root.key

/etc/named:
total 0

同时我们可以使用systemd来对named服务进行管理:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$ systemctl enable named.service
Created symlink from /etc/systemd/system/multi-user.target.wants/named.service to /usr/lib/systemd/system/named.service.
$ systemctl start named.service
$ systemctl status named.service
● named.service - Berkeley Internet Name Domain (DNS)
Loaded: loaded (/usr/lib/systemd/system/named.service; enabled; vendor preset: disabled)
Active: active (running) since Thu 2021-05-20 16:26:36 CST; 10min ago
Main PID: 28777 (named)
Tasks: 4
Memory: 58.6M
CGroup: /system.slice/named.service
└─28777 /usr/sbin/named -u named -c /etc/named.conf

May 20 16:31:49 tiny-cloud named[28777]: validating net/SOA: got insecure response; parent indicates it should be secure
May 20 16:31:49 tiny-cloud named[28777]: no valid RRSIG resolving 'edgekey.net/DS/IN': 192.12.94.30#53
May 20 16:31:49 tiny-cloud named[28777]: validating net/SOA: got insecure response; parent indicates it should be secure
May 20 16:31:49 tiny-cloud named[28777]: no valid RRSIG resolving 'edgekey.net/DS/IN': 192.31.80.30#53
May 20 16:31:49 tiny-cloud named[28777]: validating net/DNSKEY: got insecure response; parent indicates it should be secure
May 20 16:31:49 tiny-cloud named[28777]: insecurity proof failed resolving 'net/DNSKEY/IN': 192.12.94.30#53
May 20 16:31:50 tiny-cloud named[28777]: validating net/DNSKEY: got insecure response; parent indicates it should be secure
May 20 16:31:50 tiny-cloud named[28777]: insecurity proof failed resolving 'net/DNSKEY/IN': 192.31.80.30#53
May 20 16:31:51 tiny-cloud named[28777]: validating net/SOA: got insecure response; parent indicates it should be secure
May 20 16:31:51 tiny-cloud named[28777]: no valid RRSIG resolving 'akamaiedge.net/DS/IN': 192.31.80.30#53

3、bind配置

3.1 IPv6相关配置

无论是centos7还是centos8系统使用yum进行安装的bind都已经默认开启了IPv6的支持,如果我们的系统暂时还不支持IPv6网络,则最好把配置文件中的IPv6相关的配置去除

1
sed -i 's#listen-on-v6 port 53 { ::1; };#//listen-on-v6 port 53 { ::1; };#g' /etc/named.conf

同时如果是把bind当作递归查询服务器使用,默认情况下的bind是会自动启用了hint类型的解析

1
2
3
4
zone "." IN {
type hint;
file "named.ca";
};

该配置会把所有匹配到这个zone的DNS查询请求转发到/var/named/named.ca文件中的13个根DNS服务器节点,为了减少不必要的干扰,我们可以把文件中的的AAAA记录注释掉。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
;; ADDITIONAL SECTION:
a.root-servers.net. 518400 IN A 198.41.0.4
b.root-servers.net. 518400 IN A 199.9.14.201
c.root-servers.net. 518400 IN A 192.33.4.12
d.root-servers.net. 518400 IN A 199.7.91.13
e.root-servers.net. 518400 IN A 192.203.230.10
f.root-servers.net. 518400 IN A 192.5.5.241
g.root-servers.net. 518400 IN A 192.112.36.4
h.root-servers.net. 518400 IN A 198.97.190.53
i.root-servers.net. 518400 IN A 192.36.148.17
j.root-servers.net. 518400 IN A 192.58.128.30
k.root-servers.net. 518400 IN A 193.0.14.129
l.root-servers.net. 518400 IN A 199.7.83.42
m.root-servers.net. 518400 IN A 202.12.27.33
a.root-servers.net. 518400 IN AAAA 2001:503:ba3e::2:30
b.root-servers.net. 518400 IN AAAA 2001:500:200::b
c.root-servers.net. 518400 IN AAAA 2001:500:2::c
d.root-servers.net. 518400 IN AAAA 2001:500:2d::d
e.root-servers.net. 518400 IN AAAA 2001:500:a8::e
f.root-servers.net. 518400 IN AAAA 2001:500:2f::f
g.root-servers.net. 518400 IN AAAA 2001:500:12::d0d
h.root-servers.net. 518400 IN AAAA 2001:500:1::53
i.root-servers.net. 518400 IN AAAA 2001:7fe::53
j.root-servers.net. 518400 IN AAAA 2001:503:c27::2:30
k.root-servers.net. 518400 IN AAAA 2001:7fd::1
l.root-servers.net. 518400 IN AAAA 2001:500:9f::42
m.root-servers.net. 518400 IN AAAA 2001:dc3::35

3.2 named.conf配置rndc

rndc可以简单视为是一个用来控制或者查看named系统的命令行工具。它不仅可以在服务器本地使用,还可以远程控制其他的bind服务器上面的named服务。但是在默认情况下的配置文件中并没有对其进行显示配置,所以named程序默认情况下只会监听本机127.0.0.1953端口

1
2
3
4
$ netstat -ntulp | grep named
tcp 0 0 127.0.0.1:953 0.0.0.0:* LISTEN 12737/named
tcp 0 0 127.0.0.1:53 0.0.0.0:* LISTEN 12737/named
udp 0 0 127.0.0.1:53 0.0.0.0:* 12737/named

named.conf文件中对rndc进行配置,主要涉及到三个选项:**监听网卡(inet)、允许IP(allow)和认证使用的keys**:

  • 这样子就是设为监听机器上的所有网卡并允许所有的来源IP进行访问,不过限制了需要使用keys

    1
    2
    3
    4
    # 这样子就是设为监听机器上的所有网卡并允许所有的来源IP进行访问,不过限制了需要使用keys
    controls {
    inet * allow { any; } keys { "rndc-key"; };
    };
  • 这种限制了只能在本机上使用rndc

    1
    2
    3
    4
    # 这种限制了只能在本机上使用rndc    
    controls {
    inet 127.0.0.1 allow { localhost; } keys { "rndc-key"; };
    };
  • 这种限制了在局域网和本机上使用rndc,如果有多个inet需要指定监听则需要分开多条配置,并且可以添加port参数来指定端口

    1
    2
    3
    4
    5
    # 这种限制了在局域网和本机上使用rndc,如果有多个inet需要指定监听则需要分开多条配置  
    controls {
    inet 127.0.0.1 allow { localhost; } keys { rndckey; };
    inet 192.168.1.1 port 1953 allow { 192.168.1.1; 192.168.1.2; 192.168.1.0/24;} keys { rndckey; };
    };

3.3 rndc-key配置

keys在这里的作用主要是鉴权,效果相当于ssh程序中的ssh-key,因此如果需要远程操作,需要保证客户端和服务端的keys一致。

rndc-key只是keys这个参数的一个值,相当于一个key-value,这里只是用来指代,实际上换成tinycehn-key之类的其他名字也是没问题的,本质上它们都是一个HMAC-MD5的key,因此首先我们需要生成一个rndc-key。在bind9里面,一般情况下我们可以使用dnssec-keygen命令生成或者是rndc-confgen -a命令直接生成。这里个人推荐直接使用后者。

1
2
3
4
5
6
7
$ rndc-confgen -a
wrote key file "/etc/rndc.key"
$ cat /etc/rndc.key
key "rndc-key" {
algorithm hmac-md5;
secret "0JqEwIF4kihHEcAbgC4t1w==";
};

使用dnssec-keygen命令的时候会生成一个key和一个private文件,private文件里面记录着详细信息,同时这样我们需要手动将格式修改为rndc支持的格式并放置在/etc/rndc.key文件中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ dnssec-keygen -a hmac-md5 -b 256 -n HOST tinychen-key
Ktinychen-key.+157+42293
$ ll
total 8
-rw------- 1 root root 76 May 20 15:37 Ktinychen-key.+157+42293.key
-rw------- 1 root root 185 May 20 15:37 Ktinychen-key.+157+42293.private
$ cat Ktinychen-key.+157+42293.key
tinychen-key. IN KEY 512 3 157 uEICksjZ53OlSXPpHrAmS1s/FhRy5g26+KUCtGqmflM=
$ cat Ktinychen-key.+157+42293.private
Private-key-format: v1.3
Algorithm: 157 (HMAC_MD5)
Key: uEICksjZ53OlSXPpHrAmS1s/FhRy5g26+KUCtGqmflM=
Bits: AAA=
Created: 20210520073748
Publish: 20210520073748
Activate: 20210520073748

In this case, the is a HMAC-MD5 key. You can generate your own HMAC-MD5 keys with the following command:

dnssec-keygen -a hmac-md5 -b -n HOST
A key with at least a 256-bit length is good idea. The actual key that should be placed in the area can found in the .

The name of the key used in /etc/named.conf should be something other than key.

3.4 rndc.conf配置

默认情况下并不会生成rndc.conf文件,因此我们需要自己手动生成一个。使用rndc-confgen命令可以快速地生成一个配置模板并且打印到终端窗口上(注意执行命令之后并不会生成rndc.conf文件,需要我们手动将生成的配置写入文件/etc/rndc.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
$ rndc-confgen
# Start of rndc.conf
key "rndc-key" {
algorithm hmac-md5;
secret "h0Pmn9ueo1Uk9Cv6cpPE2w==";
};

options {
default-key "rndc-key";
default-server 127.0.0.1;
default-port 953;
};
# End of rndc.conf

# Use with the following in named.conf, adjusting the allow list as needed:
# key "rndc-key" {
# algorithm hmac-md5;
# secret "h0Pmn9ueo1Uk9Cv6cpPE2w==";
# };
#
# controls {
# inet 127.0.0.1 port 953
# allow { 127.0.0.1; } keys { "rndc-key"; };
# };
# End of named.conf


需要注意的是,当同时存在rndc.conf文件和rndc.key文件的时候,默认是优先读取rndc.conf,如果我们需要指定不同的key来访问不同的server,可以在命令中指定参数,如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
$ cat /etc/rndc.conf
key "rndc-key" {
algorithm hmac-md5;
secret "h0Pmn9ueo1Uk9Cv6cpPE2w==";
};

key "rndc-conf-key" {
algorithm hmac-md5;
secret "uEICksjZ53OlSXPpHrAmS1s/FhRy5g26+KUCtGqmflM=";
};

options {
default-key "rndc-key";
default-server 127.0.0.1;
default-port 953;
};

# -s参数用来指定不同的服务器,这里可以是域名也可以是IP
# -k参数用来指定key,但是后面跟着的是一个类似rndc.key的文件
# -y参数也是用来指定key,但是后面跟着的参数需要是在rndc.conf文件中已经写明的key的key-value
$ rndc -s localhost -k /etc/rndc.key status
$ rndc -s 192.168.1.1 -y rndc-conf-key status

4、keepalived安装

由于这里只需要支持IPv4网络的keepalived程序,因此我们可以直接使用yum源来安装keepalived,如果有较高的版本要求或者特殊需要,可以考虑自行下载源码编译安装。

1
$ yum install keepalived

同时为了方便我们debug,这里再将keepalived的日志额外重定向到单独的目录文件中

首先我们需要修改keepalived的默认启动参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ sed -i 's#KEEPALIVED_OPTIONS="-D"#KEEPALIVED_OPTIONS="-D -d -S 0"#g' /etc/sysconfig/keepalived
$ cat /etc/sysconfig/keepalived
# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
#
# --vrrp -P Only run with VRRP subsystem.
# --check -C Only run with Health-checker subsystem.
# --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop.
# --dont-release-ipvs -I Dont remove IPVS topology on daemon stop.
# --dump-conf -d Dump the configuration data.
# --log-detail -D Detailed log messages.
# --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON)
#

KEEPALIVED_OPTIONS="-D -d -S 0"

修改syslog的配置,将日志输出到指定的目录

1
2
# 对于系统使用rsyslog服务来管理日志的,可以修改 /etc/rsyslog.conf 加入下列的配置
local0.* /path/to/keepalived.log

最后重启rsyslog服务和keepalived服务即可

1
2
$ systemctl enable rsyslog.service
$ systemctl restart rsyslog.service

5、bind主从安装

主从两个节点的安装理论上应该完全一致。需要注意的是:

  • 两个节点之间的rndc配置必须要保证能够互相远程访问
  • 确保两者之间的配置文件能够保持同步(可以使用git或者rsync等方式)
  • 确保两个节点的named.conf配置文件中的监听网卡和端口覆盖了本机IP和VIP

6、高可用过程分析

这里为了保证DNS节点的高可用,我们使用keepalived将两台机器分别作为主从节点,做一个简单的主从节点方式的高可用。

正常情况下,主节点的priority为100,从节点的priority为90,此时VIP在主节点上,请求和流量从VIP进入,由主节点提供服务,从节点作为备用。

当主节点出现异常时,VIP偏移到从节点,从节点进入MASTER状态,直到主节点本身的服务恢复正常再切换过去。

而为了防止VIP偏移到对应的机器上的时候,named服务没有监听到对应的端口,我们在脚本中设置当keepalived进入notify_master时重启一下named服务,确保能够VIP的服务端口能够被正常监听。

注意在主节点脚本中设置的检测方式是检测MASTER本身的IP上的rndc状态是否正常而不是VIP上面的rndc状态,而备节点则刚好相反。

这里主要是为了避免当主节点本身DNS服务就有问题,而它的检测脚本又是检测VIP的rndc状态时,VIP切到从节点后可以正常提供服务,然后主节点脚本检测正常,将VIP抢了回来,但是这时候主节点自己是无法正常提供服务的,随后从节点检测到服务不正常,又将VIP抢了过去,然后继续循环导致VIP不断偏移。

7、keepalived配置

keepalived的配置比较简单,注意这里的intervalinterfacerouter_idvirtual_router_id等参数可以根据实际情况进行调整。

7.1 keepalived.conf(master)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
! Configuration File for keepalived

global_defs {
router_id HA_DNS
}

vrrp_script chk_dns {
# 定义检测的脚本和执行参数
script "/etc/keepalived/dns_status.sh check 主机器的IP"
# 定义脚本的执行时间间隔为2秒
interval 2
# 执行失败的时候weight-20
weight -20
# 检测到脚本执行两次失败才算失败
fall 2
# 检测到脚本执行成功一次就算成功
rise 1
}

vrrp_instance VIRT_DNS {
state MASTER
interface eth0
virtual_router_id 201
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 7777@tinychen
}
track_script {
chk_dns
}

virtual_ipaddress {
需要配置的VIP(e.g. 1.1.1.1) dev VIP所在的网卡(e.g. eth0)
}

notify_master "/etc/keepalived/dns_status.sh notify master"
notify_backup "/etc/keepalived/dns_status.sh notify backup"
notify_fault "/etc/keepalived/dns_status.sh notify fault"
}

7.2 keepalived.conf(backup)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
! Configuration File for keepalived

global_defs {
router_id HA_DNS
}

vrrp_script chk_dns {
script "/etc/keepalived/dns_status.sh check 用来做高可用的VIP"
# 定义脚本的执行时间间隔为2秒
interval 2
# 执行失败的时候weight-20
weight -20
# 检测到脚本执行两次失败才算失败
fall 2
# 检测到脚本执行成功一次就算成功
rise 1
}

vrrp_instance VIRT_DNS {
state BACKUP
interface eth0
virtual_router_id 201
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 7777@tinychen
}
track_script {
chk_dns
}

virtual_ipaddress {
需要配置的VIP(e.g. 1.1.1.1) dev VIP所在的网卡(e.g. eth0)
}

notify_master "/etc/keepalived/dns_status.sh notify master"
notify_backup "/etc/keepalived/dns_status.sh notify backup"
notify_fault "/etc/keepalived/dns_status.sh notify fault"
}

7.3 dns_status.sh

这里脚本的放置目录要和上面的

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# vim /etc/keepalived/dns_status.sh

#!/bin/bash
LOGFILE="/home/named/keepalived/keepalived.log"
case "$1" in
check)
ALIVE=$(/usr/sbin/rndc -s $2 status | grep "server is up and running")
if [ $? == 0 ]; then
exit 0
else
echo "---------------------------------------" >>$LOGFILE
date "+%Y-%m-%d %H:%M:%S" >>$LOGFILE
echo "Using rndc status check failed" >>$LOGFILE
echo "---------------------------------------" >>$LOGFILE
exit 1
fi
;;
notify)
echo "---------------------------------------" >>$LOGFILE
date "+%Y-%m-%d %H:%M:%S" >>$LOGFILE
echo "Enter status: $2" >>$LOGFILE
if [ $2 == "master" ]; then
echo "Begin running systemctl restart cmd " >>$LOGFILE
systemctl restart named.service >>$LOGFILE 2>&1
echo "Running reload cmd done ! " >>$LOGFILE
date "+%Y-%m-%d %H:%M:%S" >>$LOGFILE
fi
echo "---------------------------------------" >>$LOGFILE
;;
*)
echo "Usage: sh $0 check ipaddr | notify status"
;;
esac

8、效果检测

最后我们关闭主节点上面的named服务,然后查看日志和从节点的状态确定VIP能否顺利切换,之后再重启主节点上面的named服务,保证服务能够正常运行即可。