使用NGINX Plus缓存集群实现共享缓存（第2部分）

NGINX | 2017年2月09日

编者：本文是高容量、高可用性缓存系列文章的第2部分：

使用NGINX Plus缓存集群实现共享缓存，第1部分
使用NGINX Plus缓存集群实现共享缓存，第2部分（本文）

如何使用NGINX或NGINX Plus构建大容量、高可用的缓存集群？本文介绍如何使用两台或更多NGINX或NGINX Plus缓存服务器创建高可用缓存集群。（除非另有说明，本文所述方法同样适用于NGINX Open Source和NGINX Plus，但为简洁起见，下文仅使用NGINX Plus这一名称。）

回顾：分片缓存解决方案

本系列的第一部分介绍了一种用于创建超大型分片缓存集群的模式。

对Web缓存服务器上的缓存进行分片，可创建容错配置，使每项资产仅缓存在一台服务器上

当需要创建可按需扩展的超大容量缓存时，此模式非常有效。由于每项资源仅缓存在一台服务器上，因此无法实现完全容错；但一致性哈希负载均衡可确保在某台服务器发生故障时，只有该服务器负责的缓存内容会失效。

创建高可用缓存集群

如果首要目标是不惜一切代价尽量减少向源服务器发出的请求，那么缓存分片解决方案并非合适的选择。您可以改为谨慎配置主、辅助NGINX Plus实例，以满足需求：

采用高可用性配置的缓存集群可在主缓存服务器与辅助缓存服务器之间自动故障转移，从而最大限度地降低源服务器的负载。

主NGINX Plus实例接收所有流量，并将请求转发到辅助实例。辅助实例从源服务器检索并缓存内容；主实例也会缓存辅助实例返回的响应，并将其返回给客户端。

两台设备的缓存均已完全填充，并会根据配置的超时设置刷新缓存。

配置主缓存服务器

将主缓存服务器配置为把所有请求转发到辅助服务器，并缓存响应。根据上游组中backup参数对server指令的设置，当辅助服务器发生故障时，主服务器会将请求直接转发到源服务器：

proxy_cache_path /tmp/mycache keys_zone=mycache:10m;
server {
    status_zone mycache;          # for NGINX Plus extended status

    listen 80;

    proxy_cache mycache;
    proxy_cache_valid 200 15s;

    location / {
        proxy_pass http://secondary;
    }
}

upstream secondary {
    zone secondary 128k;          # for NGINX Plus extended status

    server 192.168.56.11;         # secondary
    server 192.168.56.12 backup;  # origin
}

配置辅助缓存服务器

配置辅助缓存服务器，使其将请求转发到源服务器并缓存响应。

proxy_cache_path /tmp/mycache keys_zone=mycache:10m;
server {
    status_zone mycache;          # for NGINX Plus extended status

    listen 80;

    proxy_cache mycache;
    proxy_cache_valid 200 15s;

    location / {
        proxy_pass http://origin;
    }
}

upstream origin {
    zone origin 128k;            # for NGINX Plus extended status

    server 192.168.56.12;        # origin
}

配置高可用性

最后，需要配置高可用性（HA），以便主服务器发生故障时由辅助服务器接管传入流量；主服务器随后恢复后，将重新接管流量。

在此示例中，我们使用NGINX Plus的主动-被动HA解决方案。对外公布的虚拟IP地址为192.168.56.20，主缓存服务器充当集群中的HA主节点。如果使用NGINX Open Source，可以手动安装和配置keepalived或其他HA解决方案。

故障转移场景

回顾一下，我们希望创建一个高可用缓存集群，即使某台缓存服务器发生故障，也能继续运行。无论缓存服务器发生故障，还是恢复后需要刷新过期内容，我们都不希望增加源服务器的负载。

假设主服务器发生故障，此时NGINX Plus HA解决方案会将外部IP地址转移到备用服务器。

当缓存集群中的主缓存服务器发生故障时，辅助缓存服务器会直接接收并处理客户端请求，从而提供高可用性缓存。

辅助缓存服务器拥有完整缓存，并继续正常运行。源服务器不会承受额外负载。

当主缓存服务器恢复并开始接收客户端流量时，其缓存将处于过期状态，且许多条目已失效。主缓存服务器将从辅助缓存服务器刷新本地缓存；由于辅助服务器上的缓存已是最新状态，因此不会增加源服务器的流量。

现在，假设辅助缓存服务器发生故障。主缓存服务器会检测到该故障（使用作为HA解决方案一部分配置的运行状况检查），并将流量直接转发到备份服务器（即源服务器）。

当缓存集群中的辅助缓存服务器发生故障时，主缓存服务器会绕过该服务器，将客户端请求直接转发到源服务器，从而提供高可用缓存。

主服务器拥有完整缓存，并继续正常运行。同样，源服务器不会承受额外负载。

辅助服务器恢复后，其缓存将已过期。不过，只有当主服务器的缓存过期时，辅助服务器才会收到来自主服务器的请求，此时辅助服务器上的副本也已过期。虽然辅助服务器需要向源服务器请求内容，但这不会增加向源服务器发出请求的频率，也不会对源服务器造成不利影响。

测试故障转移行为

为测试HA解决方案，我们将源服务器配置为记录请求，并返回每个请求的当前时间。这意味着源服务器的响应每秒都会变化：

access_log /var/log/nginx/access.log;
location / {
    return 200 "It's now $time_localn";
}

主缓存服务器和辅助缓存服务器已配置为缓存状态码为200的响应，缓存时间为15秒。因此，缓存通常每15或16秒更新一次。

proxy_cache_valid 200 15s;

验证缓存行为

我们每秒向缓存集群的高可用虚拟IP地址发送一次HTTP请求。在主服务器和辅助服务器上的缓存过期，并从源服务器刷新响应之前，响应内容不会发生变化。此过程每15或16秒发生一次。

$ while sleep 1 ; do curl http://192.168.56.20/ ; done
It's now 9/Feb/2017:06:35:03 -0800
It's now 9/Feb/2017:06:35:03 -0800
It's now 9/Feb/2017:06:35:03 -0800
It's now 9/Feb/2017:06:35:19 -0800
It's now 9/Feb/2017:06:35:19 -0800
^C