负载均衡实例：如何解放昼夜不眠的网管？

笔者曾为客户设计过一系列项目方案，在真正施工时发现：如果客户方有24小时监控人员时，单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求)，如果机器多的话，建议用Keepalived作双Nginx负载均衡器的HA。Nginx作负载均衡器的优点许多，简单概括为:①实现了可弹性化的架构，在压力增大的时候可以临时添加tomcat服务器添加到这个架构里面去;②upstream具有负载均衡能力，可以自动判断下面的机器，并且自动踢出不能正常提供服务的机器；③相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障，整个拓补如下：

布置整个环境用到的软件为:

   1. apache-tomcat-6.0.20.tar.gz  
   2. jdk-6u16-linux-i586.bin  
   3. nginx-0.7.17.tar.gz  
   4. prce-7.7.tar.gz

①首先分别在3台tomcat主机上布置java环境，安装tomcat，具体步骤如下（apache-tomcat-6.0.tar.gz可在 apache.org上下载，jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下载http://www.fdigg.net /search_jdk-6-linux-i586.htm）：

第一步，安装java环境。

JDK的安装

   1. #chmod +x jdk-6u16-linux-i586.bin  
   2. #./jdk-6u16-linux-i586.bin

到此JDK已经安装完成

建立符号链接

   1. # ln -s /usr/local/jdk-1.6.0-16/bin/java /usr/bin/java  
   2. # ln -s /usr/local/jdk-1.6.0-16/bin/javac /usr/bin/javac  
   3. ln -s /usr/local/jdk-1.6.0-16 /usr/local/jdk  
   4. ln -s /usr/local/jdk-1.6.0-16/jre /usr/local/jre

TOMCAT的安装

   1. #tar zxvf apache-tomcat-6.0.20.tar.gz  
   2. #mv apache-tomcat-6.0.20 /usr/local/tomcat

设置环境变量: vim /etc/rc.d/rc.local，以追加的形式添加如下内容

   1. JAVA_HOME=/usr/local/jdk  
   2. export JAVA_HOME  
   3. JRE_HOME=/usr/local/jre  
   4. export JRE_HOME  
   5. CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib  
   6. export CLASSPATH  
   7. PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin  
   8. export PATH  
   9. TOMCAT_HOME=/usr/local/tomcat  
  10. export TOMCAT_HOME

重启服务器，启动tomcat以检查是否存在错误：

   1. #cd /usr/local/tomcat/bin  
   2. #./startup.sh

http://IP地址:8080 可以看到猫头:)成功了。

②分别在二台nginx负载均衡器上安装nginx及配置

下载及安装nginx:

   1. wget ftp://ftp.csx.cam.ac.uk/pub/soft ... cre/pcre-7.7.tar.gz  
   2. tar zxvf pcre-7.7.tar.gz  
   3. cd pcre-7.7/  
   4. ./configure  
   5. make && make install  
   6. wget http://sysoev.ru/nginx/nginx-0.7.17.tar.gz  
   7. tar zxvf nginx-0.7.17.tar.gz  
   8. cd nginx-0.7.17/  
   9. ./configure --prefix=/usr/local/nginx --with-http_stub_status_module   
  10. make && make install

这里贴上nginx.conf配置文件，不加任何说明，方便用X-shell直接粘贴，很人性化的噢:)二个nginx负载均衡器的文件一样，配置完成后分别用/usr/local/nginx/sbin/nginx启动。

   1. user www www;  
   2. worker_processes 8;  
   3. pid /usr/local/nginx/logs/nginx.pid;  
   4. worker_rlimit_nofile 51200;  
   5. events  
   6. {  
   7. use epoll;  
   8. worker_connections 51200;  
   9. }  
  10. http{  
  11. include       mime.types;  
  12. default_type application/octet-stream;  
  13. server_names_hash_bucket_size 128;  
  14. client_header_buffer_size 32k;  
  15. large_client_header_buffers 4 32k;  
  16. client_max_body_size 8m;  
  17. sendfile on;  
  18. tcp_nopush     on;  
  19. keepalive_timeout 60;  
  20. tcp_nodelay on;  
  21. fastcgi_connect_timeout 300;  
  22. fastcgi_send_timeout 300;  
  23. fastcgi_read_timeout 300;  
  24. fastcgi_buffer_size 64k;  
  25. fastcgi_buffers 4 64k;  
  26. fastcgi_busy_buffers_size 128k;  
  27. fastcgi_temp_file_write_size 128k;  
  28. gzip on;  
  29. gzip_min_length 1k;  
  30. gzip_buffers     4 16k;  
  31. gzip_http_version 1.0;  
  32. gzip_comp_level 2;  
  33. gzip_types       text/plain application/x-javascript text/css application/xml;  
  34. gzip_vary on;  
  35. upstream backend  
  36. {  
  37. server 192.168.1.102:8080;  
  38. server 192.168.1.103:8080;  
  39. server 192.168.1.105:8080;  
  40. }  
  41. server {  
  42. listen 80;  
  43. server_name www.yuhongchun027.com;  
  44. location / {  
  45. root /var/www ;  
  46. index index.jsp index.htm index.html;  
  47. proxy_redirect off;  
  48. proxy_set_header Host $host;  
  49. proxy_set_header X-Real-IP $remote_addr;  
  50. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
  51. proxy_pass http://backend;  
  52. }  
  53. #location /nginx {  
  54. #access_log on;  
  55. #auth_basic "NginxStatus";  
  56. #auth_basic_user_file /usr/local/nginx/htpasswd;  
  57. #}  
  58. log_format access '$remote_addr - $remote_user [$time_local] "$request" '  
  59. '$status $body_bytes_sent "$http_referer" '  
  60. '"$http_user_agent" $http_x_forwarded_for';  
  61. access_log /var/log/access.log access;  
  62. }  
  63. }

③在二台Nginx机上安装及配置keepalived，做双机互备。

   1. #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz  
   2. #tar zxvf keepalived-1.1.15.tar.gz  
   3. #cd keepalived-1.1.15  
   4. #./configure  
   5. #make  
   6. #make install

将keepalived做成启动脚务，方便管理:

   1. #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
   2. #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
   3. #mkdir /etc/keepalived  
   4. #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/  
   5. #cp /usr/local/sbin/keepalived /usr/sbin/  
   6. #service keepalived start|stop  

在二台Nginx上，我分别贴出keepalived.conf配置文件，配置完成后分别用service keepalived start启动。检验keepalived是否成功可用命令ip a

   1. vrrp_instance VI_INET1 {  
   2.         state MASTER  
   3.         interface eth0  
   4.         virtual_router_id 53  
   5.         priority 200  
   6.         advert_int 1  
   7.         authentication {  
   8.                 auth_type pass  
   9.                 auth_pass yourpass  
  10.         }  
  11.         virtual_ipaddress {  
  12.                 192.168.1.108  
  13.         }  
  14. }  
  15. vrrp_instance VI_INET1 {  
  16.         state BACKUP  
  17.         interface eth0  
  18.         virtual_router_id 53  
  19.         priority 100  
  20.         advert_int 1  
  21.         authentication {  
  22.                 auth_type pass  
  23.                 auth_pass yourpass  
  24.         }  
  25.         virtual_ipaddress {  
  26.                 192.168.1.108  
  27.         }  
  28. }

项目实施过程中遇到的问题:

1、session复制问题

以前用apache做负载均衡的时候，是选择了用 session sticky的模式，这样的话，用户每次进来都会是同一个服务器中的session，不会被转发到其他的服务器上。在这样的情况下，tomcat即使不做 session复制也不会影响用户访问;Nginx有个类似模块ip_hash能解决此问题，但采用了ip_hash后，nginx就不能正常地用轮询将客户的要求平等的分发到后端tomcat服务器，所幸客户对并发要求不高，他们更关心的是后端的tomcat的高可用问题。

2、页面同步

办法①可以采用rsync自动同步的办法。

办法②后端采用存储，读数据采用同一个源。

办法③在程序上实现动态的调取数据(如图片及文字)采用后端的唯一数据库。

3、关于测试

公司的测试组用的测试工具为windows2003下的Load Runner，很强大的一款，但有时采用了ip_hash后，结果并不准确；解决为：在多台服务器上，采用多种测试工具，如:webbench、Load Runner来进行交叉测试。此外，生产环境下，并发1000就是一个很大的数值，用户数为100万的用户系统往往并未达到此数，这点也是让我们很惊异的；

4、安全方面：最前端建议放置Cisco四层防火墙+web防火墙的方法，效果相当好；整个系统出口带宽建议为100M，cisco防火墙映射整个系统的vip地址及80端口，系统内所有服务器均关闭iptables防火墙。

5、监控方面：用传说中的监控之神Nagios吧，配合139邮箱，效果不错。