发布于 2016-01-08 13:19:00 | 180 次阅读 | 评论: 0 | 来源: 网友投递
Memcache 高性能分布式内存对象缓存系统
Memcache是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。
memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。服务器端仅包括内存存储功能，其实现非常简单。至于memcached的分布式，则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。
基础环境
其实基于PHP扩展的Memcache客户端实际上早已经实现，而且非常稳定。先解释一些名词，Memcache是danga.com的一个开源项目，可以类比于MySQL这样的服务，而PHP扩展的Memcache实际上是连接Memcache的方式。
首先，进行Memcache被安装具体可查看博客里的其它几篇文章;
其次，进行PHP扩展的安装，官方地址是http://pecl.php.net/package/memcache
最后，启动Memcache服务，比如这样,通过不同端口启动多个进程模拟分布式：
启动三个只使用10M内存以方便测试。
参数说明：
-d选项是启动一个守护进程，
-m 是分配给Memcache使用的内存数量，单位是MB，我这里是512MB，
-u是运行Memcache的用户，我这里是root，
-l 是监听的服务器IP地址，如果有多个地址的话，我这里指定了服务器的IP地址192.168.0.1，
-p是设置Memcache监听的端口，我 这里设置了11211，最好是1024以上的端口，
-c选项是最大运行的并发连接数，默认是1024，我这里设置了512，按照你服务器的负载量 来设定，
-P是设置保存Memcache的pid文件，我这里是保存
分布式部署
PHP的PECL扩展中的memcache实际上在2.0.0的版本中就已经实现多服务器支持，现在都已经2.2.5了。请看如下代码
$memcache = new Memcache;
$memcache->addServer('localhost', 11211);
$memcache->addServer('localhost', 11213);
$memcache->addServer('localhost', 11214);
$memStats = $memcache->getExtendedStats();
print_r($memStats);
通过上例就已经实现Memcache的分布式部署，是不是非常简单。
分布式系统的良性运行
在Memcache的实际使用中，遇到的最严重的问题，就是在增减服务器的时候，会导致大范围的缓存丢失，从而可能会引导数据库的性能瓶颈。测试时可以通过关闭一个memcached进程，来测试数据是否存在，实例:
<?php
//第一次设置值后再作注释
$memcache = new Memcache;
$memcache->addServer('localhost', 11211);
//$memcache->set("mykey", "这个值在11213添加前添加的");
$memcache->addServer('localhost', 11213);
if (!$memcache) echo "Connection to memcached failed";
/*
$memcache->set("str_key", "String to store in memcached");
$memcache->set("num_key", 123);
$object = new StdClass;
$object->attribute = 'test';
$memcache->set("obj_key", $object);
$array = Array('assoc'=>123, 345, 567);
$memcache->set("arr_key", $array);
*/
var_dump($memcache->get('mykey'));
var_dump($memcache->get('str_key'));
var_dump($memcache->get('num_key'));
var_dump($memcache->get('obj_key'));
$memStats = $memcache->getExtendedStats();
var_dump($memStats);
?>
测试时关闭其中一台，可能会导致数据丢失：
string '这个值在11213添加前添加的' (length=35)
string 'String to store in memcached' (length=28)
boolean false
boolean false
为了避免出现这种情况，请先看Consistent hashing算法，中文的介绍可以参考memcached全面剖析--4. memcached的分布式算法，通过存取时选定服务器算法的改变，来实现。
memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。
修改PHP的Memcache扩展memcache.c的源代码中的
"memcache.hash_strategy" = standard
为
"memcache.hash_strategy" = consistent
重新编译，这时候就是使用Consistent hashing算法来寻找服务器存取数据了。
有效测试数据表明，使用Consistent hashing可以极大的改善增删Memcache时缓存大范围丢失的情况。
NonConsistentHash: 92% of lookups changed after adding a target to the existing 10
NonConsistentHash: 90% of lookups changed after removing 1 of 10 targets
ConsistentHash: 6% of lookups changed after adding a target to the existing 10
ConsistentHash: 9% of lookups changed after removing 1 of 10 targets
安全配置
Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。
内网访问
最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。
Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接
设置防火墙
防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。 一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。
# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 --dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 --dport 11211 -j ACCEPT
上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。