Memcache和MSM 介绍

NoSQL介绍

NoSQL是对非SQL、非传统关系型数据库的统称。
NoSQL一词诞生于1998年，2009年这个词汇被再次提出指非关系型、分布式、不提供ACID的数据库设计模式。

随着互联网时代的到来，数据爆发式增长，数据库技术发展日新月异，要适应新的业务需求。
随着移动互联网、物联网的到来，大数据的技术中NoSQL也同样重要。

数据库排名：https://db-engines.com/en/ranking

分类

• Key-value Store
  • redis、memcached
• Document Store
  • mongodb、CouchDB
• Column Store列存数据库，Column-Oriented DB
  • HBase、Cassandra，大数据领域应用广泛
• Graph DB
  • Neo4j
• Time Series 时序数据库
  • InfluxDB

Memcached

memcache本身没有像redis所具备的数据持久化功能，比如RDB和AOF都没有，但是可以通过做集群同步的方
式，让各memcache服务器的数据进行同步，从而实现数据的一致性，即保证各memcache的数据是一样的，即使有任何一台memcache发生故障，只要集群种有一台memcache可用就不会出现数据丢失，当其他memcache重新加入到集群的时候可以自动从有数据的memcache当中自动获取数据并提供服务。
Memcache借助了操作系统的libevent工具做高效的读写。libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥高性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。
Memcache支持最大的内存存储对象为1M，超过1M的数据可以使用客户端压缩或拆分报包放到多个key中，比较
大的数据在进行读取的时候需要消耗的时间比较长，memcache最适合保存用户的session实现session共享，
Memcached存储数据时, Memcached会去申请1MB的内存, 把该块内存称为一个slab, 也称为一个page。
memcached具有多种语言的客户端开发包，包括：Perl/PHP/JAVA/C/Python/Ruby/C#/

Memcached只支持能序列化的数据类型，不支持持久化，基于Key-Value的内存缓存系统。

Memcache官网：http://memcached.org/

Memcached功能机制

内存分配机制

应用程序运行需要使用内存存储数据，但对于一个缓存系统来说，申请内存、释放内存将十分频繁，非常容易导致大量内存碎片，最后导致无连续可用内存可用。

Memcached采用了Slab Allocator机制来分配、管理内存。

• Page：分配给Slab的内存空间，默认为1MB，分配后就得到一个Slab。Slab分配之后内存按照固定字节大小等分成chunk。
• Chunk：用于缓存记录kv值的内存空间。Memcached会根据数据大小选择存到哪一个chunk中，假设chunk有128bytes、64bytes，数据只有100bytes存储在128bytes中，存在些浪费。
  • Chunk最大就是Page的大小，即一个Page中就一个Chunk
• Slab Class：Slab按照大小分组，就组成不同的Slab Class

如果有100bytes要存，那么Memcached会选择上图中Slab Class 2存储，因为它是120bytes的Chunk。

Slab之间的差异可以使用Growth Factor控制，默认1.25。

范例：查看Slab Class

[root@centos8 ~]#memcached -u memcached  -f 2 -vv
slab class   1: chunk size        96 perslab   10922
slab class   2: chunk size       192 perslab    5461
slab class   3: chunk size       384 perslab    2730
slab class   4: chunk size       768 perslab    1365
slab class   5: chunk size      1536 perslab     682
slab class   6: chunk size      3072 perslab     341
slab class   7: chunk size      6144 perslab     170
slab class   8: chunk size     12288 perslab      85
slab class   9: chunk size     24576 perslab      42
slab class  10: chunk size     49152 perslab      21
slab class  11: chunk size     98304 perslab      10
slab class  12: chunk size    196608 perslab       5
slab class  13: chunk size    524288 perslab       2
<27 server listening (auto-negotiate)
<28 server listening (auto-negotiate)

懒过期Lazy Expiration

memcached不会监视数据是否过期，而是在取数据时才看是否过期，过期的把数据有效期限标识为0，并不清除该数据。以后可以覆盖该位置存储其它数据。

LRU

当内存不足时，memcached会使用LRU（Least Recently Used）机制来查找可用空间，分配给新纪录使用。

集群

Memcached集群，称为基于客户端的分布式集群，即由客户端实现集群功能，即Memcached本身不支持集群

Memcached集群内部并不互相通信，一切都需要客户端连接到Memcached服务器后自行组织这些节点，并决定数据存储的节点。

本文链接：http://www.yunweipai.com/35187.html