说实话现在聊缓存十个人里有九个先想到Redismemcached这个名字好像已经有点“过气”了。但我这两年做Linux运维和系统调优反而越来越觉得memcached是个该认真学一学的东西。它不复杂没有持久化没有复杂数据结构连认证都得靠外部手段可正因为简单它在纯KV缓存场景下的性能极其稳定内存利用率也相当好算出了问题基本一眼就能看穿。这篇文章就基于Linux环境从零开始讲讲memcached怎么装、怎么用、怎么排查适合刚接触Linux缓存这一块、或者面试前想快速把memcached脉络理清楚的朋友你可以把它当一份带踩坑记录的入门笔记看。1. 认识memcached它到底解决什么问题1.1 从数据库压力说起先聊一个我碰到过的真实场景。某个内部运营系统每天早高峰一堆查询请求打到MySQL上有些统计类的SQL一张表就几百万行虽然加了索引但并发一上来照样把数据库的CPU打到80%以上慢查询日志里全是同一个查询。后来做的事情很简单把那些热点数据按key塞到memcached里查询先走缓存缓存没有再查库再回填数据库负载肉眼可见地降了下来。这就是memcached最核心的价值——给后端的数据库或API接口挡掉重复读的压力。它的定位不是存业务数据而是存那些“读多写少、稍微丢一点也没关系、可以重建”的热数据比如用户登录状态、商品详情、配置项、验证码。理解这点很重要因为很多人一开始就把它当数据库用存些不能丢的东西结果一重启全没了就开始骂这玩意儿不靠谱。1.2 memcached核心特性与适用边界memcached是纯内存缓存系统数据只存在内存里进程一停数据就没了它自己也压根不打算帮你持久化。它的几个关键特性值得一条一条捋清楚基于key-value的简单结构value最大默认能到1MB改参数能调大但真要存大对象不如直接存文件路径。协议简单基于文本行协议客户端随便用telnet连上去就能手动读写数据调试非常方便。服务端是多线程模型CPU核多的机器能跑满多核这点比很多单线程缓存服务在纯KV场景下更占便宜。内存管理用slab allocation机制按固定chunk大小分桶避免内存碎片但也会带来一定的内存浪费。支持LRU过期淘汰和主动过期用得很省心。那什么时候该用它而不是Redis我个人的表是这么分的对比维度memcachedRedis数据结构只有字符串KV字符串、哈希、列表、集合、有序集合等持久化不支持RDB/AOF多核利用多线程天然利用多核单线程为主高版本有一些多线程IO内存管理slab分桶分配固定多种策略相对灵活适用场景纯KV热点缓存体积小量大数据结构复杂、需要持久化、发布订阅等入门阶段不要纠结谁取代谁先把memcached在纯KV缓存上的效率和Linux下的部署方式吃透后面再学Redis你会觉得很多东西是通的甚至memcached的协议和内存模型对理解Redis的内存优化也有帮助。2. Linux下安装部署从源码编译到systemd托管2.1 安装前先想清楚版本和依赖memcached本身依赖libevent这个事件库所以装之前要先搞定它。我在CentOS系的机器上一般这么做先更新、装编译工具链和依赖yum install -y gcc gcc-c make autoconf libtool yum install -y libevent libevent-devel如果是Ubuntu/Debian系对应命令是apt update apt install -y build-essential libevent-dev有个容易踩的坑有些精简环境里libevent-devel没装编译memcached时它会报找不到event.h卡住半天。遇到这种错误别慌先确认依赖包状态再检查是否存在多版本libevent冲突。我在一个最小化安装的CentOS 7上试过忘了装devel包编译报错补上后重新configure就好了。2.2 编译安装还是用包管理器我其实两种都试过。用yum或apt直接装最快版本一般也够用yum install -y memcached或者apt install -y memcached但如果是生产环境我更推荐源码编译因为你可以指定编译参数、装到固定目录后续多实例部署也方便。官网下载源码包然后走标准三步tar zxf memcached-1.6.21.tar.gz cd memcached-1.6.21 ./configure --prefix/usr/local/memcached --with-libevent/usr make make install需要注意一点如果libevent是自定义路径安装的configure时一定要用--with-libevent/your/path指定不然会提示找不到。编译过程很快一两分钟的事。装完二进制在/usr/local/memcached/bin/memcached用-h验证一下/usr/local/memcached/bin/memcached -h能看到一大串启动参数说明就说明装好了。说到这里我顺便提一下热词里总有人讲“memcached源码分析”。如果你想深入理解它的内存模型和LRU策略建议先把1.6.x源码下下来重点看slab.c和items.c这两个文件。入门阶段不用啃太深但知道源码结构长什么样面试时聊起来会扎实很多。2.3 启动参数解析和内存分配细节启动memcached最精简的方式就是这样/usr/local/memcached/bin/memcached -d -m 64 -u root -l 127.0.0.1 -p 11211 -c 1024 -P /tmp/memcached.pid逐个拆一下这里每个参数背后都有讲究-d以守护进程方式运行不加的话关闭终端它就跟着退了。-m 64给memcached分配64MB内存。这个参数特别重要它决定了你最多能缓存多少数据也决定了内存用完后淘汰会不会变得很激进。-u root指定运行用户。默认很多发行版会让你用memcached用户跑但你手动测试时用root也行生产环境建议专门建一个低权限用户。-l 127.0.0.1监听地址。默认会监听所有地址如果你这台机器上有公网IP最好把它改成内网IP或回环地址不然容易被扫描利用。memcached本身没有认证暴露在公网基本等于裸奔。-p 11211监听端口默认就是11211。多实例部署时每个实例可以分配不同端口。-c 1024最大并发连接数默认1024就够测试用。-P /tmp/memcached.pid写pid文件方便后面stop或reload。关于-m这里有个容易忽略的点64MB是memcached用来存数据的内存上限它实际占用的物理内存不只是64MB还包含本身slab分配器的一些开销、连接缓冲、哈希表等等。所以在评估机器内存时建议给memcached留出一些余量比如-m 1024时实际常驻可能是1.1GB上下。我见过有人把-m设成机器物理内存的90%然后发现SWAP狂涨机器卡死。建议最多给到机器内存的一半左右。如果你用systemd管理可以写一个service文件方便开机自启。这里给一个常见模板[Unit] DescriptionMemcached Daemon Afternetwork.target [Service] Typeforking ExecStart/usr/local/memcached/bin/memcached -d -m 256 -u root -l 127.0.0.1 -p 11211 -c 1024 -P /tmp/memcached.pid PIDFile/tmp/memcached.pid Restarton-failure [Install] WantedBymulti-user.target把文件放到/usr/lib/systemd/system/memcached.service然后systemctl daemon-reload systemctl enable memcached.service systemctl start memcached.service这样的好处是以后可以用systemctl status memcached看运行状态出问题也容易排查。2.4 如何验证服务真的在跑服务起来后先用最基础的命令看进程和端口ps -ef | grep memcached ss -lntp | grep 11211如果你用Linux的ss命令看到LISTEN状态的11211端口说明服务已经监听。再进一步可以用stats命令确认内部状态printf stats\r\n | nc 127.0.0.1 11211这条命令会返回一堆以STAT开头的行包括当前连接数、命中次数、内存使用等。只要能看到STAT uptime在增长就说明进程是活的。3. 基础使用从telnet增删改查到数据过期策略3.1 命令行手动读写数据memcached的文本协议非常直观入门阶段我强烈建议先别急着写代码用telnet或nc手动读写几组数据把协议格式吃透。首先连上去telnet 127.0.0.1 11211或者用ncnc 127.0.0.1 11211连上后存一条数据用set命令格式是这样set key flags exptime bytes value比如我想存一个字符串hello到key为name的位置过期时间设0表示永不过期然后敲回车set name 0 0 5 hello服务端会返回STORED看到它就说明写入成功了。这里有几个细节容易出错bytes必须和实际输入字节数完全一致多一个空格、少一个字符都会失败输入完value后需要再敲一次回车让服务端确认。我自己刚开始试的时候经常在这里敲多了空格返回CLIENT_ERROR bad data chunk后来才反应过来bytes是字节数不是字符数中文要按字节算。我们常用的几个指令整理如下指令作用示例set新增或覆盖set name 0 0 5add仅当key不存在时新增add name 0 0 5replace仅当key已存在时覆盖replace name 0 0 5get取一个或多个keyget namedelete删除指定keydelete nameincr对数字value自增incr num 5decr对数字value自减decr num 2stats获取运行状态statsadd和replace这两个命令在并发场景下很有用add可以用来实现简单的分布式锁replace则适合只更新已存在的缓存避免把刚过期的数据重新写回去。实际项目里add配合get是防缓存击穿的一个小技巧后面排查部分我会再细说。3.2 数据过期时间格式别踩这个坑memcached的过期时间有两种格式。如果你设置的时间小于等于30天准确说是60*60*24*30秒它就把这个值当成从现在开始多少秒后过期。比如set name 0 60 560秒后这条数据会过期。如果设置的秒数超过这个阈值memcached会将其解释为Unix时间戳也就是从1970年1月1日到某个绝对时间点的秒数。我踩过一次坑想设置一个key在2天后过期心里算了下172800秒直接写成set key 0 172800 5结果发现数据不到几分钟就消失了。排查半天才意识到我那个环境里的memcached是旧版本且我给的数值不小心超过了30天上限被当成了时间戳解析。所以入门阶段记住一个习惯要么用小于30天的相对秒数要么干脆用date %s算出绝对时间戳再填进去不要自己脑补大数字。读取数据用get一次可以传多个keyget name age city服务端会把命中的key和value分块返回最后以一个END结束。不存在的key不会出现在结果里这也是memcached“无脑缓存”的体现——查不到就查不到不会像数据库那样报错。3.3 统计信息怎么看stats命令用得非常多它是排查缓存命中率和内存状况的第一入口。返回的信息里我一般重点看这几个字段字段意义uptime进程运行秒数curr_items当前存的key数量total_items历史累计写入次数get_hitsget命中的次数get_missesget未命中的次数curr_connections当前连接数bytes数据实际占用的字节数evictions因内存不足被LRU淘汰的条目数limit_maxbytes允许使用的最大内存字节数命中率可以自己算get_hits / (get_hits get_misses)。我一般要求线上命中率至少到90%以上如果低于80%说明缓存价值不大要么key设计有问题要么过期时间太短。evictions这个值要是持续增长说明内存不够用了得考虑调大-m或优化key数量。除了基础stats还有stats slabs和stats items分别查看slab分桶情况和每个桶里的item数量。入门阶段理解即可memcached会把不同大小的value分配到不同chunk的slab桶里如果value大小分布不均匀比如全是1KB到2KB的数据但slab桶划分得不对就会有一部分内存被浪费。这是它内存碎片率高的根源想深入再研究初级应用只要知道有这回事就行。3.4 多实例部署的常见思路一台机器跑多个memcached实例在生产环境并不罕见特别是你要对不同业务线做隔离的时候。做法很简单每个实例分配不同端口和不同的-m内存值比如订单缓存跑11211端口给2GB用户会话跑11212端口给1GB。多实例之间互不干扰一个崩了也不影响另一个。但要注意多实例不等于集群。memcached本身没有原生的集群模式所谓集群一般是客户端根据key的哈希值路由到不同节点或者你前面再挂一层代理。入门阶段别被“集群”这个词吓到先把单机多实例玩明白后面理解一致性哈希就顺理成章了。4. 常见问题与排查技巧实录4.1 连接不上、拒绝访问怎么查这是新手上路问得最多的一个问题。我按顺序给一个排查思路第一步先确认进程是活的ps -ef | grep memcached如果进程不在看/var/log/message或systemd日志journalctl -u memcached -n 50常见原因是启动参数里指定的-m超过系统可用内存或-l绑定地址写错。第二步确认端口在监听ss -lntp | grep 11211如果没看到确认启动时是不是加了-d有时候你手动前台启动、然后CtrlC把进程带退了端口自然就没了。第三步测试本机能不能连通nc -vz 127.0.0.1 11211返回Connected说明本机没问题。如果本机能通、外部机器不通90%是防火墙挡住了iptables -L -n | grep 11211 firewall-cmd --list-all需要放行就执行firewall-cmd --permanent --add-port11211/tcp firewall-cmd --reload还有种情况是云服务器安全组里没有放行11211端口这个也要检查。4.2 内存暴涨和淘汰策略有时候你会发现memcached进程占用的内存比-m配置多很多或者stats里evictions值一直在涨。前者通常是slab分配器的问题每个slab桶的最小chunk大小是固定的如果放入的value尺寸稍大于某个chunk就会分配下一档更大的chunk造成内存浪费。举个例子你存一个900字节的valuememcached可能把它放进1024字节的chunk桶里每个item浪费124字节数据一多内存“虚胖”就很明显。解决思路有两个一个是尽量把缓存value的大小控制在相似范围避免极端尺寸另一个是用-n参数调最小item大小用-f参数调增长因子这两个参数入门阶段可以不动但要明白它们影响内存利用率。至于evictions增长说明内存用完了memcached按LRU策略把最久没访问的item挤出去。表面上缓存还能用但命中率会掉。我遇到过一个案例一台2GB内存的机器memcached配了1.5GB然后命中率只有75%evictions高达几百万。后来把一些很久不用的业务key单独拆分到另一个实例主缓存只存高频数据命中率才回到95%以上。4.3 缓存穿透、击穿和雪崩的实战处理这三个词面试常问实际运维中也必须面对。缓存穿透查询一个必然不存在的数据比如拿一个不存在的用户ID查详情每次都会穿过缓存直接打到数据库。我在项目中一般用两个办法一是把这类空结果也缓存起来设一个很短的过期时间比如30秒让数据库喘口气二是在接口层做参数校验明显不合法的ID直接拒绝不落到查询环节。缓存击穿某个热点key突然过期大量请求同时打到数据库。这边可以用互斥锁或add命令实现“只放一个请求去重建缓存”的逻辑。具体做法就是当缓存miss时先尝试add一个带特殊标记的key如果add成功说明自己是第一个来重建的就去查数据库回填如果add失败说明别人正在重建自己就sleep几十毫秒再重试get。我给一段伪代码风格的示意# 伪代码用add实现单飞重建缓存 cache_key hot_data data mc.get(cache_key) if data is None: lock_key lock: cache_key if mc.add(lock_key, 1, 3): # 3秒内其他请求不会重复重建 data query_db() mc.set(cache_key, data, 60) mc.delete(lock_key) else: time.sleep(0.05) data mc.get(cache_key)缓存雪崩大量key在同一时间过期造成数据库瞬间压力飙升。我常用的规避手段有三层过期时间加随机值比如统一60秒过期的key实际生成时加一个0到30秒的随机偏移让过期时间错开热点数据过期时间设置得足够长并且通过后台任务主动更新关键接口做好降级方案数据库扛不住时直接返回兜底数据或限流。4.4 用代码接入Python和PHP的简单示例虽然命令行能读写实际业务里还是要靠客户端库来操作。这块我以最常用的Python和PHP做例子。Python下用pymemcache比较轻量先安装pip install pymemcache然后连接和读写from pymemcache.client.base import Client client Client((127.0.0.1, 11211)) client.set(username, zhangsan, expire60) value client.get(username) print(value) # bzhangsan注意pymemcache的get返回的是bytes类型不是str需要自己做解码。如果你想要返回值自动出来可以用pymemcache的JsonJsonSerde但入门阶段先明白字节流的坑就好。PHP下更简单了装上memcached扩展$mc new Memcached(); $mc-addServer(127.0.0.1, 11211); $mc-set(username, zhangsan, 60); $value $mc-get(username);PHP的memcached扩展默认会帮你做序列化存数组、对象都方便但跨语言读写要注意序列化格式不同的问题。4.5 自检清单和日常维护小习惯最后给一份我平时维护memcached时用的检查清单照着做基本能避免大多数坑启动参数里-l是否绑定了正确的网卡生产环境不要监听0.0.0.0。-m是否小于物理内存的一半给系统和其他进程留余地。是否设置了pid文件方便异常退出时快速定位。定期看命中率和evictions命中率持续走低就要分析key设计。对公网环境要加防火墙策略memcached原生没认证不要裸奔。多实例部署时确保端口不冲突使用ss -lntp确认。我自己在经历过几次线上事故后养成一个习惯每次上线memcached配置变更都会在变更前记录一次stats快照变更后再快照一次对比命中率、占用内存、淘汰数这几个指标。别看动作小出了问题定位速度能快不少。5. 写在最后的一点体会我在学习和使用memcached的过程中最深的感受是越简单的东西越容易用错但一旦用对了收益立竿见影。很多人觉得memcached太单调不值得花时间但它的内存模型、淘汰策略和文本协议恰恰是理解其他缓存系统的基础。你如果能在Linux上徒手部署、用命令行调通、再通过stats指标判断缓存健康状态这笔技能就算真正落地了。后续想继续深入的话建议看看slab分配器的实现思路再对比一下Redis的内存编码方式会有种豁然开朗的感觉。