超大批量删除redis中无用key

  |   2 评论   |   2,974 浏览

    目前线上一个单实例redis中无用的key太多,决定删除一部分。


    1、删除指定用户的key,使用redis的pipeline

    根据一定条件把需要删除的用户统计出来,放到一个表里面,表为 del_user(int user_id),rows大约在1千万。

    要删除的key为 "login:%s" %s匹配 user_id .

    写sql文如下:把sql文保存在一个文件里面,命名为 1.sql 

    SELECT CONCAT(

      "*2\r\n",  

      '$3\r\n',  
      'DEL\r\n',  
      '$', LENGTH(redis_key), '\r\n',  
      redis_key, '\r'
    )  
    FROM (  
      SELECT 
      CONCAT('login:',user_id) AS redis_key
      FROM del_user
    ) AS t;

      然后执行命令:

      mysql --raw --skip-column-names --default-character-set utf8 -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe

     实际执行速度非常快,每分钟大概删除300多万个key。


    这里需要reids协议的知识点,可以参考:http://redis.io/topics/protocol


    2、删除模式匹配下的key,使用lua脚本

    比如有个需求,需要删除以":login"结尾的所有key, 业务中key的设计是这样的 %s:login


    第一种方式:

    redis-cli -a "password" -n 0 -p 6379 keys "*:login" | xargs -i redis-cli -a "password" -n 0 -p 6379 del {}

    这样一个坏处每次都要建立一个连接,量小的话还可以接受,量大的话,效率不行。


    第二种方式:

    redis-cli -a "password" -n 0 -p 6379  EVAL "return redis.call('del', unpack(redis.call('keys', ARGV[1])))" 0 *:login

    这样的方式,通过内置的 Lua 解释器,可以使用 EVAL 命令对 Lua 脚本

    但这种处理方式,量大的情况下,lua函数unpack会出现问题,会报错误

    (error) ERR Error running script (call to f_e177a091510d969af3b388ee986dbe6658df6b57): user_script:1: too many results to unpack 


    第三种方式:

    实际上是对第二种方式的改进,一次性unpack太多会出问题,那就干脆一次5000吧,这样就不会有问题了

    redis-cli -a "password" -n 0 -p 6379 EVAL "local keys = redis.call('keys', ARGV[1]) for i=1,#keys,5000 do redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) end return #keys" 0 *:login

    这段脚本的意思,首先定义一个数组 keys,里面存储了模式匹配的所有的以 *:login结尾的key,然后for循环,每次处理5000个key,也就是说每次del 5000个key。

    目前测试下来,1000万个key,也就需要2分30多秒,速度非常快。


    这里需要redis命令EVAL的知识点,可以参考:http://redis.io/commands/eval


    注意:以上是基于redis2.6.14来处理的,keys在线上是禁用的。


    自从redis2.8以后就开始支持scan命令,模式匹配可以采取下面的形式来批删除大量的key

    redis-cli -a "password" -n 0 -p 6379 --scan --pattern "*:login" | xargs -L 5000 redis-cli -a "password" -n 0 -p 6379 DEL

    速度处理也是非常快的


    评论

    发表评论

    validate