Redis Cluster 字段模糊匹配及删除

questions

在数据库内我们可以通过like关键字、%、*或者regex关键字进行模糊匹配。而在redis内我们如何进行模糊匹配呢?集群情况redis cluster的情况是否和单机一致呢?前段时间我对于这个议题进行了调查和研究。

单节点的情况

jedis
参考stackoverflow上的解答,在java内使用jedis主要有如下2中写法:

### 方法1
set<string> keys = jedis.keys(pattern);
for (string key : keys) {
    jedis.del(key);
} 

### 方法2
jedis jedis = new jedis("127.0.0.1");
scanparams scanparams = new scanparams();
scanparams.match("prifix*");
scanparams.count(1000);
scanresult<string> result = jedis.scan(0,scanparams);
result.getresult().foreach(key -> {
    jedis.del(key);
});

### 注意scan方法由于某些bug在2.9版本内scan(int,scanparams)改为了scan(string,scanparams)。由于cursor的位数,方法有些调整。

方法1,通过keys命令先寻找到所有符合的key,然后把它们删除;
方法2,通过scan命令扫描所有符合的key,然后把它们删除。
注意: redis饰单线程模式,全局扫描的话有可能会导致redis在一段时间内的卡顿情况发生。

redis-cli

redis-cli keys 1.cn*|xargs redis-cli del 

redis cluster情况

在redis cluster情况与单节点多情况完全不太一样。

  • 首先,redis cluster是将整个redis 的hash槽分布在三台机器上,要想一下全部扫描出来,显然是不太现实的。
  • redis内提供hash-tag,将相类似的键放在一台机器上。可以通过hash-tag进行扫描,可以剪短时间消耗。
  • 最后需要考虑,主从集群节点的情况。

hash-tag

hash-tag 是用一个花括号将主要的hash判断部分扩起来,例如{hello1}key1、{hello1}key2。一般hash-tag一致的情况,键会存储在集群的同一台机器上。在jedis 2.9版本提供了这样的扫描方法。
(ps . rediscluster是没有keys方法的)

public static void deleterediskeystartwith(string rediskeystartwith) {
        try{
            jediscluster.getclusternodes();

            scanparams scanparams = new scanparams();
//          scanparams.match("{123}keys*");

//          scanparams.count(1000);
            scanresult<string> result = jediscluster.scan("0", scanparams);
            result.getresult().foreach(key -> {
                jediscluster.del(key);
            });
//          jediscluster.del(wrapperkey(rediskeystartwith)+".*");
            log.info("success deleted rediskeystartwith:{}", rediskeystartwith);
        }finally{
        }
    }

土办法 分别扫描各个hash槽

public static void deleterediskeystartwith(string rediskeystartwith) {
        try {
            map<string, jedispool> clusternodes = jediscluster.getclusternodes();

            for (map.entry<string, jedispool> entry : clusternodes.entryset()) {
                jedis jedis = entry.getvalue().getresource();
                // 判断非从节点(因为若主从复制,从节点会跟随主节点的变化而变化)
                if (!jedis.info("replication").contains("role:slave")) {
                    set<string> keys = jedis.keys(rediskeystartwith + "*");
                    if (keys.size() > 0) {
                        map<integer, list<string>> map = new hashmap<>();
                        for (string key : keys) {
                            // cluster模式执行多key操作的时候,这些key必须在同一个slot上,不然会报:jedisdataexception:
                            // crossslot keys in request don't hash to the same slot
                            int slot = jedisclustercrc16.getslot(key);
                            // 按slot将key分组,相同slot的key一起提交
                            if (map.containskey(slot)) {
                                map.get(slot).add(key);
                            } else {
                                map.put(slot, lists.newarraylist(key));
                            }
                        }
                        for (map.entry<integer, list<string>> integerlistentry : map.entryset()) {
                            jedis.del(integerlistentry.getvalue().toarray(new string[integerlistentry.getvalue().size()]));
                        }
                    }
                }
            }
            log.info("success deleted rediskeystartwith:{}", rediskeystartwith);
        } finally {
        }
    }
### 未使用slot批次提交(有可能效率略差于前者)
//获取jedis连接

         private jediscluster jediscluster=jedisclusterutil.getjediscluster();

         //@param pattern  获取key的前缀  全是是 * 

 public static treeset<string> keys(string pattern){  


       treeset<string> keys = new treeset<>();  
        //获取所有的节点

               map<string, jedispool> clusternodes = jediscluster.getclusternodes();  
       //遍历节点 获取所有符合条件的key 

               for(string k : clusternodes.keyset()){  
           logger.debug("getting keys from: {}", k);  
           jedispool jp = clusternodes.get(k);  
           jedis connection = jp.getresource();  
           try {  
               keys.addall(connection.keys(pattern));  
           } catch(exception e){  
               logger.error("getting keys error: {}", e);  
           } finally{  
               logger.debug("connection closed.");  
               connection.close();//用完一定要close这个链接!!!  
           }  
       }  
       logger.debug("keys gotten!");  
       return keys;  
  }  

          //main方法

 public static void main(string[] args ){
 treeset<string> keys=keys("*");

 //遍历key  进行删除  可以用多线程

 for(string key:keys){

                          jediscluster.del(key);
 system.out.println(key);
 }
 }

reference

[1]. (码经)如何通过正则匹配删除redis里的键
[2]. (stackoverflow)redis/jedis – delete by pattern?
[3]. (javadoc)class jediscluster
[4].
[5].
[6]. jedis实现批量删除redis cluster
[6].
[7]. redis 批量删除redis的key 正则匹配删除
[8]. (名字挺搞笑-蛋糕店老板)redis集群下使用jedis实现keys模糊查询

到此这篇关于redis cluster 字段模糊匹配及删除的文章就介绍到这了,更多相关redis cluster 字段模糊删除内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com!

(0)
上一篇 2022年3月21日
下一篇 2022年3月21日

相关推荐