Redis的定期删除与主线程读写有并发问题吗？

奋斗吧

擅长邻域：未填写

标签： Redis的定期删除与主线程读写有并发问题吗？ Java博客 51CTO博客

2023-07-13 18:24:39 72浏览

Redis的定期删除与主线程读写有并发问题吗？，一、背景概要事情是这样的，昨天一位朋友A在面试时，被问了一个Redis主线程和后台定期删除线程的并发问题，聊天对话大概如下面试官：Redis的过期删除策略有哪些？朋友A：一共有惰性删除和定期删除两种，定期删除是指在后台线程中定期扫描...面试官：那么定期删除和主线程的并发问题，redis是怎么处理的呢？朋友A：emm...所以问题来了，在Redis的定期删除策略中，是如何进行删除的呢

一、背景概要

事情是这样的，昨天一位朋友A在面试时，被问了一个Redis主线程和后台定期删除线程的并发问题，聊天对话大概如下

面试官：Redis的过期删除策略有哪些？

朋友A ：一共有惰性删除和定期删除两种，定期删除是指在后台线程中定期扫描 ...

面试官：那么定期删除和主线程的并发问题，redis是怎么处理的呢？

朋友A ：emm ...

所以问题来了，在Redis的定期删除策略中，是如何进行删除的呢？以及Redis是如何解决和主线程并发的问题呢？

二、源码分析

为了解决这个问题，决定先从源码层面去查下。

1、定期删除的实现

databasesCron()

Key的过期定时删除操作，是在负责Redis后台任务中的databasesCron()函数执行的，如下所示。在这个代码中可以发现，当开启主动过期删除选项，且当前是在主节点上执行时（因为从节点会接收主节点传递的DEL/UNLINK命令），会调用activeExpireCycle()函数执行定期删除策略。

Redis的定期删除与主线程读写有并发问题吗？_事件循环

activeExpireCycle()

注意这个函数支持 ACTIVE_EXPIRE_CYCLE_FAST 和 ACTIVE_EXPIRE_CYCLE_SLOW 两种模式 ACTIVE_EXPIRE_CYCLE_FAST / 在每次进入事件循环之前调用 ACTIVE_EXPIRE_CYCLE_SLOW / 在databasesCron()中调用

在这个函数中，会主动扫描已设置过期时间的键，并检查它们是否已经过期，然后根据需要进行删除操作，删除操作主要在expireScanCallback()函数中执行。

c复制代码void activeExpireCycle(int type) {
    // ......
    
    // 扫描过期键
    do {

        // 如果没有要过期的键，则处理下一个数据库
        if ((num = dictSize(db->expires)) == 0) {
            db->avg_ttl = 0;
            break;
        }

        // 通过回调函数对过期键进行相应的处理操作
        // 直到达到扫描的过期键数量或达到最大扫描桶数量的限制。
        while (data.sampled < num && checked_buckets < max_buckets) {
            db->expires_cursor = dictScan(db->expires, db->expires_cursor,
                                          expireScanCallback, &data);
            checked_buckets++;
        }
    } while (data.sampled == 0 ||
             (data.expired * 100 / data.sampled) > config_cycle_acceptable_stale);
}

expireScanCallback()

扫到过期的键时，内部会通过expireScanCallback() -> activeExpireCycleTryExpire() -> deleteExpiredKeyAndPropagate()这个调用链完成对应的删除操作。

c复制代码void expireScanCallback(void *privdata, const dictEntry *const_de) {
    // ... ...

    // privdata就是在activeExpireCycle中扫到的需要删除的Key
    expireScanData *data = privdata;

    // 尝试将键设置为过期状态
    if (activeExpireCycleTryExpire(data->db, de, data->now)) {
        data->expired++;
        
        // 传播DEL命令
        postExecutionUnitOperations();
    }
    
    // ... ...
}

int activeExpireCycleTryExpire(redisDb *db, dictEntry *de, long long now) {
    long long t = dictGetSignedIntegerVal(de);
    if (now > t) {
        sds key = dictGetKey(de);
        robj *keyobj = createStringObject(key,sdslen(key));
        
        // 删除过期的Key并传播DEL命令
        deleteExpiredKeyAndPropagate(db,keyobj);
        
        return 1;
    } else {
        return 0;
    }
}

deleteExpiredKeyAndPropagate()

在deleteExpiredKeyAndPropagate()函数内调用dbGenericDelete()函数内部执行删除操作的时候，如果开启了lazy_free机制，会调用freeObjAsync()函数，通过bioCreateLazyFreeJob()方法将这个key的内存回收操作包装为一个任务，塞进异步任务队列，后台的lazy_free线程就会从这个异步队列里面取任务并执行。否则，就会在当前的线程内执行内存释放操作。

void deleteExpiredKeyAndPropagate(redisDb *db, robj *keyobj) {
    mstime_t expire_latency;
    latencyStartMonitor(expire_latency);
    
    // 执行Key删除操作
    dbGenericDelete(db,keyobj,server.lazyfree_lazy_expire,DB_FLAG_KEY_EXPIRED);

    // 在propagateDeletion函数中会传播DEL命令(未开启lazyfree)或UNLINK命令(开启lazyfree)
    // argv[0] = lazy ? shared.unlink : shared.del;
    // argv[1] = key;
    propagateDeletion(db,keyobj,server.lazyfree_lazy_expire);
}

到这里，定期删除的删除部分已经基本结束了，可以总结出如下图所示的内容。

Redis的定期删除与主线程读写有并发问题吗？_事件循环_02