性能至上的朴素LRU：优化缓存淘汰算法

2024-02-09 13:31:12

在上一篇文章中，我们着手建立了一个基本且实用的缓存系统，采用先进先出 (FIFO) 淘汰策略。虽然 FIFO 算法简单易用，但在实际场景中，它并非最优选择。对于经常访问的数据而言，FIFO 可能会导致不公平的淘汰，从而影响性能。

因此，本文将深入研究另一种广受欢迎的缓存淘汰策略：最近最少使用 (LRU) 算法。LRU 算法通过跟踪每个缓存条目的使用时间，将最长时间未被访问的条目淘汰出缓存。这种策略可以有效防止经常访问的数据被意外驱逐，从而显着提高缓存的命中率。

朴素LRU算法

朴素LRU算法的核心数据结构是一个双向链表，其中每个节点代表一个缓存条目。链表的头部表示最近最少使用的条目，而尾部表示最近最常使用的条目。

class Node {
    int key;
    int value;
    Node prev;
    Node next;
}

class LRUCache {
    private Map<Integer, Node> map;
    private int capacity;
    private Node head;
    private Node tail;
}

当需要访问缓存条目时，算法首先在哈希表中查找该条目。如果条目存在，则将其移动到链表的头部，表示该条目刚刚被访问。如果条目不存在，则表示缓存已满，需要淘汰一个最长时间未被访问的条目。

public get(int key) {
    Node node = map.get(key);
    if (node != null) {
        moveToHead(node);
        return node.value;
    }
    return null;
}

当需要添加新条目时，算法首先检查缓存是否已满。如果已满，则淘汰链表尾部的条目。然后，将新条目添加到链表的头部。

public put(int key, int value) {
    Node node = map.get(key);
    if (node != null) {
        node.value = value;
        moveToHead(node);
        return;
    }
    if (size == capacity) {
        removeTail();
    }
    Node newNode = new Node(key, value);
    addToHead(newNode);
    map.put(key, newNode);
}