零基础也看懂的NUMA架构！原来服务器核心部件这么有趣

2023-10-02 16:22:51

NUMA：了解计算机系统的核心部件

对于计算机系统感兴趣的朋友们来说，NUMA（Non-Uniform Memory Access，非一致性内存访问） 这个概念一定不会陌生。作为一种多处理器架构，NUMA旨在解决传统共享内存系统中的内存访问延迟问题，让不同处理器拥有独立的内存，从而显著提升整体系统性能。

NUMA的诞生：

NUMA的出现源于对多处理器系统内存访问性能的担忧。在传统的SMP（Symmetric Multi-Processing，对称多重处理） 系统中，所有处理器共享同一块内存，导致内存访问存在激烈的竞争，进而降低系统整体性能。NUMA应运而生，它将内存分为多个节点，并将它们与不同的处理器关联起来，以此减少内存竞争，提高内存访问性能。

NUMA的优点：

NUMA架构与其他服务器核心部件相比，拥有以下优势：

减少内存访问延迟： NUMA将内存分布在多个节点，处理器可以更快速地访问与自己关联的内存节点，从而减少内存访问延迟，提升系统整体性能。
提高内存访问带宽： NUMA架构下，每个处理器拥有独立的内存节点，不需要与其他处理器竞争内存资源，因此可以显著提高内存访问带宽。
可扩展性更强： NUMA架构支持更庞大的系统规模，即使是拥有数百个处理器的大型系统，也能轻松应对，扩展性更强。

NUMA的缺点：

当然，NUMA架构也存在一些缺点：

编程复杂度更高： NUMA架构下，程序员需要考虑数据在不同内存节点上的分布，并对程序进行相应的优化，这增加了编程的复杂度。
内存管理开销更大： NUMA架构需要维护多个内存节点，因此内存管理开销更大。
潜在的NUMA内存访问延迟问题： NUMA架构中，处理器访问非本地内存时，会产生额外的延迟，即NUMA内存访问延迟。

NUMA的实现原理：

NUMA架构采用了一种称为**“物理地址扩展”（PAE）** 的技术来实现内存节点和处理器的关联。PAE是一种内存寻址技术，它允许处理器访问比32位寻址所能寻址的更大的内存空间。在NUMA架构中，每个内存节点都有一个唯一的PAE地址，处理器通过PAE地址来访问与其关联的内存节点。

NUMA与SMP和UMA的对比：

SMP（Symmetric Multi-Processing，对称多重处理）： SMP系统中，所有处理器共享同一块内存，因此不存在内存访问延迟的问题。但是，SMP系统在处理大量内存访问时可能会出现内存竞争，导致系统性能下降。
UMA（Uniform Memory Access，一致性内存访问）： UMA系统中，所有处理器都可以访问所有内存，因此不存在NUMA中的NUMA内存访问延迟问题。但是，UMA系统的可扩展性较差，无法支持大型系统。

NUMA架构介于SMP和UMA之间，它既具有SMP系统的可扩展性，又具有UMA系统的高内存访问性能。因此，NUMA架构非常适合于大型多处理器系统。

代码示例：

以下是一个简单的代码示例，演示了如何在NUMA架构中访问本地内存和非本地内存：

#include <stdio.h>
#include <stdlib.h>
#include <numa.h>

int main() {
  // 分配本地内存
  int *local_array = numa_alloc_local(sizeof(int) * 1000);

  // 分配非本地内存
  int *remote_array = numa_alloc_onnode(0, sizeof(int) * 1000);

  // 访问本地内存
  for (int i = 0; i < 1000; i++) {
    local_array[i] = i;
  }

  // 访问非本地内存
  for (int i = 0; i < 1000; i++) {
    remote_array[i] = i;
  }

  // 释放内存
  numa_free(local_array, sizeof(int) * 1000);
  numa_free(remote_array, sizeof(int) * 1000);

  return 0;
}