新文件写入慢？探究文件写入性能优化

2025-01-10 09:02:36

写入现有文件速度快于写入新文件的原因探究

当谈论文件写入性能时，通常会遇到一个有趣的现象：向已存在的文件写入数据似乎比创建新文件并写入数据更快。这种现象在一定程度上是由操作系统和底层存储设备的处理方式所导致的，并非偶然发生。深入了解其原理有助于我们优化文件写入操作。

原因分析：文件系统的差异化处理

操作系统在处理新文件写入和现有文件写入时，行为有所不同。新文件的创建涉及分配磁盘空间、更新文件系统元数据等一系列操作，这需要消耗额外的时间和资源。相较之下，写入现有文件时，文件所需的磁盘空间已经分配完毕，操作系统只需要在原有位置进行数据更新，这往往能带来性能提升。

以下几点详细说明了这一差异:

空间分配： 创建新文件需要文件系统寻找连续或足够大的空闲空间来存储文件数据，这个过程需要一定的时间。当频繁创建小文件时，寻址时间开销会增加，整体性能随之下降。
元数据更新： 每个文件都有相关的元数据，例如文件名、大小、创建时间、修改时间等等。创建新文件需要在文件系统记录元数据，涉及额外的数据写入操作。
数据对齐： 操作系统通常会按块或页对齐的方式管理数据。如果新文件数据的起始位置未与存储单元边界对齐，就需要执行额外的操作进行校正，这可能造成额外的性能损失。
文件系统的碎片化： 磁盘上长时间的读写会导致碎片化，创建新文件时，碎片化的空间可能需要更多时间来定位和整合。

解决方案一：预分配文件空间

正如例子中fio工具展现的那样，通过预先分配文件空间，我们可以避免创建文件时额外的寻址和空间分配开销，使后续写入操作更加高效。预分配方式会事先在文件系统中创建一个足够大的空文件，后续写入的数据直接填充到已预留的空间，从而达到更高写入速度。

步骤：

使用文件系统自带的工具或命令行工具创建空文件。
使用预期的文件大小初始化这个空文件，即预分配大小。

示例：

Windows: 使用 fsutil 命令可以预分配文件大小。
```
fsutil file createnew fio.bin 100G
```
*fio.bin 文件名可以替换。
*100G 表示预分配100GB空间，也可以替换成需要的值。
Linux: 使用 fallocate 命令：
```
fallocate -l 100G fio.bin
```
*和上面同理，100G也可以是其他的预期大小，fio.bin同理可以替换。

此操作在文件系统层面预留指定大小的空间，确保在数据写入时避免空间分配造成的额外开销。

安全性建议： 预分配文件空间前，务必确认存储设备的剩余空间充足，否则会因为存储空间不足而导致错误。

解决方案二：文件碎片整理

磁盘碎片化可能影响写入性能，特别是针对创建新文件操作。定期对磁盘进行碎片整理可以合并零散的可用空间，改善新文件写入速度，但此操作本身也耗时耗资源。

步骤：

使用操作系统自带的磁盘碎片整理工具。
选择要整理的磁盘或分区。
运行磁盘碎片整理工具。

示例：

Windows: 使用 defrag 命令进行碎片整理。
```
defrag C:
```
- C: 代表要整理的驱动器。可替换成需要整理的其他盘符。
你也可以在文件资源管理器中，选中对应的磁盘，点击属性->工具->优化中执行磁盘整理。
Linux： 大多数 Linux 文件系统，例如ext4，自身具有碎片处理机制，一般无需手动进行磁盘整理。但是可以使用 e4defrag 整理碎片
```
 sudo e4defrag /dev/sda1
```
/dev/sda1 是需要整理磁盘的分区路径，请根据实际情况调整。

对于其他文件系统可能使用其他命令行工具进行碎片整理。

安全性建议： 碎片整理属于对存储介质进行维护的操作，对频繁读取数据的磁盘进行碎片整理是高效的，如果操作的磁盘或者分区经常作为纯备份磁盘使用，且不进行任何读写操作，那么没必要进行磁盘碎片整理，反而会导致额外的性能损耗。

解决方案三：合理选择文件系统

不同的文件系统在磁盘管理方式和写入策略上存在差异。一些文件系统，比如 EXT4 (Linux)或 NTFS (Windows) ，通常更注重数据的一致性，性能上可能有略微的降低，相对来说适合多数情况。有些文件系统可能更偏向于速度，例如zfs或者btrfs等。如果确实有需求可以通过更换文件系统类型，获得更好的磁盘性能，但这取决于使用的环境和是否可以更换系统，并伴有一定的风险。

步骤：