Apache Commons IO 乱码解决：读取西里尔文的正确姿势

2024-12-30 12:41:07

Apache Commons IO 读取西里尔文乱码问题解析

在使用 FileUtils.readFileToString 读取包含西里尔字母的 UTF-8 编码文本文件时，有时会出现乱码问题，读取结果呈现为问号 “?”。这通常源于字符编码处理不当，导致解码过程无法正确识别文件中的字节流。

问题分析

FileUtils.readFileToString 方法接收一个文件对象和一个字符编码作为参数。问题并非总是出现在文件编码的错误定义上。即使开发者明确指定使用 UTF-8 编码，依然有可能出现乱码现象。问题的根本在于，程序如何读取并处理二进制字节流与文本字符之间的映射关系。FileUtils.readFileToString 的内部机制可能无法在某些特定场景下自动处理一些隐晦的编码细节。特别是在一些操作系统环境和默认的配置下，字节流到字符的转换可能会存在潜在的误解，进而引发字符读取的偏差，出现乱码。

解决方案

针对此问题，存在多种可能的解决方案，选择合适的方法需依据具体的开发环境和项目需求：

方案一：明确指定字符编码（使用 InputStream）

使用 FileInputStream 和 InputStreamReader 配合 BufferedReader 读取文件，显式声明字符编码。这个方法相对冗长，却可以对字符解码有更精细的控制，绕开 FileUtils 内部可能存在的不确定性。它允许程序直接使用底层的字符流 API，避免可能隐藏的转换。

import java.io.*;
import java.nio.charset.StandardCharsets;
import java.util.stream.Collectors;

public class FileUtil {
    public static String readFileToString(File file) throws IOException {
        try(FileInputStream fis = new FileInputStream(file);
            InputStreamReader isr = new InputStreamReader(fis, StandardCharsets.UTF_8);
            BufferedReader reader = new BufferedReader(isr)) {
            return reader.lines().collect(Collectors.joining(System.lineSeparator()));
        }
    }

   public static void main(String[] args) {
     try {
         //创建一个示例文件，写入带有西里尔字母的文本。
          File exampleFile = new File("example.txt");
          try (BufferedWriter writer = new BufferedWriter(new FileWriter(exampleFile, StandardCharsets.UTF_8))){
             writer.write("Привет, мир! This is example.");
             }

          String content = readFileToString(exampleFile);
           System.out.println(content);
      }catch(IOException ex) {
         ex.printStackTrace();
      }
  }

}

步骤：

使用 FileInputStream 读取文件二进制流。
使用 InputStreamReader 将字节流按指定编码转换为字符流。
用 BufferedReader 包装字符流，提高读取效率，并以行读取内容，使用lines().collect 进行内容聚合。

此方法的好处在于更加精细的控制，减少乱码出现的可能性。并且该代码可以正确处理多种编码的文件，例如utf-8 , utf-16等。
缺点是代码更加复杂，不推荐简单的文件内容读取场景使用。

方案二：检查文件编码和 BOM 头

有时问题并非出在代码上，而是在文件本身。文件可能并非真正的 UTF-8 编码，或者可能带有 BOM 头 (Byte Order Mark)。BOM 头在 UTF-8 中是不必要的，它有可能干扰一些程序的解码。检查文件编码及 BOM，使用特定的文本编辑器或者工具检测编码，必要时将其转换成无 BOM 的UTF-8 编码。

步骤 (使用 Notepad++ 为例):

在文本编辑器 (如 Notepad++) 中打开文件。
查看文件编码（在 Notepad++ 中，通常位于底部状态栏），确保显示为 “UTF-8”。
如果发现存在 BOM (例如， “UTF-8-BOM”)，选择“格式”菜单，将其转换为 "UTF-8 无 BOM" 格式。
重新保存文件，再次尝试 FileUtils.readFileToString。

这个方案的核心在于验证并修复源文件自身的编码问题。此方案是确保字符正常读取的基础，特别是处理来自外部的文件，更需要优先检查文件编码和 BOM 。

方案三：使用 NIO 包进行文件读取

Java NIO (New I/O) 提供了 java.nio.file.Files 工具类，能方便的按字符读取文件，且提供更加精确的编码控制。

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.charset.StandardCharsets;

public class NioFileReader {

    public static String readFile(String filePath) throws IOException {
       Path path = Paths.get(filePath);
       return Files.readString(path, StandardCharsets.UTF_8);

    }

    public static void main(String[] args) {

        try{
         File exampleFile = new File("nioExample.txt");
         try(BufferedWriter writer = new BufferedWriter(new FileWriter(exampleFile, StandardCharsets.UTF_8))){
           writer.write("пример текста на кириллице. пример ");
          }

          String content = readFile("nioExample.txt");
            System.out.println(content);
          }catch(IOException ex) {
         ex.printStackTrace();
        }

    }
}