JS中的UTF-16到UTF-8编码转换——utfx.js探秘

前端

2023-09-23 17:49:18

在前端开发中，跨服务端和客户端传输数据时，字符串编码转换问题尤为常见。服务端普遍采用UTF-8编码，而JavaScript中的字符串编码却是UTF-16。这就需要一个便捷的方法在两种编码之间转换字符串。

本文将深入探究utfx.js库，揭秘其将UTF-16编码转换为UTF-8编码的奥秘。

JavaScript中的字符串编码

JavaScript字符串采用UTF-16编码，这意味着每个字符由两个16位代码单元表示。这种编码方式在处理大多数字符时较为高效，但对于某些非拉丁字符（如中文字符），则需要两个代码单元才能表示一个字符。

UTF-8编码简介

UTF-8是一种可变长度编码，旨在有效表示Unicode字符集。它将Unicode字符映射到一个或多个字节，每个字节的最高位表示了后续字节的数量。UTF-8编码具有广泛的兼容性和高效性。

utfx.js库解析

utfx.js是一个轻量级的JavaScript库，专门用于在UTF-16和UTF-8编码之间进行转换。其核心代码如下：

function utf16ToUtf8(str) {
  const utf8 = [];
  for (let i = 0; i < str.length; i++) {
    let code = str.charCodeAt(i);
    if (code < 0x80) {
      utf8.push(code);
    } else if (code < 0x800) {
      utf8.push(0xc0 | (code >> 6), 0x80 | (code & 0x3f));
    } else if (code < 0x10000) {
      utf8.push(0xe0 | (code >> 12), 0x80 | ((code >> 6) & 0x3f), 0x80 | (code & 0x3f));
    } else {
      utf8.push(0xf0 | (code >> 18), 0x80 | ((code >> 12) & 0x3f), 0x80 | ((code >> 6) & 0x3f), 0x80 | (code & 0x3f));
    }
  }
  return new Uint8Array(utf8);
}