趣谈：Lisp解释器的词法与语法分析实现

前端

2023-10-15 15:21:14

前言

计算机语言是人类与计算机交流的工具，就像人们说话使用自然语言一样。而计算机语言的解释器就是将计算机语言翻译成计算机可以理解的指令，从而让计算机执行我们的意图。

在众多的计算机语言中，Lisp语言以其独特的前缀符号表示法和列表结构而闻名。作为一门历史悠久的语言，Lisp语言在人工智能、自然语言处理等领域有着广泛的应用。

为了更好地理解Lisp语言的奥秘，我们将以JavaScript为基础，构建一个简单的Lisp解释器，从词法分析到语法分析，一步步探索Lisp程序的结构和执行机制。

词法分析

词法分析是解释器的第一阶段，也是最基本的一步。词法分析器负责将源代码分解成一个个有意义的词法单元，称为记号。这些记号可以是标识符、数字、运算符、括号等。

在Lisp语言中，词法分析相对简单，因为Lisp语言的语法非常简洁，没有严格的和特殊符号。因此，我们可以使用正则表达式来完成词法分析。

// 词法分析器
const lexer = (input) => {
  const tokens = [];
  let match;

  // 正则表达式匹配数字
  while (match = /\d+/.exec(input)) {
    tokens.push({ type: "number", value: match[0] });
    input = input.slice(match[0].length);
  }

  // 正则表达式匹配标识符
  while (match = /[a-zA-Z]+\w*/.exec(input)) {
    tokens.push({ type: "identifier", value: match[0] });
    input = input.slice(match[0].length);
  }

  // 正则表达式匹配括号
  while (match = /[\(\)]/.exec(input)) {
    tokens.push({ type: "paren", value: match[0] });
    input = input.slice(match[0].length);
  }

  // 正则表达式匹配其他符号
  while (match = /[-+*\/]/.exec(input)) {
    tokens.push({ type: "operator", value: match[0] });
    input = input.slice(match[0].length);
  }

  // 返回记号列表
  return tokens;
};

语法分析

语法分析是解释器的第二阶段，也是更高级的一步。语法分析器负责根据词法分析的结果，将记号组合成语法结构，并检查语法结构是否符合语言的语法规则。

在Lisp语言中，语法分析相对复杂，因为Lisp语言的语法非常灵活，可以有多种不同的语法结构。为了简化起见，我们只实现最基本的形式。

// 语法分析器
const parser = (tokens) => {
  const ast = [];
  let currentToken;

  // 不断读取记号
  while (currentToken = tokens.shift()) {
    // 处理括号
    if (currentToken.type === "paren") {
      if (currentToken.value === "(") {
        // 开始一个新的列表
        const list = [];
        ast.push(list);

        // 递归解析列表内部的元素
        while (currentToken = tokens.shift()) {
          if (currentToken.value === ")") {
            break;
          }
          list.push(parser([currentToken]));
        }
      } else {
        // 结束一个列表
        continue;
      }
    } else {
      // 处理其他记号
      ast.push(currentToken);
    }
  }

  // 返回语法树
  return ast;
};

解释执行

语法分析的结果是语法树，语法树代表了Lisp程序的结构。接下来，解释器就可以根据语法树来执行Lisp程序。

// 解释器
const interpreter = (ast) => {
  // 遍历语法树
  for (const node of ast) {
    // 处理列表
    if (Array.isArray(node)) {
      // 列表的第一项是函数名
      const functionName = node[0].value;

      // 将列表的其他项作为函数参数
      const args = node.slice(1);

      // 根据函数名调用相应函数
      switch (functionName) {
        case "+":
          return interpreter(args[0]) + interpreter(args[1]);
        case "-":
          return interpreter(args[0]) - interpreter(args[1]);
        case "*":
          return interpreter(args[0]) * interpreter(args[1]);
        case "/":
          return interpreter(args[0]) / interpreter(args[1]);
        default:
          throw new Error("Unknown function: " + functionName);
      }
    } else {
      // 处理数字和标识符
      return node.value;
    }
  }
};