揭秘Spark的`--driver-class-path`和`--jars`有何不同

## 理解 --driver-class-path 和 --jars 的区别

背景

在处理 Spark 应用程序时，指定类路径对于确保应用程序顺利运行至关重要。有两种主要选项可供选择：--driver-class-path 和 --jars。虽然它们都涉及添加 JAR 文件，但它们在作用范围、处理方式和优先级上存在关键差异。

--driver-class-path 与 --jars

作用范围

• --driver-class-path： 仅影响驱动程序的类路径。
• --jars： 影响驱动程序和执行器的类路径。

处理方式

• --driver-class-path： 直接将 JAR 文件添加到驱动程序的类路径中，无需解压缩。
• --jars： 解压缩 JAR 文件，并将类添加到驱动程序和执行器的类路径中。

优先级

• --driver-class-path： 具有更高的优先级，这意味着它指定的 JAR 文件优先于 --jars 指定的 JAR 文件。

实战案例

举个例子，假设我们遇到了 java.lang.NoClassDefFoundError: org/mortbay/util/ajax/JSON$Convertor 错误。使用 --jars 时，它不起作用，但使用 --driver-class-path 时却可以。

这表明：

• jetty-util-6.1.26.jar 中的必需类没有被 --jars 正确解压缩并添加到类路径中。
• 使用 --driver-class-path 将 JAR 文件直接添加到驱动程序的类路径中，从而解决了这个问题。

解决方法

为了解决此类问题，你可以：

• 确保 jetty-util-6.1.26.jar 在 --jars 中正确指定。
• 验证 JAR 文件是否已解压缩并已将类添加到类路径中。
• 尝试使用 --driver-class-path，但这仅会影响驱动程序，不会影响执行器。

结论

--driver-class-path 和 --jars 是指定 Spark 应用程序类路径的宝贵工具。了解它们之间的差异对于有效管理应用程序的依赖项至关重要。通过明智地使用这些选项，你可以确保应用程序平稳运行并避免类路径错误。

常见问题解答

1. 如何确定 --driver-class-path 和 --jars 中包含了正确的 JAR 文件？

答：仔细检查 JAR 文件是否正确指定，并且它们包含所需的类。验证解压缩过程（对于 --jars）并确保类已添加到类路径中。

2. 是否可以在 --driver-class-path 和 --jars 中指定相同的 JAR 文件？

答：可以，但 --driver-class-path 中指定的 JAR 文件优先级更高。

3. 什么时候应该使用 --driver-class-path 而不是 --jars？

答：当需要仅影响驱动程序的类路径时，例如添加调试 JAR 文件。

4. 如何在 Spark 作业中排除 JAR 文件？

答：可以通过使用 --exclude-jars 选项指定不应包含的 JAR 文件来排除它们。

5. 除了 --driver-class-path 和 --jars 之外，还有其他选项可以影响 Spark 的类路径吗？

答：是的，还有 --files、--py-files 和 --conf 等选项，它们可以影响应用程序加载的资源和配置文件。