代码库

如何在我的代码库中启用代码检查器？

您可以在代码库中的 transforms-python/build.gradle 中取消注释与检查相关的行。这将启用一个 linting 任务，该任务将提供对 pep8 或 pylint 格式规则违规的提示。

时间戳: 2024年6月12日

如何在 Spark 配置文件中根据变换输入大小实现执行器的自动扩展？

可以通过启用动态分配来实现执行器的自动扩展，这允许执行器的自动扩展，但不包括执行器/驱动器内存。具体配置文件如 DYNAMIC_ALLOCATION_MAX_64 和 DYNAMIC_ALLOCATION_ENABLED 配置文件支持此功能。更多信息和内置动态分配配置的配置文件列表可以在 Spark 配置文件参考文档 中找到。

时间戳: 2024年4月5日

如何在我的 Python 代码库中启用自动格式化程序？

在提交代码时选择 提交前格式化 选项，将运行 formatCode 任务。此任务可以使用 ruff 或 black 作为格式化程序。可以通过取消注释 transforms-python/build.gradle 文件中与格式化程序相关的行来控制。

时间戳: 2024年6月12日

应采取哪些步骤来排查和解决变换中的导入错误，提示 No module named <module-name>; <package-name> is not a package？

要排查和解决导入错误，请按照以下步骤操作：

1. 验证库安装，并确保其在您的代码库中正确安装。
2. 检查隐藏文件，并确保环境配置正确设置。
3. 通过查看包解析日志解决任何包冲突。
4. 如果需要，通过进行新提交重新触发环境解析。
5. 如果模块之前可以工作但现在无法工作，请检查库中的版本差异以查找任何主要的破坏性更改。

时间戳: 2024年4月25日

在变换中，写入 pandas 数据帧的正确方法是什么？

要写入 pandas 数据帧，您应该使用 .write_pandas() 方法。如果您遇到 AttributeError: 'DataFrame' object has no attribute '_jdf' 错误，这意味着您正在对 pandas 数据帧使用为 pyspark 数据帧设计的方法。

时间戳: 2024年5月30日