在 Colab 中调试和运行带有 argparse 函数的 Python 训练脚本的常见问题及解决方案

2024-03-05 06:54:25

在 Colab 中调试和运行带有 argparse 函数的 Python 训练脚本

简介

在 Colab 中运行包含 argparse 函数的 Python 文件以训练模型时，可能会遇到各种错误。本文旨在解决这些错误，提供一个分步指南来帮助你成功运行脚本。

问题 1：无法识别命令行参数

错误：

usage: colab_kernel_launcher.py [-h] [--batch BATCH] [--epoch EPOCH] [--norm NORM] [--lr LR] [--sample SAMPLE] [--dataset DATASET] [--pretrained PRETRAINED] [--initial INITIAL] [-dya] [-fr] [--cls CLS]

原因：

此错误表明 argparse 无法识别 sys.argv 中的某些参数。这是因为 Colab 内核以特殊方式启动，sys.argv 中包含一些额外的参数。

解决方案：

在脚本的开头添加以下行：

import sys
sys.argv = sys.argv[1:]

此行会从 sys.argv 中删除多余的参数，允许 argparse 正确解析命令行参数。

问题 2：处理 Colab 内核状态文件

错误：

error: unrecognized arguments: /root/.local/share/jupyter/runtime/kernel-1fba85a1-85fd-4471-a790-9c103c9dcac9.json

原因：

此错误表明脚本尝试处理 Colab 内核的状态文件，这是一个内部文件，不应该传递给脚本。

解决方案：

确保在运行脚本时不将任何额外的参数传递给它。

问题 3：意外退出

错误：

SystemExit: 2

原因：

此错误通常表示脚本因意外错误而退出。它可能是由于多种原因造成的，例如：

语法错误
导入错误
运行时错误

解决方案：

仔细检查脚本是否有错误。使用 %debug 魔术命令可以帮助调试错误。

完整示例

使用上述解决方案，以下是如何在 Colab 中运行包含 argparse 函数的 train.py 文件：

# 解决问题 1
import sys
sys.argv = sys.argv[1:]

if __name__ == '__main__':
    torch.cuda.empty_cache()

    # 参数
    parser  = argparse.ArgumentParser(description = "Emotion Classifier" )
    parser.add_argument( "--batch", type=int, help = "batch_size", default = 1)

    parser.add_argument( "--epoch", type=int, help = 'training epohcs', default = 10) # 12 for iemocap
    parser.add_argument( "--norm", type=int, help = "max_grad_norm", default = 10)
    parser.add_argument( "--lr", type=float, help = "learning rate", default = 1e-6) # 1e-5
    parser.add_argument( "--sample", type=float, help = "sampling trainign dataset", default = 1.0) # 

    parser.add_argument( "--dataset", help = 'MELD or EMORY or iemocap or dailydialog', default = 'MELD')

    parser.add_argument( "--pretrained", help = 'roberta-large or bert-large-uncased or gpt2 or gpt2-large or gpt2-medium', default = 'roberta-large')    
    parser.add_argument( "--initial", help = 'pretrained or scratch', default = 'pretrained')
    parser.add_argument('-dya', '--dyadic', action='store_true', help='dyadic conversation')
    parser.add_argument('-fr', '--freeze', action='store_true', help='freezing PM')
    parser.add_argument( "--cls", help = 'emotion or sentiment', default = 'emotion')

    args = parser.parse_args()

    logger = logging.getLogger(__name__)
    streamHandler = logging.StreamHandler()

    # 解决问题 3
    try:
        # Add the line below to fix the issue.
        sys.exit(main())
    except Exception as e:
        print(e)