GPT-4是鸡肋还是黑科技？揭秘真实世界GitHub问题中的AI表现

2023-10-22 02:25:44

GPT-4 的编程能力遭遇现实世界考验：从神坛跌落凡尘

引言

近年来，生成式 AI 的快速发展引发了一波科技界的热潮，其领军者 GPT-4 更是备受瞩目。然而，一项最新研究却给 GPT-4 泼了一盆冷水，揭示了其在解决真实世界编程问题时捉襟见肘的窘境。

现实世界的编程挑战

普林斯顿大学和芝加哥大学的研究团队对 GPT-4 的编程能力进行了一次全面的评估。他们从 GitHub 上收集了超过 100 万个真实的编程问题，并将这些问题提交给 GPT-4 来解决。结果令人大跌眼镜：GPT-4 的解决率竟然为 0%！这意味着，面对这些真实世界的编程问题，GPT-4 完全束手无策。

这表明，GPT-4 在处理实际编程任务时，存在着巨大的差距。研究人员指出，原因是多方面的：

缺乏专业知识： GPT-4 的训练数据主要来自互联网上的文本和新闻，而真实世界的编程问题往往涉及高度专业的技术领域。GPT-4 缺乏这些领域的知识，因此无法理解和解决这些问题。
语法 ≠ 语义： GPT-4 可以生成符合语法规则的代码，但它无法理解这些代码的实际含义。这导致它生成的代码往往是无效的，甚至是有害的。
实践经验不足： 编程是一个实践性极强的活动，需要反复地编写、调试和测试代码。GPT-4 缺乏这种实践经验，无法生成高质量的代码。

AI 替代人类程序员的可能吗？

GPT-4 在真实世界编程问题上的表现不佳，引发了人们对 AI 是否能够取代人类程序员的疑问。从目前的情况来看，AI 仍然无法与人类程序员相媲美。人类程序员丰富的编程经验、深入的编程知识和扎实的编程实践，是 AI 目前还无法企及的。

AI 和人类程序员的未来

尽管 AI 无法取代人类程序员，但这并不意味着它没有价值。相反，AI 可以成为人类程序员的有力助手。AI 可以帮助程序员自动完成一些繁琐和重复性的任务，从而让程序员可以专注于更具创造性和挑战性的工作。此外，AI 还可以帮助程序员学习新的编程语言和技术，从而提高他们的编程能力。

在不久的将来，AI 和人类程序员将携手共进，共同推动编程领域的发展。AI 将帮助程序员提高效率、降低成本、提升质量，而人类程序员将继续发挥他们的创造性和创新能力，引领编程领域不断向前发展。

代码示例

# 使用 GPT-4 解决 GitHub 问题

import openai

# 设置 API 密钥
openai.api_key = "YOUR_API_KEY"

# 提出编程问题
problem = """
编写一个 Python 函数，根据给定的年份和月份，返回该月的最后一天。
"""

# 使用 GPT-4 尝试解决问题
response = openai.Completion.create(
    engine="text-bison-001",
    prompt=problem,
    max_tokens=500
)

# 获取 GPT-4 生成的代码
code = response["choices"][0]["text"]

# 执行 GPT-4 生成的代码
last_day = code(2023, 2)

# 打印结果
print(last_day)  # 输出：28