用深度强化递增地探索以使机器能自动产生见解

用深度强化递增地探索以使机器能自动产生见解

人工智能（AI）在许多领域取得了长足的进步，但它仍然难以掌握最基本的认知技能，例如推理和常识。生成连贯文本尤其对人工智能而言是具有挑战性的，因为这需要对语言、逻辑和世界知识的全面细致的掌握。

一种特别具有挑战性的文本生成形式是自动生成源语言注释。源语言注释是添加到源语言（例如，用英语编写的注释）中的元数据，以提供对该源语言的额外信息。源语言注释的应用程序广泛，从帮助开发者在大型混乱的源语言库中导航，到在机器翻译和信息检索中提高性能。

在本文中，我们回顾了机器在特殊类型的源语言注释，例如 自然语言 文档注释和源语言注释，中生成连贯文本方面的进展。我们重点关注深度强化 learning 方法，它使用强化 learning 代理与特定域交互以生成更佳的注释。我们讨论了评估自动生成的注释的挑战，并提出了未来的研究思路。

深度强化 learning 简介

深度强化 learning 是一种机器 learning 方法，它使代理可以通过与特定域交互来 learning 做出最佳决策。代理从其与该域的交互中获取反馈，并使用此反馈来优化其策略。

深度强化 learning 方法有别于监督 learning，监督 learning 中，代理从标记为正确或正确的数据集中进行 learning。相反，在深度强化 learning 中，代理从其与该域的交互中 learning，并且没有监督信号。

深度强化 learning 方法已在许多问题中取得了成功的，例如博弈、机器人和资源管理。它们尤其适合于生成语言建构体，因为建构体的质量可以从代理与特定域的交互中进行评估。

自动生成源语言注释

源语言注释是添加到源语言中的元数据，以提供对该源语言的额外信息。注释可以提供有关源语言中实体、概念和术语之间的的关系，也可以提供对源语言中表达的意图和目标的见解。

源语言注释的应用程序广泛，从帮助开发者在大型混乱的源语言库中导航，到在机器翻译和信息检索中提高性能。

自动生成源语言注释的挑战在于，它需要对语言、逻辑和世界知识的全面细致的掌握。机器不仅需要生成语法正确的文本，还需确保文本与源语言中的含义一致，并且与机器对世界的知识一致。

使用深度强化 learning 生成源语言注释

深度强化 learning 方法已被用于生成源语言注释。在这些方法中，代理使用与特定域的交互来自行生成注释。

一种常用的方法是：使用模仿 learning，代理从一组专家生成的注释集中进行 learning 生成自己的注释。模仿 learning 方法不需要对域或注释的显式建模，这使其适合于生成复杂且细粒化的注释。

另一种方法是：使用强化 learning 方法，代理直接与域进行交互并从其交互中进行 learning。强化 learning 方法需要对域和注释进行显式建模，但它们可以比模仿 learning 方法生成质量更高的注释。

评估自动生成的注释

自动生成源语言注释的一个挑战在于如何评估生成的注释的质量。与监督 learning 方法中给出的标记为正确或正确的训练数据集的情况与会自动生成源语言注释中给出的基于交互的反馈相反，标记为正确或正确的训练数据集并不像监督 learning 中的情况。

用于评估自动生成的源语言注释的指标是，它在生成的目标应用程序中的性能。如果在使用源语言注释后，机器翻译或信息检索性能提高了，则注释被视为是“好”的。

未来的研究思路

在用机器自动生成源语言注释领域，有许多未来的研究途径。一个研究思路是，探索结合深度强化 learning 方法与来自特定域的知识的其他方法。另一种研究思路是，探索自动生成特定类型的源语言注释，例如可访问性注释和领域特定注释。

结论

深度强化 learning 方法为机器自动生成源语言注释提供了有前途的方法。这些方法使代理能直接与域交互，并从其交互中 learning 生成更佳的注释。随着深度强化 learning 技术的不断进步，我们预计机器将能生成更高质量的注释，这将为机器与世界交互的新应用程序铺平道路。