“RAG:检索增强生成技术是什么?”

“RAG:检索增强生成技术是什么?”

通过从外部来源获取的事实,可以提高生成式人工智能模型的准确性和可靠性,用于获取这些事实的技术被称为检索增强生成(RAG)。

为了简单理解,我们可以说一个好的大型语言模型(LLM)可以回答各种各样的人类问题。但是为了得到可信的答案,必须在其中引用一些来源,并且为此目的,它需要进行一些研究,所以模型将需要一个助手。这个辅助过程被称为检索增强生成,或者简称为RAG。

理解检索增强生成,或者RAG

为了更好地理解RAG,它填补了LLMs工作中已经存在的空白。LLM的质量或能力是通过其参数数量来衡量的。参数基本上是我们人类使用词语构成句子的一般模式。LLMs提供的答案可能不一致。

有时它们提供用户需要的确切信息,有时它们只是从其训练数据集中随机产生一些事实和数据。如果LLMs有时给出模糊的答案,比如它们不知道自己在说什么,那是因为它们真的不知道自己在说什么。正如我们上面提到的参数,LLMs可以在统计上关联词语,但它们不知道它们的含义。

将RAG集成到基于LLM的聊天系统中有两个主要好处,它确保模型可以访问当前和可靠的事实,并且还确保用户可以验证其主张的可信度,因为他们可以访问模型的来源。

IBM研究部门的语言技术主管Luis Lastras表示:

还有其他好处,它减少了幻觉和数据泄漏的可能性,因为它有机会以外部来源为基础建立知识,所以不必仅仅依赖于其训练数据。RAG还降低了运行聊天机器人的财务和计算成本,因为它不需要在新数据上进行训练。

RAG的好处

传统上,数字对话模型采用手动对话方式。它们建立对用户意图的理解,然后基于此获取信息并提供已经由程序员定义好的一般脚本的答案。这个系统能够回答简单直接的问题。然而,该系统存在局限性。

为每一个用户可能提出的查询提供答案是耗时的,如果用户漏掉了一个步骤,聊天机器人无法处理这种情况并做出应对。然而,如今的技术使得聊天机器人能够为用户提供个性化的回复,而无需人类编写新的脚本,而RAG通过保持模型与新内容的联系并减少训练的需要,将其推向更高级别。正如Lastras所说:

正如我们所知,用户的问题并不总是直截了当的,它们可能是复杂、模糊和冗长的,或者需要模型缺乏或无法轻易分析的信息。在这种情况下,LLMs可能会产生幻觉。微调可以防止这些情况发生,并且LLMs可以在遇到这种情况时停止。但是需要提供成千上万个此类问题的示例来使其识别。

RAG是目前最好的模型,可以基于最新和最可靠的数据来构建LLMs,同时降低了训练的需求。RAG也在不断发展,仍然需要更多的研究来完善其不足之处。

可见灵感来源于这里。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注