大模型的内在结构会被固化在其被训练完成的那一刻,但是当你询问大模型一些最新发生的事情,则难以给出答案。 为了克服这些问题,第一种方式是微调,即Finetune。
但是由于生成模型依赖于内在知识,也就是各类参数的权重,即使做了微调,模型还是无法摆脱幻觉问题。 此外在实际场景中,很多新的信息、数据、政策每时每刻都在产生,除非对模型进行高频的微调,否则模型的训练速度 阿曼 whatsapp 号码列表 永远赶不上外部信息更新的速度,而高频微调的成本就太高了, 在 年,Meta AI 的研究人员提出了检索增强生成(RAG的方法,为LLM大模型提供了一种与外部信息高效互动的解决方案。
其主要作用类似于搜索引擎,找到用户提问最相关的知识或者是相关的对话历史,并结合原始提问,创造信息丰富的prompt,指导LLM大模型生成更准确的输出。
这就是Rag技术产生的背景和原因。 二、Rag技术的基本原理 聊聊炙手可热的Rag:产生原因、基本原理与实施路径 RAG可分为个基本流程:知识文档的准备、嵌入模型、存入向量数据库、查询检索和生产回答。
现实场景中,我们面对的知识源可能包括多种格式,如Word文档、TXT文件、CSV数据表、Excel表格,甚至图片和视频。因此需要使用专门的文档加载器(例如PDF提取器或多模态模型(如OCR技术,将这些丰富的知识源转换为大语言模型可理解的纯文本数据,然后开启RAG的五个核心步骤。