转:如何在有结构的数据和无结构的数据上使用 LLM
企业的数据散布在各个平台上,比如 Snowflake、GDrive 或者 Salesforce,而这些数据通常是结构化和非结构化数据的混合体,格式各异,如 CSV、PDF、Word 等。
带有复杂表格的 PDF 文件可能会让人头疼,而且通常结构化和非结构化数据是交织在一起的。
那么,我们该如何利用这些数据为企业打造一个 LLM 应用呢?在 Abacus AI,我们已经打造了成千上万个这样的应用 AI 系统和 LLM 应用。
你需要按部就班地进行一系列操作来构建这个应用。首先,你需要通过数据连接器来抓取数据。
接下来是数据处理环节。
PDF 提取 - 这个过程可能会有些棘手,因为不同的 OCR 模型有着不同的表现,所以建议你尝试多种 OCR 服务。如果 PDF 文件中包含了表格,那么在提取行数据时就需要格外小心。
分块 - 通常,你会想要把文档分割成更小的片段。对于结构化数据,我们建议你将它们保留在你的数据湖或数据仓库中。
嵌入 - 这是关键所在,你需要根据不同的应用场景和你的数据来尝试不同的嵌入策略。
比如说,嵌入一系列 Python API 的方法就和嵌入一系列 Word 文档的方法不同。所以,在选择嵌入策略时,你需要非常慎重。
文档检索器和向量存储 - 在大多数企业应用场景中,在 LLM 处理步骤之前,都有一个检索内容的步骤。这一步是为了找到含有相关回答的内容,并把这些内容作为 LLM 处理的上下文。现在,当你手头有结构化和非结构化数据时,你可以有几种不同的选择。
如果你主要处理的是非结构化数据,而结构化数据只占一小部分,且来自 PDF 表格,我们建议你选择方案 1,否则我们建议方案 2。
选项 1 - 元数据过滤:当你手头上有大量非结构化数据和一些结构化数据时,你完全可以在文档检索工具和/或向量存储上使用元数据过滤器来更高效地找到你需要的信息。
简单来说,元数据过滤器就像是一个高效的助手,能帮你通过作者、日期或者是标签这些附加信息,快速锁定那些最相关的文档。另一方面,向量存储则是一个存放文档或者词汇在多维空间中的向量库,这让我们可以通过计算它们之间的相似度来快速找到相似的内容。
把元数据过滤器和向量存储结合起来使用,可以确保我们找到的文档不仅仅是在内容上相匹配,同时也符合其他我们设定的标准,从而大大提升了检索的准确性。
选项 2 - 如果你的数据库中主要是结构化数据,那么我们建议你使用这个方法。这里,你可以利用 LLM 的 "text-to-sql" 功能,让它帮你生成 SQL 语句,然后在你的数据源上运行这个语句。
理想情况下,你应该有一个协调器来根据你选择的方法,不管是生成 SQL 查询还是向向量存储发送请求,都能自动帮你加上需要的元数据过滤器。
无论是企业内部的最终用户还是外部消费者,他们都不需要操心数据从哪里来,他们只需要通过与聊天机器人的交互界面,就能轻松获取所需信息,这个界面可以是定制版的 chatGPT,也可以是 Teams 或 Slack 上的机器人。
像 Abacus AI 这样的全方位 LLMOps 平台可以帮你自动化完成所有这些步骤。作为数据科学家,你可以在短时间内尝试各种不同的嵌入、分块、LLM 和向量存储策略,找到最适合你需求的方案。
当然,也有一些团队选择自己从零开始构建所有这些部件,但这样做可能会非常耗时耗力。与其重复造轮子,不如快速上线你的 LLM 应用,专注于提升你的组织与众不同的地方。
原推:twitter.com/bindureddy/status/1719563117699690716
