高级 RAG 检索策略之递归检索

Published on:

随着 LLM(大语言模型)技术的发展,RAG(Retrieval-Augmented Generation)技术在问答、对话等任务中的应用越来越广泛。RAG 技术的一个重要组成部分是文档检索器,它负责从大量的文档中检索出与问题相关的文档,以供 LLM 生成答案。RAG 检索器的效果直接影响到 LLM 生成答案的效果,因此如何设计高效的 RAG 检索器是一个重要的研究课题。目前,有多种 RAG 的检索策略,本文将介绍一种高级的 RAG 检索策略——递归检索,它通过递归的方式检索相关文档,可以提高检索的效果。

使用 Goldlist 方法学习外语

Published on:

最近了解到一种叫 Goldlist 的记忆方法,它可以帮助我们轻松地记住任何东西,不需要死记硬背,只需要每天花上一点时间,并且持之以恒,它就能让你想记住的东西在脑海中挥之不去。今天和大家一起来了解一下 Goldlist 方法,并介绍它在实践过程中要注意的一些问题。

LeetCode 第 373 题的几种解法

Published on:
Tags: leetcode

算法是每个程序员的必备技能,而掌握算法的方法除了看书和看视频外,更多的是通过做题来提高算法能力,在众多的在线编程平台中,LeetCode 以其丰富的题库和高质量的题目解析,成为了全球程序员和计算机科学爱好者提升编程技能、准备技术面试的重要平台。在本文中,我们将介绍 LeetCode 上的一道精选题目——373. 查找和最小的 K 对数字,通过这道题目来介绍其高效的解法。

高级 RAG 检索策略之自动合并检索

Published on:

之前介绍了高级 RAG 检索的句子窗口检索策略,今天我们再来介绍另外一种高级检索策略——自动合并检索,它比句子窗口要复杂一些,但请不用担心,下面的介绍会让你理解其中原理,同时会介绍如何使用 LlamaIndex 来构建一个自动合并检索,最后使用 Trulens 来对检索效果进行评估,并与之前的检索策略进行对比。

高级 RAG 检索策略之句子窗口检索

Published on:

之前介绍过大语言模型(LLM)相关技术 RAG(Retrieval Augmented Generation)的内容,但随着 LLM 技术的发展,越来越多的高级 RAG 检索方法也随之被人发现,相对于普通的 RAG 检索,高级 RAG 通过更深化的技术细节、更复杂的搜索策略,提供出了更准确、更相关、更丰富的信息检索结果。今天我们就来介绍一下高级 RAG 检索策略其中的一种方法——句子窗口检索。

使用 Xinference 进行模型部署

Published on:

今天为大家介绍一款大语言模型(LLM)部署和推理工具——Xinference,其特点是部署快捷、使用简单、推理高效,并且支持多种形式的开源模型,还提供了 WebGUI 界面和 API 接口,方便用户进行模型部署和推理。现在就让我们一起来了解和使用 Xinference 吧!

使用 Trulens 评估 RAG 应用

Published on:
Tags: llm rag trulens

目前基于大语言模型(LLM)的 RAG(Retrieval Augmented Generation)应用非常广泛,包括知识库问答、客服机器人、垂直领域知识检索等各个方面,虽然我们可以构建出这类应用,但是如何评估 RAG 应用的效果却是一个难题。幸运的是业界已经开始推出一些 RAG 评估工具,Trulens 就是其中的一个。本文将介绍如何使用 Trulens 这个工具来对 RAG 应用进行评估,同时介绍 Trulens 内部的实现原理,以及在探索过程中发现的一些有趣知识。

Rerank 模型的部署及使用

Published on:

Rerank 在 RAG(Retrieval-Augmented Generation)过程中扮演了一个非常重要的角色,普通的 RAG 可能会检索到大量的文档,但这些文档可能并不是所有的都跟问题相关,而 Rerank 可以对文档进行重新排序和筛选,让相关的文档排在前面,从而提高 RAG 的效果。本文将介绍使用 HuggingFace 的 Text Embedding Inherence 工具部署 Rerank 模型,以及演示如何在 LlamaIndex 的 RAG 中加入 Rerank 功能。

使用 LlamaIndex 结合 Eleasticsearch 进行 RAG 检索增强生成

Published on:

检索增强生成(Retrieval-Augmented Generation,RAG)是一种结合了检索(Retrieval)和生成(Generation)的技术,它有效地解决了大语言模型(LLM)的一些问题,比如幻觉、知识限制等。随着 RAG 技术的发展,RAG 涉及到的向量技术受到了大家的关注,向量数据库也慢慢被大家所了解,一些老牌的数据库厂商也纷纷表示支持向量检索,比如 Elasticsearch 也在最近的版本增加了向量检索的支持。本文将介绍 Elasticsearch 和 RAG 中相关的 Embedding 模型的部署,以及在 LLM 框架 LLamaIndex 中如何使用 Elasticsearch 进行文档索引入库和检索。

在 CPU 服务器上部署 ChatGLM3-6B 模型

Published on:

大语言模型(LLM)的量化技术可以大大降低 LLM 部署所需的计算资源,模型量化后可以将 LLM 的显存使用量降低数倍,甚至可以将 LLM 转换为完全无需显存的模型,这对于 LLM 的推广使用来说是非常有吸引力的。本文将介绍如何量化 ChatGLM3-6B 模型的 GGML 版本,并介绍如何在 Colab 的 CPU 服务器部上署量化后的模型,让大家在了解如何量化模型的同时也熟悉 Colab 的操作。