评估 RAG?只要 LlamaIndex 就足够了

Published on:

我们之前介绍过一些 RAG (Retrieval Augmented Generation)的评估工具,比如 Turlens、Ragas 等,它们的评估指标丰富、使用方便,但它们始终是独立的第三方工具,需要和 LLM(大语言模型)开发框架(LangChain、LlamaIndex)进行集成才能使用,功能一旦更新不及时就会导致不可用的问题。如果你正在使用的是 LlamaIndex 开发框架,那么恭喜你,LlamaIndex 内置了评估工具,可以帮助你快速评估 RAG 应用,无需集成第三方的评估工具。今天我们就来详细了解一下 LlamaIndex 内置评估工具的原理以及它们的使用方法。

高级 RAG 检索策略之流程与模块化

Published on:

我们介绍了很多关于高级 RAG(Retrieval Augmented Generation)的检索策略,每一种策略就像是机器中的零部件,我们可以通过对这些零部件进行不同的组合,来实现不同的 RAG 功能,从而满足不同的需求。今天我们就来介绍高级 RAG 检索中一些常见的 RAG 模块,以及如何通过流程的方式来组合这些模块,实现高级 RAG 检索功能。

高级 RAG 检索策略之混合检索

Published on:

古人云:兼听则明,偏信则暗,意思是要同时听取各方面的意见,才能正确认识事物,只相信单方面的话,必然会犯片面性的错误。在 RAG(Retrieval Augmented Generation)应用中也是如此,如果我们可以同时从多个信息源中获取信息,那么我们的检索结果会更加全面和准确。今天我们就来介绍高级 RAG 检索策略中的混合检索,并在实际操作中结合 ElaticSearch 和 Llama3 来实现混合检索的效果。

高级 RAG 检索策略之内嵌表格

Published on:

在 RAG(Retrieval Augmented Generation)应用中,最负有挑战性的问题之一是如何处理复杂文档的内容,比如在 PDF 文档中的图片、表格等,因为这些内容不像传统文本那样容易解析和检索。在本文中,我们将介绍几种关于内嵌表格的 RAG 方案,讲解其中解析和检索的技术细节,并通过代码示例让大家更好地理解其中的原理,同时对这些方案进行分析和对比,阐述它们的优缺点。

高级 RAG 检索策略之查询重写

Published on:

在 RAG(Retrieval Augmented Generation)应用中,文档检索是保证 RAG 应用高质量回答的关键环节,我们在之前的文章中也有所介绍,但除此之外,对用户问题的优化也同样重要,有时候用户的问题可能不够清晰或者不够具体,这时候就需要对用户问题进行查询重写,这样才能更好地提高检索的准确性。今天我们就来介绍一些 RAG 应用中查询重写的策略,以及了解如何在实际项目中使用它们。

使用 Llama3 打造开发团队的私有 Copilot

Published on:

相信很多开发人员都使用过 Github Copilot,这种崭新的开发方式可以帮助开发人员极大地提高开发效率,并且也正在逐渐改变开发人员的编程习惯。自从 Meta 开放了最新的开源 LLM(大语言模型) Llama3,业内的各种开发工具和开发框架都在积极地集成 Llama3,以便于使用这个迄今为止功能最强大的开源大模型。今天我们来介绍如何使用 Llama3 构建一个团队专属的私有化 Copilot,不仅可以提高团队的开发效率,还可以保护团队的代码隐私。

对 Llama3 执行基准测试评估

Published on:

近日 Meta 推出他们最新的开源 LLM(大语言模型)Llama3,吸引了众多科技领域业内人士的关注。Meta 同时也公布了 Llama3 的各项基准测试指标,Llama3 在各项指标的得分上表现优异,超过了目前市面上其他开源 LLM。今天我们就来聊聊 LLM 的基准测试指标,以及如何使用工具来评测 Llama3。

用 API 方式免费使用 GPT 写小说

Published on:
Tags: chatgpt llm gpt

最近 OpenAI 宣布将降低网页版 ChatGPT 的使用门槛,允许没有账号的用户使用,这一好消息使我们可以在网页上免费访问 ChatGPT,但和 API 相比仍然缺乏灵活性,通过 API 开发人员可以编写代码来与 ChatGPT 进行自动化交互。今天我们将介绍如何利用 OpenAI 的这一免费功能,将其转化为 API 的形式来进行使用,并介绍如何通过这种方式来写一篇小说。

LlamaIndex 与 RAG 评估工具

Published on:

LlamaIndex 是一个 LLM(大语言模型)应用开发框架,很多开发人员喜欢用它来开发 RAG(Retrieval-Augmented Generation)应用,在开发 RAG 应用的过程中,我们经常需要对相关数据进行评估,以便更好地对应用进行调整和优化。随着 RAG 技术的发展,出现了越来越多优秀的评估工具,可以帮助我们方便且准确地评估 RAG 应用。今天,我将介绍一些可以和 LlamaIndex 集成使用的 RAG 评估工具,并对它们进行对比分析。

高级 RAG 检索策略之递归检索

Published on:

随着 LLM(大语言模型)技术的发展,RAG(Retrieval-Augmented Generation)技术在问答、对话等任务中的应用越来越广泛。RAG 技术的一个重要组成部分是文档检索器,它负责从大量的文档中检索出与问题相关的文档,以供 LLM 生成答案。RAG 检索器的效果直接影响到 LLM 生成答案的效果,因此如何设计高效的 RAG 检索器是一个重要的研究课题。目前,有多种 RAG 的检索策略,本文将介绍一种高级的 RAG 检索策略——递归检索,它通过递归的方式检索相关文档,可以提高检索的效果。