高级 RAG 检索策略之句子窗口检索

Published on:

之前介绍过大语言模型(LLM)相关技术 RAG(Retrieval Augmented Generation)的内容,但随着 LLM 技术的发展,越来越多的高级 RAG 检索方法也随之被人发现,相对于普通的 RAG 检索,高级 RAG 通过更深化的技术细节、更复杂的搜索策略,提供出了更准确、更相关、更丰富的信息检索结果。今天我们就来介绍一下高级 RAG 检索策略其中的一种方法——句子窗口检索。

使用 Xinference 进行模型部署

Published on:

今天为大家介绍一款大语言模型(LLM)部署和推理工具——Xinference,其特点是部署快捷、使用简单、推理高效,并且支持多种形式的开源模型,还提供了 WebGUI 界面和 API 接口,方便用户进行模型部署和推理。现在就让我们一起来了解和使用 Xinference 吧!

使用 Trulens 评估 RAG 应用

Published on:
Tags: llm rag trulens

目前基于大语言模型(LLM)的 RAG(Retrieval Augmented Generation)应用非常广泛,包括知识库问答、客服机器人、垂直领域知识检索等各个方面,虽然我们可以构建出这类应用,但是如何评估 RAG 应用的效果却是一个难题。幸运的是业界已经开始推出一些 RAG 评估工具,Trulens 就是其中的一个。本文将介绍如何使用 Trulens 这个工具来对 RAG 应用进行评估,同时介绍 Trulens 内部的实现原理,以及在探索过程中发现的一些有趣知识。

Rerank 模型的部署及使用

Published on:

Rerank 在 RAG(Retrieval-Augmented Generation)过程中扮演了一个非常重要的角色,普通的 RAG 可能会检索到大量的文档,但这些文档可能并不是所有的都跟问题相关,而 Rerank 可以对文档进行重新排序和筛选,让相关的文档排在前面,从而提高 RAG 的效果。本文将介绍使用 HuggingFace 的 Text Embedding Inherence 工具部署 Rerank 模型,以及演示如何在 LlamaIndex 的 RAG 中加入 Rerank 功能。

使用 LlamaIndex 结合 Eleasticsearch 进行 RAG 检索增强生成

Published on:

检索增强生成(Retrieval-Augmented Generation,RAG)是一种结合了检索(Retrieval)和生成(Generation)的技术,它有效地解决了大语言模型(LLM)的一些问题,比如幻觉、知识限制等。随着 RAG 技术的发展,RAG 涉及到的向量技术受到了大家的关注,向量数据库也慢慢被大家所了解,一些老牌的数据库厂商也纷纷表示支持向量检索,比如 Elasticsearch 也在最近的版本增加了向量检索的支持。本文将介绍 Elasticsearch 和 RAG 中相关的 Embedding 模型的部署,以及在 LLM 框架 LLamaIndex 中如何使用 Elasticsearch 进行文档索引入库和检索。

在 CPU 服务器上部署 ChatGLM3-6B 模型

Published on:

大语言模型(LLM)的量化技术可以大大降低 LLM 部署所需的计算资源,模型量化后可以将 LLM 的显存使用量降低数倍,甚至可以将 LLM 转换为完全无需显存的模型,这对于 LLM 的推广使用来说是非常有吸引力的。本文将介绍如何量化 ChatGLM3-6B 模型的 GGML 版本,并介绍如何在 Colab 的 CPU 服务器部上署量化后的模型,让大家在了解如何量化模型的同时也熟悉 Colab 的操作。

GPTs Action 使用指南

Published on:

OpenAI 在首届开发者大会上发布了 GPTs 功能,它提供了一种简单易用的方式来帮助用户定制属于自己的 GPT,可以使用网页浏览、生成图片和代码解释器等功能来丰富自己的专属 GPT,但 GPTs 中还有一个更加强大的功能——Action,通过 Action 可以连接外部的 API 服务来完成更加复杂的功能,比如查询数据库、发送邮件等,类似于 OpenAI 的 Assistant API 中自定义工具功能。今天我们会在本地搭建 API 服务,让 GPT Action 集成本地服务,通过这种演示方式来帮助大家更加深入地了解 GPT Action 的使用。

OpenAI Assistants API 使用指南

Published on:

上次我们介绍了 OpenAI 的新版 API,包括语音转文字、生成图片和图片识别等功能,这次 API 的更新还包含了一个重量级的功能,就是类似 GPTs 的 Assistant API,它不仅可以完成 GPTs 的所有功能,还能使用自定义的工具,可以说是比 GPTs 更加强大。今天我们就来介绍 Assistant API 的基本原理和使用方法,最后通过一些代码示例来展示它的强大功能。

OpenAI 新版 API 使用介绍

Published on:

OpenAI 最近举办了首次开发者大会,大会上不仅发布了 GPTs 这样王炸级别的新功能,还发布了一些新模型,比如gpt-4-turbo等,模型的知识截止时间也提高到了 2023 年 4 月,配合这些新模型,OpenAI 还开放了大家期盼已久的新 API,其中包括语音生成、图像生成、图像识别等功能,本文将对这些新 API 进行介绍,帮助大家快速掌握这些新功能。

ChatGLM3-6B 功能原理解析

Published on:
Tags:

上次我们介绍了 ChatGLM3-6B 的部署,虽然我们的大语言模型(LLM)部署起来了,新功能也试用了,但问题很多的小明就要问了,这其中的实现原理是什么呢?到底是怎么实现的呢?那今天我们就再来介绍 ChatGLM3-6B 具体的功能原理,包括工具调用、代码解释器等。