使用 LlamaIndex 结合 Eleasticsearch 进行 RAG 检索增强生成

Published on:

检索增强生成(Retrieval-Augmented Generation,RAG)是一种结合了检索(Retrieval)和生成(Generation)的技术,它有效地解决了大语言模型(LLM)的一些问题,比如幻觉、知识限制等。随着 RAG 技术的发展,RAG 涉及到的向量技术受到了大家的关注,向量数据库也慢慢被大家所了解,一些老牌的数据库厂商也纷纷表示支持向量检索,比如 Elasticsearch 也在最近的版本增加了向量检索的支持。本文将介绍 Elasticsearch 和 RAG 中相关的 Embedding 模型的部署,以及在 LLM 框架 LLamaIndex 中如何使用 Elasticsearch 进行文档索引入库和检索。

在 CPU 服务器上部署 ChatGLM3-6B 模型

Published on:

大语言模型(LLM)的量化技术可以大大降低 LLM 部署所需的计算资源,模型量化后可以将 LLM 的显存使用量降低数倍,甚至可以将 LLM 转换为完全无需显存的模型,这对于 LLM 的推广使用来说是非常有吸引力的。本文将介绍如何量化 ChatGLM3-6B 模型的 GGML 版本,并介绍如何在 Colab 的 CPU 服务器部上署量化后的模型,让大家在了解如何量化模型的同时也熟悉 Colab 的操作。

GPTs Action 使用指南

Published on:

OpenAI 在首届开发者大会上发布了 GPTs 功能,它提供了一种简单易用的方式来帮助用户定制属于自己的 GPT,可以使用网页浏览、生成图片和代码解释器等功能来丰富自己的专属 GPT,但 GPTs 中还有一个更加强大的功能——Action,通过 Action 可以连接外部的 API 服务来完成更加复杂的功能,比如查询数据库、发送邮件等,类似于 OpenAI 的 Assistant API 中自定义工具功能。今天我们会在本地搭建 API 服务,让 GPT Action 集成本地服务,通过这种演示方式来帮助大家更加深入地了解 GPT Action 的使用。

OpenAI Assistants API 使用指南

Published on:

上次我们介绍了 OpenAI 的新版 API,包括语音转文字、生成图片和图片识别等功能,这次 API 的更新还包含了一个重量级的功能,就是类似 GPTs 的 Assistant API,它不仅可以完成 GPTs 的所有功能,还能使用自定义的工具,可以说是比 GPTs 更加强大。今天我们就来介绍 Assistant API 的基本原理和使用方法,最后通过一些代码示例来展示它的强大功能。

OpenAI 新版 API 使用介绍

Published on:

OpenAI 最近举办了首次开发者大会,大会上不仅发布了 GPTs 这样王炸级别的新功能,还发布了一些新模型,比如gpt-4-turbo等,模型的知识截止时间也提高到了 2023 年 4 月,配合这些新模型,OpenAI 还开放了大家期盼已久的新 API,其中包括语音生成、图像生成、图像识别等功能,本文将对这些新 API 进行介绍,帮助大家快速掌握这些新功能。

ChatGLM3-6B 功能原理解析

Published on:
Tags:

上次我们介绍了 ChatGLM3-6B 的部署,虽然我们的大语言模型(LLM)部署起来了,新功能也试用了,但问题很多的小明就要问了,这其中的实现原理是什么呢?到底是怎么实现的呢?那今天我们就再来介绍 ChatGLM3-6B 具体的功能原理,包括工具调用、代码解释器等。

ChatGLM3-6B 部署指南

Published on:
Tags: llm chatglm3

最近智谱 AI 对底层大模型又进行了一次升级,ChatGLM3-6B 正式发布,不仅在性能测试和各种测评的数据上有显著提升,还新增了一些新功能,包括工具调用、代码解释器等,最重要的一点是还是保持 6B 的这种低参数量,让我们可以在消费级的显卡上部署大语言模型(LLM)。本文将对 ChatGLM3-6B 的部署做一次详细介绍,让更多人可以体验这个 LLM 的有趣功能。

使用 LLaMA Factory 进行大语言模型微调

Published on:

LLM(大语言模型)微调一直都是老大难问题,不仅因为微调需要大量的计算资源,而且微调的方法也很多,要去尝试每种方法的效果,需要安装大量的第三方库和依赖,甚至要接入一些框架,可能在还没开始微调就已经因为环境配置而放弃了。今天我们来介绍一个可以帮助大家快速进行 LLM 微调的工具——LLaMA Factory,它可以帮助大家快速进行 LLM 微调,而且还可以在微调过程中进行可视化,非常方便。

好玩到停不下来的 DALL-E 3

Published on:

最近 ChatGPT 对 Plus 用户逐步开放一些多模态的功能,包括 DALL-E 3(图像生成)、 GPT-4V(图像识别),等,很多网友乐此不疲地对这些新功能进行试用,目前已经解锁了不少有趣的玩法,笔者将这些好玩的功能进行了整理并介绍给大家,希望能给大家带来一些灵感。