目前基于大语言模型（LLM）的 RAG（Retrieval Augmented Generation）应用非常广泛，包括知识库问答、客服机器人、垂直领域知识检索等各个方面，虽然我们可以构建出这类应用，但是如何评估 RAG 应用的效果却是一个难题。幸运的是业界已经开始推出一些 RAG 评估工具，Trulens 就是其中的一个。本文将介绍如何使用 Trulens 这个工具来对 RAG 应用进行评估，同时介绍 Trulens 内部的实现原理，以及在探索过程中发现的一些有趣知识。
Rerank 在 RAG（Retrieval-Augmented Generation）过程中扮演了一个非常重要的角色，普通的 RAG 可能会检索到大量的文档，但这些文档可能并不是所有的都跟问题相关，而 Rerank 可以对文档进行重新排序和筛选，让相关的文档排在前面，从而提高 RAG 的效果。本文将介绍使用 HuggingFace 的 Text Embedding Inherence 工具部署 Rerank 模型，以及演示如何在 LlamaIndex 的 RAG 中加入 Rerank 功能。
检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合了检索（Retrieval）和生成（Generation）的技术，它有效地解决了大语言模型（LLM）的一些问题，比如幻觉、知识限制等。随着 RAG 技术的发展，RAG 涉及到的向量技术受到了大家的关注，向量数据库也慢慢被大家所了解，一些老牌的数据库厂商也纷纷表示支持向量检索，比如 Elasticsearch 也在最近的版本增加了向量检索的支持。本文将介绍 Elasticsearch 和 RAG 中相关的 Embedding 模型的部署，以及在 LLM 框架 LLamaIndex 中如何使用 Elasticsearch 进行文档索引入库和检索。
大语言模型（LLM）的量化技术可以大大降低 LLM 部署所需的计算资源，模型量化后可以将 LLM 的显存使用量降低数倍，甚至可以将 LLM 转换为完全无需显存的模型，这对于 LLM 的推广使用来说是非常有吸引力的。本文将介绍如何量化 ChatGLM3-6B 模型的 GGML 版本，并介绍如何在 Colab 的 CPU 服务器部上署量化后的模型，让大家在了解如何量化模型的同时也熟悉 Colab 的操作。
OpenAI 在首届开发者大会上发布了 GPTs 功能，它提供了一种简单易用的方式来帮助用户定制属于自己的 GPT，可以使用网页浏览、生成图片和代码解释器等功能来丰富自己的专属 GPT，但 GPTs 中还有一个更加强大的功能——Action，通过 Action 可以连接外部的 API 服务来完成更加复杂的功能，比如查询数据库、发送邮件等，类似于 OpenAI 的 Assistant API 中自定义工具功能。今天我们会在本地搭建 API 服务，让 GPT Action 集成本地服务，通过这种演示方式来帮助大家更加深入地了解 GPT Action 的使用。
上次我们介绍了 OpenAI 的新版 API，包括语音转文字、生成图片和图片识别等功能，这次 API 的更新还包含了一个重量级的功能，就是类似 GPTs 的 Assistant API，它不仅可以完成 GPTs 的所有功能，还能使用自定义的工具，可以说是比 GPTs 更加强大。今天我们就来介绍 Assistant API 的基本原理和使用方法，最后通过一些代码示例来展示它的强大功能。
OpenAI 最近举办了首次开发者大会，大会上不仅发布了 GPTs 这样王炸级别的新功能，还发布了一些新模型，比如gpt-4-turbo等，模型的知识截止时间也提高到了 2023 年 4 月，配合这些新模型，OpenAI 还开放了大家期盼已久的新 API，其中包括语音生成、图像生成、图像识别等功能，本文将对这些新 API 进行介绍，帮助大家快速掌握这些新功能。
上次我们介绍了 ChatGLM3-6B 的部署，虽然我们的大语言模型（LLM）部署起来了，新功能也试用了，但问题很多的小明就要问了，这其中的实现原理是什么呢？到底是怎么实现的呢？那今天我们就再来介绍 ChatGLM3-6B 具体的功能原理，包括工具调用、代码解释器等。
最近智谱 AI 对底层大模型又进行了一次升级，ChatGLM3-6B 正式发布，不仅在性能测试和各种测评的数据上有显著提升，还新增了一些新功能，包括工具调用、代码解释器等，最重要的一点是还是保持 6B 的这种低参数量，让我们可以在消费级的显卡上部署大语言模型（LLM）。本文将对 ChatGLM3-6B 的部署做一次详细介绍，让更多人可以体验这个 LLM 的有趣功能。
LLM（大语言模型）微调一直都是老大难问题，不仅因为微调需要大量的计算资源，而且微调的方法也很多，要去尝试每种方法的效果，需要安装大量的第三方库和依赖，甚至要接入一些框架，可能在还没开始微调就已经因为环境配置而放弃了。今天我们来介绍一个可以帮助大家快速进行 LLM 微调的工具——LLaMA Factory，它可以帮助大家快速进行 LLM 微调，而且还可以在微调过程中进行可视化，非常方便。