Langchain ChatChat 本地知识库问答系统部署

Published on:

之前写了一篇文章介绍Langchain-ChatGLM 项目的部署,最近该项目更新了0.2新版本,这个版本与之前的版本差别很大,底层的架构发生了很大的变化。该项目最早是基于 ChatGLM 这个 LLM(大语言模型)来搭建的,但后来集成的 LLM 越来越多, (我估计)项目团队也借此机会将项目名称改成了Langchain-Chatchat。版本更新之后,项目的部署方式也发生了变化,之前的部署方式已经不适用了,这里我将介绍一下新版本的部署方式。

使用 Docker 部署 AI 环境

Published on:

之前给大家介绍了主机安装方式——如何在 Ubuntu 操作系统下安装部署 AI 环境,但随着容器化技术的普及,越来越多的程序以容器的形式进行部署,通过容器的方式不仅可以简化部署流程,还可以随时切换不同的环境。实际上很多云服务厂商也是这么干的,用一台带有 NVIDIA 显卡的机器来部署多个容器,然后通过容器的方式来提供给用户使用,这样就可以充分利用显卡资源了。今天给大家介绍一下如何使用 Docker 的方式来部署我们之前部署过的 AI 环境。

如何在 Ubuntu 22 上安装 CUDA、NVIDIA 显卡驱动以及 PyTorch

Published on:

虽然现在有很多云厂商都提供了 GPU 服务器,但由于 GPU 的资源稀缺,云 GPU 服务器要么就是价格居高不下,要么就是数量不足无法购买。因此能拥有一块属于自己的 NVIDIA 显卡来跑 AI 程序是最好不过了,虽然现在高端的 NVIDIA 显卡又贵又不好买,但是稍微低端的显卡还是好入手的,随着大模型的配置要求越来越低,在低端显卡上跑一些大模型也不是什么问题。不过即使你拥有了一块自己的 NVIDIA 显卡,但环境配置也是一个麻烦的问题,今天就来分享一下如何在 Ubuntu 22 上安装 CUDA、NVIDIA 显卡驱动以及 PyTorch。

Azure OpenAI 服务开通及使用

Published on:
Tags: azure openai

ChatGPT 面世以来持续引领 AI 技术的火爆,具有专业技能的开发人员也热衷于使用 OpenAI 的 API 来构建自己的应用程序,但由于 OpenAI 并不对国内开放,因此调用 OpenAI API 还比较麻烦。幸运的是,微软的 Azure 推出 OpenAI 服务,他们的服务跟 OpenAI API 是一样的,并且可以在国内进行访问,费用收取也相差不大。今天我们就来看看如何开通 Azure OpenAI 服务,并介绍其使用方法。

Notion API 使用介绍

Published on:
Tags: notion api

最近在开发一个小工具,需要使用数据库来保存数据,但又不想自己费力气去部署一个数据库,想如果有一个免费联网私有的数据库就好了,于是想到了自己日常使用的笔记本工具 Notion,它提供了数据库的功能,可以进行数据的存储和管理,同时 Notion 提供了 API 接口,可以方便的进行数据的读取和保存,今天就介绍一下 Notion 及其 API 的使用。

新版V2Ray安装及部署

Published on:
Tags: V2Ray gfw

年初在 Azure 的网站上看到免费试用的宣传,宣传内容包括新建账号送 200 美元,可以免费试用 12 个月等等优惠活动,于是便在上面创建了一台 VPS 并搭建好了梯子,白嫖了一段时间后,最近发现 Azure 服务器突然开始收费,每个月要收 10 美元,要花这个钱我还不如去其他云厂商买服务器,上网查了一下说是可能免费额度的金额用完了,或者是创建的 VPS 中使用的其他配件不符合免费计划的要求。总之为了以后不再被收费,我便将 Azure 上的相关组件全部删除了。重新在其他云厂商上购买了一台服务器,重新搭建了梯子,但发现新建的梯子无法使用,于是便开始了一番折腾。

Llama2 部署及试用

Published on:
Tags: llama

Llama 一直被视为 AI 界的开源大模型中的巨擘。然而,由于其开源协议的限制性条款,商业用途的免费使用一直未能实现。但这种情况在最近发生了根本性的转变,Meta 发布了备受瞩目的 Llama2,这是一个免费可供商业使用的版本。这个大型预训练语言模型 Llama2,出自 Meta AI 之手,它能接收任何形式的自然语言文本输入,并产生文本形式的输出。笔者也第一时间尝试了一下,这里记录一下 Llama2 的部署及免费试用方法。

LangChain 知识库检索问题及解决方案

Published on:
Tags: langchain

在之前的文章中,我们介绍了如何使用 LangChain 打造一个垂直领域的知识库问答系统。知识库问答系统包含了一系列的功能,包括:文档载入、文档分隔、文档 Embedding、文档存储、文档检索、组合问题上下文等。在实际使用的过程中,每个环节都可能遇到一些复杂的问题,今天我们就来看看在实际应用中,LangChain 在进行知识库检索时会遇到的一些问题以及解决方案。

部署 LangChain 和 ChatGLM2 来打造自有知识库问答系统

Published on:

随着人工智能技术的迅猛发展,问答机器人在多个领域中展示了广泛的应用潜力。在这个信息爆炸的时代,许多领域都面临着海量的知识和信息,人们往往需要耗费大量的时间和精力来搜索和获取他们所需的信息。在这种情况下,垂直领域的 AI 问答机器人应运而生。OpenAI 的 GPT3.5 和 GPT4 无疑是目前最好的 LLM(大语言模型),借助 OpenAI 的 GPT 确实可以快速地打造出一个高质量的 AI 问答机器人,但是 GPT 在实际应用上存在着不少限制。比如 ChatGPT 的知识库是通用领域的,对于垂直领域的知识理解有限,而且对于不熟悉的知识还会存在幻觉的问题。另外 GPT 的训练语料大部分是英文的,对于中文的理解也存在一定的问题,这对于国内公司来说是一个很大的问题。本文将介绍如何使用中文 LLM—— ChatGLM 结合 LangChain 来打造一个垂直领域的知识库问答系统,并在云 GPU 服务上部署运行。

Vercel AI SDK 避坑指南

Published on:
Tags: vercel ai

随着 ChatGPT 的出现,很多开发人员都想开发一款 AI 聊天机器人,Vercel 最近开发了一款 AI SDK,可以帮助开发人员快速开发聊天机器人,包括调用 OpenAI 的 API,对话记录传递,流式输出等功能,非常方便。Vercel 的开发团队也是很多著名工具的开发者,包括前端开发框架 Next.js 、前端部署工具 Vercel 、React 数据查询工具 SWR 等,这些工具都是非常优秀的,所以这款 AI SDK 也是非常值得期待的。然而,每个工具都有其特性和潜在的坑点,Vercel AI SDK 也不例外。本文将为你提供一份详尽的 Vercel AI SDK 避坑指南,帮助你更好地理解和使用这款工具,从而提升你的开发效率和应用质量。