之前介绍了Langchain-Chatchat 项目的部署，该项目底层改用了 FastChat 来提供 LLM(大语言模型)的 API 服务，下来出于好奇又研究了一下 FastChat，发现它的功能很强大，可以用来部署市面上大部分的 LLM 模型，可以将 LLM 部署为带有标准应用程序编程接口（API）的软件服务，它还提供了 WebUI 界面方便用户通过浏览器来使用 LLM。今天我们就来介绍一下如何使用 FastChat 来部署 ChatGLM2-6B 和 Llama2 模型。
之前写了一篇文章介绍Langchain-ChatGLM 项目的部署，最近该项目更新了0.2新版本，这个版本与之前的版本差别很大，底层的架构发生了很大的变化。该项目最早是基于 ChatGLM 这个 LLM（大语言模型）来搭建的，但后来集成的 LLM 越来越多, (我估计）项目团队也借此机会将项目名称改成了Langchain-Chatchat。版本更新之后，项目的部署方式也发生了变化，之前的部署方式已经不适用了，这里我将介绍一下新版本的部署方式。
之前给大家介绍了主机安装方式——如何在 Ubuntu 操作系统下安装部署 AI 环境，但随着容器化技术的普及，越来越多的程序以容器的形式进行部署，通过容器的方式不仅可以简化部署流程，还可以随时切换不同的环境。实际上很多云服务厂商也是这么干的，用一台带有 NVIDIA 显卡的机器来部署多个容器，然后通过容器的方式来提供给用户使用，这样就可以充分利用显卡资源了。今天给大家介绍一下如何使用 Docker 的方式来部署我们之前部署过的 AI 环境。
虽然现在有很多云厂商都提供了 GPU 服务器，但由于 GPU 的资源稀缺，云 GPU 服务器要么就是价格居高不下，要么就是数量不足无法购买。因此能拥有一块属于自己的 NVIDIA 显卡来跑 AI 程序是最好不过了，虽然现在高端的 NVIDIA 显卡又贵又不好买，但是稍微低端的显卡还是好入手的，随着大模型的配置要求越来越低，在低端显卡上跑一些大模型也不是什么问题。不过即使你拥有了一块自己的 NVIDIA 显卡，但环境配置也是一个麻烦的问题，今天就来分享一下如何在 Ubuntu 22 上安装 CUDA、NVIDIA 显卡驱动以及 PyTorch。
ChatGPT 面世以来持续引领 AI 技术的火爆，具有专业技能的开发人员也热衷于使用 OpenAI 的 API 来构建自己的应用程序，但由于 OpenAI 并不对国内开放，因此调用 OpenAI API 还比较麻烦。幸运的是，微软的 Azure 推出 OpenAI 服务，他们的服务跟 OpenAI API 是一样的，并且可以在国内进行访问，费用收取也相差不大。今天我们就来看看如何开通 Azure OpenAI 服务，并介绍其使用方法。
最近在开发一个小工具，需要使用数据库来保存数据，但又不想自己费力气去部署一个数据库，想如果有一个免费、联网、私有的数据库就好了，于是想到了自己日常使用的笔记本工具 Notion，它提供了数据库的功能，可以进行数据的存储和管理，同时 Notion 提供了 API 接口，可以方便的进行数据的读取和保存，今天就介绍一下 Notion 及其 API 的使用。
年初在 Azure 的网站上看到免费试用的宣传，宣传内容包括新建账号送 200 美元，可以免费试用 12 个月等等优惠活动，于是便在上面创建了一台 VPS 并搭建好了梯子，白嫖了一段时间后，最近发现 Azure 服务器突然开始收费，每个月要收 10 美元，要花这个钱我还不如去其他云厂商买服务器，上网查了一下说是可能免费额度的金额用完了，或者是创建的 VPS 中使用的其他配件不符合免费计划的要求。总之为了以后不再被收费，我便将 Azure 上的相关组件全部删除了。重新在其他云厂商上购买了一台服务器，重新搭建了梯子，但发现新建的梯子无法使用，于是便开始了一番折腾。
Llama 一直被视为 AI 界的开源大模型中的巨擘。然而，由于其开源协议的限制性条款，商业用途的免费使用一直未能实现。但这种情况在最近发生了根本性的转变，Meta 发布了备受瞩目的 Llama2，这是一个免费可供商业使用的版本。这个大型预训练语言模型 Llama2，出自 Meta AI 之手，它能接收任何形式的自然语言文本输入，并产生文本形式的输出。笔者也第一时间尝试了一下，这里记录一下 Llama2 的部署及免费试用方法。
在之前的文章中，我们介绍了如何使用 LangChain 打造一个垂直领域的知识库问答系统。知识库问答系统包含了一系列的功能，包括：文档载入、文档分隔、文档 Embedding、文档存储、文档检索、组合问题上下文等。在实际使用的过程中，每个环节都可能遇到一些复杂的问题，今天我们就来看看在实际应用中，LangChain 在进行知识库检索时会遇到的一些问题以及解决方案。
随着人工智能技术的迅猛发展，问答机器人在多个领域中展示了广泛的应用潜力。在这个信息爆炸的时代，许多领域都面临着海量的知识和信息，人们往往需要耗费大量的时间和精力来搜索和获取他们所需的信息。在这种情况下，垂直领域的 AI 问答机器人应运而生。OpenAI 的 GPT3.5 和 GPT4 无疑是目前最好的 LLM（大语言模型），借助 OpenAI 的 GPT 确实可以快速地打造出一个高质量的 AI 问答机器人，但是 GPT 在实际应用上存在着不少限制。比如 ChatGPT 的知识库是通用领域的，对于垂直领域的知识理解有限，而且对于不熟悉的知识还会存在幻觉的问题。另外 GPT 的训练语料大部分是英文的，对于中文的理解也存在一定的问题，这对于国内公司来说是一个很大的问题。本文将介绍如何使用中文 LLM—— ChatGLM 结合 LangChain 来打造一个垂直领域的知识库问答系统，并在云 GPU 服务上部署运行。