用過大模型的都知道，我們不怕它不回答，就怕它亂回答，特別是一眼還看不出來的那種。即便是最先進的AI模型也會說謊，防不勝防。對企業來說，幻覺，已經成為阻礙大模型應用的嚴重缺陷性問題。

除了幻覺，通用大模型無法滿足企業實際業務需求還涉及到知識局限性、信息安全等問題，企業顯然不能將私域數據上傳到第三方平臺訓練。在這種情況下，如何將本地知識庫和大模型連接起來，構建一個專屬的AI知識庫，成為了關鍵問題。

AnythingLLM正是為解決這個問題而生的通用框架。

AnythingLLM是什么？

從原理上看，構建專屬知識庫可分為三個部分，一是通過LLM處理自然語言；二是嵌入模型把復雜的數據簡化，轉化成易于處理的格式；三是向量數據庫專門存儲和管理那些轉化后的數據。

那么進入正題，AnythingLLM到底是什么？AnythingLLM是由Mintplex Labs Inc.開發的一個全棧應用程序，是一款高效、可定制、開源的企業級文檔聊天機器人解決方案。它能夠將任何文檔、資源或內容片段轉化為大語言模型在聊天中可以利用的相關上下文。

AnythingLLM支持幾乎所有的主流大模型和多種文檔類型，可定制化，而且安裝和設置簡單。目前適用于MacOS、Linux和Windows操作系統，也可以使用Docker安裝。官方已經做好了各個版本的應用，直接下載對應版本，像正常軟件一樣安裝啟動即可。

一鍵安裝，支持自定義模型，支持多種文檔類型，可定制化

先看幾個官方解答的用戶問題，進一步了解AnythingLLM。

1、使用AnythingLLM要花錢嗎？

AnythingLLM Desktop是免費的，也可以通過GitHub Repo自托管。AnythingLLM云托管起價為每月25美元，專為需要AnythingLLM功能但希望擁有AnythingLLM托管實例的企業或團隊而構建。

2、如何使用 AnythingLLM？

AnythingLLM有幾種規格，具體取決于用例。AnythingLLM Desktop是用戶在計算機上安裝應用程序最簡單的方法；AnythingLLM for Docker旨在使用最少的開發人員配置設置一個完整的多用戶實例；AnythingLLM托管則是官方的SaaS產品。

3、我的文檔保存在哪里？

不管用哪種方式使用AnythingLLM，用戶的文檔和信息都存儲在運行AnythingLLM的機器上，用戶數據與實例相隔離，以確保數據不會暴露或與其他客戶共享存儲。

4、為什么用AnythingLLM而不是帶插件的ChatGPT？

AnythingLLM使用戶可以完全控制與任何LLM和向量數據庫的訪問、權限和數據共享，能夠完全離線運行，僅由本地運行的服務提供支持。使用AnythingLLM不必擔心第三方隱私問題，并且可以訪問全球的開源和閉源LLM、任何向量數據庫解決方案。

怎么用AnythingLLM？

AnythingLLM默認通過Ollama來使用LLama2 7B、Mistral 7B、Gemma 2B等模型，也可以調用OpenAI、Gemini、Mistral等大模型的API服務。因此在使用前，需要啟動Ollama服務，如果沒有安裝Ollama，需要自行下載安裝，這里使用后端服務器模式，具體操作本文不再贅述。

打開安裝好的AnythingLLM進行配置。先設置LLM Preference，選擇想用的大模型；再設置Embedding Preference，Embedding Preference可以把本地資料向量化，這樣就可以根據問題匹配對應的資料片段；設置Vector Database，選擇默認的LanceDB即可，這是一款無服務器向量數據庫，可嵌入到應用程序中，支持向量搜索、全文搜索和SQL。

新建工作區（workspace），每個工作區可以選用不同的模型，也可以修改向量數據庫和代理配置。關于工作區的概念，官方是這么解釋的：工作區的功能類似于線程，同時增加了文檔的容器化。工作區可以共享文檔，但工作區之間的內容不會互相干擾或污染，因此您可以保持每個工作區的上下文清晰。簡單理解，工作區就是管理各種文件的。

以上設置完成后就會出現對話界面，這時你就擁有了自己本地的大語言模型。接下來上傳資料到工作區，可以上傳本地文檔，也可以粘貼網址，將其更新到工作區就可以開始使用了。

AnythingLLM很酷的一點是支持多用戶模式，有3種角色的權限管理，這一點對企業應用很重要。系統會默認創建一個管理員（Admin）賬號，擁有全部的管理權限。第二種角色是Manager賬號，可管理所有工作區和文檔，但是不能管理大模型、嵌入模型和向量數據庫。普通用戶賬號，則只能基于已授權的工作區與大模型對話，不能對工作區和系統配置做任何更改。

AnythingLLM具有多用戶管理、豐富文檔支持、高效成本優化及云部署友好等優勢。但從使用體驗上看，一些用戶反饋目前它給出的回答還不夠準確，相信這套系統未來可以在文本召回和重排等方面，進一步調優和完善。