一、Flexus 云服務(wù)器 X 實(shí)例介紹

在數(shù)字化時(shí)代，云服務(wù)器已成為企業(yè)發(fā)展的重要基石。它提供靈活的資源擴(kuò)展和高效的計(jì)算能力，幫助企業(yè)降低成本、提升效率。無(wú)論是數(shù)據(jù)存儲(chǔ)還是業(yè)務(wù)創(chuàng)新，云服務(wù)器都能滿足多樣化需求，是各行業(yè)不可或缺的技術(shù)支持。

華為云下一代云服務(wù)器 Flexus X 實(shí)例煥新上線，新產(chǎn)品首創(chuàng)大模型加持，智能全域調(diào)度；X-Turbo 加速，常見(jiàn)應(yīng)用性能最高可達(dá)業(yè)界同規(guī)格 6 倍，可搭載多版本主機(jī)安全服務(wù)，歷經(jīng)極度嚴(yán)苛的網(wǎng)絡(luò)安全挑戰(zhàn)，全面保障主機(jī)整體安全，覆蓋大多數(shù)通用工作負(fù)載場(chǎng)景。

Flexus X 實(shí)例通過(guò)和其他服務(wù)組合，具備計(jì)算、鏡像安裝、網(wǎng)絡(luò)、存儲(chǔ)、安全等能力，您可根據(jù)業(yè)務(wù)需要靈活配置各資源。

本次測(cè)評(píng)使用的規(guī)格是：4 核 12G-100G-3M 規(guī)格的 Flexus X 實(shí)例基礎(chǔ)模式

二、Flexus 云服務(wù)器 X 實(shí)例配置

2.1 重置密碼

購(gòu)買(mǎi)服務(wù)器的時(shí)候可以提前設(shè)置用戶(hù)名和密碼，因?yàn)槲疫@里跳過(guò)了，所以購(gòu)買(mǎi)完成后需要重置密碼，會(huì)短信或站內(nèi)消息通過(guò)你的云服務(wù)器信息，重點(diǎn)是公網(wǎng) IP 地址和用戶(hù)名，首先打開(kāi)你的服務(wù)器控制臺(tái)，選擇重置密碼

勾選自動(dòng)重啟，點(diǎn)擊確定即可

2.2 服務(wù)器連接

華為云服務(wù)器提供了多種鏈接方式，如使用控制臺(tái)提供的 VNC 方式登錄、使用 Linux/Mac OS 系統(tǒng)主機(jī)登錄 Linux 彈性云服務(wù)器（即 ssh root@192.168.48.78 命令）或者使用 Putty、Xshell 等工具登錄 Linux 彈性云服務(wù)器。

我個(gè)人習(xí)慣使用 MobaXterm這款軟件，添加 SSH 連接，輸出公網(wǎng) IP、用戶(hù)名和端口(默認(rèn) 22)，連接即可。

2.3 安全組配置

安全組是一個(gè)邏輯上的分組，為同一個(gè) VPC 內(nèi)的云服務(wù)器提供訪問(wèn)策略。用戶(hù)可以在安全組中定義各種訪問(wèn)規(guī)則，當(dāng)云服務(wù)器加入該安全組后，即受到這些訪問(wèn)規(guī)則的保護(hù)。

系統(tǒng)為每個(gè)網(wǎng)卡默認(rèn)創(chuàng)建一個(gè)默認(rèn)安全組，默認(rèn)安全組的規(guī)則是對(duì)出方向上的數(shù)據(jù)報(bào)文全部放行，入方向訪問(wèn)受限。您可以使用默認(rèn)安全組，也可以根據(jù)需要?jiǎng)?chuàng)建自定義的安全組。

主要需要填寫(xiě)優(yōu)先級(jí)（默認(rèn)填 1 即可）、協(xié)議端口（協(xié)議一般為 TCP 或 UDP，端口一般選擇你項(xiàng)目需要暴露的端口即可），描述（選填，一般會(huì)填寫(xiě)此端口的用途以免忘記了），其他默認(rèn)點(diǎn)擊確定即可。安全組配置主要是暴露端口可以給外網(wǎng)訪問(wèn)。

如果還不清楚可以參考文檔：安全組配置示例

2.4 Docker 環(huán)境搭建

本次服務(wù)器環(huán)境是 ubuntu 系統(tǒng)鏡像，需要自己安裝 docker 環(huán)境

使用 apt-get 命令安裝 docker 及其配置

#安裝必要工具包 $ sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common#添加 Docker GPG 秘鑰 $ sudo curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -#配置倉(cāng)庫(kù)源 $ sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable" #更新 apt 包索引 $ sudo apt-get update#安裝 docker$ sudo apt-get install docker-ce docker-ce-cli containerd.io#添加 docker 鏡像源 $ sudo vim /etc/docker/daemon.json{"registry-mirrors": ["https://ustc-edu-cn.mirror.aliyuncs.com/","https://docker.mirrors.ustc.edu.cn","https://docker.nju.edu.cn","https://ccr.ccs.tencentyun.com/","https://docker.m.daocloud.io/","https://dockerproxy.com",]}#重啟 $ sudo systemctl daemon-reload$ sudo systemctl restart docker

測(cè)試 docker 安裝是否成功

root@flexusx-c6b3:~# docker -vDocker version 27.2.0, build 3ab4256```

檢查 docker 服務(wù)狀態(tài)

root@flexusx-c6b3:~# systemctl status docker* docker.service - Docker Application Container EngineLoaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)Active: active (running) since Fri 2024-08-30 15:53:45 CST; 17h agoTriggeredBy: * docker.socketDocs: https://docs.docker.comMain PID: 24912 (dockerd)Tasks: 13Memory: 24.7MCPU: 3.778sCGroup: /system.slice/docker.service`-24912 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock

檢查 docker compose 版本

root@flexusx-c6b3:~# docker compose versionDocker Compose version v2.29.2

三、Flexus 云服務(wù)器 X 實(shí)例部署 LobeChat

3.1 LobeChat 介紹

LobeChat 是現(xiàn)代化設(shè)計(jì)的開(kāi)源 ChatGPT/LLMs 聊天應(yīng)用與開(kāi)發(fā)框架，支持語(yǔ)音合成、多模態(tài)、可擴(kuò)展的（function call）插件系統(tǒng)，一鍵免費(fèi)擁有你自己的 ChatGPT/Gemini/Claude/Ollama 應(yīng)用。

?文件上傳/知識(shí)庫(kù) LobeChat 支持文件上傳與知識(shí)庫(kù)功能，你可以上傳文件、圖片、音頻、視頻等多種類(lèi)型的文件，以及創(chuàng)建知識(shí)庫(kù)，方便用戶(hù)管理和查找文件。同時(shí)在對(duì)話中使用文件和知識(shí)庫(kù)功能，實(shí)現(xiàn)更加豐富的對(duì)話體驗(yàn)。

?多模型服務(wù)商支持在 LobeChat 的不斷發(fā)展過(guò)程中，我們深刻理解到在提供 AI 會(huì)話服務(wù)時(shí)模型服務(wù)商的多樣性對(duì)于滿足社區(qū)需求的重要性。因此，我們不再局限于單一的模型服務(wù)商，而是拓展了對(duì)多種模型服務(wù)商的支持，以便為用戶(hù)提供更為豐富和多樣化的會(huì)話選擇。

?支持本地大語(yǔ)言模型(LLM)為了滿足特定用戶(hù)的需求，LobeChat 還基于 Ollama 支持了本地模型的使用，讓用戶(hù)能夠更靈活地使用自己的或第三方的模型。

?模型視覺(jué)識(shí)別(Model Visual)LobeChat 已經(jīng)支持 OpenAI 最新的 gpt-4-vision 支持視覺(jué)識(shí)別的模型，這是一個(gè)具備視覺(jué)識(shí)別能力的多模態(tài)應(yīng)用。 用戶(hù)可以輕松上傳圖片或者拖拽圖片到對(duì)話框中，助手將能夠識(shí)別圖片內(nèi)容，并在此基礎(chǔ)上進(jìn)行智能對(duì)話，構(gòu)建更智能、更多元化的聊天場(chǎng)景。

?TTS & STT 語(yǔ)音會(huì)話 LobeChat 支持文字轉(zhuǎn)語(yǔ)音（Text-to-Speech，TTS）和語(yǔ)音轉(zhuǎn)文字（Speech-to-Text，STT）技術(shù)，這使得我們的應(yīng)用能夠?qū)⑽谋拘畔⑥D(zhuǎn)化為清晰的語(yǔ)音輸出，用戶(hù)可以像與真人交談一樣與我們的對(duì)話助手進(jìn)行交流。用戶(hù)可以從多種聲音中選擇，給助手搭配合適的音源。同時(shí)，對(duì)于那些傾向于聽(tīng)覺(jué)學(xué)習(xí)或者想要在忙碌中獲取信息的用戶(hù)來(lái)說(shuō)，TTS 提供了一個(gè)極佳的解決方案。

?Text to Image 文生圖支持最新的文本到圖片生成技術(shù)，LobeChat 現(xiàn)在能夠讓用戶(hù)在與助手對(duì)話中直接調(diào)用文生圖工具進(jìn)行創(chuàng)作。 通過(guò)利用 DALL-E 3、MidJourney 和 Pollinations 等 AI 工具的能力， 助手們現(xiàn)在可以將你的想法轉(zhuǎn)化為圖像。同時(shí)可以更私密和沉浸式地完成你的創(chuàng)作過(guò)程。

LobeChat 是經(jīng)過(guò)精心設(shè)計(jì)的界面，具有優(yōu)雅的外觀和流暢的交互效果，支持亮暗色主題，適配移動(dòng)端。支持 PWA，提供更加接近原生應(yīng)用的體驗(yàn)。流式響應(yīng)帶來(lái)流暢的對(duì)話體驗(yàn)，并且支持完整的 Markdown 渲染，包括代碼高亮、LaTex 公式、Mermaid 流程圖等。使用 我們的 Docker 鏡像，只需點(diǎn)擊一鍵部署按鈕，即可在 1 分鐘內(nèi)完成部署，無(wú)需復(fù)雜的配置過(guò)程，很適合構(gòu)建自己 AI 對(duì)話應(yīng)用。

?官網(wǎng)：https://lobechat.com/welcome

?Github：https://github.com/lobehub/lobe-chat

3.2 LobeChat 部署

?創(chuàng)建 docker-compose.yml

version:'3.5'services:lobe-chat:image:lobehub/lobe-chatcontainer_name:lobe-chatrestart:alwaysports: -'3210:3210'environment:OLLAMA_PROXY_URL:http://123.60.144.170:11434/

?ports:映射主機(jī)的 3210 端口到容器的 3210 端口

?OLLAMAPROXYURL: Ollama 服務(wù)地址

如果將上述代碼片段保存在名為 docker-compose.yml 的文件中，則只需從同一文件夾中運(yùn)行 docker compose up -d即可自動(dòng)拉取 LobeChat 鏡像，并創(chuàng)建并啟動(dòng)一個(gè)容器。up表示啟動(dòng)服務(wù)，-d表示在后臺(tái)執(zhí)行。docker-compose down命令用于停止和清理由 docker-compose up啟動(dòng)的服務(wù)。

?啟動(dòng)服務(wù)

進(jìn)入項(xiàng)目目錄，執(zhí)行 docker-compose up -d 啟動(dòng)命令，會(huì)自動(dòng)拉取容器并運(yùn)行

從 Dockerhub 拉取 LobeChat 鏡像，地址：https://hub.docker.com/r/lobehub/lobe-chat

root@flexusx-c6b3:~/lobechat# docker-compose up -dCreating network "lobechat_default" with the default driverPulling lobe-chat (lobehub/lobe-chat:latest)...latest: Pulling from lobehub/lobe-chata2318d6c47ec: Pull complete00e35d36405a: Pull complete225fba03fa1f: Pull complete447f637b003c: Pull completedd1be0639854: Pull complete9db807b569f9: Pull complete7d6120d566fb: Pull completeDigest: sha256:2b1663efad8125c5e428fa371a6b2d324f582d9010bae1a3e526df2b2b11dd3cStatus: Downloaded newer image for lobehub/lobe-chat:latestCreating lobe-chat ... Creating lobe-chat ... done

?配置安全組

在 Flexus 云服務(wù)器 X 實(shí)例的安全組管理頁(yè)面，添加入方向規(guī)則，接下來(lái)我們啟動(dòng)服務(wù)需要監(jiān)聽(tīng) 3210 端口，所以添加安全組為 TCP:3210 協(xié)議端口。

?檢查容器狀態(tài)

檢查 LobeChat 容器狀態(tài)，確保容器正常啟動(dòng)

root@flexusx-c6b3:~/lobechat# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES1b8d6fa19e28 lobehub/lobe-chat "docker-entrypoint.s…" 2 minutes ago Up About a minute 0.0.0.0:3210->3210/tcp, :::3210->3210/tcp lobe-chat

?訪問(wèn)地址

內(nèi)網(wǎng)：http://localhost:3210 外網(wǎng)：http://公網(wǎng) IP:3210

?訪問(wèn)結(jié)果

若出現(xiàn)此頁(yè)面，則部署 lobechat server 成功。

3.3 LobeChat 使用

應(yīng)用啟動(dòng)完成后，進(jìn)入主頁(yè)面，頭像是設(shè)置菜單，左側(cè)顯示會(huì)話、文件、發(fā)現(xiàn)模塊，左下角有 Github 地址和使用文檔鏈接，

點(diǎn)擊頭像進(jìn)入設(shè)置應(yīng)用，這里包含通用設(shè)置、系統(tǒng)助手、語(yǔ)言模型、語(yǔ)音服務(wù)、默認(rèn)助手，可配置的選項(xiàng)很多，主要是集成其他模型的 API Key

支持超多模型服務(wù)商

?AWS Bedrock：集成了 AWS Bedrock 服務(wù)，支持了 Claude / LLama2 等模型，提供了強(qiáng)大的自然語(yǔ)言處理能力。

?Google AI (Gemini Pro、Gemini Vision)：接入了 Google 的 Gemini 系列模型，包括 Gemini 和 Gemini Pro，以支持更高級(jí)的語(yǔ)言理解和生成。

?Anthropic (Claude)：接入了 Anthropic 的 Claude 系列模型，包括 Claude 3 和 Claude 2，多模態(tài)突破，超長(zhǎng)上下文，樹(shù)立行業(yè)新基準(zhǔn)。

?ChatGLM：加入了智譜的 ChatGLM 系列模型（GLM-4/GLM-4-vision/GLM-3-turbo），為用戶(hù)提供了另一種高效的會(huì)話模型選擇。

?Moonshot AI (月之暗面)：集成了 Moonshot 系列模型，這是一家來(lái)自中國(guó)的創(chuàng)新性 AI 創(chuàng)業(yè)公司，旨在提供更深層次的會(huì)話理解。

?Together.ai：集成部署了數(shù)百種開(kāi)源模型和向量模型，無(wú)需本地部署即可隨時(shí)訪問(wèn)這些模型。

?01.AI (零一萬(wàn)物)：集成了零一萬(wàn)物模型，系列 API 具備較快的推理速度，這不僅縮短了處理時(shí)間，同時(shí)也保持了出色的模型效果。

?Groq：接入了 Groq 的 AI 模型，高效處理消息序列，生成回應(yīng)，勝任多輪對(duì)話及單次交互任務(wù)。

?OpenRouter：其支持包括 Claude 3，Gemma，Mistral，Llama2 和 Cohere 等模型路由，支持智能路由優(yōu)化，提升使用效率，開(kāi)放且靈活。

?Minimax:接入了 Minimax 的 AI 模型，包括 MoE 模型 abab6，提供了更多的選擇空間。了解更多

?DeepSeek:接入了 DeepSeek 的 AI 模型，包括最新的 DeepSeek-V2，提供兼顧性能與價(jià)格的模型。

?Qwen:接入了 Qwen 的 AI 模型，包括最新的 qwen-turbo，qwen-plus 和 qwen-max 等模型。

我這里配置的是 Ollama 的本地模型服務(wù)，填寫(xiě) Ollama 服務(wù)地址，并測(cè)試下聯(lián)通性，通過(guò)即可

選擇會(huì)話菜單，進(jìn)入會(huì)話界面，和常見(jiàn)的大模型會(huì)話界面差不多，左側(cè)列表顯示不同的助手，對(duì)話框輸入消息，可選擇模型、圖片、知識(shí)庫(kù)、隨機(jī)性、不限歷史消息數(shù)、語(yǔ)音輸入、函數(shù)調(diào)用等選項(xiàng)，需要當(dāng)前模型支持時(shí)才可用，否則是置灰狀態(tài)

使用 Ollama llama2 模型測(cè)試下效果，貌似中文不太行

當(dāng)前部署模式不支持文件管理，當(dāng)前部署實(shí)例為客戶(hù)端數(shù)據(jù)庫(kù)模式，無(wú)法使用文件管理功能

發(fā)現(xiàn)頁(yè)展示助手、插件、模型和模型服務(wù)商四大分類(lèi)的內(nèi)容

這里有很多優(yōu)化好的針對(duì)專(zhuān)門(mén)需求的助手，當(dāng)然需要添加 OpenAI API Key，這些助手都是基于 OpenAI 的模型輸出的

豐富的插件市場(chǎng)

列表展示超多的模型，按照模型服務(wù)商分類(lèi)展示其旗下的各種模型

模型服務(wù)商分類(lèi)，介紹各個(gè)模型服務(wù)商的信息，

點(diǎn)擊 OpenAI 查看，會(huì)介紹旗下的多個(gè)模型及其價(jià)格

下面還有介紹在 LobeChat 中使用 OpenAI 的步驟

點(diǎn)擊配置服務(wù)商，直接進(jìn)入語(yǔ)言模型設(shè)置

LobeChat 打開(kāi)了對(duì)話助手的新世界，在不斷優(yōu)化自身和擴(kuò)展功能的過(guò)程中，LobeChat 努力為用戶(hù)帶來(lái)更加智能、靈活、多樣化的對(duì)話體驗(yàn)。LobeChat 是一個(gè)開(kāi)源、可擴(kuò)展（函數(shù)調(diào)用）、高性能的聊天機(jī)器人框架，它支持一鍵免費(fèi)部署您的私人 ChatGPT/LLM Web 應(yīng)用程序。作為集成大模型的聊天應(yīng)用的使用就是這些了，配置模型、使用模型并開(kāi)啟對(duì)話，還有更多有趣的設(shè)置和功能就需要自行探索了。

四、總結(jié)

LobeChat，是一個(gè)集成了語(yǔ)音合成、多模態(tài)、可擴(kuò)展插件系統(tǒng)的聊天框架。這一平臺(tái)最顯著的特性之一便是其多模型服務(wù)商的支持性，包括 AWS Bedrock、Google AI、Anthropic、ChatGLM 及其他多個(gè)全球知名模型服務(wù)商。此次使用的 Flexus X 實(shí)例配置還是很高的 4 核 12G-100G-3M 規(guī)格的基礎(chǔ)模式，此項(xiàng)目并不進(jìn)行大模型的推理過(guò)程，而是一個(gè)聊天網(wǎng)站，主要通過(guò)集成其他大模型服務(wù)來(lái)輸出對(duì)話，整體占用的 CPU 和內(nèi)存都不高，能夠很流暢的運(yùn)行。

華為云服務(wù)器正值 828 B2B 企業(yè)節(jié)，限時(shí)促銷(xiāo)，性能卓越，安全可靠。現(xiàn)在購(gòu)買(mǎi)，享受超值優(yōu)惠，還有專(zhuān)業(yè)技術(shù)支持，助力企業(yè)騰飛。抓緊機(jī)會(huì)，立即行動(dòng)！

審核編輯 黃宇