企業(yè)專用AI 模型

當然，有些商業(yè)生成式AI SaaS產品承諾不使用提交的數據來改進其公共模型。但是，并非所有公司都愿意將私人數據發(fā)送到他們幾乎無法控制的cloud 服務中。某些組織可能受主權和監(jiān)管合規(guī)性的約束，禁止使用在其他地區(qū)或國家托管的服務。

其他可以從私有人工智能模型中受益的公司是那些業(yè)務需要從頭開始訓練自己的法學碩士模型，或者需要保護數據增強和優(yōu)化的法學碩士模型，這些模型已經針對特定任務（例如客戶支持、財務咨詢等）進行了預先訓練。

構建自己的私有生成式AI 和MLOps基礎結構的公司能夠將這些工具的強大功能置于自己的IT控制之下（無論是在本地還是在私有cloud中），使他們能夠與業(yè)務需求、合規(guī)性和主權要求保持一致。這種設置可確保用于訓練、微調或增強對 LLM的查詢的任何敏感和機密數據都不會泄露給外部各方。

保護所有級別的訪問權限

Splashtop安全工作區(qū)支持一組豐富的選項來控制對任何私有企業(yè)應用程序（包括LLM）的訪問。主要功能包括：

單點登錄 （SSO）集成 – 與流行的身份提供商（包括Google、Microsoft、Okta）同步

多因素身份驗證(MFA) — 為所有支持SSO 的企業(yè)應用程序（包括私有企業(yè)LLM 的聊天界面）的前端和后端用戶啟用強大的身份驗證控制。

條件訪問控制-通過檢查關鍵合規(guī)性和安全標準（包括地理位置和使用公司發(fā)行的筆記本電腦）來限制對應用程序的訪問。例如，遵守數據主權規(guī)則的組織可能希望在員工出國旅行時阻止訪問私人法學碩士。

具有委派控制的特權訪問— Splashtop可以通過安全地委派指定用于管理企業(yè)應用程序中的關鍵子系統(tǒng)和數據的特權帳戶或服務帳戶來控制訪問。對于 LLM 來說，這允許您控制和跟蹤對模型本身、矢量或圖形數據庫、非結構化數據存儲庫或ML 管道的訪問權限，而不會不必要地暴露敏感憑據。

安全的第三方訪問— 我們的平臺為可能需要臨時訪問企業(yè)應用程序的第三方提供安全的訪問共享。這可能包括需要安全訪問權限才能進行現(xiàn)場故障排除的私有LLM 解決方案提供商。Secure Workspace 可實現(xiàn)便捷的訪問，同時完全記錄會話以用于審計和合規(guī)目的。

零信任網絡訪問（ZTNA）— 與授予對整個網絡子網的完全訪問權限的傳統(tǒng) VPN相比，Splashtop安全工作區(qū)的 ZTNA方法授予對已批準資源的精確訪問權限，從而確保最小的攻擊面?！澳J拒絕” 方法為企業(yè) LLM 處理高度敏感的數據提供了保證。

API 驅動的自動化— 致力于自動化 和 DevOps 工作流程的公司將欣賞我們的Secure Workspace 平臺緊密集成和自動化的能力。在生成式 AI 環(huán)境中，Splashtop安全工作區(qū)可無縫融入任何MLOps管道，從而促進對關鍵資源的自動配置訪問以及安全工作區(qū)平臺本身的自動配置，從而最大限度地提高生產力并減少人為錯誤。

現(xiàn)在，我們將演示如何使用我們的安全工作空間實現(xiàn)對企業(yè)生成式AI 的安全訪問。而且，為了繼續(xù)關注，你最終會得到自己的基于 LLM的私人聊天機器人 ——你自己的個人 ChatGPT。

如何為你的私人LLM 設置Secure Workspace

現(xiàn)在，讓我們采取必要的步驟來保護對您自己的私有大型語言模型LLM 的訪問，其中包含Splashtop 安全工作區(qū)。我們的連接器可為您的私有應用程序提供安全連接，讓您集中控制訪問權限。

步驟1：創(chuàng)建連接器并復制連接器令牌

登錄到您的 Splashtop安全工作區(qū)管理員帳戶。

轉到 “部 署” 菜單，選擇“連接器”，然后單擊 “添加連接器”。

選擇Headless/CLI，填寫連接器名稱，然后單擊“下一步”。然后選擇 Linux 并單擊“完成”。

創(chuàng)建連接器后，單擊連接器列表中的連接器名稱以查看詳細信息。復制 令牌 以供在下方使用。

步驟2：創(chuàng)建LLM 應用程序

將私人 LLM聊天機器人服務添加為私有應用程序，為您的員工提供此服務。

導航到 “應用程序/應用程序”，然后單擊“添加應用程序 /添加私有應用程序”按鈕。

在表格中填寫應用程序名稱，“l(fā)ocalhost”作為 主機 ，“6006”作為端口。

選擇 HTTP 作為協(xié)議，選擇之前創(chuàng)建的連接器名稱，然后為該應用程序分配正確的組。單擊 “保存”。

SecureWorkspace 將自動為私有LLM 應用程序生成完全限定的域名(FQDN)。

步驟3：在cloud中運行應用

在 LLM-As-Chatbot文件夾中，使用 dstackrun 命令在 cloud中預配專用 LLM和安全工作區(qū)（ 將$token替換為步驟 1中的連接器令牌）：dstackrun . -f ssw-private-llm.yml $token

此命令將在 cloud中預配和運行 LLM即聊天機器人，并啟動安全工作區(qū)連接器實例。

一切啟動并運行后，使用您創(chuàng)建的FQDN 訪問私有LLM。同時，您可以為此應用程序設置授權和條件訪問策略。

審核編輯：湯梓紅