ChatGPT 和其他形式的生成人工智能的普及日益增加，標誌著企業和社會變革時期的開始。 人工智能和機器學習（ML）已經在一段時間內提高了企業的價值，但生成人工智能（包括大型語言模型（LLM）在內的突然出現，正在創造所有行業的變化浪潮。
隨著生成型人工智能領域 SaaS 產品的激增——從 Open AI 的 ChatGPT 到 Anthropic 的 Claude、Google 的 Bard 和 Microsoft Bing AI——各種規模的公司都在爭先恐後地制定指導方針和政策來管理這些新興服務的使用。同時，他們還在努力解決這項強大但新興技術的影響，如何減輕私人信息暴露的風險，保護知識產權，處理潛在的錯誤信息或有害內容，並避免意外侵犯版權。
在這個快速發展的格局中，對組織而言，一個特別迫切的問題是如何安全，安全和有效地使用私有數據與生成 AI。 正是在這個領域，我們最近推出的 Splashtop Secure Workspace 平台可以提供幫助。
適用於企業的私人 AI 模型
當然，有一些商業生成 AI SaaS 產品承諾不使用提交的數據來改善其公共模型。 然而，並非所有公司都願意將私人數據發送到他們幾乎無法控制的 cloud 服務中。某些組織可能會受到主權和法規遵循規定的約束，這些規定不會使用其他地區或國家/地區託管的服務。
其他可以從私有 AI 模型中受益的公司是那些有業務需要從頭開始訓練自己的 LLM 模型的公司，或者需要保護數據增強和優化的 LLM 模型，這些模型已針對特定任務進行了預先培訓，例如客戶支持，財務諮詢等。
構建自己的私有生成 AI 和 MLOps 基礎設施的公司能夠將這些工具的強大功能置於自己的 IT 控制之下（無論是在本地還是在私有 cloud 中），從而使他們能夠滿足業務需求、合規性和主權要求。此設置可確保用於對 LMS 進行培訓，微調或增強查詢的任何敏感和機密數據不會暴露給外部方。
保護私有應用程式的存取，包括大型語言模型
私人設置也需要保護。 從語言模型到支援的資料庫和私有資料儲存庫，您的機器學習作業管道中的所有項目都需要安全佈建、存取和管理。
這就是 Splashtop 安全工作區的用武之地。我們提供一種簡單而安全的方式來控制對任何私人企業應用程序的訪問，包括私人有限責任公司。 無論企業應用程序提供基於Web的界面還是需要自訂桌面或移動應用程序，我們的平台都可以從任何用戶端裝置、任何地方進行安全訪問，並且無需將網絡服務端口暴露給外界，也不需要使用防火牆、堡壘進行複雜的網絡設置主機或 VPN。
保護所有層級的存取
Splashtop Secure Workspace 支持一組豐富的選項來控制對任何私人企業應用程序（包括法學碩士）的訪問。主要功能包括：
單點登錄 (SSO) 集成 – 與流行的身份提供商（包括 Google、Microsoft、Okta）同步
多重驗證 (MFA) — 為所有支持 SSO 的企業應用程序的前端和後端用戶提供強大的驗證控制，包括私營企業 LLM 的聊天界面。
條件式存取控制 — 檢查關鍵合規性和安全性準則 (包括地理位置) 以及使用公司發行的筆記型電腦，以限制對應用程式的存取。 例如，遵守數據主權規則的組織可能希望在員工出國旅行時阻止對私人 LLM 的訪問。
具有委派控制的特權訪問 — Splashtop 可以通過安全地委派特權帳戶或指定用於管理企業應用程序中的關鍵子系統和數據的服務帳戶來控制訪問。對於 LLM，這使您可以控制和跟踪對模型本身，向量或圖形數據庫，非結構化數據存儲庫或 ML 管道的訪問，而無需不必要暴露於敏感憑據。
安全第三方存取 — 我們的平台為可能需要臨時存取企業應用程式的第三方提供安全的存取共享。 這可能包括需要安全訪問以進行現場故障排除的私人 LLM 解決方案提供商。 安全工作區可讓您方便存取，同時完整記錄工作階段，以供稽核與合規
零信任網絡訪問 (ZTNA) — 與授予對整個網絡子網的完全訪問權限的傳統 VPN 相比，Splashtop Secure Workspace 的 ZTNA 方法授予對批准資源的精確訪問權限，從而確保最小的攻擊面。「默認拒絕」方法為企業 LLM 處理高度敏感數據提供了放心。
API 驅動的自動化 — 致力於自動化和 DevOps 工作流程的公司將欣賞緊密整合和自動化我們的安全工作區平台的能力。 在生成式 AI 環境中，Splashtop Secure Workspace 無縫融入任何 MLOps 管道，促進自動配置對關鍵資源的訪問以及自動設置 Secure Workspace 平臺本身，從而最大限度地提高生產力並減少人為錯誤。
現在，我們將示範如何透過我們的安全工作區啟用對企業生成 AI 的安全存取。 而且，為了跟隨，您最終將獲得自己的基於 LLM 的私人聊天機器人-您自己的個人聊天 GPT。
創建私人 LLM 聊天機器人的實用指南
構建 LLM 聊天機器人的概念可能聽起來像是一項複雜的任務。但是，現實情況是它比您想像的要簡單。 讓我們使用名為 dstack 的開源 mLOP 工具來分解它。
在此示例中，單個 dstack 執行命令允許您在 cloud 環境中配置和啟動 LLM-As-Chatbot。
該示例還將同時配置 Splashtop 安全工作區連接或將您的私人 LLM 聊天機器人連接到您的安全工作區。然後，您可以像任何其他應用程序一樣，利用強大的驗證、SSO、MFA 和一組豐富的條件訪問策略，在安全工作區中設置訪問控制。
以下是設置對私人 LLM 的安全訪問的分步指南：
克隆存儲庫
混帳克隆 https://github.com/yanlinw/LLM-As-Chatbot.gitcd 有限公司作為聊天機器人安裝並設置 dstack
pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
dstack 服務器啟動後，使用您的 cloud 憑證（AWS、GCP 或 Azure）登錄並創建一個項目。建立 dstack 設定檔
創建一個 .dstack/配置文件.yml 文件位於 LLM-As-Chatbot 文件夾的根目錄下。該文件應指向創建的項目並描述資源。
示例：配置文件：
- 名稱：aws-llm
項目：aws-llm
資源：
內存：16GB
GPU：
計數：1
spot_policy：auto
默認：True初始化
切換到 dstack 服務器，將 dstack config 命令複製並粘貼到終端。這允許 dstack 服務器遠程配置 AWS 資源。請使用 dstack 初始化命令來執行此操作。dstack 配置-網址 http://127.0.0.1:3000-項目 AWS-法律-令牌 $ 我的令牌化
堆疊初始
如何為您的私人 LLM 設置安全工作區
現在，讓我們採取必要的步驟，通過 Splashtop Secure Workspace 來安全地訪問您自己的私有大型語言模型 LLM。我們的連接器為您的私有應用程式提供安全的連線能力，讓您集中控制存取。 讓我們開始吧。
步驟1：創建連接器並複制連接器權杖
登入您的 Splashtop Secure Workspace 管理員帳戶。
轉到 部署 菜單，出現 連接器，然後單擊 添加連接器。
選擇 [無周邊/CLI]，填入連接器名稱，然後按 [下一步]。 然後選擇 Linux 並按一下「 完成」。
創建連接器後，在連接器清單中單擊連接器名稱即可查看詳細數據。複製下面的 權杖 使用。
步驟 2：創建 LLM 應用程序
將私人 LLM 聊天機器人服務添加為私人應用程序，以向您的員工提供此服務。
導覽至「 應用程式/應用程式 」，然後按一下「新增應用程式 /新增 私人應用程
使用應用程序名稱填寫表單，“localhost”作為 主機，“6006”作為 連接端口。
選擇 HTTP 作為 Protocol ，選擇之前創建的連接器名稱，並為該應用程序指定正確的組。按一下 儲存。
Secure Workspace 將為私人 LLM 申請自動生成完全合格的網域名稱 (FQDN)。
第 3 步：在您的 cloud中運行應用程序
在 LLM-As-Chatbot 文件夾中，使用 dstack 執行 命令在 cloud中配置私有 LLM 和安全工作區（將 $權杖 替換為步驟 1 中的連接器 權杖）：
dstack 執行 。 -f ssw-private-llm.yml $權杖此命令將在您的 cloud 中配置和執行 LLM-As-Chatbot，並啟動安全工作區連接器實例。
一切都啟動並運行後，使用您創建的 FQDN 來訪問私有 LLM。 同時，您可以為此應用程式設定權利和條件式存取原則。
如何視頻資源
有關分步操作指南，請觀看視頻：
結論
隨著企業採用私有生成 AI 和 LMS，保護對這些創新系統的訪問變得至關重要。
Splashtop Secure Workspace 可以安全地訪問關鍵業務系統，同時與您現有的基礎設施無縫集成。
通過按照本文概述的步驟進行操作，您可以設置和管理私有 LLM 安全工作區，從而保護公司的專有數據，同時保持運營效率。
生成式人工智慧與安全存取系統的結合將持續塑造業務營運的未來，並且主動採用和安全管理這些系統，可以將您的企業定位在此轉型的最前沿。
如需儘早訪問 Splashtop Secure Workspace，請加入我們的候補名單。
