ChatGPT 和其他形式的生成人工智能的普及日益增加，標誌著企業和社會的變革時期的開始。AI 和機器學習（ML）已經在提高企業價值一段時間，但生成人工智能（包括大型語言模型（LLM）（包括大型語言模型）的突然出現正在在所有行業中創造了變革浪潮。
隨著生成式人工智慧領域 SaaS 產品的激增——從 Open AI 的 ChatGPT 到 Anthropic 的 Claude、谷歌的 Bard 和Microsoft Bing AI——各種規模的公司都在爭相制定管理這些新興服務使用的指導方針和政策。 同時，他們也正在面對這種強大但新興技術的影響 —— 如何減輕私人信息暴露的風險，保護知識產權，處理潛在的錯誤信息或有害內容，並避免意外侵犯版權。
在這種快速發展的環境中，一個對於組織而言特別緊迫的問題是如何使用生成人工智能安全、安全和有效地使用私人數據。我們最近推出的 Splashtop Secure Workspace 平台正是在這個領域提供協助。
適用於企業的私人 AI 模型
當然，有商業生成的 AI SaaS 產品承諾不使用提交的數據來改善其公共模型。然而，並不是所有的公司都願意將私人資料傳送到他們無法控制的cloud服務。 某些組織可能受到主權和法規遵守規範，這不允許使用在其他地區或國家/地區託管的服務。
其他可從私人 AI 模型中受益的公司，是有業務需要從頭開始培訓自己的 LLM 模型的公司，或者需要保護資料增強和優化 LLM 模型的公司，這些公司已經針對特定任務預先訓練（例如客戶支援、財務諮詢等）。
建立自己的私有生成式 AI 和 MLOps 基礎架構的公司能夠將這些工具的功能置於自己的 IT 控制之下（無論是在本地還是在私有cloud中），使它們能夠滿足業務需求、合規性和主權要求。 此設定可確保用於訓練、微調或增強對 LLM 查詢的任何敏感和機密資料不會被外部方公開。
保護私有應用程式的存取，包括大型語言模型
私人設置也需要保護。機器學習作業管道中的所有內容，從語言模型到支援的資料庫和私人資料儲存庫都需要安全的佈建、存取和管理。
這就是 Splashtop Secure Workspace 的作用所在。我們提供一種簡單而安全的方法來控制對任何私人企業應用程序的訪問權限，包括私有 LLM。無論企業應用程式提供基於 Web 的介面還是需要自訂桌面或行動應用程序，我們的平台都支援從任何應用程式終端、任何地點進行安全訪問，並且無需將網路服務連接埠暴露給外界，也不需要使用防火牆、堡壘主機或 VPN 進行複雜的網路設定。
保護所有層級的存取
Splashtop Secure Workspace 支援豐富的選項來控制對任何私人企業應用程式（包括 LLM）的存取。主要功能包括：
單一登入 (SSO) 整合– 與流行的身份提供者同步（包括 Google、Microsoft、Okta）
多因素驗證 (MFA) — 在所有啟用 SSO 的企業應用程式中，可為前端和後端使用者啟用強大的驗證控制，包括私有企業 LLM 的聊天介面。
條件式存取控制 — 通過檢查主要合規性和安全性標準，包括地理位置和使用企業發行的筆記型電腦，來限制對應用程式的存取。例如，遵守數據主權規則的組織可能希望在員工出國旅行時阻止對私人 LLM 的訪問。
具有委託控制的特權存取權－Splashtop 可以透過安全地委託用於管理企業應用程式中的關鍵子系統和資料的特權帳戶或服務帳戶來控制存取。對於 LLM，這可讓您控制和追蹤對模型本身、向量或圖形資料庫、非結構化資料儲存庫或 ML 管道的存取，而不必要暴露於敏感身份證明。
安全的第三方存取 — 我們的平台提供與可能需要暫時存取企業應用程式的第三方提供安全存取共用。這可能包括需要安全訪問以進行現場疑難排解的私人 LLM 解決方案提供商。安全工作區可讓您輕鬆存取，同時完全記錄會話，以便於稽核和合規性目的
零信任網路存取（ZTNA） ——與傳統 VPN 授予對整個網路子網路的完全存取權限相比， Splashtop Secure Workspace的零信任網路存取（ZTNA）方法授予對核准資源的精確訪問，確保最小的攻擊面。 在企業 LLM 處理高度敏感資料時，「預設拒絕」方法可提供保證。
API 驅動自動化 — 致力於自動化和 DevOps 工作流程的公司將欣賞緊密整合和自動化我們的安全工作區平台的能力。在生成式 AI 環境中， Splashtop Secure Workspace可無縫融入任何 MLOps 管道，促進對關鍵資源的存取的自動配置以及 Secure Workspace 平臺本身的自動設置，從而最大限度地提高生產力並減少人為錯誤。
現在，我們將展示如何透過安全工作區啟用企業生成人工智慧的安全存取。而且，如果您跟進一步，您最終會有自己的基於 LLM 的私人聊天機器人 —— 您自己的個人 ChatGPT。
創建私人 LLM 聊天機器人的實用指南
建立 LLM 聊天機器人的概念可能聽起來像是一項複雜的任務。 但是，事實是它比你想像的簡單。讓我們使用一個名為 dstack 的開源 MLops 工具進行分解。
在此範例中，單一dstack執行命令可讓您在cloud環境中設定和啟動 LLM-As-Chatbot。
此範例也將同時提供 Splashtop Secure Workspace 連接器，將您的私人 LLM 聊天機器人連接到您的安全工作區。然後，您可以像任何其他應用程序一樣在安全工作區中設置存取控制，利用強大的驗證、SSO、MFA 和豐富的條件存取原則集。
以下是設定私人 LLM 安全存取的逐步指南：
複製儲存庫
git 克隆 https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM 作為聊天機器人安裝並設定 dstack
pip 安裝「dstack[aws,gcp,azure,lambda]」-Udstack 啟動
dstack伺服器啟動後，登入並使用您的cloud憑證（AWS、GCP或Azure）建立專案。建立 dstack 設定檔建立.dstack/個人資料 .ymlLLM-As-Chatbot 資料夾根目錄下的檔案。該檔案應指向已建立的項目並描述資源。
例子：個人資料：- 姓名：aws-llm
項目：aws-llm
資源：
記憶體：16GB
圖形處理器：
數量：1
spot_policy：自動
預設值：True初始化
切換到dstack伺服器，將dstack config 命令複製並貼上到終端機。這允許dstack伺服器遠端配置 AWS 資源。使用 dstack init 命令執行此操作。dstack 配置-網址 http://127.0.0.1:3000--項目 aws-llm--令牌 $ MY_ 代幣
dstack 初始化
如何為您的私有 LLM 設置安全工作區
現在，讓我們採取必要的步驟，透過 Splashtop Secure Workspace 保護您自己的私人大型語言模型 LLM 的存取。我們的連接器可為您的私人應用程式提供安全連線，讓您集中控制存取權。讓我們開始吧。
步驟 1：建立連接器並複製連接器
登入您的 Splashtop Secure Workspace 管理員帳號。
轉到部署選單，選擇連接器，然後按一下新增連接器。
選擇「 無頭/CLI」，填寫 連接器名稱，然後按一下「下一步」。然後選擇 Linux，然後單擊完成。
建立連接器後，按一下連接器清單中的連接器名稱即可查看詳細資訊。 請複製權利杖以供使用。
步驟 2：創建 LLM 應用程序
將私有 LLM 聊天機器人服務添加為私人應用程序，以將此服務提供給您的員工。
導覽至應用程式/應用程式，然後按一下「新增應用程式/新增私人應用程式」按鈕
在表單中填入應用程式名稱、「localhost」作為主機、「6006」作為連接埠。
選擇HTTP作為協議，選擇先前建立的連接器名稱並為該應用程式指派適當的群組。按一下「儲存」。
Secure Workspace 將自動為私有 LLM 應用程式產生一個完全限定網域名稱 (FQDN)。
步驟 3：在您的cloud運行該應用程式
在 LLM-As-Chatbot 資料夾中，使用dstack 執行指令在cloud中設定私有 LLM 和安全性工作區（將$權利杖替換為步驟 1 中的連接器權利杖）：
dstack 執行。 -f ssw-private-llm.yml $權杖此命令將在您的cloud中設定和執行 LLM-As-Chatbot 並啟動安全工作區連接器執行個體。
一切都啟動並運行之後，請使用您建立的 FQDN 來存取私有 LLM。同時，您可以為此應用程序設置權限和條件訪問原則。
操作方法視頻資源
如需逐步指導，請觀看影片：
結論
隨著企業採用私人生成人工智能和 LLM，保護對這些創新系統的訪問權限變得至關重要。
Splashtop Secure Workspace Workspace可以安全地遠端存取關鍵業務系統，同時與您現有的基礎架構無縫整合。
按照本文中概述的步驟，您可以設置和管理私有 LLM 安全工作區，保護公司的專有資料，同時維持營運效率。
Generative AI 和安全存取系統的結合將繼續塑造業務營運的未來，積極採用和安全管理這些系統，可以將您的企業置於此轉型的前線。
若要儘早造訪 Splashtop Secure Workspace，請加入我們的候補名單。
