Die zunehmende Beliebtheit von ChatGPT und anderen Formen generativer KI markiert den Beginn einer transformativen Phase für Unternehmen und Gesellschaft. KI und maschinelles Lernen (ML) steigern den Geschäftswert schon seit einiger Zeit, doch das plötzliche Aufkommen generativer KI, einschließlich großer Sprachmodelle (Large Language Models, LLMs), löst in allen Branchen Wellen des Wandels aus.
Mit der Verbreitung von SaaS-Angeboten im Bereich der generativen KI – von ChatGPT von Open AI über Claude von Anthropic, Bard von Google bis hin zu Bing AI von Microsoft – beeilen sich Unternehmen jeder Größe, Richtlinien und Richtlinien für die Nutzung dieser neuen Dienste festzulegen. Gleichzeitig setzen sie sich auch mit den Auswirkungen dieser leistungsstarken, aber noch jungen Technologie auseinander – wie kann das Risiko der Offenlegung privater Informationen verringert, geistiges Eigentum geschützt, mit potenziellen Fehlinformationen oder schädlichen Inhalten umgegangen und unbeabsichtigte Urheberrechtsverletzungen vermieden werden?
In dieser sich schnell entwickelnden Landschaft hat sich für Unternehmen eine besonders dringende Frage herausgestellt: Wie können private Daten mit generativer KI sicher und effektiv genutzt werden? Genau in diesem Bereich kann unsere kürzlich eingeführte Plattform Splashtop Secure Workspace helfen.
Private KI-Modelle für Unternehmen
Sicherlich gibt es kommerzielle generative KI-SaaS-Angebote, die sich verpflichten, übermittelte Daten nicht zur Verbesserung ihrer öffentlichen Modelle zu verwenden. Allerdings ist es nicht für alle Unternehmen kein Problem, private Daten an einen Cloud-Dienst zu senden, über den sie kaum Kontrolle haben. Einige Organisationen unterliegen möglicherweise Datenhoheits- und aufsichtsrechtlichen Vorschriften, die die Nutzung von Diensten ausschließen, die in einer anderen Region oder einem anderen Land gehostet werden.
Andere Unternehmen, die von einem privaten KI-Modell profitieren würden, sind diejenigen, die den geschäftlichen Bedarf haben, ihre eigenen LLM-Modelle von Grund auf zu trainieren, oder die Datenerweiterungen und optimierte LLM-Modelle schützen müssen, die für bestimmte Aufgaben, beispielsweise Kundensupport, Finanzberatung und mehr, vorab trainiert wurden.
Unternehmen, die ihre eigene private generative KI- und MLOps-Infrastruktur aufbauen, sind in der Lage, das Potenzial dieser Tools unter ihre eigene IT-Kontrolle zu bringen – ob vor Ort oder in einer privaten cloud – und so an Geschäftsanforderungen, Compliance- und Datenhoheitsanforderungen anzupassen. Durch dieses Setup wird sichergestellt, dass alle sensiblen und vertraulichen Daten, die zum Trainieren, Feinabstimmen oder Erweitern von Abfragen an LLMs verwendet werden, nicht an externe Parteien weitergegeben werden.
Sichern des Zugriffs auf private Anwendungen, einschließlich Large Language Models
Auch ein privates Setup braucht Schutz. Alles in Ihrer operativen Pipeline für maschinelles Lernen, von den Sprachmodellen bis hin zu den unterstützenden Datenbanken und privaten Datenrepositorys, erfordert sichere Bereitstellung, Zugriff und Verwaltung.
Hier kommt Splashtop Secure Workspace ins Spiel. Wir bieten eine einfache und dennoch sichere Möglichkeit, den Zugriff auf jede private Unternehmensanwendung, einschließlich privater LLMs, zu kontrollieren. Unabhängig davon, ob Unternehmensanwendungen webbasierte Schnittstellen bereitstellen oder benutzerdefinierte Desktop- oder Mobilanwendungen erfordern, ermöglicht unsere Plattform sicheren Zugriff von jedem Client-Gerät, überall – und das alles, ohne dass Netzwerkdienst-Ports der Außenwelt ausgesetzt werden oder eine komplizierte Netzwerkeinrichtung mit Firewalls, Bastion-Hosts oder VPNs erforderlich ist.
Den Zugriff auf allen Ebenen sichern
Splashtop Secure Workspace unterstützt eine Vielzahl von Optionen zur Steuerung des Zugriffs auf jede private Unternehmensanwendung, einschließlich LLMs. Zu den wichtigsten Fähigkeiten gehören:
Single Sign-On (SSO)-Integration – Synchronisierung mit beliebten Identitätsanbietern (einschließlich Google, Microsoft, Okta)
Multi-Faktor-Authentifizierung (MFA) – Ermöglicht starke Authentifizierungskontrollen für Front-End- und Back-End-Benutzer in allen SSO-fähigen Unternehmensanwendungen, einschließlich Chat-Schnittstelle für ein privates Unternehmens-LLM.
Bedingte Zugriffskontrollen – Beschränkt den Zugriff auf Anwendungen durch Überprüfung wichtiger Compliance- und Sicherheitskriterien, einschließlich Geolokalisierung und Verwendung von unternehmenseigenen Laptops. Beispielsweise möchten Organisationen, die sich an Regeln zur Datensouveränität halten, möglicherweise den Zugriff auf das private LLM sperren, wenn Mitarbeiter ins Ausland reisen.
Privilegierter Zugriff mit delegierten Kontrollen – Splashtop kann den Zugriff steuern, indem es privilegierte Konten oder Dienstkonten, die für die Verwaltung kritischer Subsysteme und Daten in einer Unternehmensanwendung bestimmt sind, sicher delegiert. Bei einem LLM können Sie so den Zugriff auf das Modell selbst, eine Vektor- oder Diagrammdatenbank, unstrukturierte Datenrepositorys oder die ML-Pipeline steuern und verfolgen, ohne sensible Anmeldeinformationen unnötigen Risiken auszusetzen.
Sicherer Zugriff Dritter – Unsere Plattform bietet eine sichere Zugriffsfreigabe für Dritte, die möglicherweise vorübergehenden Zugriff auf Unternehmensanwendungen benötigen. Dazu könnte gehören, dass ein privater LLM-Lösungsanbieter einen sicheren Zugriff für die Fehlerbehebung vor Ort benötigt. Secure Workspace ermöglicht einen bequemen Zugriff bei gleichzeitiger vollständiger Aufzeichnung von Sitzungen für Audit- und Compliance-Zwecke.
Zero Trust Network Access (ZTNA) – Im Gegensatz zu herkömmlichen VPN s, die vollständigen Zugriff auf ein gesamtes Netzwerksubnetz gewähren, gewährt der ZTNA-Ansatz von Splashtop Secure Workspace punktuellen Zugriff auf genehmigte Ressourcen und sorgt so für eine minimale Angriffsfläche. Der „Default-Deny“-Ansatz bietet Sicherheit, wenn Unternehmens-LLMs hochsensible Daten verarbeiten.
API-gesteuerte Automatisierung – Unternehmen, die sich der Automatisierung und DevOps-Workflows verschrieben haben, werden die Möglichkeit zu schätzen wissen, unsere Secure Workspace-Plattform eng zu integrieren und zu automatisieren. Innerhalb eines generativen KI-Kontexts fügt sich Splashtop Secure Workspace nahtlos in jede MLOps-Pipeline ein und erleichtert die automatisierte Bereitstellung des Zugriffs auf wichtige Ressourcen sowie die automatisierte Konfiguration der Secure Workspace-Plattform selbst, wodurch die Produktivität maximiert und menschliche Fehler reduziert werden.
Jetzt zeigen wir Ihnen, wie Sie mit unserem Secure Workspace einen sicheren Zugriff auf generative KI von Unternehmen ermöglichen. Und wenn Sie mitmachen, erhalten Sie am Ende Ihren eigenen privaten LLM-basierten Chatbot – Ihr persönliches ChatGPT.
Ein praktischer Leitfaden zum Erstellen eines privaten LLM-Chatbots
Das Konzept, Ihren LLM-Chatbot zu erstellen, mag nach einer komplexen Aufgabe klingen. Die Realität ist jedoch, dass es einfacher ist, als Sie denken. Lassen Sie uns das Ganze mit einem Open-Source-MLOps-Tool namens dstack aufschlüsseln.
In diesem Beispiel können Sie mit einem einzigen dstack-Ausführungsbefehl LLM-As-Chatbot in Ihrer Cloud-Umgebung bereitstellen und aufrufen.
Das Beispiel stellt gleichzeitig auch den Splashtop Secure Workspace-Connector bereit, um Ihren privaten LLM-Chatbot mit Ihrem Secure Workspace zu verbinden. Anschließend können Sie die Zugriffskontrolle in Ihrem sicheren Arbeitsbereich wie bei jeder anderen Anwendung einrichten und dabei starke Authentifizierung, SSO, MFA und eine Reihe umfangreicher Richtlinien für den bedingten Zugriff nutzen.
Hier finden Sie eine Schritt-für-Schritt-Anleitung zum Einrichten des sicheren Zugriffs auf Ihr privates LLM:
Klonen Sie das Repository
git clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-ChatbotInstallieren und richten Sie dstack ein
pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
Melden Sie sich nach dem Start des dstack-Servers an und erstellen Sie ein Projekt mit Ihren Cloud-Anmeldeinformationen (AWS, GCP oder Azure).Erstellen Sie ein dstack-Profil
Erstellen Sie eine .dstack/profiles.yml-Datei im Stammverzeichnis des LLM-As-Chatbot-Ordners. Diese Datei sollte auf das erstellte Projekt verweisen und die Ressourcen beschreiben.
Beispiel:profiles:
- name: aws-llm
project: aws-llm
resources:
memory: 16GB
gpu:
count: 1
spot_policy: auto
default: TrueInitialisierung
Wechseln Sie zum dstack-Server, kopieren Sie den Befehl dstack config und fügen Sie ihn in das Terminal ein. Dadurch kann der dstack-Server die AWS-Ressourcen remote bereitstellen. Führen Sie anschließend den Befehl dstack init aus.dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init
So richten Sie Secure Workspace für Ihr privates LLM ein
Lassen Sie uns nun die notwendigen Schritte unternehmen, um den Zugriff auf Ihr eigenes privates Large Language Model (LLM) mit Splashtop Secure Workspace zu sichern. Unsere Connectors bieten eine sichere Konnektivität zu Ihren privaten Anwendungen und ermöglichen Ihnen eine zentrale Kontrolle über den Zugriff. Lassen Sie uns anfangen.
Schritt 1: Erstellen Sie einen Connector und kopieren Sie das Connector-Token
Melden Sie sich bei Ihrem Splashtop Secure Workspace-Administratorkonto an.
Gehen Sie zum Menü Bereitstellung , wählen Sie Connector aus und klicken Sie auf Connector hinzufügen.
Wählen Sie Headless/CLI, geben Sie den Connector-Namen ein und klicken Sie auf Weiter. Wählen Sie dann Linux und klicken Sie auf Fertig.
Klicken Sie nach dem Erstellen des Connectors in der Connector-Liste auf den Connector-Namen, um die Details anzuzeigen. Kopieren Sie das Token zur Verwendung unten.
Schritt 2: Erstellen Sie die LLM-Anwendung
Fügen Sie den privaten LLM-Chatbot-Dienst als private Anwendung hinzu, um diesen Dienst Ihren Mitarbeitern bereitzustellen.
Navigieren Sie zu Anwendungen/Anwendungen und klicken Sie auf die Schaltfläche Anwendung hinzufügen/Private Anwendung hinzufügen.
Füllen Sie das Formular mit dem Anwendungsnamen, „localhost“ als Host und „6006“ als Port aus.
Wählen Sie HTTP als Protokoll, wählen Sie den zuvor erstellten Connector-Namen und weisen Sie dieser Anwendung die richtige Gruppe zu. Klicken Sie auf Speichern.
Secure Workspace generiert automatisch einen vollqualifizierten Domänennamen (FQDN) für die private LLM-Anwendung.
Schritt 3: Führen Sie die App in Ihrer Cloud aus
Verwenden Sie im Ordner „LLM-As-Chatbot“ den Befehl dstack run, um das private LLM und Secure Workspace in Ihrer Cloud bereitzustellen (ersetzen Sie $token durch das Connector-Token aus Schritt 1):
dstack run . -f ssw-private-llm.yml $tokenMit diesem Befehl wird LLM-As-Chatbot in Ihrer Cloud bereitgestellt und ausgeführt und die Secure Workspace-Connector-Instanz gestartet.
Nachdem alles eingerichtet und ausgeführt wurde, verwenden Sie den von Ihnen erstellten FQDN, um auf das private LLM zuzugreifen. In der Zwischenzeit können Sie Berechtigungs- und bedingte Zugriffsrichtlinien für diese Anwendung einrichten.
Video-Ressource zur Anleitung
Eine Schritt-für-Schritt-Anleitung finden Sie in diesem Video:
Fazit
Da Unternehmen private generative KI und LLMs einführen, ist der Schutz des Zugangs zu diesen innovativen Systemen von größter Bedeutung.
Splashtop Secure Workspace ermöglicht einen sicheren Fernzugriff auf geschäftskritische Systeme und lässt sich gleichzeitig nahtlos in Ihre bestehende Infrastruktur integrieren.
Indem Sie die in diesem Artikel beschriebenen Schritte befolgen, können Sie Ihren privaten, sicheren LLM-Arbeitsbereich einrichten und verwalten und so die proprietären Daten Ihres Unternehmens schützen und gleichzeitig die betriebliche Effizienz aufrechterhalten.
Die Kombination aus generativer KI und sicheren Zugangssystemen wird weiterhin die Zukunft des Geschäftsbetriebs prägen. Durch die proaktive Einführung und sichere Verwaltung dieser Systeme kann Ihr Unternehmen an der Spitze dieser Transformation stehen.
Für einen frühen Zugriff auf Splashtop Secure Workspace tragen Sie sich auf unsere Warteliste ein.
