Beveiligde toegang tot Enterprise Generative AI met Splashtop

De stijgende populariteit van ChatGPT en andere vormen van generatieve AI markeert het begin van een transformatieve periode voor bedrijven en de samenleving. AI en machine learning (ML) verhogen al geruime tijd de waarde van bedrijven, maar de plotselinge opkomst van generatieve AI, waaronder grote taalmodellen (LLM's), zorgt voor golven van verandering in alle sectoren.

Met de proliferatie van SaaS-aanbiedingen in de generatieve AI-ruimte - van Open AI's ChatGPT tot Anthropic's Claude, Google's Bard en Microsoft Bing AI - haasten bedrijven van alle groottes zich om richtlijnen en beleidsregels op te stellen voor het gebruik van deze opkomende diensten. Tegelijkertijd worstelen ze ook met de implicaties van deze krachtige maar ontluikende technologie - hoe het risico van blootstelling van privé-informatie te beperken, intellectueel eigendom te beschermen, om te gaan met mogelijke verkeerde informatie of schadelijke inhoud en onbedoelde inbreuk op het auteursrecht te voorkomen.

In dit snel evoluerende landschap is een vraag naar voren gekomen die bijzonder urgent is voor organisaties: hoe ze privégegevens veilig, beveiligd en effectief kunnen gebruiken met generatieve AI. Juist op dit gebied kan ons onlangs geïntroduceerde Splashtop Secure Workspace platform helpen.

Private AI-modellen voor ondernemingen

Zeker, er zijn commerciële generatieve AI SaaS-aanbiedingen die beloven geen ingediende gegevens te gebruiken om hun openbare modellen te verbeteren. Niet alle bedrijven voelen zich er echter prettig bij om privégegevens naar een cloud service te sturen waar ze weinig controle over hebben. Sommige organisaties kunnen onderworpen zijn aan soevereiniteit en naleving van regelgeving die het gebruik van services die in een andere regio of een ander land worden gehost, uitsluiten.

Andere bedrijven die baat zouden hebben bij een privaat AI-model zijn bedrijven die de zakelijke behoefte hebben om hun eigen LLM-modellen helemaal opnieuw te trainen, of die data-augmentaties en geoptimaliseerde LLM-modellen moeten beschermen die vooraf zijn getraind voor specifieke taken, zoals klantenondersteuning, financieel advies en meer.

Bedrijven die hun eigen privé-infrastructuur voor generatieve AI en MLOps bouwen, zijn in staat om de kracht van deze tools onder hun eigen IT-controle te brengen - on-prem of in een privécloud - waardoor ze kunnen afstemmen op de bedrijfsbehoeften en de vereisten voor compliance en soevereiniteit. Deze instelling zorgt ervoor dat alle gevoelige en vertrouwelijke gegevens die worden gebruikt om query's naar LLM's te trainen, te verfijnen of aan te vullen, niet worden blootgesteld aan externe partijen.

Beveiliging van de toegang tot privé-applicaties, waaronder grote taalmodellen

Een privé-opstelling heeft ook bescherming nodig. Alles in uw operationele pijplijn voor machine learning, van de taalmodellen tot de ondersteunende databases en opslagplaatsen voor privégegevens, vereist veilige provisioning, toegang en beheer.

Dat is waar Splashtop Secure Workspace om de hoek komt kijken. We bieden een eenvoudige maar veilige manier om de toegang tot elke private bedrijfsapplicatie te beheren, inclusief private LLM's. Of bedrijfsapplicaties nu webgebaseerde interfaces bieden of aangepaste desktop- of mobiele applicaties vereisen, ons platform maakt veilige toegang mogelijk vanaf elk clientapparaat, overal en allemaal zonder netwerkservicepoorten bloot te stellen aan de buitenwereld of ingewikkelde netwerkinstellingen met firewalls, bastion-hosts of VPN's te vereisen.

Beveiliging van de toegang op alle niveaus

Splashtop Secure Workspace ondersteunt een uitgebreide set opties om de toegang tot elke privébedrijfstoepassing te beheren, inclusief LLM's. De belangrijkste mogelijkheden zijn:

• Single Sign-On (SSO) integratie - Synchroniseert met populaire identiteitsproviders (waaronder Google, Microsoft, Okta)

• Multi-Factor Authentication (MFA) — Maakt sterke authenticatiecontroles mogelijk voor zowel front-end als back-end gebruikers in alle SSO-enabled bedrijfsapplicaties, inclusief chat-interface voor een private enterprise LLM.

• Voorwaardelijke toegangscontroles : beperkt de toegang tot applicaties door belangrijke nalevings- en beveiligingscriteria te controleren, waaronder geolocatie en het gebruik van door het bedrijf uitgegeven laptops. Organisaties die zich houden aan de regels voor gegevenssoevereiniteit kunnen bijvoorbeeld de toegang tot de particuliere LLM willen blokkeren wanneer werknemers naar het buitenland reizen.

• Bevoorrechte toegang met gedelegeerde controles - Splashtop kan de toegang beheren door het veilig delegeren van bevoorrechte accounts of serviceaccounts die zijn aangewezen voor het beheer van kritieke subsystemen en gegevens in een bedrijfsapplicatie. Voor een LLM kunt u hiermee de toegang tot het model zelf, een vector- of grafiekdatabase, ongestructureerde gegevensopslagplaatsen of de ML-pijplijn beheren en volgen, zonder onnodige blootstelling aan gevoelige referenties.

• Veilige toegang door derden — Ons platform biedt veilige toegang delen met derden die mogelijk tijdelijke toegang tot bedrijfsapplicaties nodig hebben. Dit kan een particuliere LLM-oplossingsprovider zijn die beveiligde toegang nodig heeft voor het oplossen van problemen ter plaatse. Secure Workspace maakt gemakkelijke toegang mogelijk terwijl sessies volledig worden opgenomen voor audit- en nalevingsdoeleinden.

• Zero Trust Network Access (ZTNA) - In tegenstelling tot traditionele VPN's die volledige toegang verlenen tot een heel netwerksubnet, verleent de ZTNA-benadering van Splashtop Secure Workspace gerichte toegang tot goedgekeurde bronnen, waardoor een minimaal aanvalsoppervlak wordt gegarandeerd. De "default-deny"-benadering biedt geruststelling wanneer LLM's van ondernemingen zeer gevoelige gegevens verwerken.

• API-gestuurde automatisering — Bedrijven die zich inzetten voor automatisering en DevOps-workflows zullen de mogelijkheid waarderen om ons Secure Workspace-platform nauw te integreren en te automatiseren. Binnen een generatieve AI-context past Splashtop Secure Workspace naadloos in elke MLOps-pijplijn, waarbij de toegang tot belangrijke bronnen automatisch wordt verstrekt en het Secure Workspace-platform zelf automatisch wordt geconfigureerd, waardoor de productiviteit wordt gemaximaliseerd en het aantal menselijke fouten wordt verminderd.

Nu laten we zien hoe u veilige toegang tot generatieve AI voor ondernemingen mogelijk kunt maken met onze Secure Workspace. En om mee te doen, eindig je met je eigen privé LLM-gebaseerde chatbot: je eigen persoonlijke ChatGPT.

Een praktische gids voor het maken van een privé LLM-chatbot

Het concept van het bouwen van uw LLM-chatbot klinkt misschien als een complexe taak. De realiteit is echter dat het eenvoudiger is dan je denkt. Laten we het opsplitsen met behulp van een open-source MLOps-tool genaamd dstack.

In dit voorbeeld kun je met een enkel dstack run commando LLM-As-Chatbot provisionen en opstarten in je cloud omgeving.

Het voorbeeld zal ook gelijktijdig de Splashtop Secure Workspace connector provisionen om je privé LLM chatbot te verbinden met je Secure Workspace. U kunt vervolgens toegangsbeheer instellen binnen uw beveiligde werkruimte, net als elke andere toepassing, met behulp van sterke authenticatie, SSO, MFA en een uitgebreide set beleid voor voorwaardelijke toegang.

Hier is een stap-voor-stap handleiding voor het instellen van veilige toegang tot uw privé LLM:

1. Kloon de repository
   git kloon https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-Chatbot

2. Installeer en stel dstack in
   pip install "
   dstack[aws,gcp,azure,lambda]" -Udstack start
   Zodra de dstack server start, log je in en maak je een project aan met je cloud referenties (AWS, GCP of Azure).

3. Maak een dstack-profiel aan
   Maak een .dstack/profiles.yml bestand onder de hoofdmap van de LLM-As-Chatbot-map. Dit bestand moet verwijzen naar het gemaakte project en de resources beschrijven.
   Voorbeeld:
   Profielen:
- Naam: AWS-LLM
Project: AWS-LLM
weg:
geheugen: 16GB
Gpu:
aantal: 1
spot_policy: auto
standaardinstelling: Waar

4. Initialisatie
   Schakel over naar de dstack-server , kopieer en plak het dstack-configuratie-commando naar de terminal. Hierdoor kan de dstack-server de AWS-bronnen op afstand inrichten. Volg dit met het dstack init commando.
   dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init

Hoe u Secure Workspace instelt voor uw privé LLM

Laten we nu de stappen nemen die nodig zijn om de toegang tot je eigen privé Large Language Model LLM te beveiligen met Splashtop Secure Workspace. Onze connectoren bieden veilige connectiviteit met uw privétoepassingen, waardoor u gecentraliseerde controle over de toegang krijgt. Laten we beginnen.

Stap 1: Maak een connector en kopieer het connectortoken

1. Log in op je Splashtop Secure Workspace beheerdersaccount.

2. Ga naar het menu Implementatie, selecteer Connector en klik op Connector toevoegen.

3. Kies Headless / CLI, vul de naam van de connector in en klik op Volgende. Kies vervolgens voor Linux en klik op Gereed.

4. Nadat u de connector hebt gemaakt, klikt u op de naam van de connector in de lijst met connectoren om de details weer te geven. Kopieer het token voor gebruik hieronder.

Stap 2: Maak de LLM-applicatie

1. Voeg de private LLM-chatbotservice toe als een privétoepassing om deze service aan uw werknemers te leveren.

2. Navigeer naar de toepassingen/toepassingen en klik op de knop Toepassing toevoegen/Privétoepassing toevoegen.

3. Vul het formulier in met de naam van de toepassing, 'localhost' als host en'6006' als haven.

4. Kies HTTP als protocol, kies de connectornaam die eerder is gemaakt en wijs de juiste groep toe aan deze toepassing. Klik op Opslaan.

Secure Workspace genereert automatisch een fully qualified domain name (FQDN) voor de private LLM-applicatie.

Stap 3: Start de app in je cloud

1. Gebruik in de map LLM-As-Chatbot het commando dstack run om de private LLM en Secure Workspace in je cloud te provisionen (vervang $token door het connectortoken uit stap 1):
   dstackrun . -f ssw-private-llm.yml $token

2. Dit commando zal LLM-As-Chatbot in je cloud beschikbaar stellen en uitvoeren en de Secure Workspace connector instantie starten.

3. Nadat alles actief is, gebruikt u de FQDN die u hebt gemaakt om toegang te krijgen tot de privé-LLM. In de tussentijd kunt u beleid voor bevoegdheden en voorwaardelijke toegang instellen voor deze toepassing.

Hoe videobron

Bekijk de video voor een stapsgewijze vervolghandleiding:

Splashtop Secure Workspace - Generative AI & Private LLM

Conclusie

Naarmate ondernemingen private generatieve AI en LLM's adopteren, wordt het waarborgen van de toegang tot deze innovatieve systemen van het grootste belang.

Splashtop Secure Workspace kan externe toegang tot bedrijfskritische systemen beveiligen terwijl het naadloos integreert met je bestaande infrastructuur.

Door de stappen in dit artikel te volgen, kunt u uw beveiligde privéwerkruimte voor LLM instellen en beheren, waardoor de bedrijfseigen gegevens worden beschermd en de operationele efficiëntie behouden blijft.

De combinatie van generatieve AI en veilige toegangssystemen zal de toekomst van de bedrijfsvoering blijven vormgeven, en proactief zijn in de adoptie en het veilige beheer van deze systemen kan uw onderneming in de voorhoede van deze transformatie plaatsen.

Schrijf je in op onze wachtlijst voor vroegtijdige toegang tot Splashtop Secure Workspace.