Ottimizzare l'accesso sicuro all'intelligenza artificiale generativa aziendale con Splashtop

La crescita di popolarità di ChatGPT e di altre forme di IA generativa segna l'inizio di un periodo di trasformazione per le aziende e la società. L'IA e l'apprendimento automatico (ML) stanno accrescendo il valore delle aziende già da qualche tempo, ma l'improvvisa comparsa dell'IA generativa, compresi i modelli linguistici di grandi dimensioni (LLM), sta creando ondate di cambiamento in tutti i settori.

Con la proliferazione di offerte SaaS nello spazio dell'AI generativa - da ChatGPT di Open AI a Claude di Anthropic, Bard di Google e Bing AI di Microsoft - le aziende grandi e piccole si stanno affrettando a stabilire linee guida e politiche che disciplinino l'utilizzo di questi servizi emergenti. Allo stesso tempo, sono anche alle prese con le implicazioni di questa tecnologia potente ma ancora in fase di sviluppo: come mitigare il rischio di esposizione delle informazioni private, proteggere la proprietà intellettuale, gestire la potenziale disinformazione o i contenuti dannosi ed evitare involontarie violazioni del copyright.

In questo panorama in rapida evoluzione, è emersa una domanda particolarmente pressante per le organizzazioni: come utilizzare in modo sicuro, protetto ed efficace i dati privati con l'IA generativa. È proprio in questo ambito che la nostra piattaforma Splashtop Secure Workspace, recentemente lanciata, può essere utile.

Modelli privati di intelligenza artificiale per le aziende

Di sicuro, esistono offerte commerciali di AI generativa SaaS che si impegnano a non utilizzare i dati inviati per migliorare i loro modelli pubblici. Tuttavia, non tutte le aziende si sentono a proprio agio nell'inviare dati privati a un servizio cloud su cui hanno un controllo limitato. Alcune organizzazioni potrebbero essere soggette a vincoli di sovranità e conformità normativa che precludono l'uso di servizi ospitati in un'altra regione o paese.

Altre aziende che potrebbero trarre vantaggio da un modello privato di intelligenza artificiale sono quelle che hanno l'esigenza di addestrare i propri modelli LLM da zero o che devono tutelare l'aumento dei dati e i modelli LLM ottimizzati che sono stati già addestrati per compiti specifici, come l'assistenza clienti, la consulenza finanziaria e altro.

Le aziende che sviluppano la propria infrastruttura privata di IA generativa e MLOps sono in grado di mettere la potenza di questi strumenti a disposizione del proprio personale IT - sia on-premise che in cloud privato - garantendo l'allineamento con le esigenze aziendali, la conformità e i requisiti di sovranità. Questa configurazione garantisce che tutti i dati sensibili e riservati utilizzati per addestrare, perfezionare o aumentare le query agli LLM non siano esposti a soggetti esterni.

Proteggere l'accesso alle applicazioni private, compresi i modelli linguistici di grandi dimensioni

Anche una configurazione privata ha bisogno di protezione. Tutto ciò che fa parte di una pipeline operativa di apprendimento automatico, dai modelli linguistici ai database di supporto e ai repository di dati privati, richiede provisioning, accesso e gestione sicuri.

È qui che entra in gioco Splashtop Secure Workspace. La nostra soluzione offre un modo semplice e sicuro per controllare l'accesso a qualsiasi applicazione aziendale privata, compresi gli LLM privati. Sia che le applicazioni aziendali forniscano interfacce basate sul web, sia che richiedano applicazioni desktop o mobili personalizzate, la nostra piattaforma consente un accesso sicuro da qualsiasi dispositivo client, ovunque e senza esporre le porte dei servizi di rete al mondo esterno o richiedere complicate configurazioni di rete con firewall, bastion host o VPN.

Garantire l'accesso a tutti i livelli

Splashtop Secure Workspace offre una ricca serie di opzioni per il controllo dell'accesso di qualsiasi applicazione aziendale privata, compresi gli LLM. Le principali funzionalità includono:

• Integrazione Single Sign-On (SSO) - Si sincronizza con i più diffusi identity provider (tra cui Google, Microsoft, Okta)

• Autenticazione a più fattori (MFA) - Consente controlli di autenticazione forti sia per gli utenti front-end che per quelli back-end in tutte le applicazioni aziendali abilitate al SSO, compresa l'interfaccia di chat per un LLM aziendale privato.

• Controlli di accesso condizionato - Limita l'accesso alle applicazioni verificando i principali criteri di conformità e sicurezza, tra cui la geolocalizzazione e l'uso di computer portatili aziendali. Ad esempio, le organizzazioni che rispettano le norme sulla sovranità dei dati potrebbero voler bloccare l'accesso al LLM privato quando i dipendenti sono in viaggio all'estero.

• Accesso privilegiato con controlli delegati - Splashtop può controllare l'accesso delegando in modo sicuro gli account privilegiati o gli account di servizio designati per la gestione di sottosistemi e dati critici in un'applicazione aziendale. Per un LLM, questo permette di controllare e tracciare l'accesso al modello stesso, a un database vettoriale o a grafo, a repository di dati non strutturati o alla pipeline ML, senza esporre inutilmente credenziali sensibili.

• Accesso sicuro da parte di terzi - La nostra piattaforma consente di condividere un accesso sicuro con terze parti che potrebbero aver bisogno di un accesso temporaneo alle applicazioni aziendali. Ad esempio, un fornitore privato di soluzioni LLM ha bisogno di un accesso sicuro per la risoluzione di problemi in loco. Secure Workspace consente un accesso comodo e allo stesso tempo la registrazione completa delle sessioni per scopi di verifica e conformità.

• Zero Trust Network Access (ZTNA) - A differenza delle VPN tradizionali, che garantiscono l'accesso completo a un'intera subnet di rete, l'approccio ZTNA di Splashtop Secure Workspace garantisce un accesso mirato alle risorse approvate, assicurando una superficie di attacco minima. L'approccio "default-deny" rassicura quando i LLM aziendali gestiscono dati altamente sensibili.

• Automazione basata su API - Le aziende impegnate nell'automazione e nei flussi di lavoro DevOps apprezzeranno la possibilità di integrare e automatizzare la nostra piattaforma Secure Workspace. In un contesto di AI generativa, Splashtop Secure Workspace si inserisce perfettamente in qualsiasi pipeline MLOps, facilitando il provisioning automatico dell'accesso alle risorse chiave e la configurazione automatica della piattaforma Secure Workspace stessa, massimizzando la produttività e riducendo gli errori umani.

Vedremo adesso come attivare un accesso sicuro all'IA generativa aziendale con il nostro Secure Workspace. Inoltre, proseguendo in questo percorso, alla fine avrai il tuo chatbot privato basato su LLM - il tuo ChatGPT personale.

Guida pratica alla creazione di un chatbot privato LLM

L'idea di costruire il tuo chatbot LLM potrebbe sembrare un compito complesso. Tuttavia, è più semplice di quanto si possa pensare. Vediamo come funziona utilizzando uno strumento MLOps open-source chiamato dstack.

In questo esempio, un singolo comando dstack run permette di effettuare il provisioning e di attivare LLM-As-Chatbot nel tuo ambiente cloud.

L'esempio prevede anche il provisioning del connettore Splashtop Secure Workspace per collegare il tuo chatbot privato LLM al tuo Secure Workspace. Puoi quindi impostare il controllo degli accessi all'interno del tuo spazio di lavoro sicuro come qualsiasi altra applicazione, utilizzando l'autenticazione forte, SSO, MFA e un ricco set di criteri di accesso condizionato.

Ecco una guida dettagliata per impostare un accesso sicuro al tuo LLM privato:

1. Clonare il repositorygit clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-Chatbot

2. Installare e configurare dstack
   pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
   Una volta avviato il server dstack, effettuare il login e creare un progetto utilizzando le credenziali del cloud (AWS, GCP o Azure).

3. Creare un profilo dstack
   Creare un file .dstack/profiles.yml nella radice della cartella LLM-As-Chatbot. Questo file deve puntare al progetto creato e descrivere le risorse.
   Esempio:
   profili:
- nome: aws-llm
progetto: aws-llm
risorse:
memoria: 16GB
gpu:
conteggio: 1
spot_policy: auto
default: True

4. Inizializzazione
   Passare al server dstack , copiare e incollare il comando dstack config nel terminale. Questo permette al server dstack di effettuare il provisioning remoto delle risorse AWS. Eseguire quindi il comando dstack init.
   dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init

Come configurare uno spazio di lavoro sicuro per il proprio LLM privato

Ora, vediamo come fare per proteggere l'accesso al tuo Large Language Model LLM privato con Splashtop Secure Workspace. I nostri connettori forniscono una connettività sicura alle tue applicazioni private, dandoti un controllo centralizzato sull'accesso. Iniziamo.

Passaggio 1: creare un connettore e copiarne il token

1. Accedere al proprio account amministratore di Splashtop Secure Workspace.

2. Accedere al menu Deployment, selezionare Connector e cliccare su Add Connector.

3. Scegliere Headless / CLI, inserire il nome del connettore e cliccare su Avanti. Quindi scegliere Linux e cliccare su Fatto.

4. Dopo aver creato il connettore, cliccare sul nome nell'elenco dei connettori per visualizzarne i dettagli. Copiare il token per utilizzarlo di seguito.

Passaggio 2: creare l'applicazione LLM

1. Aggiungere il servizio chatbot privato di LLM come applicazione privata per fornire questo servizio ai propri dipendenti.

2. Accedere ad  Applications/Applications e cliccare sul pulsante Add Application/Add Private Application.

3. Compilare il modulo con il nome dell'applicazione: 'localhost' per Host e '6006' per  Port.

4. Scegliere HTTP per Protocol, scegliere il nome del connettore creato in precedenza e assegna il gruppo corretto a questa applicazione. Cliccare su Salva.

Secure Workspace genererà automaticamente un nome di dominio completamente qualificato (FQDN) per l'applicazione LLM privata.

Passaggio 3: eseguire l'applicazione nel cloud

1. Nella cartella LLM-As-Chatbot, usare il comando dstack run per eseguire il provisioning dell'LLM privato e del Secure Workspace nel proprio cloud (sostituire $token con il token del connettore del passaggio 1):
   dstack run . -f ssw-private-llm.yml $token

2. Questo comando provvederà al provisioning e all'esecuzione di LLM-As-Chatbot nel tuo cloud e avvierà l'istanza del connettore Secure Workspace.

3. Una volta che tutto è pronto e funzionante, utilizzare l'FQDN creato per accedere al LLM privato. Nel frattempo, si possono impostare i criteri di abilitazione e di accesso condizionato per questa applicazione.

Video di approfondimento

Per una guida dettagliata, guarda il video:

Splashtop Secure Workspace - Generative AI & Private LLM

Conclusione

Man mano che le aziende adottano l'IA generativa privata e i LLM, salvaguardare l'accesso a questi sistemi innovativi diventa fondamentale.

Splashtop Secure Workspace è in grado di proteggere l'accesso remoto ai sistemi aziendali critici, integrandosi perfettamente con l'infrastruttura esistente.

Seguendo i passaggi descritti in questo articolo, puoi impostare e gestire il tuo spazio di lavoro privato e sicuro LLM, proteggendo i dati proprietari della tua azienda e mantenendo l'efficienza operativa.

Il connubio tra IA generativa e sistemi di accesso sicuro continuerà a plasmare il futuro delle operazioni aziendali, ed essere proattivi nell'adozione e nella gestione sicura di questi sistemi può posizionare la tua azienda all'avanguardia di questa trasformazione.

Per avere accesso anticipato a Splashtop Secure Workspace, iscriviti alla nostra lista d'attesa.