Profiter d’un accès sécurisé à l’IA générative de l’entreprise avec Splashtop

La popularité croissante de ChatGPT et d’autres formes d’IA générative marque le début d’une période de transformation pour les entreprises et la société. L’IA et le machine learning (ML) augmentent la valeur des entreprises depuis un certain temps déjà, mais l’émergence soudaine de l’IA générative, notamment des grands modèles de langage (LLM), crée des vagues de changement dans tous les secteurs d’activité.

Avec la prolifération des offres SaaS dans le domaine de l’IA générative - de ChatGPT d’Open AI à Claude d’Anthropic, en passant par Bard de Google et Bing AI de Microsoft - les entreprises de toutes tailles s’empressent d’établir des lignes directrices et des politiques régissant l’utilisation de ces services émergents. Dans le même temps, elles sont également confrontées aux implications de cette technologie puissante mais émergente - comment atténuer le risque d’exposition des informations privées, protéger la propriété intellectuelle, faire face à la désinformation potentielle ou au contenu préjudiciable, et éviter les violations involontaires des droits d’auteur.

Dans ce contexte en pleine évolution, une question s’est imposée comme particulièrement pressante pour les entreprises : comment utiliser de manière sûre, sécurisée et efficace les données privées avec l’IA générative. C’est précisément dans ce domaine que notre nouvelle plateforme Splashtop Secure Workspace peut vous aider.

Modèles d’IA privée pour les entreprises

Certes, il existe des offres SaaS commerciales d’IA générative qui s’engagent à ne pas utiliser les données fournies pour améliorer leurs modèles publics. Cependant, certaines entreprises ne sont pas à l’aise à l’idée d’envoyer des données confidentielles vers un service cloud sur lequel elles n’ont que peu de contrôle. Certaines organisations peuvent être soumises à des obligations de souveraineté et de conformité réglementaire qui excluent l’utilisation de services hébergés dans une autre région ou un autre pays.

Les autres entreprises qui pourraient bénéficier d’un modèle d’IA privé sont celles qui ont besoin de former leurs propres modèles LLM à partir de zéro, ou qui ont besoin de protéger des augmentations de données et des modèles LLM optimisés qui ont été formés à l’avance pour des tâches spécifiques, telles que l’assistance à la clientèle, le conseil financier, et plus encore.

Les entreprises qui construisent leur propre infrastructure privée d’IA générative et de MLOps sont en mesure de placer la puissance de ces outils sous leur propre contrôle informatique - que ce soit sur site ou dans un cloud privé - ce qui leur permet de s’aligner sur leurs besoins métier et leurs exigences en matière de conformité et de souveraineté. Cette configuration garantit que toutes les données sensibles et confidentielles utilisées pour former, affiner ou augmenter les requêtes aux LLM ne sont pas exposées à des parties externes.

Sécuriser l’accès aux applications privées, notamment les grands modèles linguistiques

Une configuration privée a également besoin d’être protégée. Tout dans votre pipeline opérationnel de machine learning, des modèles de langage aux bases de données de support et aux référentiels de données privées, nécessite un provisionnement, un accès et une gestion sécurisés.

C’est là que Splashtop Secure Workspace entre en jeu. Nous offrons un moyen simple et sécurisé de contrôler l’accès à n’importe quelle application d’entreprise privée, y compris les LLM propriétaires. Que les applications d’entreprise fournissent des interfaces basées sur le Web ou nécessitent des applications de bureau ou mobiles personnalisées, notre plateforme permet un accès sécurisé à partir de n’importe quel appareil client, n’importe où, et tout cela sans exposer les ports de service du réseau au monde extérieur ou nécessiter une configuration compliquée avec des pare-feu, des hôtes bastion ou des VPN.

Sécuriser l’accès à tous les niveaux

Splashtop Secure Workspace prend en charge un ensemble riche d’options pour contrôler l’accès à toute application d’entreprise privée, y compris les LLM. Les principales fonctionnalités sont les suivantes :

• Intégration de l’authentification unique (SSO) - Synchronisation avec les fournisseurs d’identité les plus courants (notamment Google, Microsoft, Okta)

• Authentification multifactorielle (MFA) - Permet des contrôles d’authentification forts pour les utilisateurs front-end et back-end dans toutes les applications d’entreprise compatibles SSO, y compris l’interface de chat pour un LLM d’entreprise privé.

• Contrôles d’accès conditionnels - Limite l’accès aux applications en vérifiant les principaux critères de conformité et de sécurité, notamment la géolocalisation et l’utilisation d’ordinateurs portables fournis par l’entreprise. Par exemple, les organisations qui adhèrent à des règles de souveraineté des données peuvent vouloir bloquer l’accès au LLM privé lorsque les employés voyagent à l’étranger.

• Accès privilégié avec des contrôles délégués - Splashtop peut contrôler l’accès en déléguant de manière sécurisée les comptes privilégiés ou les comptes de service désignés pour gérer les sous-systèmes et les données critiques dans une application d’entreprise. Pour un LLM, cela vous permet de contrôler et de suivre l’accès au modèle lui-même, à une base de données vectorielle ou graphique, à des référentiels de données non structurées ou au pipeline ML, sans exposition inutile à des informations d’identification sensibles.

• Accès sécurisé pour les tiers - Notre plateforme offre un partage d’accès sécurisé avec les tiers qui peuvent avoir besoin d’un accès temporaire aux applications de l’entreprise. Il peut s’agir d’un fournisseur privé de solutions LLM qui a besoin d’un accès sécurisé pour un dépannage sur site. Secure Workspace permet un accès pratique tout en enregistrant entièrement les sessions à des fins d’audit et de conformité.

• Zero Trust Network Access (ZTNA) - Contrairement aux VPN classiques qui donnent un accès complet à l’ensemble d’un sous-réseau, l’approche ZTNA de Splashtop Secure Workspace donne un accès précis aux ressources approuvées, garantissant ainsi une surface d’attaque minimale. L’approche « default-deny » (refus par défaut) rassure les entreprises LLM qui traitent des données très sensibles.

• Automatisation pilotée par API - Les entreprises engagées dans l’automatisation et les workflows DevOps apprécieront la possibilité d’intégrer étroitement et d’automatiser notre plateforme Secure Workspace. Dans un contexte d’IA générative, Splashtop Secure Workspace s’intègre fluidement dans tout pipeline MLOps, facilitant le provisionnement automatisé de l’accès aux ressources clés ainsi que la configuration automatisée de la plateforme Secure Workspace elle-même, maximisant la productivité et réduisant les erreurs humaines.

Nous allons maintenant vous montrer comment sécuriser l’accès à l’IA générative de l’entreprise grâce à Secure Workspace Et si vous suivez ces étapes, vous obtiendrez votre propre chatbot privé basé sur un LLM - votre propre ChatGPT.

Guide pratique pour la création d’un chatbot LLM privé

Le concept de création de votre chatbot LLM peut sembler complexe. En réalité, c’est plus simple que vous ne le pensez. Décortiquons-le à l’aide d’un outil MLOps open-source appelé dstack.

Dans cet exemple, une seule commande run dstack vous permet de provisionner et de mettre en service LLM-As-Chatbot dans votre environnement cloud.

L’exemple provisionnera également simultanément le connecteur Splashtop Secure Workspace pour connecter votre chatbot LLM privé à votre Secure Workspace. Vous pouvez ensuite configurer le contrôle d’accès dans votre Secure Workspace comme n’importe quelle autre application, en utilisant l’authentification forte, la SSO, la MFA et un ensemble complet de politiques d’accès conditionnel.

Voici un guide étape par étape pour mettre en place un accès sécurisé à votre LLM privé :

1. Cloner le référentielgit clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-Chatbot

2. Installer et configurer dstack
   pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
   Une fois que le serveur dstack démarre, connectez-vous et créez un projet en utilisant vos identifiants cloud (AWS, GCP ou Azure).

3. Créer un profil dstack
   Créez un profil .dstack/profiles.yml sous la racine du dossier LLM-As-Chatbot. Ce fichier doit pointer vers le projet créé et décrire les ressources.
   Exemple :
   profiles:
- name: aws-llm
project: aws-llm
resources:
memory: 16GB
gpu:
count: 1
spot_policy: auto
default: True

4. Initialisation
   Passez au serveur dstack , copiez et collez la commande dstack config dans le terminal. Cela permet au serveur dstack de provisionner à distance les ressources AWS. Enchaînez avec la commande dstack init.
   dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init

Comment mettre en place Secure Workspace pour votre LLM privé

Maintenant, prenons les mesures nécessaires pour sécuriser l’accès à votre grand modèle de langage LLM privé avec Splashtop Secure Workspace. Nos connecteurs fournissent une connectivité sécurisée à vos applications privées, vous donnant un contrôle centralisé sur l’accès. Commençons.

Étape 1 : créer un connecteur et copier le jeton de connecteur

1. Connectez-vous à votre compte administrateur Splashtop Secure Workspace.

2. Accédez au menu Déploiement, sélectionnez Connecteur, puis cliquez sur Ajouter un connecteur.

3. Choisissez Headless / CLI, indiquez le nom du connecteur et cliquez sur Suivant. Choisissez ensuite Linux et cliquez sur Terminé.

4. Après avoir créé le connecteur, cliquez sur son nom dans la liste des connecteurs pour en afficher les détails. Copiez le jeton pour l’utiliser ci-dessous.

Étape 2 : créer l’application LLM

1. Ajoutez le service de chatbot LLM privé en tant qu’application privée pour fournir ce service à vos employés.

2. Accédez à Applications/Applications et cliquez sur le bouton Ajouter une application/Ajouter une application privée.

3. Remplissez le formulaire avec le nom de l’application, ’localhost’ comme Host, et ’6006’ comme Port.

4. Choisissez HTTP comme protocole, choisissez le nom du connecteur créé plus tôt et attribuez le groupe adéquat à cette application. Cliquez sur Enregistrer.

Secure Workspace génère automatiquement un nom de domaine complet (FQDN) pour l’application LLM privée.

Étape 3 : lancer l’application dans votre cloud

1. Dans le dossier LLM-As-Chatbot, utilisez la commande dstack run pour provisionner le LLM privé et Secure Workspace sur votre cloud (remplacez $token par le jeton de connecteur de l’étape 1) :
   dstack run . -f ssw-private-llm.yml $token

2. Cette commande va provisionner et exécuter LLM-As-Chatbot dans votre cloud et démarrer l’instance du connecteur Secure Workspace.

3. Une fois que tout est opérationnel, utilisez le FQDN que vous avez créé pour accéder au LLM privé. Entre-temps, vous pouvez mettre en place des politiques de droits et d’accès conditionnel pour cette application.

Ressources vidéo

Pour un guide étape par étape, regardez la vidéo :

Splashtop Secure Workspace - Generative AI & Private LLM

Conclusion

À mesure que les entreprises adoptent l’IA générative et les LLM privés, la protection de l’accès à ces systèmes innovants devient primordiale.

Splashtop Secure Workspace peut sécuriser l’accès à distance aux systèmes métier critiques tout en s’intégrant fluidement à votre infrastructure existante.

En suivant les étapes décrites dans cet article, vous pouvez mettre en place et gérer votre espace de travail LLM privé et sécurisé, en protégeant les données propriétaires de votre entreprise tout en maintenant l’efficacité opérationnelle.

La combinaison de l’IA générative et des systèmes d’accès sécurisés continuera à façonner l’avenir des opérations métier, et le fait d’être proactif dans l’adoption et la gestion sécurisée de ces systèmes peut positionner votre entreprise à l’avant-garde de cette transformation.

Pour un accès anticipé à Splashtop Secure Workspace, rejoignez notre liste d’attente.