El aumento de la popularidad de ChatGPT y otras formas de IA generativa marca el comienzo de un periodo de transformación para las empresas y la sociedad. La IA y el aprendizaje automático (ML) llevan mejorando el valor de las empresas desde hace algún tiempo ya, pero la repentina aparición de la IA generativa, incluidos los modelos de lenguaje extenso (LLM), está creando olas de cambio en todas las industrias.
Con la proliferación de ofertas de SaaS en el espacio de IA generativa, desde ChatGPT de Open AI hasta Claude de Anthropic, Bard de Google y Bing AI de Microsoft, las empresas de todos los tamaños se apresuran a establecer pautas y políticas que rijan la utilización de estos servicios emergentes. Al mismo tiempo, también están lidiando con las implicaciones de esta tecnología poderosa pero incipiente: cómo mitigar el riesgo de exposición de información privada, proteger la propiedad intelectual, lidiar con información que puede llegar a ser errónea o contenido dañino y evitar infracciones de derechos de autor no intencionales.
En esta coyuntura en constante evolución, una pregunta que se ha erigido como particularmente apremiante para las empresas es cómo utilizar de manera segura, segura y efectiva los datos privados con la IA generativa. Es precisamente en este dominio en el que nuestra plataforma Splashtop Secure Workspace, que presentamos hace poco, puede ayudar.
Modelos privados de IA para empresas
Ciertamente, existen ofertas comerciales de IA generativas de SaaS que se comprometen a no utilizar los datos enviados para mejorar sus modelos públicos. Sin embargo, no todas las empresas se sienten cómodas enviando datos privados a un servicio cloud sobre el que tienen poco control. Algunas empresas pueden estar sujetas a cumplimiento en términos de soberanía y cumplimiento normativo que impiden el uso de servicios alojados en otra región o país.
Otras empresas que se beneficiarían de un modelo privado de IA son aquellas que tienen la necesidad comercial de entrenar sus propios modelos LLM desde cero, o que necesitan proteger los aumentos de datos y los modelos LLM optimizados que han sido entrenados previamente para tareas específicas, como el soporte a clientes, servicios de asesoría financiera y más.
Las empresas que crean su propia infraestructura generativa de IA y MLOps privada pueden poner el poder de estas herramientas bajo su propio control de TI, ya sea en las instalaciones o en cloud privada, lo que les permite amoldarse a las necesidades comerciales, el cumplimiento y los requisitos de soberanía. Esta configuración garantiza que los datos sensibles y confidenciales utilizados para entrenar, ajustar o aumentar las consultas a los LLM no estén expuestos a terceros.
Protección del acceso a aplicaciones privadas, incluidos modelos de lenguaje extenso
Una configuración privada también necesita protección. Todo lo que haya en tu proceso operativo de aprendizaje automático, desde los modelos de lenguaje hasta las bases de datos de soporte y los repositorios de datos privados, requiere un aprovisionamiento, acceso y gestión seguros.
Ahí es donde entra Splashtop Secure Workspace. Ofrecemos una forma sencilla pero segura de controlar el acceso a cualquier aplicación empresarial privada, incluidos los LLM privados. Ya sea que las aplicaciones empresariales proporcionen interfaces basadas en web o requieran aplicaciones móviles o de escritorio personalizadas, nuestra plataforma permite el acceso seguro desde cualquier dispositivo cliente, en cualquier lugar, y todo sin exponer los puertos de servicio de red al mundo exterior o requerir una configuración de red complicada con cortafuegos, hosts bastión o VPN.
Acceso seguro en todos los niveles
Splashtop Secure Workspace admite un amplio conjunto de opciones para controlar el acceso a cualquier aplicación empresarial privada, incluidos los LLM. Entre las capacidades clave, se incluyen:
Integración de inicio de sesión único (SSO): se sincroniza con proveedores de identidad populares (incluidos Google, Microsoft, Okta)
Autenticación multifactor (MFA): habilita férreos controles de autenticación para los usuarios front-end y back-end en todas las aplicaciones empresariales habilitadas para SSO, incluida la interfaz de chat para un LLM empresarial privado.
Controles de acceso condicional : limita el acceso a las aplicaciones al verificar los criterios clave de seguridad y cumplimiento, incluida la geolocalización y el uso de ordenadores portátiles de la empresa. Por ejemplo, las empresas que se adhieren a las reglas de soberanía de datos pueden querer bloquear el acceso al LLM privado cuando los empleados viajan al extranjero.
Acceso privilegiado con controles delegados: Splashtop puede controlar el acceso mediante la delegación segura de cuentas privilegiadas o cuentas de servicio designadas para gestionar subsistemas y datos críticos en una aplicación empresarial. En el caso de un LLM, esto te permite controlar y rastrear el acceso al modelo en sí, una base de datos de gráficos o vectores, repositorios de datos no estructurados o la canalización de ML, sin exposición innecesaria a credenciales confidenciales.
Acceso seguro de terceros: nuestra plataforma proporciona acceso seguro compartido con terceros que pueden necesitar acceso temporal a las aplicaciones empresariales. Esto podría incluir un proveedor de soluciones LLM privado que necesite acceso seguro para la resolución de problemas en las instalaciones. Secure Workspace permite un acceso cómodo mientras se graban completamente las sesiones con fines de auditoría y cumplimiento.
Acceso a la red de confianza cero (ZTNA): a diferencia de las VPN tradicionales que otorgan acceso completo a toda una subred de una red, el enfoque ZTNA de Splashtop Secure Workspace otorga acceso preciso a los recursos aprobados, lo que garantiza una superficie de ataque mínima. El enfoque de "denegación predeterminada" aporta tranquilidad cuando los LLM empresariales manejan datos altamente confidenciales.
Automatización impulsada por API : las empresas comprometidas con la automatización y los flujos de trabajo de DevOps apreciarán la capacidad de integrar y automatizar a la perfección nuestra plataforma Secure Workspace. Dentro de un contexto de IA generativa, Splashtop Secure Workspace se adapta perfectamente a cualquier proceso de MLOps, lo que facilita el aprovisionamiento automatizado de acceso a recursos clave, así como la configuración automatizada de la propia plataforma Secure Workspace, maximizando la productividad y reduciendo los errores humanos.
Ahora, demostraremos cómo habilitar el acceso seguro a la IA generativa empresarial con nuestro Secure Workspace. Y, en última instancia, terminarás con tu propio chatbot privado basado en LLM: tu propio ChatGPT personal.
Una guía práctica para crear un chatbot LLM privado
El concepto de diseñar tu chatbot LLM puede parecer una tarea compleja. Sin embargo, la realidad es que es más sencillo de lo que piensas. Analicémoslo usando una herramienta MLOps de código abierto llamada dstack.
En este ejemplo, un solo comando de ejecución de dstack te permite aprovisionar y activar LLM-As-Chatbot en tu entorno cloud.
El ejemplo también aprovisionará simultáneamente el conector de Splashtop Secure Workspace para conectar tu chatbot LLM privado a tu Secure Workspace. Luego, puedes configurar el control de acceso dentro de tu espacio de trabajo seguro como cualquier otra aplicación, utilizando autenticación fuerte, SSO, MFA y un amplio conjunto de políticas de acceso condicional.
Esta es una guía paso a paso para configurar el acceso seguro a tu LLM privado:
Clona el repositorio
git clone https://github.com/yanlinw/LLM-As-Chatbot.gitcd LLM-As-ChatbotInstala y configura dstack
pip install "dstack[aws,gcp,azure,lambda]" -Udstack start
Una vez que se inicia el servidor dstack, inicia sesión y crea un proyecto con tus credenciales cloud (AWS, GCP o Azure).Crea un perfil de dstack
Crea un archivo .dstack/profiles.yml en la raíz de la carpeta LLM-As-Chatbot. Este archivo debe apuntar al proyecto creado y describir los recursos.
Ejemplo:perfiles:
- nombre: aws-llm
proyecto: aws-llm
recursos:
memoria: 16 GB
gpu:
cantidad: 1
spot_policy: auto
predeterminado: SíInicialización
Cambia al servidor dstack, copia y pega el comando de configuración dstack en el terminal. Esto permite que el servidor dstack aprovisione de forma remota los recursos de AWS. Haz lo mismo con el comando dstack init.dstack config --url http://127.0.0.1:3000 --project aws-llm --token $MY_TOKEN
dstack init
Cómo configurar Secure Workspace para yu LLM privado
Ahora, tomemos los pasos necesarios para asegurar el acceso a tu propio modelo de lenguaje largo privado LLM con Splashtop Secure Workspace. Nuestros conectores aportan conectividad segura a tus aplicaciones privadas, ofreciéndote un control centralizado sobre el acceso. Empecemos.
Paso 1: Crea un conector y copia el token del conector
Inicia sesión en tu cuenta de administrador de Splashtop Secure Workspace.
Ve al menú Implementación, selecciona Conector y haz clic en Agregar conector.
Elige Headless/CLI, complete el nombre del conector y haz clic en Siguiente. Luego elige Linux y haz clic en Listo.
Después de crear el conector, haz clic en el nombre del conector de la lista de conectores para ver los detalles. Copia el token para usarlo a continuación.
Paso 2: Crea la aplicación LLM
Agrega el servicio de chatbot LLM privado como una aplicación privada para proporcionar este servicio a tus empleados.
Ve a Aplicaciones/Aplicaciones y haz clic en el botón Agregar aplicación/Agregar aplicación privada.
Completa el formulario con el nombre de la aplicación, 'localhost' como host y '6006' como puerto.
Elige HTTP como Protocolo, elige el nombre del conector creado anteriormente y asigna el grupo adecuado a esta aplicación. Haz clic en Guardar.
Secure Workspace generará automáticamente un nombre de dominio completo (FQDN) para la aplicación LLM privada.
Paso 3: Ejecuta la aplicación en tu cloud
En la carpeta LLM-As-Chatbot, usa el comando dstack run para aprovisionar el LLM privado y el Secure Workspace en tu cloud (sustituye $token con el token del conector del paso 1):
dstack run . -f ssw-private-llm.yml $tokenEste comando aprovisionará y ejecutará LLM-As-Chatbot en tu cloud e iniciará la instancia del conector Secure Workspace.
Una vez que todo esté en funcionamiento, usa el FQDN que has creado para acceder al LLM privado. Mientras tanto, puedes configurar políticas de derecho y acceso condicional para esta aplicación.
Recurso de vídeo tutorial
Para obtener una guía de seguimiento paso a paso, ve este vídeo:
Conclusión
A medida que las empresas adoptan IA generativa y LLM privados, salvaguardar el acceso a estos sistemas innovadores se vuelve primordial.
Splashtop Secure Workspace puede asegurar el acceso remoto a sistemas críticos para la empresa mientras se integra perfectamente con tu infraestructura existente.
Siguiendo los pasos descritos en este artículo, puedes configurar y gestionar tu espacio de trabajo seguro de LLM privado, protegiendo los datos de propiedad de tu empresa mientras mantienes la eficiencia operativa.
La combinación de IA generativa y sistemas de acceso seguro seguirá dando forma al futuro de las operaciones comerciales y ser proactivo en la adopción y gestión segura de estos sistemas puede posicionar a tu empresa a la vanguardia de esta transformación.
Para obtener acceso anticipado a Splashtop Secure Workspace, únete a nuestra lista de espera.
