Y sí, es el tema del momento. Todo parece girar en torno a la inteligencia artificial. Ya jugaste un poco con ChatGPT: hiciste preguntas divertidas, tradujiste un documento e incluso creaste algunas imágenes. ¿Y ahora qué? El desafío que se plantea a la hora de empezar a usar la IA en serio, más allá de estudiar y aprender a usarla adecuadamente, es doble.

Primero está el tema de la privacidad, si quiero sacarle realmente provecho en lo personal o a nivel de negocios, la confidencialidad de mis datos es absolutamente crítica y trabajar con toda esa información en servicios basados en la nube da un poquito de miedo, sobre todo porque es más o menos vox populi que todas las IA se han entrenado con información de muchísimas fuentes a las cuales en general no se pidió permiso.

Segundo está el tema de costos, cuando uno empieza a usar IA dentro de un proceso productivo “en serio” y empieza a consumir tiempo de cómputo, hay que pagarlo. Todas esas enormes granjas de servidores con tarjetas GPU de USD 40000 dólares de las que alardean los gigantes de la industria hay que amortizarlas. Y en muchos casos, los montos se pueden empezar a acumular hasta dejar de ser triviales.

De aquí entonces nace la idea de poder correr IA de forma local en la privacidad del hogar o empresa. Una de las tendencias que varios expertos están anticipando es el advenimiento de un nuevo tipo de equipo, un workstation dedicado a alojar modelos de IA open source en forma local, donde poder montar un tipo de chat GPT propio, privado y personalizado, y alimentarlo con tu información, tus datos, tus documentos para poder sacarle mucho más provecho a la interacción diaria. Tendrá a disposición todo el historial de trabajo y mucho más contexto para poder entregar resultados basados en sus conocimientos y la forma de trabajar.

En este momento, los mayores consumidores de este tipo de equipos son del ámbito académico, las universidades están equipándose rápidamente con este tipo de workstation para hacer investigación y desarrollo y para que los estudiantes aprendan a sacarle el jugo a esta nueva tecnología. También hay muchas empresas que están avanzando por esta vía en muchas disciplinas, como medicina, ventas, administración de negocios, marketing y más.

¿Qué características tienen estos equipos? En general se trata de equipos bastante pesados con procesadores de al menos 16 núcleos como Intel Xeon o AMD Threadripper PRO, una cantidad de memoria que oscila entre los 128 y 256 GB de memoria como las Kingston FURY Renegade PRO, que están diseñadas específicamente para este uso y entregan el mayor performance posible en estas plataformas. La cantidad de memoria se dimensiona en función de cuántos usuarios van a estar compartiendo y trabajando sobre modelos de IA. Obviamente el punto neurálgico de esta configuración es el GPU (Unidades de Procesamiento Gráfico), donde lo más importante es cuánta memoria de vídeo tiene, siendo las más buscadas las que poseen 24 GB o más. Esto es lo que permite cargar el modelo de IA completo en memoria y procesar de manera fluida y sin demoras. Otro punto para destacar es no solamente poseer almacenamiento de la capacidad adecuada, sino que también sea de alta velocidad de respuesta ya que estás trabajando con archivos realmente pesados y uno no quiere quedarse esperando a que carguen, por eso se recomiendan unidades NVMe de última generación.

Y si, son equipos cuyo costo puede superar fácilmente los USD 10,000 dólares, pero el potencial de que sean usados por muchos usuarios ayuda a justificar la inversión. ¿Y una versión de menor presupuesto? Seguro, para dar los primeros pasos se puede comenzar con un equipo ensamblado con un procesador “gamer” de 8 núcleos, 32GB o 64GB de memoria, un SSD rápido y sí, la parte que no es muy negociable es la tarjeta gráfica con mucha memoria, se suelen usar modelos gamer de AMD o NVIDIA con al menos 16 o 24GB de VRAM. Con una configuración como esa, se pueden hacer cosas muy interesantes a nivel productivo.

Pero… y ¿qué pasa con todos los nuevos equipos de cómputo que se anuncian como “IA PC”?

En verdad todo este desarrollo tecnológico está ocurriendo con una velocidad inusitada, y los modelos que actualmente se encuentran en el mercado que incorporan núcleos dedicados quizás aún no tienen la potencia necesaria para correr modelos completos, sino más bien apoyar el uso basado en la nube. Ya los modelos nuevos que debutan el próximo año incorporan mucha más potencia de procesamiento y esto se podría lograr en un laptop, solo hay que ver si la cantidad de memoria será suficiente. A futuro es totalmente probable que puedas tener un agente local de alto rendimiento corriendo en tu laptop Y acompañándote adonde vayas. Pero eso es tema para la próxima…