Google presentó recientemente dos nuevos sistemas de sus procesadores TPU, los chips que la empresa diseña para ejecutar inteligencia artificial. El TPU 8tx mantiene protegidos los datos sensibles mientras la IA los procesa, y el TPU 8i Max está pensado para manejar volúmenes muy grandes de información a la vez.
Con ellos, la octava generación de TPU suma cuatro sistemas en un solo año, algo que Google describió como inédito en su historial. Los dos anteriores, el 8t para entrenar modelos y el 8i para responder en tiempo real, se presentaron en abril, durante el evento Google Cloud Next.
Amin Vahdat, vicepresidente senior y jefe de tecnología de IA e infraestructura de Google, firmó el anuncio oficial. Según el texto, los TPU ya tienen cerca de 100 clientes, entre ellos laboratorios de IA, empresas de comercio bursátil, minoristas y universidades.
El TPU 8tx está destinado a empresas reguladas y a gobiernos que usan modelos propios junto con sus datos más delicados. Google explicó que los datos suelen cifrarse al almacenarlos o enviarlos por una red, pero deben descifrarse en la memoria mientras la computadora los procesa. Ese momento es el que el nuevo sistema busca proteger.
Datos aislados incluso mientras se usan
El 8tx usa el mismo chip que el 8t y se combina con procesadores de la quinta generación de AMD EPYC. Según Google, la seguridad queda integrada en el hardware y mantiene aislados los datos y los parámetros del modelo mientras se utilizan.
Mark Lohmeyer, vicepresidente de IA e infraestructura de Google Cloud, dijo a Network World que es el primer TPU de la empresa con computación confidencial, desarrollado junto con AMD. Añadió que el sistema completo se certifica de forma remota, para comprobar que es lo que dice ser. “No debería haber que elegir entre seguridad y rendimiento”, afirmó Lohmeyer.
Google aseguró que la red interna del 8tx, la misma que usa el 8i, reduce la latencia hasta la mitad frente al 8t, con una pérdida de rendimiento casi nula. La cifra es de la empresa y los textos leídos no citan mediciones independientes.
Con el 8tx, una organización puede ajustar un modelo con datos privados, reducir uno grande a otro más pequeño y entrenar agentes (asistentes de IA que ejecutan tareas por su cuenta) sin trasladar la información entre grupos de servidores distintos.
El 8i Max junta dos chips en un solo paquete
El TPU 8i Max combina dos chips 8i en un mismo paquete. Duplica el cómputo, la memoria integrada al procesador y el ancho de banda de memoria del 8i. Según Network World, tiene 384 gigabytes de memoria de alta velocidad, un 33% más que el 8i, y un ancho de banda de 17,2 terabytes por segundo.
Google lo propone para casos en que muchos agentes trabajan a la vez sobre todo el código de un programa o sobre horas de video. En esas tareas, la velocidad de acceso a la memoria suele frenar al sistema.
Como el 8i Max ocupa el mismo espacio en el bastidor que el 8i, un centro de datos puede instalar el doble de silicio por rack. Lohmeyer lo comparó con agregar carriles a una autopista: no hace que cada auto vaya más rápido, sino que permite que circule más tráfico a la vez.
Google también informó que hizo de código abierto TPU Sync, un programa que reparte la memoria de los chips, los servidores y el almacenamiento, y que según la empresa reduce más de un 90% la demora hasta la primera respuesta del modelo. El texto oficial no indica en qué fecha estarán disponibles el 8tx y el 8i Max para clientes.
