La Fundación PyTorch, creadores del marco de aprendizaje automático PyTorch, lanzó torchao, una biblioteca nativa de PyTorch que hace que los modelos sean más rápidos y más pequeños aprovechando los tipos de bits bajos, la escasez y la cuantificación. Es un conjunto de herramientas de técnicas que abarcan tanto el entrenamiento como la inferencia, dijo el Equipo PyTorch. Presentado el 26 de septiembre, torchao funciona con torch.compile() y FSDP2 en la mayoría de los modelos de PyTorch en Hugging Face. torchao, una biblioteca para optimizaciones y tipos de datos personalizados, está posicionada para hacer modelos más pequeños y más rápidos para entrenamiento o inferencia listos para usar. Los usuarios pueden cuantificar y dispersar pesos, gradientes, optimizadores y activaciones para inferencia y entrenamiento. La biblioteca torchao sirve como un conjunto de herramientas accesible de técnicas escritas principalmente en código PyTorch fácil de leer que abarca inferencia y entrenamiento, según Team Pytorch. Se destaca torchao.float8 para acelerar el entrenamiento con float8 en PyTorch nativo. Lanzado bajo una licencia BSD 3, torchao hace un uso liberal de las nuevas funciones de PyTorch y se recomienda su uso con la versión nocturna actual o la última versión estable de PyTorch, aconseja Team PyTorch.