El almacenamiento flash actual consume mucha energía y desperdicia el rendimiento del centro de datos porque su método de asignación de datos tiene sus raíces en el pasado lejano de los discos duros giratorios y su patrón de bloques fijos. La solución es escribir los datos en formato clave-valor y eliminar el intermediario de direccionamiento de bloques. Esa es la opinión de la startup de Silicon Valley QiStor, que planea lanzar al mercado un software de almacenamiento en un chip personalizado que acelera las lecturas y escrituras en formato clave-valor. El formato clave-valor es una forma muy extendida de escribir datos. En el formato clave-valor, la clave es el nombre de una variable y el valor es, como sugiere el nombre, su valor. Las claves y los valores pueden tener cualquier longitud dentro de ciertos límites. Pueden ser de diferentes tipos de datos, como numéricos, de caracteres, incluso imágenes u otros objetos. También pueden estar anidados, por lo que una clave puede tener un valor que es otra clave, con valores relacionados. El formato de datos de clave-valor está muy extendido, se encuentra en el formato JSON, en el almacén de datos etcd en Kubernetes, como un tipo de datos en los lenguajes de programación Javascript y Python, entre otros, y es la base de las bases de datos NoSQL. Lo que QiStor aborda es una tendencia emergente en la que el almacenamiento de datos se escribe y lee directamente en formato de clave-valor. Un gran impulsor de esto es que la forma actual en que los sistemas de archivos y las bases de datos se comunican con el hardware de almacenamiento a menudo es ineficiente. En los sistemas existentes, los datos generalmente se asignan a bloques de 512 kb en los medios. Los sistemas de archivos tienen que traducir entre esa capa física y los datos tal como los ven el usuario y la aplicación. Eso genera una sobrecarga de procesamiento. Además, con el almacenamiento flash, sucede que a medida que los datos se escriben, optimizan, mueven, etc. en el medio, deben borrarse y prepararse para su reutilización. Eso también, es decir, la recolección de basura, crea ineficiencias a medida que los datos se borran y se reescriben. Andy Tomlin, CEO de QiStor, dijo: “Lo que ya tenemos funciona, pero con muchas ineficiencias, y estas equivalen a desperdicio de capacidad, rendimiento y energía. ¿Cuál es la solución óptima? La asignación y el seguimiento del espacio deben realizarse en un solo lugar, en el nivel más bajo y en el hardware de mejor rendimiento. “Por lo tanto, creemos que la solución es clave-valor. Proporciona una abstracción que es una referencia definida por el usuario. No es el dispositivo el que la define. Hay otras formas, pero clave-valor es la abstracción más simple para la información que queremos almacenar. En la mayoría de las bases de datos, la capa inferior es clave-valor”. La historia de fondo que QiStor desea destacar es el creciente problema de la energía de los centros de datos que se ve exacerbada por el aumento en el uso de IA. Ese contexto incluye que los centros de datos usan entre el 1% y el 2% de la electricidad global y el almacenamiento de datos consume entre el 20% y el 25% de eso. Mientras tanto, según el Foro Económico Mundial, la potencia de cómputo necesaria para sostener el crecimiento de la IA se duplica aproximadamente cada 100 días. Tomlin dijo que, si nos centramos en este aspecto, es cada vez más probable que la demanda clave sea que el hardware del centro de datos descargue el procesamiento de la CPU. El uso de GPU como aceleración de hardware es un ejemplo de ello, pero también se utilizan DPU, aceleración de red, etc. Un segundo factor es el uso de bases de datos vectoriales para la IA, para lo que, según Tomlin, los almacenes de datos de valor clave son un pilar fundamental. QiStor afirma tener una aceleración de entre 10 y 100 veces, que ha obtenido mediante la optimización de lecturas y escrituras y la reducción o eliminación de la recolección de basura, por ejemplo. Pero QiStor todavía está a un año de poder ofrecer un producto, dijo Tomlin, y añadió: «Hemos construido gran parte de la tecnología básica y ahora construiremos el motor de almacenamiento». Sus planes son desarrollar su software y ofrecerlo a través de chips de aceleración FPGA, ya sea a través de servicios de terceros basados ​​en la nube o que los clientes pueden especificar en su propia infraestructura. “Serán clientes que compren, por ejemplo, un servicio de base de datos en la nube con aceleración de hardware de valor clave, o comprarán su propia pila y proporcionarán aceleración de valor clave”, dijo Tomlin. Lo que QiStor ofrecerá es distinto de las unidades flash con valor clave en lugar de direccionamiento de bloque, como en el estándar NVMe KV. Hablando de posibles casos de uso de clientes, Tomlin dijo: “Es interesante para los clientes con grandes conjuntos de datos, por lo que no caben en la memoria. Estamos hablando de 1PB o más, pero no menos de 100TB como mínimo. En términos de cargas de trabajo, estamos hablando de aplicaciones web, análisis, IA y cualquier cosa donde haya un requisito de rendimiento y grandes cantidades de almacenamiento”. Tomlin agregó: “Si a un cliente le importa cuántos servidores está ejecutando valor clave, probablemente seamos interesantes. Algunos clientes ejecutan decenas o miles de servidores que ejecutan valor clave… departamentos enteros dedicados a ello. El mercado de bases de datos es de $ 100 mil millones y una gran parte es de valor clave.