Entrada

Linux 3.10: bcache, big.LITTLE y TCP más rápido

Linux 3.10 estrena bcache, el tickless casi completo, XFS con checksums, TCP tail loss probe y big.LITTLE, en el ciclo más grande de la historia.

Linux 3.10: bcache, big.LITTLE y TCP más rápido

Linux 3.10 se ha publicado hoy, 30 de junio de 2013, con bcache, el tickless casi completo, XFS con checksums de metadatos, TCP tail loss probe y el soporte de big.LITTLE. Es el ciclo más grande de la historia hasta entonces, con casi 13.500 changesets, y el que prepara el kernel para dejar de hacer tic mil veces por segundo.

Linux 3.10 se publicó el domingo 30 de junio de 2013, 63 días después de 3.9 y con siete release candidates. El ciclo había arrancado el 29 de abril con una merge window que se cerró el 11 de mayo, y desde el principio quedó claro que iba a ser el más grande: el ciclo con más cambios de la historia hasta entonces, por delante de los 12.300 de 3.8.

El reparto por autor mezcla limpieza y features: H Hartley Sweeten vuelve a encabezar la lista con 392 changesets (2,9 %), seguido de Jingoo Han (299, 2,2 %), Hans Verkuil (293, 2,2 %) y Alex Elder (268, 2,0 %). En desarrolladores, 1.374 hasta la rc7, por debajo de los 1.388 con los que cerró 3.9; el récord de personas se queda en el ciclo anterior, pero el de volumen de cambios es de este.

Hay tres claves. La primera es el almacenamiento: bcache convierte un SSD en caché de cualquier dispositivo de bloques, y Btrfs y XFS mejoran sus metadatos. La segunda es la energía y la latencia: el tick deja de sonar cuando no hay trabajo y TCP estrena tail loss probe para las transacciones cortas. La tercera es el hardware heterogéneo: big.LITTLE entra en ARM y KVM llega a MIPS.

Y un detalle de fondo: el ciclo deja el kernel preparado para el tickless completo, aunque en 3.10 solo funciona en determinados casos.

Mapa de las claves de Linux 3.10: bcache, tickless, Btrfs, XFS, TCP y big.LITTLE

Las seis piezas del ciclo. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.

Línea temporal de Linux 3.10: de 3.9 a la release, con la rc1 del 11 de mayo y la rc7 del 22 de junio

Del 3.9 al 3.10: una merge window de dos semanas, siete release candidates y el ciclo más grande hasta la fecha.

1. Las cifras del ciclo más grande

DatoValor
Fecha de release30 de junio de 2013
Versión anterior3.9 (28 de abril de 2013)
Merge window29 de abril al 11 de mayo de 2013
Release candidates7 (rc1 el 11 de mayo, rc7 el 22 de junio)
Ciclo63 días
Changesetscasi 13.500
Desarrolladores1.374 (hasta la rc7)
Autor con más changesetsH Hartley Sweeten (392)

Los números son de LWN, que publicó el reparto el 26 de junio con la rc7 fuera. 3.10 es el ciclo con más changesets de la historia hasta ese momento, y lo consigue sin que el ciclo se alargue: 63 días, la misma duración que 3.18 y 3.19 tendrían un año después. El trabajo se reparte entre drivers, sonido, VFS y bloque, con una presencia clara de las mejoras de escalabilidad.

2. bcache: un SSD como caché de cualquier bloque

bcache llega para resolver el mismo problema que dm-cache, pero por otro camino. En lugar de un target del device mapper que se configura a mano, bcache es un sistema de caché en el ámbito de bloque que se pone en marcha con muy poco trabajo: se registra el dispositivo de caché, se asocia al dispositivo lento y el kernel empieza a mover bloques sin que el sistema de ficheros se entere.

La diferencia con dm-cache está en el enfoque. bcache cachea por defecto solo la E/S aleatoria, que es donde un SSD rinde, y deja pasar la secuencial; admite writeback y writethrough; y está pensado para funcionar bien sin ajustes. El commit de entrada es cafe56359144, y LWN lo contó en A bcache update.

El límite es el de siempre en una caché: si el SSD falla en modo writeback, se pierden los datos que aún no se habían escrito en el disco. Y hay que formatear el dispositivo de caché con make-bcache, así que no es tan transparente como dm-cache para un volumen existente.

Diagrama de bcache: el SSD cachea la E/S aleatoria y deja pasar la secuencial al disco

bcache se coloca entre el sistema de ficheros y los dispositivos; por defecto solo cachea la E/S aleatoria.

3. El tick deja de sonar

Desde hace décadas, el kernel despierta cada CPU 1.000 veces por segundo para contar el tiempo y decidir qué tarea se ejecuta. Ese tick mantiene el sistema reactivo, pero impide que las CPU entren en los estados de consumo más bajos y empeora la latencia de las cargas que necesitan el núcleo en exclusiva.

3.10 añade el tickless casi completo: cuando una CPU tiene una sola tarea y no hay nada que contar, el tick se apaga y solo vuelve una vez por segundo (el merge). El caso de uso es el nohz_full: un núcleo dedicado a un proceso de cálculo o a una carga realtime deja de recibir interrupciones periódicas. LWN lo explicó en (Nearly) full tickless operation in 3.10.

El límite está en el «casi»: en 3.10 el modo completo se desactiva cuando la CPU ejecuta más de un proceso, y hace falta al menos una CPU con tick para que las demás puedan apagarlo. Es solo el principio: el tickless completo llegaría en releases posteriores.

4. Btrfs adelgaza el extent tree

Btrfs guarda en el extent tree qué bloques pertenecen a qué fichero y a qué snapshot. Cada referencia ocupaba 51 bytes; 3.10 introduce un tipo de clave nuevo que la deja en 33 bytes, y el árbol se reduce entre un 30 % y un 35 % (3173a18f7055).

Hay dos efectos prácticos: hay menos operaciones de copy-on-write sobre el árbol y cabe más parte de él en memoria, así que las operaciones con mucha metadata van más rápido. El cambio no se aplica solo: hay que crear el sistema de ficheros con el formato nuevo o convertirlo con btrfstune -x.

5. XFS pone checksums a los metadatos

XFS empieza en 3.10 el proyecto de los metadatos autodescriptivos: cada objeto de metadatos lleva un CRC32c y datos sobre sí mismo (tipo, identificador del sistema de ficheros, bloque, dueño y secuencia del log), de modo que se puede comprobar su integridad sin recorrer todo el sistema (el merge).

La razón es la escala: en sistemas de varios petabytes con miles de millones de inodos, un fsck completo es inviable, y saber qué metadata está intacta permite reparar solo lo que hace falta. En 3.10 aún es experimental y exige un xfsprogs experimental; para producción hay que esperar.

6. TCP tail loss probe

Las transacciones cortas sufren cuando se pierde el último paquete: el emisor espera el retransmission timeout (RTO), que puede ser de cientos de milisegundos, y la latencia se va muy arriba. Tail loss probe convierte esa espera en una recuperación rápida: si una conexión está en estado abierto y no recibe ACKs, envía un paquete de prueba en dos idas y vueltas, y el ACK de ese paquete dispara la recuperación sin esperar al RTO (6ba8a3b19e76).

Es una mejora pensada para servidores web y APIs, donde muchas conexiones son cortas y el percentil 99 pesa más que la media. El límite es que no arregla la pérdida: solo evita pagar el timeout cuando la pérdida ocurre al final.

7. big.LITTLE y KVM en MIPS

ARM big.LITTLE combina núcleos grandes y rápidos con núcleos pequeños y eficientes en el mismo SoC, y el kernel tiene que decidir qué tarea va a cada uno. 3.10 añade el soporte de la arquitectura (8a67f0ef2b68), con el modelo de cluster switching de la época: los dos clusters se ven como uno solo y el firmware decide cuál está activo. LWN lo explicó en Multi-cluster power management.

En virtualización, KVM llega a MIPS: la arquitectura de Imagination y sus SoC pueden correr máquinas virtuales con el mismo hipervisor que ya usaban x86, Power y ARM. Para el usuario no cambia nada; para el ecosistema MIPS, es lo que le faltaba para competir en routers y equipos de red.

8. El salseo: «no me interesa lo que no estaba listo»

El 8 de mayo de 2013, al final de la merge window, Jens Axboe envió el pull de los cambios del bloque para 3.10. Torvalds contestó sin rodeos: «This is late in the game… Quite frankly, I’m not at all interested in pulling stuff that wasn’t ready when the merge window opened, and I’m not at all happy with getting this pull request in what is essentially the end of the merge window», escribió en el hilo.

Axboe respondió explicando el contenido y aclarando qué parte era la que había estado trabajando; el pull se resolvió sin más incidentes, como recogió LWN al cerrar la merge window. El episodio repite el patrón de la época: lo que no está listo al abrir la merge window se queda fuera, aunque el maintainer sea de confianza.

9. Por subsistemas

9.1 Escalabilidad del core

SysV IPC deja de tener un candado global por array de semáforos y pasa a bloqueos por semáforo (823e75f723aa); las pruebas de LWN muestran mejoras de más de 10× en algunos casos. Los rwsem estrenan lock stealing en el camino rápido (c8de2fa4dc27), que mejora pgbench en dos dígitos, y los mutex reducen las operaciones atómicas y la contención de línea de caché (0dc8c730c98a).

9.2 Tracing y perf

El trazado incorpora snapshots: se puede congelar el contenido de los buffers de ftrace en un momento dado y leerlo después sin parar el trazado. También se añaden mejoras en perf para seguir llamadas y en la lectura de los buffers desde espacio de usuario.

9.3 Drivers y arquitecturas

El ciclo suma drivers nuevos de red, GPU y sonido, y continúa la limpieza de staging. En ARM, además de big.LITTLE, se añaden placas y SoC; en x86, el trabajo se centra en Haswell y en la gestión de energía. La lista completa está en el inventario de drivers.

9.4 Sistemas de ficheros

Además del extent tree de Btrfs y los checksums de XFS, ext4 y F2FS reciben correcciones; F2FS sigue experimental y empieza a aparecer en dispositivos reales. Es un ciclo de consolidación de los formatos que llegaron en 3.8 y 3.9.

10. Lo que no llega

  • El tickless no es completo. Solo funciona con una tarea por CPU y necesita otra CPU con tick; el modo completo llega más adelante (la documentación del ciclo).
  • XFS con checksums es experimental. Exige un xfsprogs experimental y no está pensado para producción (la documentación de los metadatos autodescriptivos).
  • bcache no es transparente del todo. Hay que registrar el dispositivo de caché y formatearlo; en writeback, un fallo del SSD cuesta datos (documentación).
  • big.LITTLE depende del firmware. El cluster switching lo decide el firmware, y los SoC con el modelo nuevo tardarían en llegar (Wikipedia).

11. Cambios menores

Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.

Core

Almacenamiento y ficheros

Networking

12. Qué viene después

La merge window de Linux 3.11 se abrió el 1 de julio y la release llegó el 2 de septiembre de 2013, con zswap —una caché comprimida para el swap—, compresión LZ4 para zram, el soporte de la GPU Radeon HD 7000 y el primer trabajo de CONFIG_ZSMALLOC. También es el ciclo en el que se retira el soporte de ARM para algunas placas antiguas.

Para quien administre sistemas, 3.10 es la release de bcache y del tickless: dos formas de aprovechar mejor el hardware sin cambiar de distribución. Para quien programe, es la release en la que SysV IPC y los rwsem dejan de ser cuellos de botella en máquinas grandes.

La serie 3.x sigue en la página de la serie y el índice del kernel reúne las demás. La entrega anterior es Linux 3.9, y las últimas publicadas de la serie son Linux 3.17, 3.18 y 3.19.

13. Referencias

Esta entrada está licenciada bajo CC BY 4.0 por el autor.