Entrada

Linux 3.11: zswap, O_TMPFILE y el radeon que despierta

Linux 3.11 estrena O_TMPFILE, zswap, Radeon DPM experimental, Lustre en staging y NFS 4.2, y mejora SysV IPC y el sondeo de red de baja latencia.

Linux 3.11: zswap, O_TMPFILE y el radeon que despierta

Linux 3.11 se ha publicado hoy, 2 de septiembre de 2013, con O_TMPFILE, zswap, la gestión dinámica de energía de Radeon, Lustre en staging y NFS 4.2. Es un ciclo con calma después del récord de 3.10, y el que pone los cimientos de la virtualización en ARM64.

Linux 3.11 se publicó el lunes 2 de septiembre de 2013, sesenta y cuatro días después de la release anterior y con siete candidatas de por medio. Fue un ciclo más pequeño, y eso no es un problema: el listón lo había puesto la release de junio, que sigue siendo la más grande de la historia del kernel hasta ese momento. Lejos de ser un problema, el descenso confirma que 3.10 había sido una excepción por volumen.

Los números de la tabla son los de LWN, que publicó el reparto el 21 de agosto con la rc6 fuera: 10.700 changesets, 1.239 desarrolladores y un crecimiento neto de 447.000 líneas. El reparto por autor vuelve a estar dominado por la limpieza: H Hartley Sweeten encabeza la lista con 333 changesets (3,1 %), seguido de Sachin Kamat (302, 2,8 %) y Alex Deucher (254, 2,4 %), que aparece por el trabajo en Radeon. Es un ciclo de features concentradas y mucho mantenimiento alrededor, y llega solo dos meses después de Linux 3.10.

Hay tres claves. La primera es los ficheros: O_TMPFILE permite crear un fichero temporal que no existe en ningún directorio hasta que se le da nombre, sin condiciones de carrera ni nombres únicos. La segunda es la memoria: zswap comprime las páginas que van al swap antes de escribirlas, y el kernel empieza a contar qué páginas escribe cada tarea. La tercera es el hardware: Radeon estrena gestión dinámica de energía y ARM64 gana KVM y Xen.

Y una entrada a medias: Lustre llega a staging. El sistema de ficheros de los grandes centros de cálculo entra como experimental, con la etiqueta de que el código aún no está limpio.

Mapa de las claves de Linux 3.11: O_TMPFILE, zswap, Radeon DPM, ARM64, NFS 4.2 y Lustre

Las seis piezas del ciclo. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.

Línea temporal de Linux 3.11: de 3.10 a la release, con la rc1 del 14 de julio y la rc7 del 25 de agosto

Del 3.10 al 3.11: una merge window de dos semanas, siete release candidates y un ciclo más pequeño que el récord anterior.

1. Las cifras de un ciclo con calma

DatoValor
Fecha de release2 de septiembre de 2013
Versión anterior3.10 (30 de junio de 2013)
Merge window1 al 14 de julio de 2013
Release candidates7 (rc1 el 14 de julio, rc7 el 25 de agosto)
Ciclo64 días
Changesets10.700
Desarrolladores1.239
Líneas netas+447.000
Autor con más changesetsH Hartley Sweeten (333)

Los números de la tabla los publicó LWN el 21 de agosto, con la rc6 fuera. 3.11 baja de los 13.500 changesets de 3.10 a 10.700, y el número de desarrolladores cae de 1.374 a 1.239; aun así, el kernel crece 447.000 líneas netas, más que en 3.12 y 3.13. El trabajo se concentra en drivers y en las features del ciclo, con menos ruido de limpieza que en las releases anteriores.

2. O_TMPFILE: un fichero sin nombre

Crear un fichero temporal seguro en Unix siempre ha tenido el mismo problema: hay que generar un nombre único, crearlo con los permisos correctos y borrarlo después, y entre cada paso hay una ventana en la que otro proceso puede hacer algo. tmpfile(3) lo resuelve en la libc, pero por debajo sigue creando y borrando un nombre.

O_TMPFILE lo lleva al kernel: el fichero se crea en el sistema de ficheros pero no aparece en ningún directorio, y si se cierra sin darle nombre, desaparece. No hay race condition, no hay nombre que adivinar y no hay enlace simbólico que atacar. La otra mitad es igual de útil: se puede escribir en él, ajustar permisos y propietario, y enlazarlo después de forma atómica con el contenido ya listo (60545d0d4610).

El límite es de soporte: en 3.11 lo implementan ext4, XFS, Btrfs, tmpfs y F2FS; en otros sistemas de ficheros la llamada falla. Y el programa tiene que usar openat() con el flag, así que las libc tardaron en exponerlo.

3. zswap: comprimir antes de escribir al swap

Cuando la memoria se llena, el kernel manda páginas al swap, que es disco: lento. zswap se coloca en medio: intercepta las páginas que van a salir, intenta comprimirlas en un pool de memoria RAM y solo las escribe en el dispositivo si no caben o si la compresión no ayuda. En una carga con swap moderado, muchas páginas no llegan a tocar el disco. LWN lo describió como «a lightweight, write-behind compressed cache for swap pages».

El mecanismo entra con 4e2e2770b152 y se configura con zswap.enabled=1. El límite es que compite por RAM con el resto del sistema: si el pool crece demasiado, el propio zswap empieza a expulsar páginas al swap, y el beneficio se pierde. Para un portátil con poca memoria o un servidor con swap en SSD, es una forma barata de ganar margen. LWN lo explicó en The zswap compressed swap cache.

4. Radeon despierta: DPM para toda la familia

La gestión dinámica de energía (DPM) permite que la GPU ajuste frecuencia y voltaje según la carga, en lugar de quedarse en un estado fijo. 3.11 la añade para todas las GPU Radeon desde la r600 (a9e61410921b), y lo hace en modo experimental: hay que pasar radeon.dpm=1 para activarla.

El efecto es doble: menos consumo en reposo y mejor comportamiento bajo carga, porque la tarjeta puede subir de frecuencia cuando hace falta. El límite es la etiqueta de experimental y la dependencia del firmware: en algunas tarjetas el soporte llega incompleto, y las más antiguas se quedan con el método anterior. La gestión se activaría por defecto en 3.13.

5. Red: sondeo de baja latencia y colas IPC

Dos cambios de escalabilidad. El primero es el sondeo de baja latencia por socket: las aplicaciones pueden pedir que la tarjeta sondee la cola con más frecuencia para reducir la latencia, en lugar de esperar al NAPI (060212928670). Solo lo admiten ixgbe, mlx4 y bnx2x, y el coste es más CPU; para trading o para servicios con latencia crítica, el intercambio vale la pena. LWN lo contó en Low-latency Ethernet device polling.

El segundo continúa el trabajo de 3.10: las colas de mensajes de SysV IPC dejan de abusar del candado global en las comprobaciones de permisos (a5001a0d9768). El resultado son mejoras de escalabilidad en máquinas grandes, y deja el camino preparado para la memoria compartida en la siguiente release.

6. ARM: huge pages y virtualización en ARM64

ARM gana huge pages para 32 y 64 bits, con secciones de 2 MB y soporte de transparent huge pages (0b19f93351dd). Para las bases de datos y las cargas con mucha memoria, menos entradas de tabla de páginas significa menos presión sobre la TLB y mejor rendimiento.

En virtualización, el ciclo lleva KVM y Xen a ARM64 (6211753fdfd0 y aa42aa1389a5). Es la pieza que faltaba para que los servidores ARM de 64 bits puedan ejecutar máquinas virtuales con el mismo hipervisor que x86, y la base de los entornos de desarrollo en placa que llegarían después.

7. Lustre, NFS 4.2 y Labeled NFS

El código de Lustre llevaba años fuera del tree y 3.11 lo acepta en drivers/staging como cliente experimental (d7e09d0397e8). Seis de los diez superordenadores más rápidos del mundo lo usan, y su TODO reconoce que aún no está limpio.

En NFS, el ciclo añade soporte preliminar de NFS 4.2 en el cliente (4488cc96c581) y Labeled NFS, que lleva SELinux a los montajes NFS: en lugar de una etiqueta única para todo el montaje, cada fichero puede tener la suya (f58eda9bc2f0). Para virtualización y para exportar homes, es una mejora de seguridad importante.

8. Por subsistemas

8.1 Memoria y core

El ciclo añade el seguimiento soft-dirty: el kernel marca qué páginas ha escrito una tarea, y CRIU lo usa para saber qué copiar al hacer checkpoint (0f8975ec4db2). También entran los wound/wait mutex, un tipo de candado pensado para evitar interbloqueos entre subsistemas, y los temporizadores de alarma (CLOCK_BOOTTIME_ALARM) para despertar el sistema desde suspend.

8.2 Almacenamiento

El kernel puede comprimirse con LZ4 (cffb78b0e0b3), lo que acelera el arranque en equipos con poca CPU. bcache recibe optimizaciones para RAID 5 y 6, y el device mapper estrena el target switch, que redirige la E/S a otro dispositivo según una tabla.

8.3 Drivers y arquitecturas

Radeon DPM es la entrada grande; alrededor, el ciclo añade drivers de red, sonido y sensores, y continúa la limpieza de staging. ARM64 gana KVM y Xen; en x86, el trabajo se centra en Haswell y en la gestión térmica. La lista completa está en el inventario de drivers.

9. Lo que no llega

  • Radeon DPM es experimental. Hay que activarla con radeon.dpm=1 y depende del firmware; en algunas tarjetas el soporte es parcial (PowerPlay).
  • Lustre llega a staging, no a producción. El código es experimental y su propio TODO reconoce que necesita limpieza antes de salir de staging (lustre.org).
  • zswap compite por RAM. Si el pool crece demasiado, empieza a expulsar páginas al swap y el beneficio se pierde (la documentación).
  • El sondeo de baja latencia es de tres drivers. Solo ixgbe, mlx4 y bnx2x lo admiten, y a cambio de más CPU (las diapositivas del LPC).

10. Cambios menores

Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.

Core

Memoria y bloque

Ficheros y arranque

11. Qué viene después

La merge window de Linux 3.12 se abrió el 3 de septiembre y la release llegó el 3 de noviembre de 2013, con la deduplicación de Btrfs, el cambio automático de GPU en portátiles y una mejora de rendimiento en Radeon que resultó venir del gobernador de cpufreq, no del driver. También es el ciclo de lockref, que mejora la búsqueda de rutas en máquinas grandes.

Para quien administre sistemas, 3.11 es la release de zswap y de O_TMPFILE: dos mejoras que destacan en el día a día sin cambiar de distribución. Para quien programe, es la release en la que los ficheros temporales dejan de tener nombre y en la que ARM64 empieza a poder virtualizar.

La serie 3.x sigue en la página de la serie y el índice del kernel reúne las demás. La entrega anterior es Linux 3.10; las últimas publicadas de la serie son Linux 3.17, 3.18 y 3.19.

12. Referencias

Esta entrada está licenciada bajo CC BY 4.0 por el autor.