Linux 3.11: zswap, O_TMPFILE y el radeon que despierta
Linux 3.11 estrena O_TMPFILE, zswap, Radeon DPM experimental, Lustre en staging y NFS 4.2, y mejora SysV IPC y el sondeo de red de baja latencia.
Linux 3.11 se ha publicado hoy, 2 de septiembre de 2013, con O_TMPFILE, zswap, la gestión dinámica de energía de Radeon, Lustre en staging y NFS 4.2. Es un ciclo con calma después del récord de 3.10, y el que pone los cimientos de la virtualización en ARM64.
Linux 3.11 se publicó el lunes 2 de septiembre de 2013, sesenta y cuatro días después de la release anterior y con siete candidatas de por medio. Fue un ciclo más pequeño, y eso no es un problema: el listón lo había puesto la release de junio, que sigue siendo la más grande de la historia del kernel hasta ese momento. Lejos de ser un problema, el descenso confirma que 3.10 había sido una excepción por volumen.
Los números de la tabla son los de LWN, que publicó el reparto el 21 de agosto con la rc6 fuera: 10.700 changesets, 1.239 desarrolladores y un crecimiento neto de 447.000 líneas. El reparto por autor vuelve a estar dominado por la limpieza: H Hartley Sweeten encabeza la lista con 333 changesets (3,1 %), seguido de Sachin Kamat (302, 2,8 %) y Alex Deucher (254, 2,4 %), que aparece por el trabajo en Radeon. Es un ciclo de features concentradas y mucho mantenimiento alrededor, y llega solo dos meses después de Linux 3.10.
Hay tres claves. La primera es los ficheros: O_TMPFILE permite crear un fichero temporal que no existe en ningún directorio hasta que se le da nombre, sin condiciones de carrera ni nombres únicos. La segunda es la memoria: zswap comprime las páginas que van al swap antes de escribirlas, y el kernel empieza a contar qué páginas escribe cada tarea. La tercera es el hardware: Radeon estrena gestión dinámica de energía y ARM64 gana KVM y Xen.
Y una entrada a medias: Lustre llega a staging. El sistema de ficheros de los grandes centros de cálculo entra como experimental, con la etiqueta de que el código aún no está limpio.
Las seis piezas del ciclo. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.
Del 3.10 al 3.11: una merge window de dos semanas, siete release candidates y un ciclo más pequeño que el récord anterior.
1. Las cifras de un ciclo con calma
| Dato | Valor |
|---|---|
| Fecha de release | 2 de septiembre de 2013 |
| Versión anterior | 3.10 (30 de junio de 2013) |
| Merge window | 1 al 14 de julio de 2013 |
| Release candidates | 7 (rc1 el 14 de julio, rc7 el 25 de agosto) |
| Ciclo | 64 días |
| Changesets | 10.700 |
| Desarrolladores | 1.239 |
| Líneas netas | +447.000 |
| Autor con más changesets | H Hartley Sweeten (333) |
Los números de la tabla los publicó LWN el 21 de agosto, con la rc6 fuera. 3.11 baja de los 13.500 changesets de 3.10 a 10.700, y el número de desarrolladores cae de 1.374 a 1.239; aun así, el kernel crece 447.000 líneas netas, más que en 3.12 y 3.13. El trabajo se concentra en drivers y en las features del ciclo, con menos ruido de limpieza que en las releases anteriores.
2. O_TMPFILE: un fichero sin nombre
Crear un fichero temporal seguro en Unix siempre ha tenido el mismo problema: hay que generar un nombre único, crearlo con los permisos correctos y borrarlo después, y entre cada paso hay una ventana en la que otro proceso puede hacer algo. tmpfile(3) lo resuelve en la libc, pero por debajo sigue creando y borrando un nombre.
O_TMPFILE lo lleva al kernel: el fichero se crea en el sistema de ficheros pero no aparece en ningún directorio, y si se cierra sin darle nombre, desaparece. No hay race condition, no hay nombre que adivinar y no hay enlace simbólico que atacar. La otra mitad es igual de útil: se puede escribir en él, ajustar permisos y propietario, y enlazarlo después de forma atómica con el contenido ya listo (60545d0d4610).
El límite es de soporte: en 3.11 lo implementan ext4, XFS, Btrfs, tmpfs y F2FS; en otros sistemas de ficheros la llamada falla. Y el programa tiene que usar openat() con el flag, así que las libc tardaron en exponerlo.
3. zswap: comprimir antes de escribir al swap
Cuando la memoria se llena, el kernel manda páginas al swap, que es disco: lento. zswap se coloca en medio: intercepta las páginas que van a salir, intenta comprimirlas en un pool de memoria RAM y solo las escribe en el dispositivo si no caben o si la compresión no ayuda. En una carga con swap moderado, muchas páginas no llegan a tocar el disco. LWN lo describió como «a lightweight, write-behind compressed cache for swap pages».
El mecanismo entra con 4e2e2770b152 y se configura con zswap.enabled=1. El límite es que compite por RAM con el resto del sistema: si el pool crece demasiado, el propio zswap empieza a expulsar páginas al swap, y el beneficio se pierde. Para un portátil con poca memoria o un servidor con swap en SSD, es una forma barata de ganar margen. LWN lo explicó en The zswap compressed swap cache.
4. Radeon despierta: DPM para toda la familia
La gestión dinámica de energía (DPM) permite que la GPU ajuste frecuencia y voltaje según la carga, en lugar de quedarse en un estado fijo. 3.11 la añade para todas las GPU Radeon desde la r600 (a9e61410921b), y lo hace en modo experimental: hay que pasar radeon.dpm=1 para activarla.
El efecto es doble: menos consumo en reposo y mejor comportamiento bajo carga, porque la tarjeta puede subir de frecuencia cuando hace falta. El límite es la etiqueta de experimental y la dependencia del firmware: en algunas tarjetas el soporte llega incompleto, y las más antiguas se quedan con el método anterior. La gestión se activaría por defecto en 3.13.
5. Red: sondeo de baja latencia y colas IPC
Dos cambios de escalabilidad. El primero es el sondeo de baja latencia por socket: las aplicaciones pueden pedir que la tarjeta sondee la cola con más frecuencia para reducir la latencia, en lugar de esperar al NAPI (060212928670). Solo lo admiten ixgbe, mlx4 y bnx2x, y el coste es más CPU; para trading o para servicios con latencia crítica, el intercambio vale la pena. LWN lo contó en Low-latency Ethernet device polling.
El segundo continúa el trabajo de 3.10: las colas de mensajes de SysV IPC dejan de abusar del candado global en las comprobaciones de permisos (a5001a0d9768). El resultado son mejoras de escalabilidad en máquinas grandes, y deja el camino preparado para la memoria compartida en la siguiente release.
6. ARM: huge pages y virtualización en ARM64
ARM gana huge pages para 32 y 64 bits, con secciones de 2 MB y soporte de transparent huge pages (0b19f93351dd). Para las bases de datos y las cargas con mucha memoria, menos entradas de tabla de páginas significa menos presión sobre la TLB y mejor rendimiento.
En virtualización, el ciclo lleva KVM y Xen a ARM64 (6211753fdfd0 y aa42aa1389a5). Es la pieza que faltaba para que los servidores ARM de 64 bits puedan ejecutar máquinas virtuales con el mismo hipervisor que x86, y la base de los entornos de desarrollo en placa que llegarían después.
7. Lustre, NFS 4.2 y Labeled NFS
El código de Lustre llevaba años fuera del tree y 3.11 lo acepta en drivers/staging como cliente experimental (d7e09d0397e8). Seis de los diez superordenadores más rápidos del mundo lo usan, y su TODO reconoce que aún no está limpio.
En NFS, el ciclo añade soporte preliminar de NFS 4.2 en el cliente (4488cc96c581) y Labeled NFS, que lleva SELinux a los montajes NFS: en lugar de una etiqueta única para todo el montaje, cada fichero puede tener la suya (f58eda9bc2f0). Para virtualización y para exportar homes, es una mejora de seguridad importante.
8. Por subsistemas
8.1 Memoria y core
El ciclo añade el seguimiento soft-dirty: el kernel marca qué páginas ha escrito una tarea, y CRIU lo usa para saber qué copiar al hacer checkpoint (0f8975ec4db2). También entran los wound/wait mutex, un tipo de candado pensado para evitar interbloqueos entre subsistemas, y los temporizadores de alarma (CLOCK_BOOTTIME_ALARM) para despertar el sistema desde suspend.
8.2 Almacenamiento
El kernel puede comprimirse con LZ4 (cffb78b0e0b3), lo que acelera el arranque en equipos con poca CPU. bcache recibe optimizaciones para RAID 5 y 6, y el device mapper estrena el target switch, que redirige la E/S a otro dispositivo según una tabla.
8.3 Drivers y arquitecturas
Radeon DPM es la entrada grande; alrededor, el ciclo añade drivers de red, sonido y sensores, y continúa la limpieza de staging. ARM64 gana KVM y Xen; en x86, el trabajo se centra en Haswell y en la gestión térmica. La lista completa está en el inventario de drivers.
9. Lo que no llega
- Radeon DPM es experimental. Hay que activarla con
radeon.dpm=1y depende del firmware; en algunas tarjetas el soporte es parcial (PowerPlay). - Lustre llega a staging, no a producción. El código es experimental y su propio
TODOreconoce que necesita limpieza antes de salir de staging (lustre.org). - zswap compite por RAM. Si el pool crece demasiado, empieza a expulsar páginas al swap y el beneficio se pierde (la documentación).
- El sondeo de baja latencia es de tres drivers. Solo ixgbe, mlx4 y bnx2x lo admiten, y a cambio de más CPU (las diapositivas del LPC).
10. Cambios menores
Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.
Core
- temporizadores de alarma — despertar el sistema a una hora concreta.
- estadísticas de carga en
/proc/PID/sched— ver cuánto pesa una tarea. - wound/wait mutex — candados que evitan interbloqueos.
- fuera TINY_PREEMPT_RCU — menos código duplicado en RCU.
- percpu_ref — contadores de referencia por CPU.
- registro del tiempo en suspend — saber cuánto ha dormido el sistema.
- desmontar un clockevent — liberar temporizadores por sysfs.
Memoria y bloque
MAP_HUGETLBen hugetlbfs — mapear ficheros con páginas grandes.- contador
vm_committed_aspor CPU — menos contención al reservar memoria. - DM switch — redirigir la E/S a otro dispositivo.
- blkio con jerarquía — límites de E/S que respetan los cgroups padres.
Ficheros y arranque
- LZ4 en el kernel — descomprimir más rápido al arrancar.
- tablas de particiones AIX — leer discos de AIX.
mmapde/proc/vmcore— leer un volcado de memoria sin copiarlo.- cpupower con C-states — desactivar estados de reposo desde la herramienta.
11. Qué viene después
La merge window de Linux 3.12 se abrió el 3 de septiembre y la release llegó el 3 de noviembre de 2013, con la deduplicación de Btrfs, el cambio automático de GPU en portátiles y una mejora de rendimiento en Radeon que resultó venir del gobernador de cpufreq, no del driver. También es el ciclo de lockref, que mejora la búsqueda de rutas en máquinas grandes.
Para quien administre sistemas, 3.11 es la release de zswap y de O_TMPFILE: dos mejoras que destacan en el día a día sin cambiar de distribución. Para quien programe, es la release en la que los ficheros temporales dejan de tener nombre y en la que ARM64 empieza a poder virtualizar.
La serie 3.x sigue en la página de la serie y el índice del kernel reúne las demás. La entrega anterior es Linux 3.10; las últimas publicadas de la serie son Linux 3.17, 3.18 y 3.19.
