Entrada

Linux 3.14: plazos en el scheduler y adiós al bufferbloat

Linux 3.14 añade SCHED_DEADLINE, estabiliza zram, hace aleatorio el kernel con KASLR y estrena fq_codel y PIE contra el bufferbloat.

Linux 3.14: plazos en el scheduler y adiós al bufferbloat

Linux 3.14 se ha publicado hoy, 30 de marzo de 2014, con SCHED_DEADLINE para tareas realtime, zram estable, KASLR y los primeros qdisc contra el bufferbloat. Es el ciclo en el que el kernel empieza a planificar por plazos y en el que la red deja de acumular paquetes en colas eternas.

Linux 3.14 se publicó el domingo 30 de marzo de 2014, setenta días después de la release anterior y con siete candidatas de por medio. LWN avisó de que Torvalds estaba considerando llegar a la rc8 por el número de problemas abiertos, pero al final no hizo falta y el ciclo cerró sin sustos.

El reparto por autor vuelve a mezclar limpieza y features: H Hartley Sweeten encabeza con 278 changesets (2,3 %), seguido de Laurent Pinchart (232, 1,9 %), Jingoo Han (174, 1,4 %) y Rashika Kheria (162, 1,3 %). Es un ciclo de base: el scheduler, la red, la seguridad y la memoria reciben cambios que se notarían en las releases siguientes.

Hay tres claves. La primera es el tiempo: SCHED_DEADLINE añade una clase de planificación por plazos, y KASLR hace aleatoria la dirección del kernel al arrancar. La segunda es la red: TCP autocorking y los qdisc PIE y fq_codel atacan el bufferbloat. La tercera es la memoria: zram deja de ser experimental y Btrfs aprende a guardar propiedades por inodo.

Y una entrada curiosa: liblockdep, el validador de bloqueos del kernel portado a espacio de usuario para que cualquier programa pueda detectar sus propios interbloqueos.

Mapa de las claves de Linux 3.14: SCHED_DEADLINE, zram, KASLR, bufferbloat, Btrfs y liblockdep

Las seis piezas del ciclo. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.

Línea temporal de Linux 3.14: de 3.13 a la release, con la rc1 del 2 de febrero y la rc7 del 16 de marzo

Del 3.13 al 3.14: siete release candidates, 12.000 changesets y un ciclo sin rc8 al final.

1. Las cifras de un ciclo de base

DatoValor
Fecha de release30 de marzo de 2014
Versión anterior3.13 (19 de enero de 2014)
Merge window20 de enero al 2 de febrero de 2014
Release candidates7 (rc1 el 2 de febrero, rc7 el 16 de marzo)
Ciclo70 días
Changesets12.000
Desarrolladores1.400
Líneas netas+341.000
Autor con más changesetsH Hartley Sweeten (278)

Los números son los de LWN, que publicó el reparto el 12 de marzo con la rc6 fuera: 12.000 changesets, 1.400 desarrolladores y un crecimiento neto de 341.000 líneas. 3.14 vuelve a los 12.000 changesets después del ciclo más largo de 3.13, con 1.400 desarrolladores y un crecimiento neto de 341.000 líneas. El trabajo se reparte entre drivers, red y core, sin una feature que domine el ciclo.

2. SCHED_DEADLINE: planificar por plazos

El scheduler de Linux tenía clases para tareas normales, de tiempo real y de baja prioridad. 3.14 añade SCHED_DEADLINE, una clase pensada para tareas que deben terminar antes de un plazo conocido: se declara el tiempo de ejecución, el periodo y el plazo, y el kernel garantiza que la tarea recibe su CPU dentro de la ventana. El commit de entrada es 1baca4ce16b8, de Juri Lelli.

El algoritmo se basa en EDF (earliest deadline first) con un mecanismo de admisión: si la suma de las tareas no cabe en la CPU, el kernel rechaza la nueva en lugar de degradar a las demás. Para audio, vídeo o control industrial, es una forma de pedir garantías sin usar prioridades fijas.

La clase no es para todo: si una tarea se pasa de su tiempo de ejecución, el kernel la expulsa, y el uso requiere privilegios. Para el usuario normal no cambia nada; para quien hace tiempo real, es una pieza nueva.

3. zram deja de ser experimental

zram comprime las páginas que van al swap en un dispositivo de bloques en RAM. En 3.14 sale de staging y se considera estable (cd67e10ac699), lo que significa que las distribuciones pueden activarlo sin miedo y que su interfaz se congela.

Para un equipo con poca memoria o un móvil, zram es una forma barata de multiplicar el swap: en lugar de escribir a disco, comprime en memoria y solo baja al dispositivo cuando no cabe. El límite es el de siempre: comprimir cuesta CPU, y en cargas con memoria muy compressible el beneficio es mayor que en cargas con datos aleatorios.

4. KASLR: el kernel cambia de sitio

Kernel address space layout randomization hace aleatoria la dirección base del kernel al arrancar, de modo que un atacante no puede saber dónde están las funciones y estructuras. El soporte entra en el commit de Kees Cook y compañía y se activa por defecto en x86-64 cuando el firmware lo permite.

KASLR no es una barrera mágica: reduce la superficie de ataques que dependen de direcciones fijas, pero un atacante con una fuga de información puede sortearla. Aun así, es una de las mitigaciones que se quedarían en todas las distribuciones.

5. Red: autocorking y los qdisc contra el bufferbloat

Tres cambios de red en el mismo ciclo. El primero es TCP autocorking (f54b311142a9, de Eric Dumazet): el kernel agrupa paquetes pequeños que van al mismo destino en lugar de enviarlos uno a uno, lo que reduce el número de paquetes y mejora el rendimiento en cargas con muchas escrituras pequeñas.

El segundo es PIE, un qdisc que controla la cola de salida midiendo el retardo y descartando paquetes antes de que la cola se llene (d4b36210c2e6). El tercero es fq_codel, que combina colas por flujo con el algoritmo CoDel para repartir el ancho de banda y evitar que un flujo llene la cola de todos. Los dos atacan el mismo problema: el bufferbloat, la latencia que aparece cuando los buffers de los routers se llenan y nadie los vacía.

El despliegue tiene su coste: hay que configurar el qdisc en el router o en el equipo, y no todos los drivers lo aprovechan igual.

6. Btrfs: propiedades por inodo

Btrfs añade propiedades por inodo, es decir, la posibilidad de guardar metadatos como la compresión o la política de copy-on-write en el propio inodo (63541927c8d1). Hasta entonces, la compresión se activaba por montaje o por fichero con chattr; ahora se puede marcar un directorio o un fichero con sus propiedades y que se hereden.

La herramienta btrfs property tiene que usarse y que no todas las propiedades están soportadas en todas las versiones. Para quien administre un NAS, es una forma más fina de decidir qué se comprime y qué no.

7. liblockdep y las herramientas de usuario

liblockdep lleva el validador de bloqueos del kernel (lockdep) a espacio de usuario (5634bd7d2ab1, de Sasha Levin). La idea es que un programa pueda envolver sus pthread mutex y rwlocks y detectar interbloqueos con el mismo motor que usa el kernel, sin instrumentar el kernel.

El ciclo también mejora uprobes para acceder a todos los argumentos de una función, y añade triggers a los eventos de trazado (93e31ffbf417). Juntas, estas piezas hacen que el trazado sea más útil sin escribir módulos.

8. Por subsistemas

8.1 Memoria y bloque

El detector de working set mejora: el kernel estima mejor el tamaño del conjunto de páginas que usa un proceso y ajusta el reclaim en consecuencia. En bloque, el ciclo sigue migrando drivers a blk-mq y pule el comportamiento de las colas.

8.2 Virtualización y seguridad

Xen y KVM reciben correcciones y soporte de CPU; en seguridad, además de KASLR, el ciclo añade mejoras en el arranque seguro y en la verificación de módulos. No hay una feature grande, sino muchos ajustes.

8.3 Drivers y arquitecturas

El ciclo añade drivers de red, sonido y sensores, y soporte para más placas ARM. En x86, el trabajo se centra en Haswell y en la gestión de energía. La lista completa está en el inventario de drivers.

9. Lo que no llega

  • KASLR depende del firmware y del arranque. No todos los cargadores permiten la aleatorización, y sin entropía temprana la protección es limitada (el commit).
  • SCHED_DEADLINE requiere privilegios. No es una clase para el usuario normal, y una tarea que se pasa de su presupuesto se queda fuera (el commit).
  • Los qdisc hay que configurarlos. PIE y fq_codel no se activan solos; hay que ponerlos en el equipo o en el router (el commit).
  • Las propiedades de Btrfs necesitan herramienta. btrfs property no estaba en todas las versiones de btrfs-progs (el commit).

10. Cambios menores

Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.

Core

  • triggers de trazado — reaccionar a un evento sin escribir código.
  • liblockdep — detectar interbloqueos en espacio de usuario.
  • KASLR — el kernel cambia de dirección al arrancar.
  • working set — mejor estimación de la memoria activa.

Red

Almacenamiento

11. Qué viene después

La merge window de Linux 3.15 se abrió el 31 de marzo y la release llegó el 8 de junio de 2014, con renameat2, los nuevos modos de fallocate, los bloqueos OFD, AVX-512 y LZ4 en zram. Es un ciclo más corto, con siete rc y una reanudación desde suspensión más rápida en equipos con disco.

Para quien administre sistemas, 3.14 es la release de zram y de los qdisc contra el bufferbloat: dos mejoras que destacan en un portátil con poca memoria y en una red doméstica. Para quien programe, es la release de SCHED_DEADLINE y de KASLR.

La serie 3.x sigue en la página de la serie y el índice del kernel reúne las demás. La entrega anterior es Linux 3.13; las últimas publicadas de la serie son Linux 3.17, 3.18 y 3.19.

12. Referencias

Esta entrada está licenciada bajo CC BY 4.0 por el autor.