Entrada

Linux 3.12: deduplicar en Btrfs y cambiar de GPU solo

Linux 3.12 añade deduplicación offline a Btrfs, lockref, RAID5 multihilo y el cambio automático de GPU, y descubre que la mejora de Radeon venía del cpufreq.

Linux 3.12: deduplicar en Btrfs y cambiar de GPU solo

Linux 3.12 se ha publicado hoy, 3 de noviembre de 2013, con deduplicación offline en Btrfs, el nuevo candado lockref, RAID5 multihilo y el cambio automático de GPU en portátiles. Es el ciclo más pequeño desde 3.6, y el que descubre que la mejora de Radeon no venía del driver.

Linux 3.12 se publicó el domingo 3 de noviembre de 2013, 62 días después de 3.11 y con siete release candidates. El ciclo fue corto y sin sobresaltos: 10.480 changesets, la cifra más baja desde 3.6, con 1.259 desarrolladores y un crecimiento neto de 322.000 líneas, según LWN. LWN lo atribuyó, medio en broma, a que los kernels de otoño suelen traer menos cambios porque los desarrolladores se toman vacaciones en verano.

El reparto por autor está dominado por el trabajo de drivers y de infraestructura: Sachin Kamat encabeza la lista con 261 changesets (2,5 %), seguido de Jingoo Han (241, 2,3 %), Mark Brown (209, 2,0 %) y Greg Kroah-Hartman (197, 1,9 %). Son nombres de mantenimiento y de staging, con una presencia clara de ARM.

Hay tres claves. La primera es el almacenamiento: Btrfs ya puede deduplicar datos repetidos, y RAID5 reparte el trabajo entre varios núcleos. La segunda es el rendimiento del sistema: lockref reduce la contención en la búsqueda de rutas y los ticketlocks paravirtualizados mejoran a los invitados. La tercera es los gráficos: los portátiles con dos GPU cambian de una a otra solos, y aparece el nodo de render separado del de pantalla.

Y una historia aparte: el misterio de Radeon. Phoronix midió una mejora enorme en 3.12 y no había ningún cambio en el driver que la explicara.

Mapa de las claves de Linux 3.12: deduplicación en Btrfs, lockref, RAID5, gráficos, GPU switching y OOM

Las seis piezas del ciclo. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.

Línea temporal de Linux 3.12: de 3.11 a la release, con la rc1 del 16 de septiembre y la rc7 del 27 de octubre

Del 3.11 al 3.12: una merge window de dos semanas, siete release candidates y el ciclo más corto desde 3.6.

1. Las cifras de un ciclo de otoño

DatoValor
Fecha de release3 de noviembre de 2013
Versión anterior3.11 (2 de septiembre de 2013)
Merge window3 al 16 de septiembre de 2013
Release candidates7 (rc1 el 16 de septiembre, rc7 el 27 de octubre)
Ciclo62 días
Changesets10.480
Desarrolladores1.259
Líneas netas+322.000
Autor con más changesetsSachin Kamat (261)

Los números son de LWN, que publicó el reparto el 23 de octubre con la rc6 fuera. 3.12 es el ciclo más pequeño desde 3.6, con 10.480 changesets y 1.259 desarrolladores, pero sigue siendo mucho trabajo: 601.000 líneas añadidas y 279.000 eliminadas. El reparto por autor y por empresa confirma el peso de ARM y de los drivers, y la ausencia de una feature gigante que explique el ciclo.

2. Btrfs deduplica datos repetidos

La deduplicación busca bloques idénticos y deja una sola copia, con varias referencias. En cargas como la virtualización —muchas máquinas con el mismo sistema operativo— o los backups, el ahorro puede ser enorme. 3.12 añade deduplicación offline a Btrfs: el proceso no es automático, sino que lo lanza una herramienta de espacio de usuario cuando el administrador quiere, sobre un sistema montado (416161db9b63).

La palabra «offline» engaña: no hace falta desmontar, pero tampoco ocurre sola mientras se escribe. Herramientas como duperemove o bedup recorren los ficheros, calculan hashes y piden al kernel que comparta los bloques repetidos. El límite es que el proceso consume CPU y E/S, y que la deduplicación no es transparente: hay que programarla.

3. RAID5 reparte el trabajo entre núcleos

El RAID5 de md calculaba la paridad y procesaba las franjas con un solo hilo, así que un SSD rápido se quedaba esperando a la CPU. 3.12 lleva el trabajo a varios núcleos: las franjas se reparten y el rendimiento en IOPS sube en discos rápidos (851c30c9badf).

El límite es el de siempre en RAID5 por software: la paridad sigue costando CPU y el write hole no desaparece. Para un array de discos mecánicos el cambio apenas se nota; para un RAID5 sobre SSD, sí.

4. lockref: el candado que casi nunca se toma

En un sistema grande, buscar una ruta implica actualizar contadores de referencia de dentries y inodos, y cada actualización toma un spinlock. lockref combina el candado y el contador en una sola palabra y usa operaciones atómicas para actualizar ambos: si el valor no cambia, no hace falta tomar el candado (bc08b449ee14). El resultado es menos contención en máquinas con muchos núcleos. LWN lo explicó en Introducing lockrefs.

El mismo ciclo mejora la búsqueda de rutas del VFS y añade ticketlocks paravirtualizados para invitados (545ac13892ab): en lugar de girar en el hipervisor, el invitado cede la CPU, lo que mejora varios benchmarks de virtualización.

5. Gráficos: cambio automático de GPU y nodos separados

Los portátiles con dos GPU (Intel + NVIDIA, o AMD) llevaban años necesitando herramientas y configuraciones para cambiar de una a otra. 3.12 añade el cambio automático en el driver (0d69704ae348): cuando la GPU discreta no se usa, se apaga; cuando hace falta, se enciende. El objetivo es que el usuario no tenga que hacer nada y que la batería dure.

El otro cambio es estructural: nodos de dispositivo separados para renderizar y para configurar la pantalla (1793126fcebd). Un compositor necesita el nodo de modeset; una aplicación que solo renderiza o hace GPGPU necesita el de render, sin permisos de pantalla. Es la misma idea que los render nodes de 3.17 acabarían activando por defecto.

6. El misterio de Radeon

Phoronix midió una mejora notable en los gráficos Radeon con 3.12 y no encontraba el cambio en el driver. Tras investigar, la causa era otra: el gobernador ondemand de cpufreq oscilaba demasiado entre frecuencias, y esa oscilación afectaba al rendimiento de la GPU. El ciclo cambió el algoritmo de cálculo de la frecuencia objetivo (dfa5bb622555) y la oscilación desapareció.

La lección es la de siempre: el rendimiento no depende solo del driver que se mide. Un cambio en la gestión de energía de la CPU puede mover los números de la GPU, y sin medir por partes es fácil atribuir el mérito al sitio equivocado.

7. Otras mejoras del ciclo

7.1 Memoria y OOM

El manejo de la memoria cuando se agota cambia: el kernel reduce el número de mensajes de OOM a espacio de usuario, mejora la fiabilidad del mecanismo y evita matar procesos cuando aún hay memoria recuperable (94bce453c789). LWN lo contó en Reliable out-of-memory handling.

7.2 Multitarea sin tick

El tickless de 3.10 tenía una pega: dejaba una CPU con el tick encendido para llevar el tiempo, aunque todo estuviera inactivo. 3.12 permite apagar también esa CPU cuando el sistema entero está idle (b44379af1cf4). LWN lo explicó en Is the whole system idle?.

7.3 XFS y VFS

XFS añade el tipo de fichero a las entradas de directorio, de modo que readdir no necesita leer el inodo para saber si algo es un directorio (0cb97766f292). El resultado es una mejora enorme en recorridos de millones de entradas, y la base para readdir más rápido en el resto de sistemas de ficheros.

8. Lo que no llega

  • La deduplicación de Btrfs no es automática. Hay que lanzarla con una herramienta y consume CPU y E/S; la versión «online» llegaría después (duperemove).
  • El cambio automático de GPU depende del hardware. Funciona con los portátiles que exponen el mecanismo, y el firmware y los drivers de las dos GPU tienen que colaborar (la documentación de vga_switcheroo).
  • lockref no arregla todos los candados. Solo se aplica a contadores de referencia; el resto del VFS sigue con sus bloqueos (el artículo de LWN).
  • El OOM sigue matando procesos. Mejora la fiabilidad, no la elimina: cuando no hay memoria, alguien tiene que morir (la guía del kernel).

9. Cambios menores

Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.

Core

Ficheros

Gráficos

10. Qué viene después

La merge window de Linux 3.13 se abrió el 4 de noviembre y la release llegó el 19 de enero de 2014, con blk-mq, nftables, Radeon DPM por defecto y TCP Fast Open. Es un ciclo más largo de lo normal por las vacaciones, con ocho release candidates.

Para quien administre sistemas, 3.12 es la release de la deduplicación de Btrfs y de lockref: dos mejoras que no se ven pero que ahorran espacio y contención. Para quien use un portátil con dos GPU, es la release en la que el cambio empieza a ser automático.

La serie 3.x sigue en la página de la serie y el índice del kernel reúne las demás. La entrega anterior es Linux 3.11; las últimas publicadas de la serie son Linux 3.17, 3.18 y 3.19.

11. Referencias

Esta entrada está licenciada bajo CC BY 4.0 por el autor.