Linux 4.14: zstd, cinco niveles y la LTS de 2017
Linux 4.14 estrena zstd en Btrfs y Squashfs, cinco niveles de tablas de página, el unwinder ORC y cgroup thread mode. Es la LTS de 2017.
Linux 4.14 salió el domingo 12 de noviembre de 2017 tras diez semanas de ciclo y se convirtió en la LTS de la serie 4.x. Trae zstd en Btrfs y Squashfs, cinco niveles de tablas de página, el unwinder ORC, cifrado de memoria de AMD y cgroup thread mode.
Linux 4.14 se publicó el 12 de noviembre de 2017, después de un ciclo de diez semanas en el que se mezclaron las features de siempre con dos cambios de fondo: el soporte de cinco niveles de tablas de página y el cifrado de memoria de AMD. La release se anunció como la siguiente LTS, y esa etiqueta marcaría su vida durante años.
LWN cuenta 13.452 changesets y unas 1.700 personas desarrolladoras. No bate récords, pero es uno de los ciclos con más trabajo de infraestructura: buena parte del trabajo se fue en memoria, en el unwinder y en la preparación para hardware que aún no existía.
Hay tres claves. La primera es la memoria: cinco niveles de tablas de página, HMM para GPUs y cifrado de memoria de AMD. La segunda es la compresión: zstd llega a Btrfs y Squashfs. La tercera es la observabilidad: el unwinder ORC sustituye a la tabla de unwinding y hace las trazas más fiables.
Y una capa de gestión: cgroup thread mode permite tratar hilos como unidades de planificación, algo que los runtimes llevaban tiempo pidiendo.
El ciclo, en seis bloques. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.
Del 4.13 al 4.14: diez semanas, ocho release candidates y la etiqueta de LTS.
1. Las cifras de la LTS de 2017
| Dato | Valor |
|---|---|
| Fecha de release | 12 de noviembre de 2017 |
| Versión anterior | 4.13 (3 de septiembre de 2017) |
| Release candidates | 8 |
| Changesets | 13.452 |
| Desarrolladores | ~1.700 |
| Soporte | LTS |
El ciclo arranca el 4 de septiembre y cierra el 12 de noviembre, con ocho rc, tras el ciclo de 4.13. El número de cambios está en la media de 2017, pero el ciclo se recuerda por la etiqueta: LTS, con soporte previsto durante años y adopción en distribuciones de ciclo largo.
Las estadísticas completas están en LWN, Phoronix repasa las novedades y el anuncio confirma la LTS.
2. Cinco niveles de tablas de página
Las CPU modernas pueden direccionar más memoria de la que cabe en cuatro niveles de tablas de página: 128 PiB frente a los 64 TiB del esquema clásico. En 4.14 entra el soporte de cinco niveles en x86-64, con una tabla adicional que solo se usa cuando hace falta.
El cambio no afecta a la mayoría de los equipos: el kernel detecta si la CPU y el firmware lo admiten y solo activa ese nivel adicional cuando la memoria instalada lo requiere. Para las aplicaciones, las direcciones virtuales siguen siendo de 47 bits por defecto; el nivel adicional se reserva para cargas de trabajo muy grandes.
LWN lo explicó en Five-level page tables y la documentación de x86 describe el formato. El límite: el hardware tiene que soportarlo y el firmware tiene que exponer la capacidad; en un portátil de 2017 no cambia nada.
3. zstd en Btrfs y Squashfs
zstd es el compresor de Facebook, pensado para comprimir casi como gzip a la velocidad de lz4. En 4.14 llega a Btrfs y a Squashfs, con niveles de compresión ajustables.
Tres formas de comprimir; zstd busca el equilibrio entre ratio y velocidad.
Para Btrfs supone una tercera opción junto a zlib y lz4: el usuario elige el nivel y el sistema de ficheros comprime los datos sobre la marcha. Para Squashfs, es la posibilidad de hacer imágenes más pequeñas sin renunciar a la velocidad de descompresión, algo que se agradece en sistemas empotrados y en CDs en vivo.
La documentación de Btrfs tiene los niveles y las recomendaciones. El límite: comprimir cuesta CPU, y en un equipo lento el espacio que ganas puede no compensar. En un servidor con muchos núcleos, sí.
4. ORC: trazas fiables sin tablas gigantes
El kernel necesita saber cómo recorrer la pila para generar trazas y para live patching. La tabla clásica (.eh_frame) es grande y frágil; el unwinder ORC genera una tabla compacta a partir de la información del compilador y la usa para reconstruir la pila con precisión.
En 4.14 entra el unwinder ORC, que sustituye a las tablas anteriores en x86-64 y reduce el tamaño del kernel. El beneficio se aprecia en las trazas de fallos y en la fiabilidad de live patching: sin un unwinder correcto, un parche en caliente puede dejar la pila inconsistente.
LWN lo contó en The ORC unwinder y la documentación de live patching explica por qué importa. El límite: ORC necesita que el compilador genere la información y que el kernel se compile con las herramientas adecuadas.
5. AMD SME: memoria cifrada
AMD Secure Memory Encryption cifra la memoria principal con una clave que gestiona el firmware: los datos se cifran al escribir en RAM y se descifran al leer, sin que el software tenga que hacer nada. En 4.14 entra el soporte de SME, con la posibilidad de marcar regiones como cifradas o no cifradas.
El caso de uso es proteger la memoria frente a ataques físicos: si alguien se lleva el módulo de RAM o espía el bus, encuentra datos cifrados. La implementación requiere un EPYC con SME, firmware que lo active y un kernel que sepa qué páginas marcar.
LWN lo explicó en AMD’s memory encryption y la documentación de KVM cubre la parte de virtualización, que llega más tarde. El límite: SME no protege del hipervisor ni del sistema operativo; para eso hace falta SEV.
6. cgroup thread mode
Los cgroups tratan procesos, no hilos, y los entornos de ejecución que crean muchos hilos (Java, Go, los servidores de bases de datos) necesitaban controlar hilos individuales. En 4.14 entra el thread mode: un cgroup puede contener hilos sueltos y compartir el controlador de CPU con el grupo padre.
La funcionalidad permite dar prioridad a un hilo dentro de un proceso, algo que antes exigía apaños con nice o con el scheduler. LWN lo contó en Thread mode for control groups y la documentación de cgroup v2 describe el modo.
El límite: thread mode es delicado, porque parte de la base de que un proceso puede estar en varios cgroups; hay que usarlo con cuidado y solo cuando el runtime lo necesita.
7. Zero-copy, HMM y E/S asíncrona
Tres piezas para acelerar la E/S. La primera es el zero-copy de memoria de usuario a sockets: sendmsg() puede tomar las páginas del usuario y enviarlas sin copiarlas al kernel, con las restricciones de alineación y de quién es dueño de las páginas.
La segunda es HMM, Heterogeneous Memory Management, que permite compartir memoria entre CPU y GPU sin copias explícitas: el kernel migra páginas y mantiene las tablas coherentes. Es la base para las GPUs con memoria unificada y para el hardware especializado que aún no existía.
La tercera es la E/S con búfer asíncrona, que permite lanzar lecturas y escrituras con búfer sin bloquear el proceso. LWN explicó HMM en Heterogeneous memory management y el zero-copy en Zero-copy networking. Los límites: HMM es experimental y el zero-copy exige que la aplicación no modifique las páginas mientras el kernel las usa.
8. El salseo: la LTS y la merge window de Thanksgiving
No hubo pelea en 4.14. La noticia es la etiqueta de LTS y el aviso de Linus: la merge window de 4.15 sería más corta de lo habitual porque coincidía con Thanksgiving, y los maintainers debían enviar sus pull requests antes. LWN lo recogió en la crónica de la release y en el análisis de la merge window.
La otra conversación es la de siempre: qué se considera estable y cuánto tarda una LTS en llegar a las distribuciones. 4.14 quedó como la opción de ciclo largo para Debian, Ubuntu y los sistemas que no cambian de kernel cada pocos meses.
El ciclo termina sin incidentes y con una release pensada para lo que viene: cinco niveles, HMM y SME preparan el hardware que vendría en 2018, como recuerda el mapa de ramas de kernel.org.
9. Por subsistemas
9.1 Memoria y bloque
El unwinder ORC reduce el tamaño del kernel y mejora las trazas. La E/S asíncrona con búfer llega al bloque, y el cifrado de memoria de AMD se integra en el arranque. En memoria, el ciclo prepara el terreno para HMM y para las páginas de dispositivo. Btrfs convierte la contabilidad de referencias a rbtrees, DRBD añade disable-write-same y el bloque introduce la página cero de DAX.
9.2 Red
El zero-copy de usuario a sockets es la pieza nueva; el resto son mejoras de drivers. TCP y UDP reciben ajustes de rendimiento y las tarjetas de red siguen sumando soporte.
9.3 Arquitecturas y energía
El cpufreq coordination con SMP mejora el reparto de frecuencia entre núcleos, y PCID alarga la vida de las entradas TLB. En arquitecturas, ARM y x86 reciben soporte de nuevas placas y SoC.
9.4 Virtualización
SME y HMM son la base; KVM gana las piezas para invitados cifrados que se completarán en 4.15. Los drivers de virtio siguen puliendo el arranque y la migración.
10. Lo que no llega
Los cinco niveles solo se activan con hardware y firmware compatibles; en la mayoría de los equipos no cambia nada. HMM es experimental y necesita drivers que lo usen. SME requiere EPYC y firmware, y no protege del hipervisor: para eso está SEV, que llega después.
zstd cuesta CPU, y el nivel alto no siempre compensa. Y la LTS no arregla nada de eso: es una promesa de mantenimiento, no una lista de features. La documentación de HMM, los parámetros del kernel y la guía de DAX tienen las combinaciones que quedan fuera.
11. Cambios menores
Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.
Core
cpuset_v2_mode— el controlador cpuset usa el comportamiento de v2.cgroup.max.descendants— límite al tamaño de la jerarquía.structleakcon inicialización forzada — menos fugas de pila.randstructdetecta punteros a función — más aleatorización de estructuras.
Ficheros
- Btrfs monta degradado en lectura/escritura — si se cumplen los perfiles RAID.
- Btrfs mejora la asignación en SSD — menos escritura innecesaria.
- Btrfs permite defrag con
NOCOMPRESS— el atributo se puede sobrescribir. - Btrfs deprecación de ioctls de transacción — aviso para quien los use.
Memoria
- THP swap, segunda parte — menos divisiones de páginas enormes.
- Readahead de swap por memoria virtual — menos latencia al paginar.
- Allocator percpu por bitmap — más escalable.
- Hotplug sin restricciones de zona — se puede elegir el tipo de online.
- NUMA stats separadas — mejor escalabilidad.
Bloque
- Página cero de DAX a 4k — lecturas sin bloques especiales.
- blktrace con cgroup — se ve el grupo de cada petición.
- BFQ en dispositivos flash — más rendimiento sin colas.
dm-integritycuenta fallos — diagnóstico de checksums.- md con varios PPL — RAID5 con más de un journal parcial.
12. Qué viene después
La siguiente release es Linux 4.15, que llega el 28 de enero de 2018 con KPTI, RISC-V y el display de amdgpu, según su review de Phoronix y su tarball. La merge window de 4.15 sería más corta por Thanksgiving, como avisó Linus, y el ciclo acabaría marcado por Meltdown.
4.14 es la LTS de la serie: quien busque estabilidad en 2018 se queda aquí hasta 4.19. El sitio de kernel.org mantiene el estado de las ramas.
La página de la serie 4.x reúne todas las entregas, el índice del kernel tiene las demás series y la entrega anterior es Linux 4.13.
