Entrada

Linux 5.4: LTS, lockdown y virtio-fs

La LTS de 2019 llega con kernel lockdown, virtio-fs, fs-verity y MADV_COLD. 14.619 changesets y cinco años de mantenimiento.

Linux 5.4: LTS, lockdown y virtio-fs

La LTS de 2019 es Linux 5.4: 14.619 changesets y 1.877 desarrolladores, con kernel lockdown, virtio-fs para compartir ficheros con máquinas virtuales y fs-verity para detectar modificaciones.

La release sale el domingo 24 de noviembre de 2019, diez semanas después de 5.3 y dentro de la serie 5.x. El árbol necesitó ocho release candidates, uno más de lo habitual, y llegó con la etiqueta de LTS puesta.

Las cifras de este post son las de la tabla acumulada de LWN, publicada en sus estadísticas de 5.11: 14.619 changesets y 1.877 desarrolladores. Es un ciclo grande, el segundo de la serie 5.x por volumen hasta ese momento.

Hay tres claves. La primera es la seguridad: lockdown limita lo que root puede hacer y fs-verity detecta cambios en ficheros. La segunda es la virtualización: virtio-fs comparte carpetas del host con el invitado. La tercera es la memoria: dos madvise() nuevos para decirle al kernel qué páginas no se van a usar.

Mapa de las claves de Linux 5.4: lockdown, virtio-fs, fs-verity, MADV_COLD, EROFS/exFAT y iocost

Las seis piezas que explican el ciclo, con las tres claves marcadas en ámbar.

1. Las cifras de la LTS de 2019

DatoValor
Fecha de release24 de noviembre de 2019
Versión anterior5.3 (15 de septiembre de 2019)
Merge window16 al 29 de septiembre de 2019
Release candidates8
Changesets14.619
Desarrolladores1.877
MantenimientoLTS hasta 2025

El ciclo se queda a 14 changesets de 5.3 en volumen, pero con más trabajo de estabilización: ocho rc y diez semanas. La elección de LTS la hace la comunidad de maintainers, y 5.4 fue la elegida de 2019 por su base de usuarios y por el soporte de las distribuciones.

Gráfico de barras: changesets y desarrolladores de Linux 5.4 frente a 5.3

Las dos releases comparadas con la tabla de LWN, que no cuenta los merges.

La LTS se nota en el tipo de parches: menos features grandes y más correcciones, con un flujo de versiones estables semanales que se mantiene durante años. Es lo que buscan Debian, Ubuntu y los fabricantes de dispositivos.

2. Kernel lockdown: limitar a root

En un sistema con arranque seguro, el firmware verifica la firma del kernel y de los módulos. Pero un root comprometido podía cargar un módulo sin firma o leer /dev/mem, con lo que la cadena se rompía por arriba.

Kernel lockdown añade un modo que restringe esas operaciones: con lockdown=confidentiality no se puede leer memoria del kernel ni cargar módulos sin firma; con integrity, además se bloquean escrituras en /dev/mem y el acceso a puertos.

Lockdown se activa con lockdown=integrity o confidentiality, o con el módulo de seguridad de la distribución; una vez activo, no se puede desactivar en caliente. En modo integrity, el kernel bloquea la carga de módulos sin firma, la escritura en /dev/mem y el acceso directo a los puertos; en confidentiality, además impide leer la memoria del kernel. El caso de uso son los equipos con arranque seguro y los servidores de nube: el usuario sigue siendo root, pero el kernel no le deja saltarse la cadena de confianza. Es una capa más, no un sustituto de SELinux.

Los límites: lockdown no impide un ataque al firmware ni protege contra un kernel comprometido; y puede romper herramientas de depuración. La documentación de lockdown describe los modos.

3. virtio-fs: compartir ficheros con la máquina virtual

Pasar ficheros entre host e invitado siempre fue incómodo: 9p es lento, y los sistemas de ficheros de red añaden latencia. virtio-fs es un sistema de ficheros diseñado para virtio: el host exporta un directorio y el invitado lo monta con la API de POSIX.

La implementación usa un demonio en el host (virtiofsd) que atiende las peticiones del invitado a través de una cola virtio. El resultado es un acceso casi nativo a los ficheros del host, con caché en el invitado.

El demonio virtiofsd corre en el host y comparte un directorio con el invitado; el protocolo usa colas virtio y un canal de control para las operaciones de metadatos. El beneficio es para los entornos de desarrollo y los contenedores con VM: un editor dentro de la máquina virtual puede abrir el código del host sin copiarlo. Los límites: necesita un hipervisor que exponga el dispositivo y un demonio en el host; el rendimiento depende de la configuración. La documentación de virtio describe el modelo.

4. fs-verity: detectar ficheros modificados

fs-verity calcula un árbol de Merkle sobre un fichero y guarda la raíz en el inodo. Cuando alguien lee el fichero, el kernel verifica cada bloque contra el árbol: si un byte cambió, la lectura falla.

5.4 integra fs-verity para ext4 y f2fs, con una API que permite habilitarlo por fichero y verificar la firma. Es la base de Android para comprobar que un APK no se ha modificado.

El árbol de Merkle se calcula una vez, al habilitar fs-verity, y la raíz se guarda en el inodo; las lecturas verifican cada bloque contra el árbol y una firma opcional cubre la raíz. La ventaja es la integridad sin cifrado: no hace falta cifrar el fichero, solo saber si cambió. Los límites: el fichero es de solo lectura tras habilitarlo, y la verificación cuesta CPU en la primera lectura. La documentación de fs-verity describe la API.

5. MADV_COLD y MADV_PAGEOUT

madvise() ya permitía decirle al kernel cómo se va a usar un rango de memoria. 5.4 añade dos consejos: MADV_COLD marca páginas como frías para que se expulsen antes, y MADV_PAGEOUT pide expulsarlas ya.

El caso de uso son los procesos que saben más que el kernel: un navegador que cierra una pestaña puede liberar su memoria sin esperar al recolector; un servicio en segundo plano puede marcar su caché como fría. En Android, el sistema usa estas llamadas para gestionar la memoria de las aplicaciones.

Los límites: son consejos, no órdenes; el kernel puede ignorarlos si no hay presión. La documentación de memoria recoge las políticas.

6. EROFS, exFAT y dm-clone

EROFS sale de staging y entra en el tree como sistema de ficheros de solo lectura comprimido, pensado para imágenes de sistema y dispositivos con poca memoria. exFAT llega a staging con una implementación nueva, que en 5.7 pasaría al tree principal.

dm-clone permite clonar un dispositivo mientras se sigue usando, con lo que se puede migrar un disco grande sin parar el servicio.

Las tres son de almacenamiento: una imagen de solo lectura, un sistema para tarjetas y una herramienta de migración. Los límites: EROFS no admite escritura, exFAT no tiene journal y dm-clone necesita un dispositivo de destino del mismo tamaño. La documentación de ficheros recoge el estado.

7. haltpoll e iocost

Dos piezas de rendimiento. haltpoll es un driver de cpuidle para invitados: en vez de dormir y pagar la salida de la máquina virtual, espera un poco en modo ocupado. El resultado es menos latencia en cargas interactivas virtualizadas.

blk-iocost es un controlador de E/S por cgroup que reparte el ancho de banda según un coste en vez de un número de operaciones: modela el dispositivo y cobra a cada grupo lo que consume.

Las dos ajustan el coste a la realidad: una evita el peaje de despertar la VM, la otra mide el trabajo real del disco. Los límites: haltpoll gasta CPU y no conviene en todos los invitados; iocost necesita calibrar el modelo del dispositivo. La documentación de cgroups describe el controlador.

8. Namespaces de símbolos y gráficos nuevos

El kernel exporta símbolos a los módulos, y hasta 5.4 todos los módulos veían todos. Los namespaces de símbolos permiten agruparlos y declarar qué módulo puede usar cuáles, con lo que se reduce la superficie de un módulo mal escrito.

En gráficos, el ciclo añade soporte para las GPU de AMD e Intel que estaban por salir, y mejoras en el driver de amdgpu. Es el trabajo habitual de reconocer hardware antes de que llegue a las tiendas.

Las dos piezas son de orden: una limita lo que un módulo ve, la otra prepara el hardware. Los límites: los namespaces de símbolos exigen adaptar los módulos y su uso aún es minoritario. La documentación de módulos describe el modelo.

9. Memoria: memoria.low, memoria.high y throttling

cgroup v2 tenía memory.low y memory.min como protecciones, pero el paso de una a otra era brusco. 5.4 añade una presión de reclamación gradual entre ambos umbrales, con lo que un grupo protegido no pasa de no sufrir reclamación a sufrirla de golpe.

El límite memory.high estrangula a los allocators cuando la reclamación no llega a tiempo, en vez de dejar que el grupo crezca hasta el OOM. El fichero memory.shrink se extiende para vaciar todas las cachés del grupo.

El beneficio es el control fino: límites que se comportan como una pendiente, no como un escalón. Los límites: la configuración requiere entender los umbrales; el throttling puede penalizar a un grupo mal ajustado. La documentación de cgroups describe los ficheros.

10. Ficheros: XFS, f2fs y etiquetas

XFS acelera las modificaciones en directorios grandes, uno de sus puntos débiles históricos: crear y borrar muchos ficheros en un directorio de millones de entradas deja de degradarse.

f2fs añade casefolding, la misma idea que ext4 en 5.2, y el kernel gana FS_IOC_GETFSLABEL y SETFSLABEL para leer y escribir la etiqueta del sistema de ficheros. fiemap funciona también en directorios.

Las piezas son de interoperabilidad: nombres sin mayúsculas, etiquetas estándar y mapas de extensión. Los límites: casefolding exige formatear; las etiquetas dependen del sistema de ficheros. La documentación de XFS recoge el estado.

11. Seguridad: firmas de IMA y hooks de fanotify

IMA appraisal puede verificar firmas añadidas al final del fichero, con lo que una imagen de kernel o un binario firmado se valida sin una base de datos externa. Es la pieza que usan las distribuciones con arranque seguro.

Los LSM ganan un hook para las notificaciones de fanotify, inotify y dnotify, con lo que una política puede ver quién observa qué ficheros.

Las dos son de integridad y auditoría: firmas verificables y visibilidad de las notificaciones. Los límites: la firma al final exige una herramienta que la añada; el hook añade una llamada por evento. La documentación de IMA describe el modelo.

12. Energía y red: suspend stats y SOMAXCONN

El kernel expone estadísticas de suspensión en sysfs y las fuentes de despertar en /sys/class/wakeup, con lo que se puede saber qué dispositivo impide que el portátil entre en reposo.

En red, SOMAXCONN sube de 128 a 4096 y tcp_max_syn_backlog se iguala a 4096, un cambio pensado para servidores modernos con muchas conexiones. TCP_INFO añade un contador de paquetes fuera de orden.

Las piezas son de diagnóstico y escala: saber por qué no duerme y aceptar más conexiones. Los límites: las colas grandes consumen memoria; los contadores son informativos. La documentación de red recoge los valores.

13. Criptografía y bloque

El cifrado añade ESSIV como plantilla, XTS con robo de cifra para longitudes que no son múltiplo del bloque, y NETLINK_CRYPTO funciona dentro de un namespace de red.

En bloque, BFQ recupera las interfaces de peso por dispositivo, y se añade REQ_OP_ZONE_RESET_ALL para resetear todas las zonas de un dispositivo zoned de una vez.

Las piezas son de plataforma: cifrado que cubre más casos y bloque que habla mejor con discos por zonas. Los límites: XTS con robo de cifra necesita hardware o software compatible; el reset de zonas es para dispositivos zoned. La documentación de criptografía describe el stack.

14. Traza y BPF: multiprobes y flow dissector

kprobes y uprobes admiten multiprobes: un mismo evento puede agrupar varios puntos de prueba, con lo que se reduce el número de eventos y el coste de una traza amplia.

El flow dissector de BPF recibe flags de entrada, y se añade el mapa devmap_hash para buscar dispositivos por índice hash. Los descriptores de BTF se pueden ver en procfs.

El beneficio es la observabilidad: menos eventos, más contexto y mapas más eficientes. Los límites: multiprobes necesita una herramienta que los cree; devmap_hash es para XDP. La documentación de BPF describe el conjunto.

15. ARM, x86 y PowerPC

ARM suma el ASpeed AST2600 para servidores, el Snapdragon 855 de los móviles de 2019 y placas Davinci y LPC32xx convertidas a ARCH_MULTIPLATFORM.

En x86, se añade la emulación de UMIP para procesos de 64 bits que necesita Wine, se enumera AVX-512 en /proc/cpuinfo y se desactiva TSX, que puede usarse para ataques de especulación.

PowerPC añade el modo Ultravisor, que protege la memoria del hipervisor frente al sistema operativo invitado.

El patrón es el de siempre: más plataformas y más mitigaciones. Los límites: cada SoC necesita su árbol de dispositivos; TSX desactivado cuesta rendimiento en cargas transaccionales. La documentación de x86 recoge el estado.

16. Drivers: audio, USB y watchdog

El audio de FireWire estrena el concepto de dominio AMDTP, que agrupa varios flujos de una interfaz en una sola unidad de sincronización, y PCM admite 352,8 y 384 kHz para las tarjetas de gama alta. La Focusrite Scarlett Gen 2 recibe su interfaz de mezclador por USB.

USB añade ioctls de gestión de energía en tiempo de ejecución para usbfs, y usbip admite scatter-gather, con lo que la virtualización de dispositivos USB mueve menos datos.

Los watchdog suman el i.MX7ULP y el AST2600 de Aspeed, este con dual boot.

El patrón es el de siempre: hardware nuevo con sus periféricos. Los límites: el audio de alta frecuencia necesita hardware que lo soporte; usbip depende de la red. La documentación de driver API recoge el modelo.

17. Plataformas: s390, MIPS y RISC-V

s390 añade soporte para las máquinas z15 y claves SHA3 en zcrypt. MIPS gana páginas grandes de 32 bits y la placa Netgear R6200.

RISC-V añade callchain en perf y hace que mmap asigne de arriba abajo por defecto, como en el resto de arquitecturas.

Las piezas son de paridad: cada arquitectura se acerca a lo que ya hace x86. Los límites: z15 necesita hardware IBM; RISC-V sigue en desarrollo. La documentación de s390 recoge el estado.

18. Por subsistemas

18.1 Core y herramientas

La documentación de la guía de administración recoge el modelo.

Lockdown y los namespaces de símbolos son las novedades. El scheduler recibe ajustes y la gestión de energía sigue avanzando.

18.2 Sistemas de ficheros

virtio-fs, fs-verity, EROFS y exFAT son las incorporaciones; ext4 y XFS reciben correcciones y mejoras.

18.3 Memoria

MADV_COLD y MADV_PAGEOUT son lo visible, junto con mejoras de reclamación y de THP.

18.4 Bloque

dm-clone e iocost son las piezas nuevas, con correcciones en NVMe y SCSI.

18.5 Redes

La pila recibe mejoras y los drivers siguen entrando. No hay una feature de red que destaque.

18.6 Virtualización

virtio-fs y haltpoll son las claves, junto con mejoras de KVM y de los dispositivos virtio.

18.7 Arquitecturas

ARM suma placas y SoC; x86 añade modelos y correcciones de mitigaciones; RISC-V sigue creciendo.

19. Lo que no llega

El calendario de kernel.org marca el fin de la LTS.

Lockdown puede romper herramientas: la depuración con kprobes o /dev/mem deja de funcionar en modo confidentiality. fs-verity solo cubre ext4 y f2fs al principio.

virtio-fs necesita un demonio en el host y un hipervisor compatible. EROFS es de solo lectura. Y 5.4 es LTS, pero eso no significa que todo funcione: la LTS cubre correcciones, no drivers nuevos.

20. Cambios menores

Más detalle en la documentación de el bloque.

Más detalle en la documentación de fs-verity.

Más detalle en la documentación de fs-verity.

Core

  • lockdown — modos de integridad.
  • símbolos — namespaces.

Ficheros

  • EROFS — fuera de staging.
  • exFAT — entra en staging.

Bloque

  • dm-clone — clonado en vivo.
  • iocost — coste de E/S.

21. Qué viene después

El siguiente ciclo está en el inventario de KernelNewbies.

La merge window de 5.5 se abre el 25 de noviembre y cierra el 8 de diciembre. Ese ciclo traerá Btrfs RAID1 triple, KUnit e io_uring con connect; Linux 5.5 sale el 26 de enero de 2020.

Para las distribuciones, 5.4 es la base de Ubuntu 20.04 y Debian 11, y por eso su mantenimiento importa más que el de una release normal. Las rolling la adoptan en semanas.

Las próximas releases mostrarán si virtio-fs sustituye a 9p, si fs-verity se usa fuera de Android y si lockdown se queda como opción de los equipos con arranque seguro.

La LTS de 2019 aguantó cinco años y se convirtió en la base de Debian 11 y de muchas imágenes de servidor. Lockdown, virtio-fs y fs-verity son las piezas que más se han usado: la primera en equipos con arranque seguro, la segunda en entornos de desarrollo con máquinas virtuales y la tercera en Android. MADV_COLD y MADV_PAGEOUT siguen siendo la forma en que un daemon libera memoria ajena.

22. Referencias

Esta entrada está licenciada bajo CC BY 4.0 por el autor.