Entrada

Linux 3.8: ext4, F2FS y el adiós al procesador 386

Linux 3.8 estrena los datos en línea de ext4, el sistema F2FS y el reemplazo de disco en caliente de Btrfs, y retira el procesador 386.

Linux 3.8: ext4, F2FS y el adiós al procesador 386

Linux 3.8 se ha publicado hoy, 18 de febrero de 2013, con los ficheros pequeños de ext4 dentro del inodo, F2FS para SSD, el reemplazo de disco en caliente de Btrfs y los namespaces abiertos a usuarios sin privilegios. Hasta ese momento, es el ciclo más activo de la historia, con más de 12.300 changesets, y el primero que deja fuera al procesador 386.

Linux 3.8 se publicó el lunes 18 de febrero de 2013, festivo por el Día de los Presidentes en Estados Unidos, 70 días después de 3.7. La rc7 había salido el 9 de febrero y la release se retrasó un par de días: «The release got delayed a couple of days because I was waiting for confirmation of a small patch», escribió Torvalds en el anuncio, «but hey, we could also say that it was all intentional, and that this is the special ‘Presidents’ Day Release’».

Las cifras lo colocan en el máximo de la serie. Hasta la rc7, el ciclo había metido más de 12.300 changesets sin merges, por delante de los 12.243 de 2.6.25, que tenía el récord: 3.8 es el ciclo más activo de la historia del kernel hasta entonces, y en él participan 1.253 desarrolladores, según LWN. No fue un ciclo de una sola cosa: coinciden un cambio de formato en ext4, un sistema de ficheros nuevo, la recta final de los namespaces y la retirada de una arquitectura.

Hay tres claves. La primera es el almacenamiento: ext4 aprovecha el espacio libre del inodo, F2FS se diseña para el FTL de los SSD y Btrfs ya puede cambiar un disco sin desmontar. La segunda es el aislamiento: los namespaces dejan de estar reservados a root y pasan a estar disponibles para usuarios sin privilegios. La tercera es la memoria: llega la zero page gigante, la contabilidad de memoria del kernel en cgroups y la base del balanceo NUMA.

Y un adiós: el 386 deja de arrancar. Linux sigue funcionando en 486 y posteriores, pero el primer procesador de 32 bits de Intel deja de arrancar este kernel.

Mapa de las claves de Linux 3.8: ext4, F2FS, Btrfs, namespaces, memoria y el adiós al 386

Las seis piezas del ciclo. En ámbar, las tres que cambian algo para quien administra o programa sobre Linux.

Línea temporal de Linux 3.8: de 3.7 a la release, con la rc1 del 21 de diciembre y la rc7 del 9 de febrero

Del 3.7 al 3.8: una merge window de dos semanas antes de Navidad, siete release candidates y un arranque de año con retraso de dos días.

1. Las cifras del ciclo más activo hasta entonces

DatoValor
Fecha de release18 de febrero de 2013
Versión anterior3.7 (10 de diciembre de 2012)
Merge window11 al 21 de diciembre de 2012
Release candidates7 (rc1 el 21 de diciembre, rc7 el 9 de febrero)
Ciclo70 días
Changesetsmás de 12.300 (hasta la rc7)
Desarrolladores1.253
Récord anterior2.6.25, con 12.243 changesets
Autor con más changesetsH Hartley Sweeten (426)

Los números son los de LWN, que publicó el reparto el 13 de febrero con la rc7 ya fuera. 3.8 supera el récord de 2.6.25, de 2008, con menos líneas de código nuevo: el ciclo mezcla trabajo de drivers con limpieza de staging y la retirada de código viejo. H Hartley Sweeten vuelve a encabezar la lista con 426 changesets (3,5 %), casi todos en comedi; le siguen Bill Pemberton con 381 (3,1 %), Philipp Reisner con 238 (1,9 %) y Andreas Gruenbacher con 210 (1,7 %).

Por líneas modificadas, el primer puesto es para Greg Kroah-Hartman (42.448, un 5,8 %), por la limpieza de staging y la retirada de drivers; le siguen Sreekanth Reddy (30.415, un 4,2 %) y H Hartley Sweeten (22.581 líneas). El análisis de LWN por empresa muestra el reparto habitual: Red Hat lidera por poco, Intel concentra dos tercios de su trabajo en drivers, Google empuja networking y memoria para Android, y Linaro dedica el 36 % a ARM.

2. Ext4 mete los ficheros pequeños en el inodo

Cada fichero de ext4 tiene un inodo con su tamaño, fechas y propietario, pero los datos van en bloques aparte. El inodo se dimensiona al crear el sistema de ficheros (256 bytes por defecto) y casi nunca se llena, mientras que un fichero de 10 bytes ocupa un bloque entero de 4 KB y obliga a un acceso adicional para leerlo. 3.8 aprovecha el espacio libre del inodo para guardar ahí los ficheros muy pequeños: sin bloque, sin salto y con menos espacio desperdiciado.

El cambio lo firma Tao Ma (67cf5b09a46f) y se activa con el formato de inodo adecuado. Las pruebas que cita KernelNewbies con un árbol de Linux 3.0 ahorran más del 1 % del disco, y en un /usr de ejemplo más del 3 %. Lo que limita es el tamaño del inodo: cuanto más grande, más ficheros caben dentro, pero también se desperdicia más espacio si el sistema no usa ficheros pequeños. LWN explicó el diseño en Improving ext4: bigalloc, inline data, and metadata checksums.

Diagrama de los datos en línea de ext4: inodo de 256 bytes con los datos dentro, frente a inodo más bloque de 4 KB

Con datos en línea, un fichero de pocos bytes cabe en el inodo y se lee sin buscar un bloque aparte.

3. F2FS: un sistema de ficheros que cuenta con el FTL

Los SSD no son memoria flash desnuda: llevan una capa de traducción (FTL) que emula un disco de bloques y esconde cómo se borra y se escribe de verdad. Los sistemas de ficheros para flash que había en Linux —jffs2, ubifs, logfs— están pensados para flash nativa, sin FTL, y los de propósito general se limitan a añadir TRIM. F2FS cubre el caso intermedio: un sistema de ficheros que conoce el FTL y organiza las escrituras en secciones y segmentos para que el SSD tenga menos trabajo.

El sistema lo aporta Samsung y lo firma Jaegeuk Kim; entra como experimental en 3.8 y está en fs/f2fs. Agrupa datos y metadatos en zonas que se escriben juntas y se limpian por bloques, de modo que el desgaste y la amplificación de escritura bajen. LWN le dedicó un análisis en An f2fs teardown.

Lo que limita es la etiqueta: es experimental, no tiene la madurez de ext4 y su herramienta de reparación todavía no existe. Para probarlo hace falta formatear una partición con mkfs.f2fs y suponer que un fallo puede costar los datos; para producción, en 2013, sigue siendo ext4 o XFS.

4. Btrfs cambia un disco en caliente

Btrfs ya sabía crecer y encoger un volumen: se añade el disco nuevo con btrfs device add y se quita el viejo con btrfs device delete. Lo que pasa es que el segundo paso reescribe todo lo que hubiera en el disco que se retira, y en un volumen grande eso son horas. 3.8 añade el reemplazo directo: btrfs replace copia los datos del disco viejo al nuevo y cambia las referencias, sin pasar por el borrado lógico.

El cambio es de Stefan Behrens (ff023aac3119) y tiene tres propiedades importantes: funciona en caliente, sobre un sistema montado y con tareas activas; copia a alrededor del 90 % de la velocidad del plato si no hay otra E/S; y si se va la luz a mitad, el proceso se reanuda en el siguiente montaje. Con btrfs replace status se sigue el avance y con btrfs replace cancel se cancela.

La limitación es de alcance: en 3.8 el reemplazo no funciona en volúmenes con RAID 5 o 6, una restricción que Btrfs arrastraría hasta Linux 3.19. Para un NAS con RAID 1 o 10, en cambio, es la forma más rápida de cambiar un disco sin desmontar.

5. Los namespaces de usuario dejan de necesitar root

Los namespaces permiten que un proceso vea un conjunto distinto de puntos de montaje, números de PID, colas IPC o interfaces de red. Existían desde hacía años, pero solo root podía crearlos: unshare y systemd-nspawn los usaban con privilegios. 3.8 añade el namespace de usuario, la pieza que faltaba para que un proceso sin privilegios pueda crear su propio conjunto de namespaces y seguir siendo root dentro de él, pero no fuera.

El merge es de Eric Biederman (6a2b60b17b3e) y completa el trabajo de varios ciclos. Con él, un usuario normal puede montar un tmpfs, tener sus propios PIDs o levantar una pila de red aislada sin tocar la del sistema. Es lo que hace posibles los contenedores sin privilegios que vendrían después, y la razón por la que unshare -Ur funciona hoy.

Y «casi completo» no quiere decir completo: algunos subsistemas todavía no comprueban bien los permisos dentro del namespace, y montar según qué sistemas de ficheros sigue reservado a root. La serie de LWN Namespaces in operation cuenta cómo se usa.

6. Memoria: zero page gigante, kmem y NUMA

Tres cambios de memoria en el mismo ciclo. El primero es la zero page gigante: cuando una aplicación reserva memoria llena de ceros, el kernel puede apuntar todas las páginas a una sola página de ceros en vez de asignarlas. 3.8 hace lo mismo con páginas grandes (d8a8e1f0da3d, de Kirill Shutemov), así que una base de datos que reserva 10 GB y solo escribe una parte ahorra memoria. LWN lo contó en Adding a huge zero page.

El segundo es la contabilidad de memoria del kernel en cgroups. El controlador de memoria solo medía la memoria de usuario; 3.8 añade memory.kmem.limit_in_bytes y compañía para limitar también la pila y el slab del kernel. Sirve, por ejemplo, para parar un fork bomb que consume memoria del kernel sin que el límite de usuario lo note.

El tercero es la base del balanceo NUMA. En una máquina con varios nodos, acceder a la memoria de otro nodo es más lento; 3.8 añade la infraestructura para mover páginas y tareas según dónde se usan, aunque la política automática completa llega en releases posteriores. LWN lo explicó en NUMA in a hurry.

7. Adiós al 386

El merge de la rama x86-nuke386 (743aa456c183) cierra el soporte del 386. Quien tenga uno no puede actualizar a 3.8; el 486 y posteriores siguen igual. La razón es de mantenimiento: cada cambio en el arranque de x86 tenía que seguir funcionando en un procesador sin instrucciones que el resto del código da por hechas, y cada vez quedaba menos gente con hardware para probarlo.

Para casi todo el mundo no cambia nada: quien tenga un 386 no puede actualizar a 3.8 y se queda en la rama anterior. Para el kernel, es una carga menos y una señal de que la arquitectura de 32 bits se limita ya a los modelos que aún se usan.

8. El salseo: «demasiado tarde y demasiado sorprendente»

El 21 de diciembre de 2012, con la merge window a punto de cerrar, Eric Paris envió el pull de la notification tree, la rama de fanotify y las notificaciones de cambios en ficheros. Llegaba con un parche de última hora para arreglar un conflicto con otro árbol, y Torvalds lo rechazó sin contemplaciones: «I’m not going to bother pulling this. It’s coming in late in the merge window, it has been rebased days ago, and it changes fundamental infrastructure», escribió en el hilo. El remate fue la pregunta que resume su criterio: «WTF? If they’ve waited 18 months, there cannot be this kind of last-minute hurry now. Why did you wait until the last minute?». Paris contestó que los cambios llevaban 18 meses en linux-next y que él había estado ausente como maintainer; el pull no entró en 3.8. No hubo cambio de maintainer ni reversión, pero el episodio muestra qué pasa cuando algo llega tarde: se queda fuera, aunque el código sea bueno.

9. Por subsistemas

9.1 Sistemas de ficheros

XFS añade sumas de comprobación al journal (bc02e8693d87, de Christoph Hellwig), el primer paso hacia el checksum completo de metadatos. tmpfs admite SEEK_DATA y SEEK_HOLE en lseek() (220f2ac91353), útil para copiar ficheros dispersos sin leer los huecos. Y el cargador de módulos puede leer un módulo desde un descriptor (34e1169d996a), una petición de Chrome OS para verificar con dm-verity que el módulo viene de su partición de solo lectura.

9.2 Red y virtualización

El ciclo añade la posibilidad de usar páginas de 1 GB con MAP_HUGETLB (42d7395feb56) y el PTRACE_O_EXITKILL (992fb6e17063), que mata a los trazados cuando muere el trazador: un cambio pequeño que evita procesos huérfanos en strace y en los depuradores. En virtualización, Xen y KVM siguen sumando soporte de CPU y de dispositivos, y la contabilidad de memoria del kernel se integra con los cgroups.

9.3 Arquitecturas y drivers

x86 estrena el sistema de ficheros de variables UEFI, efivarfs (5d9db8837617), necesario porque algunas variables no caben en una página y sysfs no servía. ARM suma soporte para los Allwinner A1x (3b52634f0b7a), la familia que llegaría a las placas Raspberry Pi y a varias televisiones, y para los SoC Exynos 5440. En drivers, el ciclo retira varios de staging y añade hardware nuevo de red y de sonido.

9.4 Core

El freezer de cgroups aprende a funcionar en jerarquía (ef9fe980c6fc), y smaps añade el campo VmFlags (834f82e2aa9a), que CRIU usa para restaurar un proceso. IPC gana variables para fijar los identificadores de los objetos, otro requisito de checkpoint/restore.

10. Lo que no llega

  • El reemplazo de Btrfs no vale en RAID 5/6. La operación en caliente funciona en RAID 0, 1 y 10; para los perfiles con paridad habrá que esperar a Linux 3.19, donde llegan el scrub y el reemplazo en RAID 5/6.
  • F2FS es experimental. Se puede formatear y montar, pero no hay herramienta de reparación ni garantías para datos importantes; su merge en 3.8 es el punto de partida.
  • Los namespaces de usuario no están completos. El soporte es «casi completo»: algunos subsistemas aún no validan permisos dentro del namespace y montar ciertos sistemas de ficheros sigue necesitando root (la serie de LWN detalla el estado).
  • El balanceo NUMA automático no llega aquí. 3.8 pone la base para mover páginas y tareas, pero la política que lo hace sola llega en releases posteriores (la base del ciclo).

11. Cambios menores

Una selección de lo que no cabe en las claves, con su enlace y su consecuencia.

Core

ACPI y energía

Almacenamiento

Networking

12. Qué viene después

La merge window de Linux 3.9 se abrió el 19 de febrero y la release llegó el 28 de abril de 2013, con el estado de suspensión freeze, los procesadores ARC 700 y Meta, y la retirada de CONFIG_EXPERIMENTAL. Ese ciclo también estrena los dispositivos de caché SSD y el soporte de KVM en ARM, y es el último antes de la llegada de bcache en 3.10.

Quien administre sistemas verá en 3.8 la release de ext4 y Btrfs: los datos en línea destacan en /usr y en los directorios con muchos ficheros pequeños, y btrfs replace ahorra horas en un NAS. Quien programe encontrará aquí la release en la que los namespaces dejan de estar reservados a root, la base de los contenedores sin privilegios que vendrían después.

La serie 3.x sigue en la página de la serie y el índice del kernel reúne las demás. La entrega anterior de esta serie es Linux 3.7, que no tiene post.

13. Referencias

Esta entrada está licenciada bajo CC BY 4.0 por el autor.