914897_merged_usr/ballot.md

   1 # #914897: tech-ctte: Should debootstrap disable merged `/usr` by default?
   2
   3 === DRAFT Resolution ===
   4
   5 "Merged `/usr`" describes a possible future standard directories scheme in which the `/{bin,sbin,lib}/` directories have been made superfluous, either through making these symlinks to their `/usr` equivalents (/usr/{bin,sbin,lib}) or by removing them entirely.
   6 The motivation to get Debian systems to converge towards such a scheme is vastly documented elsewhere ([FDO's TheCaseForTheUsrMerge][0], [wiki.d.o UsrMerge][1]) but can be summarized as the following points:
   7
   8 * having separate `/` and `/usr` filesystems has been useful in the past for booting without initramfs onto a minimal root filesystem that carried just enough to mount the `/usr` filesystem later in the boot process. Given the evolution of physical hosts' capabilities, initramfs'es have been default in Debian (and elsewhere) for a long time and most systems don't have an intermediate state during boot in which they have only `/`, but not `/usr` mounted anymore.
   9 * another use-case is to be able to share an identical `/usr` over a network link; hence booting an initramfs, mounting a local `/`, then mounting `/usr` over the network; an initramfs with everything needed to mount a filesystem over a network link is actually a smaller
  10 * booting with `/` only is not systematically tested in Debian;
  11 * the packaging infrastructure to install files outside of `/usr` is not standard and represents technical debt:
  12 * given its status as remnant "folklore", the distinction between what _needs_ to be shipped in `/` and what can stay in `/usr` is often interpreted arbitrarily;
  13 * allowing shipment of identically-named libraries or binaries in different paths can confuse common understanding of paths precedence.
  14
  15 The arguments against moving the base directories' scheme towards "merged `/usr`" are as follows:
  16
  17 * there's no gain in disrupting something that is not inherently broken;
  18 * `/{bin,sbin,lib}/` → `/usr/{bin,sbin,lib}/` symlinks create confusing views of the system (`/bin/cat` and /usr/bin/cat are the same file), and dpkg doesn't support this situation cleanly [#134758] [https://bugs.debian.org/134758].
  19
  20 [0]: https://www.freedesktop.org/wiki/Software/systemd/TheCaseForTheUsrMerge/
  21 [1]: https://wiki.debian.org/UsrMerge
  22
  23 In Debian buster, the current testing suite, "merged `/usr`" is only considered for implementation with symlinks (there are no proposals for simply dropping `/{bin,sbin,lib}`) and is implemented in two distinct ways:
  24
  25 * existing hosts can be made to have a "merged `/usr`" by installing the [usrmerge][2] package;
  26 * new hosts get the `/{bin,sbin,lib}/`→ `/usr/{bin,sbin,lib}/` symlinks by default when using debootstrap >= 1.0.102.
  27
  28 The usrmerge package contains a `/usr/lib/convert-usrmerge` perl executable that runs in `postinst`, will move the contents of `/{bin,sbin,lib}/` and replace these directories with symlinks when empty.
  29
  30 [2]: https://tracker.debian.org/pkg/usrmerge
  31
  32 Since the default change in debootstrap 1.0.102, some issues have arisen. Due to the fact that some buster/sid hosts have the "merged `/usr`" symlinks in place, it has been observed that some binary packages carried some traces of these differences (notably official packages built on Debian buildd hosts which had been resetup). Some such differences can actually render the built packages unuseable on non-"merged `/usr`" systems. For example, if `cat` is detected at build-time in `/usr/bin/cat` (where coreutils ships `/bin/cat`), a binary hardcoding that path will try to use `/usr/bin/cat` after installation, but that path doesn't exist in non-"merged `/usr`" systems. In order to mitigate this, debootstrap has been modified to let its "buildd" variant be non-"merged `/usr`", the Debian buildds have been resetup and the affected packages rebuilt.
  33
  34 The lesson here is that with the existance of (any of) the usrmerge and the debootstrap default change, "merged `/usr`" Debian systems exist already, and that packages built on hosts with such directory schemes can _potentially_ be broken on non-"merged `/usr`" systems. At this point, the two variants have to be supported, at least as installation targets of Debian packages.
  35
  36 Two initiatives are worth mentioning at this point:
  37 * [a patch](https://lists.debian.org/20181202212535.GC11687@gaara.hadrons.org) has been proposed for dpkg to mark packages built on "merged `/usr`" with a `Build-Tainted-By: merged-usr-via-symlinks`;
  38 * the reproducible builds team has added a "merged `/usr`" variation to their setup, and have then [tagged](https://tests.reproducible-builds.org/debian/issues/unstable/paths_vary_due_to_usrmerge_issue.html) the Debian packages from unstable which had differences due to "merged `/usr`". It seems that ~61 packages were affected by differing builds; 32 from these have been fixed in unstable already.
  39
  40 ## Describe what is the desired situation
  41
  42 ## Describe ways how Debian could migrate to this situation.
  43
  44 ## Describe what is desireable for buster
  45
  46 ## Mention that both setups have to be supported.
  47
  48 === End DRAFT Resolution ===
  49