fix another bug: update package even if it stays in installed

wanna-build,WB::QD: make logging more uniform
wanna-build: fix typo that made all packages to be rebuild
wanna-build: add safe guard that prevent that packages are rebuild without good reason
wanna-build/merge-v3: disable an (supposed to be no-op) loop until there is work to do

wanna-build/merge-v3: allow to specify source packages which are considered
to be installed/related unless they're (also) in the real source packages

triggers: do so for overlay suites (so that we could schedule binNMUs in testing)
and for secondary suites (so that we could binNMU unstable packages in
experimental; please note that this won't be useful before we get the
binNU-build-dependency code).

wanna-build:
- add api numbers (defaults to 0)
- change output of --take for API 1
- avoid changing the database with simulate (hopefully found every location)

triggers/common: fix merge for overlay suites (i.e. oldstable, stable,
testing): only consider the source files to be present from proposed-updates.

activate merge-v3 also for overlay / secondary suites (in addition to
edb9f78e3b579ea0dc0e3ade4898439f8459281e so that it's now enabled for all)

call_edos_depcheck: better logging for dep-wait checks

better logging for edos-debbuildchange

set package name for new packages

merge-v3: allow to specify %ARCH% and %SUITE% in file on the command line

merge-v3: make verbose tell every action

merge-v3: specify correct Packages-arch-specifc-file

activate merge-v3 for "simple suites" (e.g. unstable)

add merge-v3:
+ call with installed-packages+ . installed-sources+ [ . available-for-build-packages+ ]
+ can cope with any filetype (including compressed)
+ allows to specify installed packages which are not available for building (and the other way round)
+ does quinn-diff internally, for that:
  + add WB/QD.pm plus testcase in tests/qd.pl
+ reads packages / sources only once
+ uses edos to resolve dep-waits
+ respect $simulate

enhance call_edos_depcheck:
+ add possibility to check depwaits (flag depwait)
+ respect $simulate

call_edos_depcheck: arguments as hash, allow for more than one packages file

fix another typo

Merge branch 'master' of /org/buildd.debian.org/git/wanna-build

fix typos

Give nomeata wb_all access.

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

integrate wb_edos_builddebcheck into wanna-build (and allow to pass multiple binary packages files)

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

call_edos_depcheck: don't do anything if no packages need to be checked

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

write the sources as fake binary packages from wanna-build (and get rid
of add-sources.py within wb-edos-builddebcheck)

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

wb-edos-builddebcheck: only check the source packages
(need to move add-sources.py local, and fix it to work if there is no input)

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

call_edos_depcheck constructed temporary files with a race condition: use File::Temp instead.

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

Dump files now have .gz extention, update expire_dumps.

Merge branch 'master' of /srv/buildd.debian.org/git/wanna-build

add seb to security (acked by jmm)

Give nomeata wb_all access.

add non-free for volatile

reverting 672464441313c8dafb33ae47ad3b2a2d984ef8d5

recreate /tmp/status after reboot

format option: add T = formated time since state change

workaround: makes --list=needs-build faster again while optimizing the queries

fix 7dce194de7116a1a957c3b4620cbfe12485afd6b
  add values to the select statement and not only a join

add index on pkg_history, and allow people to read the public view of pkg_history

partly undo 7ce88f5df6216220b52607f09facaf312cb971c7 as that one
was way slower with all and installed.

optimize build time query, thanks to Peter Palfrader

allow multiple distributions for list (including any, any-priv, any-unpriv)

add format options for last build time and last successful build time

Document schema

As far as I know, this should be what is currently in our database.

Use cat/gzip instead of keep-latest

For the secondary package file, it was wrong to use keep-latest, as
Modestas Vainius pointed out. With this change, files are just
copied/unpacked, allowing edos-debcheck to correctly determine if the
build-deps can be satisfied.

This change affects the triggers for all non-standard (*-volatile,
*-bpo, *-edu and experimental) suites, which should all use the
aptitude dep resolver (able to handle such complex dep situations) on
the buildds.

use ~/.wanna-build.yaml if it exists
implement pre-defined list formats

start useing format options for list; shouldn't change behaviour

add/update files from live tree

add path to crontab, taken from live system

Quote the \ for the output to db_load

add %V to format string, and re-sort options alphabetically

resurrect triggers/filter-nonfree from
636fd44b6b3b8f343eb53c4ef2dd053fb91bd4d6 but use always
"get" to avoid tracebacks.

modified crontab

Merge branch 'master' of /org/wanna-build/

No reason to cast it to timestamp anymore, it's now such a field in the db.

Add format option F to export the failed message.

Revert "add non-free files to quinn-diff (and to wanna-build)"

This reverts commit 636fd44b6b3b8f343eb53c4ef2dd053fb91bd4d6.

This commit breaks merging and performance.

Traceback (most recent call last):
  File "/org/wanna-build/triggers/filter-nonfree", line 49, in <module>
    main()
  File "/org/wanna-build/triggers/filter-nonfree", line 44, in main
    okpkgs = check_source(oklist, open(sys.argv[3]), outfile(name, sys.argv[3]))
  File "/org/wanna-build/triggers/filter-nonfree", line 13, in check_source
    if pkg.Section['Section'].startswith('non-free'):
KeyError: 'Section'

Signed-off-by: Philipp Kern <pkern@debian.org>

add non-free files to quinn-diff (and to wanna-build)
(wanna-build hands them only out if asked to do so)
also inlines the loop-variants to only check the sources.list once

delete unused files

add filter code for components

list-order:
- move to yaml-file
- building sorts by buildd, package name now

list_order: switch default for needs-builds to CWn

sort_list_func: unify and remove code duplication

calculate_prio: fix components: parse sections

format: Add distribution and time of state change as options

Merge branch 'master' of /org/buildd.debian.org/git/wanna-build

add %{Text} and %{!Text} with recursive elements

move print_format out from the list code

Unbreak parse_date() for new date format

clean up old entries
switch to mkstats.aba for now

Merge branch 'master' of /org/buildd.debian.org/git/wanna-build

add output format options to --list, with the formats necessary for mkstats

Split the previous state and state change in 2 lines

Now we didn't get a state change in case there was no previous state

Merge branch 'master' of /org/buildd.debian.org/git/wanna-build

factor out priority configuration, and allow per user and arch files

hotfix for mkstats

add "previous state left" to list -v

replace waiting days by state days

beautify keys w/o so much code duplication

avoid french dates by using postgres build in now() function

add new sort options C and W for calculated priority and waiting days

calculate potential build priority with --info

another sync with reality

sync with reality (all changes from /org/wanna-build and currently live)

Fix stupid bugs, add some extra logging.

Make the triggers use multiple Packages file for things like experimental.

Fix typo

Rewrite triggers

Rename merge-all-overlay to merge-all-secondary to avoid confusion.

Also parse the second packages file to clear dep-waits.

Remove unused functions.

Add option to merge a second Packages

This allows a suite like experimental to also have the Packages file
from unstable so that we know better what is installable and what is
not.

Base wb-edos-builddebcheck on the new edos-builddebcheck

We have edos-builddebcheck and add-sources.py from edos-distcheck now,
but it's not giving compatible output to what wanna-build currently
expects.  So we keep the old output format.

Don't requests all the packages again in the same function

It was even in the same variable name.  We just make sure we properly
update it now.

Merge branch 'master' of /org/wanna-build/

Rename variable to avoid confusion.

It probably still requires some rewrite.

wanna-build: bugfix for list_min_age

Signed-off-by: Philipp Kern <pkern@debian.org>

Redo locking behaviour

When processing more than 1 package, don't select each package indivdually
locking that row, but instead lock the table and select all the packages
we want at once.

The lock should allow read-only access but not other writers.