]> git.donarmstrong.com Git - dak.git/blobdiff - dak/rm.py
Merge branch 'master' of /srv/ftp.debian.org/git/dak
[dak.git] / dak / rm.py
index 66dab6113ccebdd2f6d748caa4fc405aecf5fc23..97af8c2c6779593bc7ff3dc6f3904b71d3a1f50b 100755 (executable)
--- a/dak/rm.py
+++ b/dak/rm.py
@@ -51,7 +51,7 @@ from daklib.config import Config
 from daklib.dbconn import *
 from daklib import utils
 from daklib.dak_exceptions import *
-from daklib.regexes import re_strip_source_version, re_build_dep_arch
+from daklib.regexes import re_strip_source_version, re_bin_only_nmu
 import debianbts as bts
 
 ################################################################################
@@ -65,7 +65,8 @@ def usage (exit_code=0):
 Remove PACKAGE(s) from suite(s).
 
   -a, --architecture=ARCH    only act on this architecture
-  -b, --binary               remove binaries only
+  -b, --binary               PACKAGE are binary packages to remove
+  -B, --binary-only          remove binaries only
   -c, --component=COMPONENT  act on this component
   -C, --carbon-copy=EMAIL    send a CC of removal message to EMAIL
   -d, --done=BUG#            send removal message as closure to bug#
@@ -98,160 +99,9 @@ def game_over():
 
 ################################################################################
 
-def reverse_depends_check(removals, suites, arches=None):
-    cnf = Config()
-
+def reverse_depends_check(removals, suite, arches=None, session=None):
     print "Checking reverse dependencies..."
-    components = cnf.ValueList("Suite::%s::Components" % suites[0])
-    dep_problem = 0
-    p2c = {}
-    all_broken = {}
-    if arches:
-        all_arches = set(arches)
-    else:
-        all_arches = set([x.arch_string for x in get_suite_architectures(suites[0])])
-    all_arches -= set(["source", "all"])
-    for architecture in all_arches:
-        deps = {}
-        sources = {}
-        virtual_packages = {}
-        for component in components:
-            filename = "%s/dists/%s/%s/binary-%s/Packages.gz" % (cnf["Dir::Root"], suites[0], component, architecture)
-            # apt_pkg.ParseTagFile needs a real file handle and can't handle a GzipFile instance...
-            (fd, temp_filename) = utils.temp_filename()
-            (result, output) = commands.getstatusoutput("gunzip -c %s > %s" % (filename, temp_filename))
-            if (result != 0):
-                utils.fubar("Gunzip invocation failed!\n%s\n" % (output), result)
-            # Also check for udebs
-            filename = "%s/dists/%s/%s/debian-installer/binary-%s/Packages.gz" % (cnf["Dir::Root"], suites[0], component, architecture)
-            if os.path.exists(filename):
-                (result, output) = commands.getstatusoutput("gunzip -c %s >> %s" % (filename, temp_filename))
-                if (result != 0):
-                    utils.fubar("Gunzip invocation failed!\n%s\n" % (output), result)
-            packages = utils.open_file(temp_filename)
-            Packages = apt_pkg.ParseTagFile(packages)
-            while Packages.Step():
-                package = Packages.Section.Find("Package")
-                source = Packages.Section.Find("Source")
-                if not source:
-                    source = package
-                elif ' ' in source:
-                    source = source.split(' ', 1)[0]
-                sources[package] = source
-                depends = Packages.Section.Find("Depends")
-                if depends:
-                    deps[package] = depends
-                provides = Packages.Section.Find("Provides")
-                # Maintain a counter for each virtual package.  If a
-                # Provides: exists, set the counter to 0 and count all
-                # provides by a package not in the list for removal.
-                # If the counter stays 0 at the end, we know that only
-                # the to-be-removed packages provided this virtual
-                # package.
-                if provides:
-                    for virtual_pkg in provides.split(","):
-                        virtual_pkg = virtual_pkg.strip()
-                        if virtual_pkg == package: continue
-                        if not virtual_packages.has_key(virtual_pkg):
-                            virtual_packages[virtual_pkg] = 0
-                        if package not in removals:
-                            virtual_packages[virtual_pkg] += 1
-                p2c[package] = component
-            packages.close()
-            os.unlink(temp_filename)
-
-        # If a virtual package is only provided by the to-be-removed
-        # packages, treat the virtual package as to-be-removed too.
-        for virtual_pkg in virtual_packages.keys():
-            if virtual_packages[virtual_pkg] == 0:
-                removals.append(virtual_pkg)
-
-        # Check binary dependencies (Depends)
-        for package in deps.keys():
-            if package in removals: continue
-            parsed_dep = []
-            try:
-                parsed_dep += apt_pkg.ParseDepends(deps[package])
-            except ValueError, e:
-                print "Error for package %s: %s" % (package, e)
-            for dep in parsed_dep:
-                # Check for partial breakage.  If a package has a ORed
-                # dependency, there is only a dependency problem if all
-                # packages in the ORed depends will be removed.
-                unsat = 0
-                for dep_package, _, _ in dep:
-                    if dep_package in removals:
-                        unsat += 1
-                if unsat == len(dep):
-                    component = p2c[package]
-                    source = sources[package]
-                    if component != "main":
-                        source = "%s/%s" % (source, component)
-                    all_broken.setdefault(source, {}).setdefault(package, set()).add(architecture)
-                    dep_problem = 1
-
-    if all_broken:
-        print "# Broken Depends:"
-        for source, bindict in sorted(all_broken.items()):
-            lines = []
-            for binary, arches in sorted(bindict.items()):
-                if arches == all_arches:
-                    lines.append(binary)
-                else:
-                    lines.append('%s [%s]' % (binary, ' '.join(sorted(arches))))
-            print '%s: %s' % (source, lines[0])
-            for line in lines[1:]:
-                print ' ' * (len(source) + 2) + line
-        print
-
-    # Check source dependencies (Build-Depends and Build-Depends-Indep)
-    all_broken.clear()
-    for component in components:
-        filename = "%s/dists/%s/%s/source/Sources.gz" % (cnf["Dir::Root"], suites[0], component)
-        # apt_pkg.ParseTagFile needs a real file handle and can't handle a GzipFile instance...
-        (fd, temp_filename) = utils.temp_filename()
-        result, output = commands.getstatusoutput("gunzip -c %s > %s" % (filename, temp_filename))
-        if result != 0:
-            sys.stderr.write("Gunzip invocation failed!\n%s\n" % (output))
-            sys.exit(result)
-        sources = utils.open_file(temp_filename, "r")
-        Sources = apt_pkg.ParseTagFile(sources)
-        while Sources.Step():
-            source = Sources.Section.Find("Package")
-            if source in removals: continue
-            parsed_dep = []
-            for build_dep_type in ["Build-Depends", "Build-Depends-Indep"]:
-                build_dep = Sources.Section.get(build_dep_type)
-                if build_dep:
-                    # Remove [arch] information since we want to see breakage on all arches
-                    build_dep = re_build_dep_arch.sub("", build_dep)
-                    try:
-                        parsed_dep += apt_pkg.ParseDepends(build_dep)
-                    except ValueError, e:
-                        print "Error for source %s: %s" % (source, e)
-            for dep in parsed_dep:
-                unsat = 0
-                for dep_package, _, _ in dep:
-                    if dep_package in removals:
-                        unsat += 1
-                if unsat == len(dep):
-                    if component != "main":
-                        source = "%s/%s" % (source, component)
-                    all_broken.setdefault(source, set()).add(utils.pp_deps(dep))
-                    dep_problem = 1
-        sources.close()
-        os.unlink(temp_filename)
-
-    if all_broken:
-        print "# Broken Build-Depends:"
-        for source, bdeps in sorted(all_broken.items()):
-            bdeps = sorted(bdeps)
-            print '%s: %s' % (source, bdeps[0])
-            for bdep in bdeps[1:]:
-                print ' ' * (len(source) + 2) + bdep
-        print
-
-    if dep_problem:
+    if utils.check_reverse_depends(removals, suite, arches, session):
         print "Dependency problem found."
         if not Options["No-Action"]:
             game_over()
@@ -268,7 +118,8 @@ def main ():
 
     Arguments = [('h',"help","Rm::Options::Help"),
                  ('a',"architecture","Rm::Options::Architecture", "HasArg"),
-                 ('b',"binary", "Rm::Options::Binary-Only"),
+                 ('b',"binary", "Rm::Options::Binary"),
+                 ('B',"binary-only", "Rm::Options::Binary-Only"),
                  ('c',"component", "Rm::Options::Component", "HasArg"),
                  ('C',"carbon-copy", "Rm::Options::Carbon-Copy", "HasArg"), # Bugs to Cc
                  ('d',"done","Rm::Options::Done", "HasArg"), # Bugs fixed
@@ -281,7 +132,7 @@ def main ():
                  ('S',"source-only", "Rm::Options::Source-Only"),
                  ]
 
-    for i in [ "architecture", "binary-only", "carbon-copy", "component",
+    for i in [ "architecture", "binary", "binary-only", "carbon-copy", "component",
                "done", "help", "no-action", "partial", "rdep-check", "reason",
                "source-only", "Do-Close" ]:
         if not cnf.has_key("Rm::Options::%s" % (i)):
@@ -289,8 +140,8 @@ def main ():
     if not cnf.has_key("Rm::Options::Suite"):
         cnf["Rm::Options::Suite"] = "unstable"
 
-    arguments = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv)
-    Options = cnf.SubTree("Rm::Options")
+    arguments = apt_pkg.parse_commandline(cnf.Cnf, Arguments, sys.argv)
+    Options = cnf.subtree("Rm::Options")
 
     if Options["Help"]:
         usage()
@@ -302,8 +153,10 @@ def main ():
         utils.fubar("need at least one package name as an argument.")
     if Options["Architecture"] and Options["Source-Only"]:
         utils.fubar("can't use -a/--architecture and -S/--source-only options simultaneously.")
-    if Options["Binary-Only"] and Options["Source-Only"]:
-        utils.fubar("can't use -b/--binary-only and -S/--source-only options simultaneously.")
+    if ((Options["Binary"] and Options["Source-Only"])
+            or (Options["Binary"] and Options["Binary-Only"])
+            or (Options["Binary-Only"] and Options["Source-Only"])):
+        utils.fubar("Only one of -b/--binary, -B/--binary-only and -S/--source-only can be used.")
     if Options.has_key("Carbon-Copy") and not Options.has_key("Done"):
         utils.fubar("can't use -C/--carbon-copy without also using -d/--done option.")
     if Options["Architecture"] and not Options["Partial"]:
@@ -311,11 +164,8 @@ def main ():
         Options["Partial"] = "true"
     if Options["Do-Close"] and not Options["Done"]:
         utils.fubar("No.")
-    if Options["Do-Close"] and Options["Binary-Only"]:
-        utils.fubar("No.")
-    if Options["Do-Close"] and Options["Source-Only"]:
-        utils.fubar("No.")
-    if Options["Do-Close"] and Options["Suite"] != 'unstable':
+    if (Options["Do-Close"]
+           and (Options["Binary"] or Options["Binary-Only"] or Options["Source-Only"])):
         utils.fubar("No.")
 
     # Force the admin to tell someone if we're not doing a 'dak
@@ -335,10 +185,14 @@ def main ():
     carbon_copy = []
     for copy_to in utils.split_args(Options.get("Carbon-Copy")):
         if copy_to.isdigit():
-            carbon_copy.append(copy_to + "@" + cnf["Dinstall::BugServer"])
+            if cnf.has_key("Dinstall::BugServer"):
+                carbon_copy.append(copy_to + "@" + cnf["Dinstall::BugServer"])
+            else:
+                utils.fubar("Asked to send mail to #%s in BTS but Dinstall::BugServer is not configured" % copy_to)
         elif copy_to == 'package':
             for package in arguments:
-                carbon_copy.append(package + "@" + cnf["Dinstall::PackagesServer"])
+                if cnf.has_key("Dinstall::PackagesServer"):
+                    carbon_copy.append(package + "@" + cnf["Dinstall::PackagesServer"])
                 if cnf.has_key("Dinstall::TrackingServer"):
                     carbon_copy.append(package + "@" + cnf["Dinstall::TrackingServer"])
         elif '@' in copy_to:
@@ -346,7 +200,7 @@ def main ():
         else:
             utils.fubar("Invalid -C/--carbon-copy argument '%s'; not a bug number, 'package' or email address." % (copy_to))
 
-    if Options["Binary-Only"]:
+    if Options["Binary"]:
         field = "b.package"
     else:
         field = "s.source"
@@ -357,6 +211,7 @@ def main ():
 
     # Additional suite checks
     suite_ids_list = []
+    whitelists = []
     suites = utils.split_args(Options["Suite"])
     suites_list = utils.join_with_commas_and(suites)
     if not Options["No-Action"]:
@@ -364,8 +219,9 @@ def main ():
             s = get_suite(suite, session=session)
             if s is not None:
                 suite_ids_list.append(s.suite_id)
-            if suite == "stable":
-                print "**WARNING** About to remove from the stable suite!"
+                whitelists.append(s.mail_whitelist)
+            if suite in ("oldstable", "stable"):
+                print "**WARNING** About to remove from the (old)stable suite!"
                 print "This should only be done just prior to a (point) release and not at"
                 print "any other time."
                 game_over()
@@ -382,63 +238,43 @@ def main ():
     # Additional component processing
     over_con_components = con_components.replace("c.id", "component")
 
-    print "Working...",
-    sys.stdout.flush()
+    # Don't do dependency checks on multiple suites
+    if Options["Rdep-Check"] and len(suites) > 1:
+        utils.fubar("Reverse dependency check on multiple suites is not implemented.")
+
     to_remove = []
     maintainers = {}
 
-    # We have 3 modes of package selection: binary-only, source-only
-    # and source+binary.  The first two are trivial and obvious; the
-    # latter is a nasty mess, but very nice from a UI perspective so
-    # we try to support it.
+    # We have 3 modes of package selection: binary, source-only, binary-only
+    # and source+binary.
 
     # XXX: TODO: This all needs converting to use placeholders or the object
     #            API. It's an SQL injection dream at the moment
 
-    if Options["Binary-Only"]:
-        # Binary-only
-        q = session.execute("SELECT b.package, b.version, a.arch_string, b.id, b.maintainer FROM binaries b, bin_associations ba, architecture a, suite su, files f, location l, component c WHERE ba.bin = b.id AND ba.suite = su.id AND b.architecture = a.id AND b.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s %s" % (con_packages, con_suites, con_components, con_architectures))
-        for i in q.fetchall():
-            to_remove.append(i)
+    if Options["Binary"]:
+        # Removal by binary package name
+        q = session.execute("SELECT b.package, b.version, a.arch_string, b.id, b.maintainer FROM binaries b, bin_associations ba, architecture a, suite su, files f, files_archive_map af, component c WHERE ba.bin = b.id AND ba.suite = su.id AND b.architecture = a.id AND b.file = f.id AND af.file_id = f.id AND af.archive_id = su.archive_id AND af.component_id = c.id %s %s %s %s" % (con_packages, con_suites, con_components, con_architectures))
+        to_remove.extend(q)
     else:
         # Source-only
-        source_packages = {}
-        q = session.execute("SELECT l.path, f.filename, s.source, s.version, 'source', s.id, s.maintainer FROM source s, src_associations sa, suite su, files f, location l, component c WHERE sa.source = s.id AND sa.suite = su.id AND s.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s" % (con_packages, con_suites, con_components))
-        for i in q.fetchall():
-            source_packages[i[2]] = i[:2]
-            to_remove.append(i[2:])
+        if not Options["Binary-Only"]:
+            q = session.execute("SELECT s.source, s.version, 'source', s.id, s.maintainer FROM source s, src_associations sa, suite su, archive, files f, files_archive_map af, component c WHERE sa.source = s.id AND sa.suite = su.id AND archive.id = su.archive_id AND s.file = f.id AND af.file_id = f.id AND af.archive_id = su.archive_id AND af.component_id = c.id %s %s %s" % (con_packages, con_suites, con_components))
+            to_remove.extend(q)
         if not Options["Source-Only"]:
             # Source + Binary
-            binary_packages = {}
-            # First get a list of binary package names we suspect are linked to the source
-            q = session.execute("SELECT DISTINCT b.package FROM binaries b, source s, src_associations sa, suite su, files f, location l, component c WHERE b.source = s.id AND sa.source = s.id AND sa.suite = su.id AND s.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s" % (con_packages, con_suites, con_components))
-            for i in q.fetchall():
-                binary_packages[i[0]] = ""
-            # Then parse each .dsc that we found earlier to see what binary packages it thinks it produces
-            for i in source_packages.keys():
-                filename = "/".join(source_packages[i])
-                try:
-                    dsc = utils.parse_changes(filename, dsc_file=1)
-                except CantOpenError:
-                    utils.warn("couldn't open '%s'." % (filename))
-                    continue
-                for package in dsc.get("binary").split(','):
-                    package = package.strip()
-                    binary_packages[package] = ""
-            # Then for each binary package: find any version in
-            # unstable, check the Source: field in the deb matches our
-            # source package and if so add it to the list of packages
-            # to be removed.
-            for package in binary_packages.keys():
-                q = session.execute("SELECT l.path, f.filename, b.package, b.version, a.arch_string, b.id, b.maintainer FROM binaries b, bin_associations ba, architecture a, suite su, files f, location l, component c WHERE ba.bin = b.id AND ba.suite = su.id AND b.architecture = a.id AND b.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s AND b.package = '%s'" % (con_suites, con_components, con_architectures, package))
-                for i in q.fetchall():
-                    filename = "/".join(i[:2])
-                    control = apt_pkg.ParseSection(apt_inst.debExtractControl(utils.open_file(filename)))
-                    source = control.Find("Source", control.Find("Package"))
-                    source = re_strip_source_version.sub('', source)
-                    if source_packages.has_key(source):
-                        to_remove.append(i[2:])
-    print "done."
+            q = session.execute("""
+                    SELECT b.package, b.version, a.arch_string, b.id, b.maintainer
+                    FROM binaries b
+                         JOIN bin_associations ba ON b.id = ba.bin
+                         JOIN architecture a ON b.architecture = a.id
+                         JOIN suite su ON ba.suite = su.id
+                         JOIN archive ON archive.id = su.archive_id
+                         JOIN files_archive_map af ON b.file = af.file_id AND af.archive_id = archive.id
+                         JOIN component c ON af.component_id = c.id
+                         JOIN source s ON b.source = s.id
+                         JOIN src_associations sa ON s.id = sa.source AND sa.suite = su.id
+                    WHERE TRUE %s %s %s %s""" % (con_packages, con_suites, con_components, con_architectures))
+            to_remove.extend(q)
 
     if not to_remove:
         print "Nothing to do."
@@ -482,7 +318,7 @@ def main ():
     versions = []
     for package in removals:
         versions = d[package].keys()
-        versions.sort(apt_pkg.VersionCompare)
+        versions.sort(apt_pkg.version_compare)
         for version in versions:
             d[package][version].sort(utils.arch_compare_sw)
             summary += "%10s | %10s | %s\n" % (package, version, ", ".join(d[package][version]))
@@ -494,6 +330,8 @@ def main ():
         print "Will also close bugs: "+Options["Done"]
     if carbon_copy:
         print "Will also send CCs to: " + ", ".join(carbon_copy)
+    if Options["Do-Close"]:
+        print "Will also close associated bug reports."
     print
     print "------------------- Reason -------------------"
     print Options["Reason"]
@@ -502,7 +340,7 @@ def main ():
 
     if Options["Rdep-Check"]:
         arches = utils.split_args(Options["Architecture"])
-        reverse_depends_check(removals, suites, arches)
+        reverse_depends_check(removals, suites[0], arches, session)
 
     # If -n/--no-action, drop out here
     if Options["No-Action"]:
@@ -523,8 +361,6 @@ def main ():
         logfile.write("Closed bugs: %s\n" % (Options["Done"]))
     logfile.write("\n------------------- Reason -------------------\n%s\n" % (Options["Reason"]))
     logfile.write("----------------------------------------------\n")
-    logfile.write("=========================================================================\n")
-    logfile.close()
 
     # Do the same in rfc822 format
     logfile822 = utils.open_file(cnf["Rm::LogFile822"], 'a')
@@ -553,8 +389,6 @@ def main ():
     logfile822.write("Reason: %s\n" % Options["Reason"].replace('\n', '\n '))
     if Options["Done"]:
         logfile822.write("Bug: %s\n" % Options["Done"])
-    logfile822.write("\n")
-    logfile822.close()
 
     dsc_type_id = get_override_type('dsc', session).overridetype_id
     deb_type_id = get_override_type('deb', session).overridetype_id
@@ -587,64 +421,120 @@ def main ():
     session.commit()
     print "done."
 
-    Subst = {}
-    Subst["__RM_ADDRESS__"] = cnf["Rm::MyEmailAddress"]
-    Subst["__BUG_SERVER__"] = cnf["Dinstall::BugServer"]
-    bcc = []
-    if cnf.Find("Dinstall::Bcc") != "":
-        bcc.append(cnf["Dinstall::Bcc"])
-    if cnf.Find("Rm::Bcc") != "":
-        bcc.append(cnf["Rm::Bcc"])
-    if bcc:
-        Subst["__BCC__"] = "Bcc: " + ", ".join(bcc)
-    else:
-        Subst["__BCC__"] = "X-Filler: 42"
-    Subst["__CC__"] = "X-DAK: dak rm"
+    # If we don't have a Bug server configured, we're done
+    if not cnf.has_key("Dinstall::BugServer"):
+        if Options["Done"] or Options["Do-Close"]:
+            print "Cannot send mail to BugServer as Dinstall::BugServer is not configured"
+
+        logfile.write("=========================================================================\n")
+        logfile.close()
+
+        logfile822.write("\n")
+        logfile822.close()
+
+        return
+
+    # read common subst variables for all bug closure mails
+    Subst_common = {}
+    Subst_common["__RM_ADDRESS__"] = cnf["Dinstall::MyEmailAddress"]
+    Subst_common["__BUG_SERVER__"] = cnf["Dinstall::BugServer"]
+    Subst_common["__CC__"] = "X-DAK: dak rm"
     if carbon_copy:
-        Subst["__CC__"] += "\nCc: " + ", ".join(carbon_copy)
-    Subst["__SUITE_LIST__"] = suites_list
-    Subst["__SUBJECT__"] = "Removed package(s) from %s" % (suites_list)
-    Subst["__ADMIN_ADDRESS__"] = cnf["Dinstall::MyAdminAddress"]
-    Subst["__DISTRO__"] = cnf["Dinstall::MyDistribution"]
-    Subst["__WHOAMI__"] = whoami
+        Subst_common["__CC__"] += "\nCc: " + ", ".join(carbon_copy)
+    Subst_common["__SUITE_LIST__"] = suites_list
+    Subst_common["__SUBJECT__"] = "Removed package(s) from %s" % (suites_list)
+    Subst_common["__ADMIN_ADDRESS__"] = cnf["Dinstall::MyAdminAddress"]
+    Subst_common["__DISTRO__"] = cnf["Dinstall::MyDistribution"]
+    Subst_common["__WHOAMI__"] = whoami
 
     # Send the bug closing messages
     if Options["Done"]:
+        Subst_close_rm = Subst_common
+        bcc = []
+        if cnf.find("Dinstall::Bcc") != "":
+            bcc.append(cnf["Dinstall::Bcc"])
+        if cnf.find("Rm::Bcc") != "":
+            bcc.append(cnf["Rm::Bcc"])
+        if bcc:
+            Subst_close_rm["__BCC__"] = "Bcc: " + ", ".join(bcc)
+        else:
+            Subst_close_rm["__BCC__"] = "X-Filler: 42"
         summarymail = "%s\n------------------- Reason -------------------\n%s\n" % (summary, Options["Reason"])
         summarymail += "----------------------------------------------\n"
-        Subst["__SUMMARY__"] = summarymail
-        whereami = utils.where_am_i()
-        Archive = cnf.SubTree("Archive::%s" % (whereami))
-        Subst["__MASTER_ARCHIVE__"] = Archive["OriginServer"]
-        Subst["__PRIMARY_MIRROR__"] = Archive["PrimaryMirror"]
+        Subst_close_rm["__SUMMARY__"] = summarymail
+
         for bug in utils.split_args(Options["Done"]):
-            Subst["__BUG_NUMBER__"] = bug
-            mail_message = utils.TemplateSubst(Subst,cnf["Dir::Templates"]+"/rm.bug-close")
-            utils.send_mail(mail_message)
+            Subst_close_rm["__BUG_NUMBER__"] = bug
+            if Options["Do-Close"]:
+                mail_message = utils.TemplateSubst(Subst_close_rm,cnf["Dir::Templates"]+"/rm.bug-close-with-related")
+            else:
+                mail_message = utils.TemplateSubst(Subst_close_rm,cnf["Dir::Templates"]+"/rm.bug-close")
+            utils.send_mail(mail_message, whitelists=whitelists)
 
     # close associated bug reports
-    # FIXME:  We should also close possible WNPP bugs for that package, but
-    # currently there's no sane way to determine them
     if Options["Do-Close"]:
+        Subst_close_other = Subst_common
+        bcc = []
+        wnpp = utils.parse_wnpp_bug_file()
+        versions = list(set([re_bin_only_nmu.sub('', v) for v in versions]))
         if len(versions) == 1:
-            Subst["__VERSION__"] = versions[0]
+            Subst_close_other["__VERSION__"] = versions[0]
         else:
             utils.fubar("Closing bugs with multiple package versions is not supported.  Do it yourself.")
-        whereami = utils.where_am_i()
-        Archive = cnf.SubTree("Archive::%s" % (whereami))
+        if bcc:
+            Subst_close_other["__BCC__"] = "Bcc: " + ", ".join(bcc)
+        else:
+            Subst_close_other["__BCC__"] = "X-Filler: 42"
         # at this point, I just assume, that the first closed bug gives
-        # some usefull information on why the package got removed
-        Subst["__BUG_NUMBER__"] = utils.split_args(Options["Done"])[0]
-        if len(sources) > 1:
-            utils.fubar("Closing bugs for multiple source pakcages is not supported.  Do it yourself.")
-        Subst["__BUG_NUMBER_ALSO__"] = ""
-        Subst["__SOURCE__"] = source.split("_", 1)[0]
-        for bug in bts.get_bugs('src', source.split("_", 1)[0], 'status', 'open'):
-            Subst["__BUG_NUMBER_ALSO__"] += str(bug) + "-done@" + cnf["Dinstall::BugServer"] + ","
-        mail_message = utils.TemplateSubst(Subst,cnf["Dir::Templates"]+"/rm.bug-close-related")
-        if Subst["__BUG_NUMBER_ALSO__"]:
+        # some useful information on why the package got removed
+        Subst_close_other["__BUG_NUMBER__"] = utils.split_args(Options["Done"])[0]
+        if len(sources) == 1:
+            source_pkg = source.split("_", 1)[0]
+        else:
+            utils.fubar("Closing bugs for multiple source packages is not supported.  Do it yourself.")
+        Subst_close_other["__BUG_NUMBER_ALSO__"] = ""
+        Subst_close_other["__SOURCE__"] = source_pkg
+        merged_bugs = set()
+        other_bugs = bts.get_bugs('src', source_pkg, 'status', 'open', 'status', 'forwarded')
+        if other_bugs:
+            for bugno in other_bugs:
+                if bugno not in merged_bugs:
+                    for bug in bts.get_status(bugno):
+                        for merged in bug.mergedwith:
+                            other_bugs.remove(merged)
+                            merged_bugs.add(merged)
+            logfile.write("Also closing bug(s):")
+            logfile822.write("Also-Bugs:")
+            for bug in other_bugs:
+                Subst_close_other["__BUG_NUMBER_ALSO__"] += str(bug) + "-done@" + cnf["Dinstall::BugServer"] + ","
+                logfile.write(" " + str(bug))
+                logfile822.write(" " + str(bug))
+            logfile.write("\n")
+            logfile822.write("\n")
+        if source_pkg in wnpp.keys():
+            logfile.write("Also closing WNPP bug(s):")
+            logfile822.write("Also-WNPP:")
+            for bug in wnpp[source_pkg]:
+                # the wnpp-rm file we parse also contains our removal
+                # bugs, filtering that out
+                if bug != Subst_close_other["__BUG_NUMBER__"]:
+                    Subst_close_other["__BUG_NUMBER_ALSO__"] += str(bug) + "-done@" + cnf["Dinstall::BugServer"] + ","
+                    logfile.write(" " + str(bug))
+                    logfile822.write(" " + str(bug))
+            logfile.write("\n")
+            logfile822.write("\n")
+
+        mail_message = utils.TemplateSubst(Subst_close_other,cnf["Dir::Templates"]+"/rm.bug-close-related")
+        if Subst_close_other["__BUG_NUMBER_ALSO__"]:
             utils.send_mail(mail_message)
 
+
+    logfile.write("=========================================================================\n")
+    logfile.close()
+
+    logfile822.write("\n")
+    logfile822.close()
+
 #######################################################################################
 
 if __name__ == '__main__':