]> git.donarmstrong.com Git - dsa-puppet.git/blobdiff - modules/porterbox/files/mail-big-homedirs
Start cleaning out homedirs automatically, as announced
[dsa-puppet.git] / modules / porterbox / files / mail-big-homedirs
index b04f5e61539c02ca9b3a20dec129663949e8891d..5113f46f0165762e42875bd37f181316552286db 100755 (executable)
@@ -2,7 +2,7 @@
 ## vim:set et ts=2 sw=2 ai:
 # Send email reminders to users having sizable homedirs.
 ##
-# Copyright (c) 2013 Philipp Kern <phil@philkern.de>
+# Copyright (c) 2013 Philipp Kern <pkern@debian.org>
 # Copyright (c) 2013 Peter Palfrader <peter@palfrader.org>
 # Copyright (c) 2013 Luca Filipozzi <lfilipoz@debian.org>
 #
@@ -24,8 +24,6 @@
 # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
 # THE SOFTWARE.
 
-from __future__ import print_function
-
 from collections import defaultdict
 import email
 import email.mime.text
@@ -34,7 +32,6 @@ import logging
 import os.path
 import platform
 import pwd
-import random
 import subprocess
 import struct
 import time
@@ -43,40 +40,35 @@ import StringIO
 # avoid base64 encoding for utf-8
 email.charset.add_charset('utf-8', email.charset.SHORTEST, email.charset.QP)
 
-SENDMAIL = ['/usr/sbin/sendmail', '-t', '-oi']
-#SENDMAIL = ['/bin/cat']
-
-EXPLANATIONS = [
-u"""\
-{hostname}'s /home is, unfortunately, not infinite in size.  If you have
-anything in there that you no longer need, please clean it up."""
-,u"""\
-Can you please look at your $HOME on {hostname} and remove files which
-you no longer need (such as old sources)."""
-,u"""\
-Thanks for your porting effort on {hostname}!
+DRYRUN = False
 
-Please note that on most porterboxes /home is quite small, so please remove
-files that you do not need anymore."""
-  ]
+if DRYRUN:
+  SENDMAIL_COMMAND = ['/bin/cat']
+  RM_COMMAND = ['/bin/echo', 'Would remove']
+else:
+  SENDMAIL_COMMAND = ['/usr/sbin/sendmail', '-t', '-oi']
+  RM_COMMAND = ['/bin/rm', '-rf']
 
 CRITERIA = [
-    { 'days':  5, 'size': 10240 },
-    { 'days': 10, 'size':  1024 },
-    { 'days': 30, 'size':   100 },
-    { 'days': 60, 'size':    60 },
-    { 'days': 90, 'size':    10 }
+    { 'size': 10240,  'notifyafter':  5, 'deleteafter':  40 },
+    { 'size':  1024,  'notifyafter': 10, 'deleteafter':  50 },
+    { 'size':   100,  'notifyafter': 30, 'deleteafter':  90 },
+    { 'size':    20,  'notifyafter': 90, 'deleteafter': 150 },
+    { 'size':     5,                     'deleteafter': 700 }
   ]
-EXCLUDED_USERNAMES = ['lost+found']
+EXCLUDED_USERNAMES = ['lost+found', 'debian']
 MAIL_FROM = 'debian-admin (via Cron) <bulk@admin.debian.org>'
 MAIL_TO = '{username}@{hostname}.debian.org'
 MAIL_CC = 'debian-admin (bulk sink) <bulk@admin.debian.org>'
 MAIL_REPLYTO = 'debian-admin <dsa@debian.org>'
 MAIL_SUBJECT = 'Please clean up ~{username} on {hostname}.debian.org'
 MAIL_MESSAGE = u"""\
-Hi {name}!
+Hi {realname}!
+
+Thanks for your porting effort on {hostname}!
 
-{explanation}
+Please note that, on most porterboxes, /home is quite small, so please
+remove files that you do not need anymore.
 
 For your information, you last logged into {hostname} {days_ago} days
 ago, and your home directory there is {homedir_size} MB in size.
@@ -90,7 +82,7 @@ Thanks,
 
 Debian System Administration Team via Cron
 
-PS: replies not required.
+PS: A reply is not required.
 """
 
 class Error(Exception):
@@ -101,7 +93,7 @@ class SendmailError(Error):
 
 class LastlogTimes(dict):
   LASTLOG_STRUCT = '=L32s256s'
-  
+
   def __init__(self):
     record_size = struct.calcsize(self.LASTLOG_STRUCT)
     with open('/var/log/lastlog', 'r') as fp:
@@ -109,26 +101,31 @@ class LastlogTimes(dict):
       for record in iter(lambda: fp.read(record_size), ''):
         uid += 1 # so keep incrementing uid for each record read
         lastlog_time, _, _ = list(struct.unpack(self.LASTLOG_STRUCT, record))
-        if lastlog_time == 0:
-          continue
         try:
           self[pwd.getpwuid(uid).pw_name] = lastlog_time
         except KeyError:
-          logging.error('could not resolve username from uid')
+          # this is a normal condition
           continue
 
 class HomedirSizes(dict):
   def __init__(self):
     for direntry in glob.glob('/home/*'):
       username = os.path.basename(direntry)
+
       if username in EXCLUDED_USERNAMES:
         continue
+
       try:
         pwinfo = pwd.getpwnam(username)
       except KeyError:
         if os.path.isdir(direntry):
           logging.warning('directory %s exists on %s but there is no %s user', direntry, platform.node(), username)
         continue
+
+      if pwinfo.pw_dir != direntry:
+        logging.warning('home directory for %s is not %s, but that exists.  confused.', username, direntry)
+        continue
+
       command = ['/usr/bin/du', '-ms', pwinfo.pw_dir]
       p = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
       (stdout, stderr) = p.communicate()
@@ -147,7 +144,7 @@ class HomedirReminder(object):
     self.lastlog_times = LastlogTimes()
     self.homedir_sizes = HomedirSizes()
 
-  def send_mail(self, **kwargs):
+  def notify(self, **kwargs):
     msg = email.mime.text.MIMEText(MAIL_MESSAGE.format(**kwargs), _charset='UTF-8')
     msg['From'] = MAIL_FROM.format(**kwargs)
     msg['To'] = MAIL_TO.format(**kwargs)
@@ -158,24 +155,51 @@ class HomedirReminder(object):
     msg['Subject'] = MAIL_SUBJECT.format(**kwargs)
     msg['Precedence'] = "bulk"
     msg['Auto-Submitted'] = "auto-generated by mail-big-homedirs"
-    p = subprocess.Popen(SENDMAIL, stdin=subprocess.PIPE)
+    p = subprocess.Popen(SENDMAIL_COMMAND, stdin=subprocess.PIPE)
     p.communicate(msg.as_string())
     logging.debug(msg.as_string())
     if p.returncode != 0:
       raise SendmailError
 
+  def remove(self, **kwargs):
+    try:
+      pwinfo = pwd.getpwnam(kwargs.get('username'))
+    except KeyError:
+      return
+
+    command = RM_COMMAND + [pwinfo.pw_dir]
+    p = subprocess.check_call(command)
+
   def run(self):
     current_time = time.time()
+
     for username, homedir_size in self.homedir_sizes.iteritems():
       try:
-        name = pwd.getpwnam(username).pw_gecos.decode('utf-8').split(',', 1)[0].split(' ', 1)[0]
+        realname = pwd.getpwnam(username).pw_gecos.decode('utf-8').split(',', 1)[0]
       except:
-        name = username
+        realname = username
       lastlog_time = self.lastlog_times[username]
       days_ago = int( (current_time - lastlog_time) / 3600 / 24 )
-      if [x for x in CRITERIA if days_ago >= x['days'] and homedir_size >= x['size']]:
-        explanation = EXPLANATIONS[random.randint(0,len(EXPLANATIONS)-1)].format(hostname=platform.node())
-        self.send_mail(hostname=platform.node(), username=username, name=name, explanation=explanation, homedir_size=homedir_size, days_ago=days_ago)
+      kwargs = {
+          'hostname': platform.node(),
+          'username': username,
+          'realname': realname,
+          'homedir_size': homedir_size,
+          'days_ago': days_ago
+        }
+
+      notify = False
+      remove = False
+      for x in CRITERIA:
+        if homedir_size > x['size'] and 'notifyafter' in x and days_ago >= x['notifyafter']:
+          notify = True
+        if homedir_size > x['size'] and 'deleteafter' in x and days_ago >= x['deleteafter']:
+          remove = True
+
+      if remove:
+        self.remove(**kwargs)
+      elif notify:
+        self.notify(**kwargs)
 
 if __name__ == '__main__':
   logging.basicConfig()