]> git.donarmstrong.com Git - infobot.git/blobdiff - src/IRC/Schedulers.pl
remove Berkeley DBM support
[infobot.git] / src / IRC / Schedulers.pl
index 2df8512bfbecdd9a4c8b565c077b3d10adb54587..3172e0b1a180fe5d57da14581acb9cf4ddd7640d 100644 (file)
@@ -5,10 +5,50 @@
 #         Created: 20000117
 #
 
-if (&IsParam("useStrict")) { use strict; }
+# use strict;  # TODO
 
 use POSIX qw(strftime);
-use vars qw(%sched);
+use vars qw(%sched %schedule);
+
+# format: function name = (
+#      str     chanconfdefault,
+#      int     internaldefault,
+#      bool    deferred,
+#      int     next run,               (optional)
+# )
+
+#%schedule = {
+#      uptimeLoop => ("", 60, 1),
+#};
+
+sub setupSchedulersII {
+    foreach (keys %schedule) {
+       &queueTask($_, @{ $schedule{$_} });
+    }
+}
+
+sub queueTask {
+    my($codename, $chanconfdef, $intervaldef, $defer) = @_;
+    my $t = &getChanConfDefault($chanconfdef, $intervaldef);
+    my $waittime = &getRandomInt($t);
+
+    if (!defined $waittime) {
+       &WARN("interval == waittime == UNDEF for $codename.");
+       return;
+    }
+
+    my $time = $schedule{$codename}[3];
+    if (defined $time and $time > time()) {
+       &WARN("Sched for $codename already exists.");
+       return;
+    }
+
+#    &VERB("Scheduling \&$codename() for ".&Time2String($waittime),3);
+
+    my $retval = $conn->schedule($waittime, sub {
+               \&$codename;
+    }, @args );
+}
 
 sub setupSchedulers {
     &VERB("Starting schedulers...",2);
@@ -31,18 +71,21 @@ sub setupSchedulers {
     &seenFlushOld(2);
     &ircCheck(1);      # mandatory
     &miscCheck(1);     # mandatory
+    &miscCheck2(2);    # mandatory
     &shmFlush(1);      # mandatory
     &slashdotLoop(2);
+    &plugLoop(2);
     &freshmeatLoop(2);
     &kernelLoop(2);
     &wingateWriteFile(2);
-    &factoidCheck(2);
+    &factoidCheck(2);  # takes a couple of seconds on a 486. defer it
+# todo: convert to new format... or nuke altogether.
     &newsFlush(1);
 
+    # todo: squeeze this into a one-liner.
 #    my $count = map { exists $sched{$_}{TIME} } keys %sched;
     my $count  = 0;
     foreach (keys %sched) {
-#      next unless (exists $sched{$_}{TIME});
        my $time = $sched{$_}{TIME};
        next unless (defined $time and $time > time());
 
@@ -73,7 +116,7 @@ sub ScheduleThis {
     my $retval = $conn->schedule($waittime, \&$codename, @args);
     $sched{$codename}{LABEL}   = $retval;
     $sched{$codename}{TIME}    = time()+$waittime;
-    $sched{$codename}{RUNNING} = 1;
+    $sched{$codename}{LOOP}    = 1;
 }
 
 ####
@@ -85,11 +128,9 @@ sub randomQuote {
     if (@_) {
        &ScheduleThis($interval, "randomQuote");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"randomQuote"}{RUNNING};
     }
 
-    my $line = &getRandomLineFromFile($bot_misc_dir. "/blootbot.randtext");
+    my $line = &getRandomLineFromFile($bot_data_dir. "/blootbot.randtext");
     if (!defined $line) {
        &ERROR("random Quote: weird error?");
        return;
@@ -113,8 +154,6 @@ sub randomFactoid {
     if (@_) {
        &ScheduleThis($interval, "randomFactoid");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"randomFactoid"}{RUNNING};
     }
 
     while (1) {
@@ -140,13 +179,11 @@ sub randomFactoid {
 }
 
 sub randomFreshmeat {
-    my $interval = &getChanConfDefault("randomFresheatInterval", 60);
+    my $interval = &getChanConfDefault("randomFreshmeatInterval", 60);
 
     if (@_) {
        &ScheduleThis($interval, "randomFreshmeat");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"randomFreshmeat"}{RUNNING};
     }
 
     my @chans = &ChanConfList("randomFreshmeat");
@@ -168,8 +205,6 @@ sub logLoop {
     if (@_) {
        &ScheduleThis(60, "logLoop");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"logLoop"}{RUNNING};
     }
 
     return unless (defined fileno LOG);
@@ -178,7 +213,7 @@ sub logLoop {
 
     ### check if current size is too large.
     if ( -s $file{log} > $param{'maxLogSize'}) {
-       my $date = sprintf("%04d%02d%02d", (localtime)[5,4,3]);
+       my $date = sprintf("%04d%02d%02d", (gmtime)[5,4,3]);
        $file{log} = $param{'logfile'} ."-". $date;
        &status("cycling log file.");
 
@@ -201,49 +236,44 @@ sub logLoop {
     }
 
     ### check if all the logs exceed size.
-    my $logdir = "$bot_base_dir/log/";
-    if (opendir(LOGS, $logdir)) {
-       my $tsize = 0;
-       my (%age, %size);
-
-       while (defined($_ = readdir LOGS)) {
-           my $logfile         = "$logdir/$_";
+    if (!opendir(LOGS, $bot_log_dir)) {
+       &WARN("logLoop: could not open dir '$bot_log_dir'");
+       return;
+    }
 
-           next unless ( -f $logfile);
-           my $size            = -s $logfile;
-           my $age             = (stat $logfile)[9];
+    my $tsize          = 0;
+    my (%age, %size);
+    while (defined($_ = readdir LOGS)) {
+       my $logfile     = "$bot_log_dir/$_";
 
-           $age{$age}          = $logfile;
-           $size{$logfile}     = $size;
+       next unless ( -f $logfile);
 
-           $tsize              += $size;
-       }
-       closedir LOGS;
-
-       my $delete      = 0;
-       while ($tsize > $param{'maxLogSize'}) {
-           &status("LOG: current size > max ($tsize > $param{'maxLogSize'})");
-           my $oldest  = (sort {$a <=> $b} keys %age)[0];
-           &status("LOG: unlinking $age{$oldest}.");
-           unlink $age{$oldest};
-           $tsize      -= $oldest;
-           $delete++;
-       }
+       my $size        = -s $logfile;
+       my $age         = (stat $logfile)[9];
+       $age{$age}      = $logfile;
+       $size{$logfile} = $size;
+       $tsize          += $size;
+    }
+    closedir LOGS;
 
-       ### TODO: add how many b,kb,mb removed?
-       &status("LOG: removed $delete logs.") if ($delete);
-    } else {
-       &WARN("could not open dir $logdir");
+    my $delete = 0;
+    while ($tsize > $param{'maxLogSize'}) {
+       &status("LOG: current size > max ($tsize > $param{'maxLogSize'})");
+       my $oldest      = (sort {$a <=> $b} keys %age)[0];
+       &status("LOG: unlinking $age{$oldest}.");
+       unlink $age{$oldest};
+       $tsize          -= $oldest;
+       $delete++;
     }
 
+    ### TODO: add how many b,kb,mb removed?
+    &status("LOG: removed $delete logs.") if ($delete);
 }
 
 sub seenFlushOld {
     if (@_) {
        &ScheduleThis(1440, "seenFlushOld");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"seenFlushOld"}{RUNNING};
     }
 
     # is this global-only?
@@ -254,31 +284,29 @@ sub seenFlushOld {
     my $max_time = &getChanConfDefault("seenMaxDays", 30) *60*60*24;
     my $delete   = 0;
 
-    if ($param{'DBType'} =~ /^pg|postgres|mysql/i) {
-       my $query = "SELECT nick,time FROM seen GROUP BY nick HAVING UNIX_TIMESTAMP() - time > $max_time";
-       my $sth = $dbh->prepare($query);
-       $sth->execute;
-
-       while (my @row = $sth->fetchrow_array) {
-           my ($nick,$time) = @row;
+    if ($param{'DBType'} =~ /^(pgsql|mysql|sqlite)/i) {
+       my $query;
 
-           &dbDel("seen","nick",$nick);
-           $delete++;
+       if ($param{'DBType'} =~ /^mysql|sqlite$/i) {
+           $query = "SELECT nick,time FROM seen GROUP BY nick HAVING ".
+                       "UNIX_TIMESTAMP() - time > $max_time";
+       } else {        # pgsql.
+           $query = "SELECT nick,time FROM seen WHERE ".
+               "extract(epoch from timestamp 'now') - time > $max_time";
        }
-       $sth->finish;
-    } elsif ($param{'DBType'} =~ /^dbm/i) {
-       my $time = time();
 
-       foreach (keys %seen) {
-           my $delta_time = $time - &dbGet("seen", "NULL", $_, "time");
-           next unless ($delta_time > $max_time);
+       my $sth = $dbh->prepare($query);
+       if ($sth->execute) {
+           while (my @row = $sth->fetchrow_array) {
+               my ($nick,$time) = @row;
 
-           &DEBUG("seenFlushOld: ".&Time2String($delta_time) );
-           delete $seen{$_};
-           $delete++;
+               &sqlDelete("seen", { nick => $nick } );
+               $delete++;
+           }
+           $sth->finish;
        }
     } else {
-       &FIXME("seenFlushOld: for PG/NO-DB.");
+       &FIXME("seenFlushOld: for bad DBType:" . $param{'DBType'} . ".");
     }
     &VERB("SEEN deleted $delete seen entries.",2);
 
@@ -286,17 +314,27 @@ sub seenFlushOld {
 
 sub newsFlush {
     if (@_) {
-       &ScheduleThis(1440, "newsFlush");
+       &ScheduleThis(60, "newsFlush");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"newsFlush"}{RUNNING};
     }
 
-    return unless (&IsChanConf("news") > 0);
+    if (!&ChanConfList("news")) {
+       &DEBUG("newsFlush: news disabled? (chan => $chan)");
+       return;
+    }
 
     my $delete = 0;
     my $oldest = time();
+    my %none;
     foreach $chan (keys %::news) {
+       my $i           = 0;
+       my $total       = scalar(keys %{ $::news{$chan} });
+
+       if (!$total) {
+           delete $::news{$chan};
+           next;
+       }
+
        foreach $item (keys %{ $::news{$chan} }) {
            my $t = $::news{$chan}{$item}{Expire};
 
@@ -310,20 +348,29 @@ sub newsFlush {
                next;
            }
 
+           my $delta = $t - time();
+
            next unless (time() > $t);
+
            # todo: show how old it was.
            delete $::news{$chan}{$item};
-           &VERB("NEWS: deleted '$item'", 2);
+           &status("NEWS: (newsflush) deleted '$item'");
            $delete++;
+           $i++;
        }
+
+       &status("NEWS (newsflush) {$chan}: deleted [$i/$total] news entries.") if ($i);
+       $none{$chan} = 1 if ($total == $i);
     }
 
     # todo: flush users aswell.
     my $duser  = 0;
     foreach $chan (keys %::newsuser) {
+       next if (exists $none{$chan});
+
        foreach (keys %{ $::newsuser{$chan} }) {
            my $t = $::newsuser{$chan}{$_};
-           if (!defined $t or $t < 1000) {
+           if (!defined $t or ($t > 2 and $t < 1000)) {
                &DEBUG("something wrong with newsuser{$chan}{$_} => $t");
                next;
            }
@@ -333,12 +380,14 @@ sub newsFlush {
            delete $::newsuser{$chan}{$_};
            $duser++;
        }
-    }
 
-#    &VERB("NEWS deleted $delete seen entries.",2);
-    &status("NEWS deleted: $delete news entries; $duser user cache.");
+       my $i = scalar(keys %{ $::newsuser{$chan} });
+       delete $::newsuser{$chan} unless ($i);
+    }
 
-    &News::writeNews();
+    if ($delete or $duser) {
+       &status("NewsFlush: deleted: $delete news entries; $duser user cache.");
+    }
 }
 
 sub chanlimitCheck {
@@ -347,37 +396,65 @@ sub chanlimitCheck {
     if (@_) {
        &ScheduleThis($interval, "chanlimitCheck");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"chanlimitCheck"}{RUNNING};
     }
 
+    my $str = join(' ', &ChanConfList("chanlimitcheck") );
+
     foreach $chan ( &ChanConfList("chanlimitcheck") ) {
        next unless (&validChan($chan));
 
+       if ($chan eq "_default") {
+           &WARN("chanlimit: we're doing $chan!! HELP ME!");
+           next;
+       }
+
        my $limitplus   = &getChanConfDefault("chanlimitcheckPlus", 5, $chan);
-       my $newlimit    = scalar(keys %{$channels{$chan}{''}}) + $limitplus;
+       my $newlimit    = scalar(keys %{ $channels{$chan}{''} }) + $limitplus;
        my $limit       = $channels{$chan}{'l'};
 
-       if (defined $limit and scalar keys %{$channels{$chan}{''}} > $limit) {
+       if (scalar keys %netsplitservers) {
+           if (defined $limit) {
+               &status("chanlimit: netsplit; removing it for $chan.");
+               $conn->mode($chan, "-l");
+               $cache{chanlimitChange}{$chan} = time();
+               &status("chanlimit: netsplit; removed.");
+           }
+
+           next;
+       }
+
+       if (defined $limit and scalar keys %{ $channels{$chan}{''} } > $limit) {
            &FIXME("LIMIT: set too low!!! FIXME");
            ### run NAMES again and flush it.
        }
 
-       next unless (!defined $limit or $limit != $newlimit);
+       if (defined $limit and $limit == $newlimit) {
+           $cache{chanlimitChange}{$chan} = time();
+           next;
+       }
 
        if (!exists $channels{$chan}{'o'}{$ident}) {
-           &status("ChanLimit: dont have ops on $chan.") unless (exists $cache{warn}{chanlimit}{$chan});
+           &status("chanlimit: dont have ops on $chan.") unless (exists $cache{warn}{chanlimit}{$chan});
            $cache{warn}{chanlimit}{$chan} = 1;
-           ### TODO: check chanserv?
+           &chanServCheck($chan);
            next;
        }
        delete $cache{warn}{chanlimit}{$chan};
 
        if (!defined $limit) {
-           &status("ChanLimit: setting for first time or from netsplit, for $chan");
+           &status("chanlimit: setting for first time or from netsplit, for $chan");
        }
 
-       &rawout("MODE $chan +l $newlimit");
+       if (exists $cache{chanlimitChange}{$chan}) {
+           my $delta = time() - $cache{chanlimitChange}{$chan};
+           if ($delta < $interval*60) {
+               &DEBUG("chanlimit: not going to change chanlimit! ($delta<$interval*60)");
+               return;
+           }
+       }
+
+       $conn->mode($chan, "+l", $newlimit);
+       $cache{chanlimitChange}{$chan} = time();
     }
 }
 
@@ -385,36 +462,74 @@ sub netsplitCheck {
     my ($s1,$s2);
 
     if (@_) {
-       &ScheduleThis(30, "netsplitCheck");
+       &ScheduleThis(15, "netsplitCheck");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"netsplitCheck"}{RUNNING};
     }
 
+    $cache{'netsplitCache'}++;
+#    &DEBUG("running netsplitCheck... $cache{netsplitCache}");
+
+    if (!scalar %netsplit and scalar %netsplitservers) {
+       &DEBUG("nsC: !hash netsplit but hash netsplitservers <- removing!");
+       undef %netsplitservers;
+       return;
+    }
+
+    # well... this shouldn't happen since %netsplit code does it anyway.
     foreach $s1 (keys %netsplitservers) {
-       foreach $s2 (keys %{$netsplitservers{$s1}}) {
-           if (time() - $netsplitservers{$s1}{$s2} > 3600) {
+
+       foreach $s2 (keys %{ $netsplitservers{$s1} }) {
+           my $delta = time() - $netsplitservers{$s1}{$s2};
+
+           if ($delta > 60*30) {
                &status("netsplit between $s1 and $s2 appears to be stale.");
                delete $netsplitservers{$s1}{$s2};
+               &chanlimitCheck();
            }
        }
+
+       my $i = scalar(keys %{ $netsplitservers{$s1} });
+       delete $netsplitservers{$s1} unless ($i);
     }
 
     # %netsplit hash checker.
     my $count  = scalar keys %netsplit;
+    my $delete = 0;
     foreach (keys %netsplit) {
-       if (&IsNickInAnyChan($_)) {
-           &DEBUG("netsplitC: $_ is in some chan; removing from netsplit list.");
+       if (&IsNickInAnyChan($_)) {     # why would this happen?
+#          &DEBUG("nsC: $_ is in some chan; removing from netsplit list.");
            delete $netsplit{$_};
+           $delete++;
+           next;
        }
-       next unless (time() - $netsplit{$_} > 60*10);
 
-       &DEBUG("netsplitC: $_ didn't come back from netsplit; removing from netsplit list.");
+       next unless (time() - $netsplit{$_} > 60*15);
+
+       $delete++;
        delete $netsplit{$_};
     }
 
+    # yet another hack.
+    foreach (keys %channels) {
+       my $i = $cache{maxpeeps}{$chan} || 0;
+       my $j = scalar(keys %{ $channels{$chan} });
+       next unless ($i > 10 and 0.25*$i > $j);
+
+       &DEBUG("netsplit: 0.25*max($i) > current($j); possible netsplit?");
+    }
+
+    if ($delete) {
+       my $j = scalar(keys %netsplit);
+       &status("nsC: removed from netsplit list: (before: $count; after: $j)");
+    }
+
+    if (!scalar %netsplit and scalar %netsplitservers) {
+       &DEBUG("nsC: ok hash netsplit is NULL; purging hash netsplitservers");
+       undef %netsplitservers;
+    }
+
     if ($count and !scalar keys %netsplit) {
-       &DEBUG("ok, netsplit is hopefully gone. reinstating chanlimit check.");
+       &DEBUG("nsC: netsplit is hopefully gone. reinstating chanlimit check.");
        &chanlimitCheck();
     }
 }
@@ -426,15 +541,13 @@ sub floodLoop {
     if (@_) {
        &ScheduleThis(60, "floodLoop"); # minutes.
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"floodLoop"}{RUNNING};
     }
 
     my $time           = time();
     my $interval       = &getChanConfDefault("floodCycle",60);
 
     foreach $who (keys %flood) {
-       foreach (keys %{$flood{$who}}) {
+       foreach (keys %{ $flood{$who} }) {
            if (!exists $flood{$who}{$_}) {
                &WARN("flood{$who}{$_} undefined?");
                next;
@@ -454,8 +567,6 @@ sub seenFlush {
        my $interval = &getChanConfDefault("seenFlushInterval", 60);
        &ScheduleThis($interval, "seenFlush");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"seenFlush"}{RUNNING};
     }
 
     my %stats;
@@ -465,65 +576,15 @@ sub seenFlush {
     $stats{'new'}      = 0;
     $stats{'old'}      = 0;
 
-    if ($param{'DBType'} =~ /^mysql|pg|postgres/i) {
+    if ($param{'DBType'} =~ /^(mysql|pgsql|sqlite)$/i) {
        foreach $nick (keys %seencache) {
-           if (0) {
-           my $retval = &dbReplace("seen", $nick, (
-                       "nick" => $seencache{$nick}{'nick'},
-                       "time" => $seencache{$nick}{'time'},
-                       "host" => $seencache{$nick}{'host'},
-                       "channel" => $seencache{$nick}{'chan'},
-                       "message" => $seencache{$nick}{'msg'},
-           ) );
-           &DEBUG("retval => $retval.");
-           delete $seencache{$nick};
-           $flushed++;
-
-           next;
-           }
-           ### OLD CODE...
-
-           my $exists = &dbGet("seen","nick", $nick, "nick");
-
-           if (defined $exists and $exists) {
-               &dbUpdate("seen", "nick", $nick, (
-                       "time" => $seencache{$nick}{'time'},
-                       "host" => $seencache{$nick}{'host'},
-                       "channel" => $seencache{$nick}{'chan'},
-                       "message" => $seencache{$nick}{'msg'},
-               ) );
-               $stats{'old'}++;
-           } else {
-               my $retval = &dbInsert("seen", $nick, (
-                       "nick" => $seencache{$nick}{'nick'},
-                       "time" => $seencache{$nick}{'time'},
-                       "host" => $seencache{$nick}{'host'},
-                       "channel" => $seencache{$nick}{'chan'},
-                       "message" => $seencache{$nick}{'msg'},
-               ) );
-               $stats{'new'}++;
-
-               ### TODO: put bad nick into a list and don't do it again!
-               &FIXME("Should never happen! (nick => $nick)") if !$retval;
-           }
-
-           delete $seencache{$nick};
-           $flushed++;
-       }
-
-    } elsif ($param{'DBType'} =~ /^dbm/i) {
-
-       foreach $nick (keys %seencache) {
-           my $retval = &dbInsert("seen", $nick, (
-               "nick" => $seencache{$nick}{'nick'},
-               "time" => $seencache{$nick}{'time'},
-               "host" => $seencache{$nick}{'host'},
-               "channel" => $seencache{$nick}{'chan'},
-               "message" => $seencache{$nick}{'msg'},
-           ) );
-
-           ### TODO: put bad nick into a list and don't do it again!
-           &FIXME("Should never happen! (nick => $nick)") if !$retval;
+           my $retval = &sqlReplace("seen", {
+                       nick    => lc $seencache{$nick}{'nick'},
+                       time    => $seencache{$nick}{'time'},
+                       host    => $seencache{$nick}{'host'},
+                       channel => $seencache{$nick}{'chan'},
+                       message => $seencache{$nick}{'msg'},
+           } );
 
            delete $seencache{$nick};
            $flushed++;
@@ -532,12 +593,12 @@ sub seenFlush {
        &DEBUG("seenFlush: NO VALID FACTOID SUPPORT?");
     }
 
-    &status("Flushed $flushed seen entries.")          if ($flushed);
+    &status("Seen: Flushed $flushed entries.") if ($flushed);
     &VERB(sprintf("  new seen: %03.01f%% (%d/%d)",
        $stats{'new'}*100/($stats{'count_old'} || 1),
-       $stats{'new'}, $stats{'count_old'} ), 2)        if ($stats{'new'});
+       $stats{'new'}, ( $stats{'count_old'} || 1) ), 2) if ($stats{'new'});
     &VERB(sprintf("  now seen: %3.1f%% (%d/%d)",
-       $stats{'old'}*100/&countKeys("seen"),
+       $stats{'old'}*100 / ( &countKeys("seen") || 1),
        $stats{'old'}, &countKeys("seen") ), 2)         if ($stats{'old'});
 
     &WARN("scalar keys seenflush != 0!")       if (scalar keys %seenflush);
@@ -550,29 +611,45 @@ sub leakCheck {
     if (@_) {
        &ScheduleThis(240, "leakCheck");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"leakCheck"}{RUNNING};
     }
 
-    # flood.
+    # flood. this is dealt with in floodLoop()
     foreach $blah1 (keys %flood) {
-       foreach $blah2 (keys %{$flood{$blah1}}) {
-           $count += scalar(keys %{$flood{$blah1}{$blah2}});
+       foreach $blah2 (keys %{ $flood{$blah1} }) {
+           $count += scalar(keys %{ $flood{$blah1}{$blah2} });
        }
     }
-    &VERB("\%flood has $count total keys.",2);
+    &VERB("leak: hash flood has $count total keys.",2);
+
+    # floodjoin.
+    $count = 0;
+    foreach $blah1 (keys %floodjoin) {
+       foreach $blah2 (keys %{ $floodjoin{$blah1} }) {
+           $count += scalar(keys %{ $floodjoin{$blah1}{$blah2} });
+       }
+    }
+    &VERB("leak: hash floodjoin has $count total keys.",2);
+
+    # floodwarn.
+    $count = scalar(keys %floodwarn);
+    &VERB("leak: hash floodwarn has $count total keys.",2);
 
     my $chan;
     foreach $chan (grep /[A-Z]/, keys %channels) {
        &DEBUG("leak: chan => '$chan'.");
        my ($i,$j);
-       foreach $i (keys %{$channels{$chan}}) {
-           foreach (keys %{$channels{$chan}{$i}}) {
+       foreach $i (keys %{ $channels{$chan} }) {
+           foreach (keys %{ $channels{$chan}{$i} }) {
                &DEBUG("leak:   \$channels{$chan}{$i}{$_} ...");
            }
        }
     }
 
+    # chanstats
+    $count = scalar(keys %chanstats);
+    &VERB("leak: hash chanstats has $count total keys.",2);
+
+    # nuh.
     my $delete = 0;
     foreach (keys %nuh) {
        next if (&IsNickInAnyChan($_));
@@ -582,7 +659,7 @@ sub leakCheck {
        $delete++;
     }
 
-    &status("leakC: $delete nuh{} items deleted; now have ".
+    &status("leak: $delete nuh{} items deleted; now have ".
                                scalar(keys %nuh) ) if ($delete);
 }
 
@@ -590,8 +667,6 @@ sub ignoreCheck {
     if (@_) {
        &ScheduleThis(60, "ignoreCheck");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"ignoreCheck"}{RUNNING};
     }
 
     my $time   = time();
@@ -610,34 +685,32 @@ sub ignoreCheck {
            $count++;
        }
     }
+
+    $cache{ignoreCheckTime} = time();
+
     &VERB("ignore: $count items deleted.",2);
 }
 
 sub ircCheck {
-
     if (@_) {
-       &ScheduleThis(60, "ircCheck");
+       &ScheduleThis(15, "ircCheck");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"ircCheck"}{RUNNING};
     }
 
-    my @array = grep !/^_default$/, keys %chanconf;
-    my $iconf = scalar(@array);
-    my $inow  = scalar(keys %channels);
+    $cache{statusSafe} = 1;
+
+    my @x      = &getJoinChans();
+    my $iconf  = scalar( @x );
+    my $inow   = scalar( keys %channels );
     if ($iconf > 2 and $inow * 2 <= $iconf) {
        &FIXME("ircCheck: current channels * 2 <= config channels. FIXME.");
+       &FIXME("ircCheck: iconf = $iconf");
+       &FIXME("ircCheck: inow  = $inow");
+#      @joinchan       = @x;
+       &joinNextChan();
     }
 
-    # chanserv ops.
-    foreach ( &ChanConfList("chanServ_ops") ) {
-       next if (exists $channels{$chan}{'o'}{$ident});
-
-       &status("ChanServ ==> Requesting ops for $chan.");
-       &rawout("PRIVMSG ChanServ :OP $chan $ident");
-    }
-
-    if (!$conn->connected or time - $msgtime > 3600) {
+    if (!$conn->connected or time() - $msgtime > 3600) {
        # todo: shouldn't we use cache{connect} somewhere?
        if (exists $cache{connect}) {
            &WARN("ircCheck: no msg for 3600 and disco'd! reconnecting!");
@@ -646,14 +719,17 @@ sub ircCheck {
            delete $cache{connect};
        } else {
            &status("IRCTEST: possible lost in space; checking. ".
-               scalar(localtime) );
+               scalar(gmtime) );
            &msg($ident, "TEST");
            $cache{connect} = time();
        }
     }
 
     if ($ident !~ /^\Q$param{ircNick}\E$/) {
-       &WARN("ircCheck: ident($ident) != param{ircNick}($param{IrcNick}).");
+       # this does not work unfortunately.
+       &WARN("ircCheck: ident($ident) != param{ircNick}($param{ircNick}).");
+
+       # this check is misleading... perhaps we should do a notify.
        if (! &IsNickInAnyChan( $param{ircNick} ) ) {
            &DEBUG("$param{ircNick} not in use... changing!");
            &nick( $param{ircNick} );
@@ -662,22 +738,17 @@ sub ircCheck {
        }
     }
 
-    &joinNextChan();
-       # if scalar @joinnext => join more channels
-       # else check for chanserv.
-
     if (grep /^\s*$/, keys %channels) {
-       &WARN("we have a NULL chan in hash channels? removing!");
-       delete $channels{''};
-
-       &DEBUG("channels now:");
-       foreach (keys %channels) {
-           &status("  $_");
+       &WARN("ircCheck: we have a NULL chan in hash channels? removing!");
+       if (!exists $channels{''}) {
+           &DEBUG("ircCheck: this should never happen!");
        }
 
-       &DEBUG("channels END");
+       delete $channels{''};
     }
 
+    $cache{statusSafe} = 0;
+
     ### USER FILE.
     if ($utime_userfile > $wtime_userfile and time() - $wtime_userfile > 3600) {
        &writeUserFile();
@@ -692,10 +763,8 @@ sub ircCheck {
 
 sub miscCheck {
     if (@_) {
-       &ScheduleThis(240, "miscCheck");
+       &ScheduleThis(120, "miscCheck");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"miscCheck"}{RUNNING};
     }
 
     # SHM check.
@@ -730,20 +799,9 @@ sub miscCheck {
        CORE::system("/usr/bin/ipcrm shm $shmid >/dev/null");
     }
 
-    # debian check.
-    opendir(DEBIAN, "$bot_base_dir/debian");
-    foreach ( grep /gz$/, readdir(DEBIAN) ) {
-       my $exit = CORE::system("gzip -t $bot_base_dir/debian/$_");
-       next unless ($exit);
-
-       &status("debian: unlinking file => $_");
-       unlink "$bot_base_dir/debian/$_";
-    }
-    closedir DEBIAN;
-
     # make backup of important files.
-    &mkBackup( $bot_misc_dir."/blootbot.chan", 60*60*24*1);
-    &mkBackup( $bot_misc_dir."/blootbot.users", 60*60*24*1);
+    &mkBackup( $bot_state_dir."/blootbot.chan", 60*60*24*3);
+    &mkBackup( $bot_state_dir."/blootbot.users", 60*60*24*3);
     &mkBackup( $bot_base_dir."/blootbot-news.txt", 60*60*24*1);
 
     # flush cache{lobotomy}
@@ -756,77 +814,67 @@ sub miscCheck {
     &reloadAllModules();
 }
 
-sub shmFlush {
-    return if ($$ != $::bot_pid); # fork protection.
-
+sub miscCheck2 {
     if (@_) {
-       &ScheduleThis(5, "shmFlush");
-       return if ($_[0] eq "2");
-    } else {
-       delete $sched{"shmFlush"}{RUNNING};
+       &ScheduleThis(240, "miscCheck2");
+       return if ($_[0] eq "2");       # defer.
     }
 
-    my $time;
-    my $shmmsg = &shmRead($shm);
-    $shmmsg =~ s/\0//g;         # remove padded \0's.
-    if ($shmmsg =~ s/^(\d+): //) {
-       $time   = $1;
+    # debian check.
+    opendir(DEBIAN, "$bot_state_dir/debian");
+    foreach ( grep /gz$/, readdir(DEBIAN) ) {
+       my $exit = CORE::system("gzip -t $bot_state_dir/debian/$_");
+       next unless ($exit);
+
+       &status("debian: unlinking file => $_");
+       unlink "$bot_state_dir/debian/$_";
     }
+    closedir DEBIAN;
 
-    foreach (split '\|\|', $shmmsg) {
-       next if (/^$/);
-       &VERB("shm: Processing '$_'.",2);
+    # compress logs that should have been compressed.
+    # todo: use strftime?
+    my ($day,$month,$year) = (gmtime(time()))[3,4,5];
+    my $date = sprintf("%04d%02d%02d",$year+1900,$month+1,$day);
 
-       if (/^DCC SEND (\S+) (\S+)$/) {
-           my ($nick,$file) = ($1,$2);
-           if (exists $dcc{'SEND'}{$who}) {
-               &msg($nick, "DCC already active.");
-           } else {
-               &DEBUG("shm: dcc sending $2 to $1.");
-               $conn->new_send($1,$2);
-               $dcc{'SEND'}{$who} = time();
-           }
-       } elsif (/^SET FORKPID (\S+) (\S+)/) {
-           $forked{$1}{PID} = $2;
-       } elsif (/^DELETE FORK (\S+)$/) {
-           delete $forked{$1};
-       } elsif (/^EVAL (.*)$/) {
-           &DEBUG("evaling '$1'.");
-           eval $1;
-       } else {
-           &DEBUG("shm: unknown msg. ($_)");
-       }
+    if (!opendir(DIR,"$bot_log_dir")) {
+       &ERROR("misccheck2: log dir $bot_log_dir does not exist.");
+       closedir DIR;
+       return -1;
     }
 
-    &shmWrite($shm,"") if ($shmmsg ne "");
+    while (my $f = readdir(DIR)) {
+       next unless ( -f "$bot_log_dir/$f");
+       next if ($f =~ /gz|bz2/);
+       next unless ($f =~ /(\d{8})/);
+       next if ($date eq $1);
+
+       &compress("$bot_log_dir/$f");
+    }
+    closedir DIR;
 }
 
 ### this is semi-scheduled
 sub getNickInUse {
-    if (@_) {
-       &ScheduleThis(30, "getNickInUse");
-       return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"getNickInUse"}{RUNNING};
-    }
-
     if ($ident eq $param{'ircNick'}) {
        &status("okay, got my nick back.");
        return;
     }
 
-    &status("Trying to get my nick back.");
+    if (@_) {
+       &ScheduleThis(30, "getNickInUse");
+       return if ($_[0] eq "2");       # defer.
+    }
+
     &nick( $param{'ircNick'} );
 }
 
 sub uptimeLoop {
-    return unless &IsChanConf("uptime");
+    return if (!defined &uptimeWriteFile);
+#    return unless &IsChanConf("uptime");
 
     if (@_) {
        &ScheduleThis(60, "uptimeLoop");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"uptimeLoop"}{RUNNING};
     }
 
     &uptimeWriteFile();
@@ -837,8 +885,6 @@ sub slashdotLoop {
     if (@_) {
        &ScheduleThis(60, "slashdotLoop");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"slashdotLoop"}{RUNNING};
     }
 
     my @chans = &ChanConfList("slashdotAnnounce");
@@ -857,12 +903,33 @@ sub slashdotLoop {
     } );
 }
 
+sub plugLoop {
+
+    if (@_) {
+       &ScheduleThis(60, "plugLoop");
+       return if ($_[0] eq "2");
+    }
+
+    my @chans = &ChanConfList("plugAnnounce");
+    return unless (scalar @chans);
+
+    &Forker("plug", sub {
+       my $line = &Plug::plugAnnounce();
+       return unless (defined $line);
+
+       foreach (@chans) {
+           next unless (&::validChan($_));
+
+           &::status("sending plug update to $_.");
+           &notice($_, "Plug: $line");
+       }
+    } );
+}
+
 sub freshmeatLoop {
     if (@_) {
        &ScheduleThis(60, "freshmeatLoop");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"freshmeatLoop"}{RUNNING};
     }
 
     my @chans = &ChanConfList("freshmeatAnnounce");
@@ -884,8 +951,6 @@ sub kernelLoop {
     if (@_) {
        &ScheduleThis(240, "kernelLoop");
        return if ($_[0] eq "2");
-    } else {
-       delete $sched{"kernelLoop"}{RUNNING};
     }
 
     my @chans = &ChanConfList("kernelAnnounce");
@@ -944,8 +1009,6 @@ sub wingateWriteFile {
     if (@_) {
        &ScheduleThis(60, "wingateWriteFile");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"wingateWriteFile"}{RUNNING};
     }
 
     return unless (scalar @wingateCache);
@@ -972,25 +1035,37 @@ sub wingateWriteFile {
        print OUT "$_\n";
     }
     close OUT;
-
 }
 
 sub factoidCheck {
     if (@_) {
-       &ScheduleThis(1440, "factoidCheck");
+       &ScheduleThis(720, "factoidCheck");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"factoidCheck"}{RUNNING};
     }
 
     my @list   = &searchTable("factoids", "factoid_key", "factoid_key", " #DEL#");
-    my $stale  = &getChanConfDefault("factoidDeleteDelay", 30) *60*60*24;
+    my $stale  = &getChanConfDefault("factoidDeleteDelay", 14) *60*60*24;
+    if ($stale < 1) {
+       # disable it since it's "illegal".
+       return;
+    }
+
     my $time   = time();
 
     foreach (@list) {
        my $age = &getFactInfo($_, "modified_time");    
+
        if (!defined $age or $age !~ /^\d+$/) {
-           &WARN("age == NULL or not numeric.");
+           if (scalar @list > 50) {
+               if (!$cache{warnDel}) {
+                   &WARN("list is over 50 (".scalar(@list)."... giving it a miss.");
+                   $cache{warnDel} = 1;
+                   last;
+               }
+           }
+
+           &WARN("del factoid: old cruft (no time): $_");
+           &delFactoid($_);
            next;
        }
 
@@ -998,11 +1073,11 @@ sub factoidCheck {
 
        my $fix = $_;
        $fix =~ s/ #DEL#$//g;
-       &DEBUG("safedel: Removing $fix ($_) for good.");
+       my $agestr = &Time2String($time - $age);
+       &status("safedel: Removing '$_' for good. [$agestr old]");
 
        &delFactoid($_);
     }
-
 }
 
 sub dccStatus {
@@ -1011,11 +1086,9 @@ sub dccStatus {
     if (@_) {
        &ScheduleThis(10, "dccStatus");
        return if ($_[0] eq "2");       # defer.
-    } else {
-       delete $sched{"dccStatus"}{RUNNING};
     }
 
-    my $time = strftime("%H:%M", localtime(time()) );
+    my $time = strftime("%H:%M", gmtime(time()) );
 
     my $c;
     foreach (keys %channels) {
@@ -1062,46 +1135,29 @@ sub scheduleList {
     &DEBUG("end of sList.");
 }
 
-sub getChanConfDefault {
-    my($what, $default, $chan) = @_;
-
-    if (exists $param{$what}) {
-       if (!exists $cache{config}{$what}) {
-           &status("conf: backward-compat: found param{$what} ($param{$what}) instead.");
-           $cache{config}{$what} = 1;
-       }
-
-       return $param{$what};
-    }
+sub mkBackup {
+    my($file, $time)   = @_;
+    my $backup         = 0;
 
-    my $val = &getChanConf($what, $chan);
-    if (defined $val) {
-       return $val;
+    if (! -f $file) {
+       &VERB("mkB: file '$file' does not exist.",2);
+       return;
     }
 
-    $param{$what}      = $default;
-    &status("conf: auto-setting param{$what} = $default");
-    $cache{config}{$what} = 1;
-
-    return $default;
-}
-
-sub mkBackup {
-    my($file, $time) = @_;
-    my $backup = 0;
-
+    my $age    = "New";
     if ( -e "$file~" ) {
-       $backup++ if ( -s $file > -s "$file~");
-       $backup++ if ((stat $file)[9] - (stat "$file~")[9] > $time);
+       $backup++       if ((stat $file)[9] - (stat "$file~")[9] > $time);
+       my $delta       = time() - (stat "$file~")[9];
+       $age            = &Time2String($delta);
     } else {
        $backup++;
     }
+
     return unless ($backup);
 
     ### TODO: do internal copying.
-    &status("Backup: $file to $file~");
+    &status("Backup: $file ($age)");
     CORE::system("/bin/cp $file $file~");
-    CORE::system("/bin/touch $file~"); # needed!
 }
 
 1;