]> git.donarmstrong.com Git - debbugs.git/blobdiff - Debbugs/MIME.pm
Merge branch 'don/processencoding' of git+ssh://git.donarmstrong.com/srv/git/debbugs...
[debbugs.git] / Debbugs / MIME.pm
index 4f803bc54c6a45d4bfc0f9ff8bcdd5134bc27424..05534e3e054c47d2cb281f683aaacf1a0ac7a52e 100644 (file)
@@ -1,5 +1,33 @@
+# This module is part of debbugs, and is released
+# under the terms of the GPL version 2, or any later
+# version at your option.
+# See the file README and COPYING for more information.
+#
+# [Other people have contributed to this file; their copyrights should
+# go here too.]
+# Copyright 2006 by Don Armstrong <don@donarmstrong.com>.
+
+
 package Debbugs::MIME;
 
+=head1 NAME
+
+Debbugs::MIME -- Mime handling routines for debbugs
+
+=head1 SYNOPSIS
+
+ use Debbugs::MIME qw(parse decode_rfc1522);
+
+=head1 DESCRIPTION
+
+
+=head1 BUGS
+
+None known.
+
+=cut
+
+use warnings;
 use strict;
 
 use base qw(Exporter);
@@ -8,12 +36,16 @@ use vars qw($VERSION @EXPORT_OK);
 BEGIN {
     $VERSION = 1.00;
 
-    @EXPORT_OK = qw(parse decode_rfc1522 encode_rfc1522 convert_to_utf8 create_mime_message);
+    @EXPORT_OK = qw(parse decode_rfc1522 encode_rfc1522 convert_to_utf8 create_mime_message getmailbody);
 }
 
 use File::Path;
+use File::Temp qw();
 use MIME::Parser;
 
+use POSIX qw(strftime);
+use List::MoreUtils qw(apply);
+
 # for decode_rfc1522
 use MIME::WordDecoder qw();
 use Encode qw(decode encode encode_utf8 decode_utf8 is_utf8);
@@ -21,13 +53,12 @@ use Encode qw(decode encode encode_utf8 decode_utf8 is_utf8);
 # for encode_rfc1522
 use MIME::Words qw();
 
-sub getmailbody ($);
-sub getmailbody ($)
+sub getmailbody
 {
     my $entity = shift;
     my $type = $entity->effective_type;
     if ($type eq 'text/plain' or
-           ($type =~ m#text/# and $type ne 'text/html') or
+           ($type =~ m#text/?# and $type ne 'text/html') or
            $type eq 'application/pgp') {
        return $entity->bodyhandle;
     } elsif ($type eq 'multipart/alternative') {
@@ -47,14 +78,14 @@ sub getmailbody ($)
     return undef;
 }
 
-sub parse ($)
+sub parse
 {
     # header and decoded body respectively
     my (@headerlines, @bodylines);
 
-    my $parser = new MIME::Parser;
-    mkdir "mime.tmp.$$", 0777;
-    $parser->output_under("mime.tmp.$$");
+    my $parser = MIME::Parser->new();
+    my $tempdir = File::Temp::tempdir();
+    $parser->output_under($tempdir);
     my $entity = eval { $parser->parse_data($_[0]) };
 
     if ($entity and $entity->head->tags) {
@@ -82,14 +113,19 @@ sub parse ($)
        @bodylines = @msg[$i .. $#msg];
     }
 
-    rmtree "mime.tmp.$$", 0, 1;
+    rmtree $tempdir, 0, 1;
 
     # Remove blank lines.
     shift @bodylines while @bodylines and $bodylines[0] !~ /\S/;
 
     # Strip off RFC2440-style PGP clearsigning.
     if (@bodylines and $bodylines[0] =~ /^-----BEGIN PGP SIGNED/) {
-       shift @bodylines while @bodylines and length $bodylines[0];
+       shift @bodylines while @bodylines and
+           length $bodylines[0] and
+               # we currently don't strip \r; handle this for the
+               # time being, though eventually it should be stripped
+               # too, I think. [See #565981]
+               $bodylines[0] ne "\r";
        shift @bodylines while @bodylines and $bodylines[0] !~ /\S/;
        for my $findsig (0 .. $#bodylines) {
            if ($bodylines[$findsig] =~ /^-----BEGIN PGP SIGNATURE/) {
@@ -105,13 +141,17 @@ sub parse ($)
 
 =head2 create_mime_message
 
-     create_mime_message([To=>'don@debian.org'],$body,[$attach1, $attach2]);
+     create_mime_message([To=>'don@debian.org'],$body,[$attach1, $attach2],$include_date);
 
 Creates a MIME encoded message with headers given by the first
 argument, and a message given by the second.
 
 Optional attachments can be specified in the third arrayref argument.
 
+Whether to include the date in the header is the final argument; it
+defaults to true, setting the Date header if one is not already
+present.
+
 Headers are passed directly to MIME::Entity::build, the message is the
 first attachment.
 
@@ -123,14 +163,28 @@ MIME::Entity::attach
 =cut
 
 sub create_mime_message{
-     my ($headers,$body,$attachments) = @_;
+     my ($headers,$body,$attachments,$include_date) = @_;
      $attachments = [] if not defined $attachments;
+     $include_date = 1 if not defined $include_date;
 
      die "The first argument to create_mime_message must be an arrayref" unless ref($headers) eq 'ARRAY';
      die "The third argument to create_mime_message must be an arrayref" unless ref($attachments) eq 'ARRAY';
 
+     if ($include_date) {
+        my %headers = apply {lc($_)} @{$headers};
+        if (not exists $headers{date}) {
+            push @{$headers},
+                ('Date',
+                 strftime("%a, %d %b %Y %H:%M:%S +0000",gmtime)
+                );
+        }
+     }
+
      # Build the message
-     my $msg = MIME::Entity->build(@{$headers},
+     # MIME::Entity is stupid, and doesn't rfc1522 encode its headers, so we do it for it.
+     my $msg = MIME::Entity->build('Content-Type' => 'text/plain; charset=utf-8',
+                                  'Encoding'     => 'quoted-printable',
+                                  (map{encode_rfc1522($_)} @{$headers}),
                                   Data    => $body
                                  );
 
@@ -142,20 +196,19 @@ sub create_mime_message{
          else {
               # This is *craptacular*, but because various MTAs
               # (sendmail and exim4, at least) appear to eat From
-              # lines in message/rfc822 attachments, we need to make
-              # sure the From line is the first thing in the
-              # attachement, not the second, so if it gets eaten, the
-              # headers don't collide into the body.
+              # lines in message/rfc822 attachments, we need eat
+              # the entire From line ourselves so the MTA doesn't
+              # leave \n detrius around.
               if (ref($attachment) eq 'ARRAY' and $attachment->[1] =~ /^From /) {
                    # make a copy so that we don't screw up anything
                    # that is expecting this arrayref to stay constant
                    $attachment = [@{$attachment}];
-                   # flip the From and Received lines around
-                   @{$attachment}[qw(1 0)] = @{$attachment}[qw(0 1)];
+                   # remove the from line
+                   splice @$attachment, 1, 1;
               }
               elsif (not ref($attachment)) {
-                   # It's a scalar
-                   $attachment =~ s/^(Received:[^\n]+\n)(From [^\n]+\n)/$2$1/s;
+                   # It's a scalar; remove the from line
+                   $attachment =~ s/^(Received:[^\n]+\n)(From [^\n]+\n)/$1/s;
               }
               $msg->attach(Type => 'message/rfc822',
                            Data => $attachment,
@@ -176,9 +229,7 @@ sub convert_to_utf8 {
      return $data if $charset eq 'raw' or is_utf8($data,1);
      my $result;
      eval {
-         # this encode/decode madness is to make sure that the data
-         # really is valid utf8 and that the is_utf8 flag is off.
-         $result = encode("utf8",decode($charset,$data))
+        $result = decode($charset,$data);
      };
      if ($@) {
          warn "Unable to decode charset; '$charset' and '$data': $@";
@@ -204,13 +255,16 @@ BEGIN {
        ]));
 }
 
-sub decode_rfc1522 ($)
-{
+sub decode_rfc1522 {
     my ($string) = @_;
 
+    # this is craptacular, but leading space is hacked off by unmime.
+    # Save it.
+    my $leading_space = '';
+    $leading_space = $1 if $string =~ s/^(\s+)//;
     # unmime calls the default MIME::WordDecoder handler set up at
     # initialization time.
-    return MIME::WordDecoder::unmime($string);
+    return $leading_space . MIME::WordDecoder::unmime($string);
 }
 
 =head2 encode_rfc1522
@@ -225,13 +279,20 @@ MIME::Words::encode_mimeword on distinct words as appropriate.
 # We cannot use MIME::Words::encode_mimewords because that function
 # does not handle spaces properly at all.
 
-sub encode_rfc1522 ($) {
+sub encode_rfc1522 {
      my ($rawstr) = @_;
 
+     # handle being passed undef properly
+     return undef if not defined $rawstr;
+     if (is_utf8($rawstr)) {
+        $rawstr= encode_utf8($rawstr);
+     }
      # We process words in reverse so we can preserve spacing between
      # encoded words. This regex splits on word|nonword boundaries and
-     # nonword|nonword boundaries.
-     my @words = reverse split /(?:(?<=[\s\n])|(?=[\s\n]))/m, $rawstr;
+     # nonword|nonword boundaries. We also consider parenthesis and "
+     # to be nonwords to avoid escaping them in comments in violation
+     # of RFC1522
+     my @words = reverse split /(?:(?<=[\s\n\)\(\"])|(?=[\s\n\)\(\"]))/m, $rawstr;
 
      my $previous_word_encoded = 0;
      my $string = '';
@@ -253,7 +314,7 @@ sub encode_rfc1522 ($) {
               if (length $encoded > 75) {
                    # Turn utf8 into the internal perl representation
                    # so . is a character, not a byte.
-                   my $tempstr = decode_utf8($word,Encode::FB_DEFAULT);
+                   my $tempstr = is_utf8($word)?$word:decode_utf8($word,Encode::FB_DEFAULT);
                    my @encoded;
                    # Strip it into 10 character long segments, and encode
                    # the segments