* make .com in scour optional
[spamassassin_config.git] / common / sare / 70_sare_html3.cf
1 # SARE HTML Ruleset for SpamAssassin - ruleset 3
2 # Version: 01.03.10
3 # Created: 2004-03-31 
4 # Modified: 2006-06-03
5 # Usage instructions, documentation, and change history in 70_sare_html0.cf 
6
7 #@@# Revision History:  Full Revision History stored in 70_sare_html.log
8 #@@# 01.03.10: June 3 2006
9 #@@#           Minor score tweaks based on recent mass-checks
10 #@@#           Modified "rule has been moved" meta flags 
11 #@@#           Archive:             SARE_HTML_URI_OPTPHP
12 #@@#           Moved file 1 to 3:   SARE_HTML_URI_DEFASP
13
14 # License: Artistic - see http://www.rulesemporium.com/license.txt 
15 # Current Maintainer: Bob Menschel - RMSA@Menschel.net
16 # Current Home: http://www.rulesemporium.com/rules/70_sare_html3.cf 
17 #
18 ########  ######################   ##################################################
19 ########  ######################   ##################################################
20 #         Rules renamed or moved
21 ########  ######################   ##################################################
22
23 meta      __SARE_HEAD_FALSE        __FROM_AOL_COM && !__FROM_AOL_COM
24 meta      SARE_HTML_URI_OPTPHP     __SARE_HEAD_FALSE
25
26 ########  ######################   ##################################################
27
28 body      __NONEMPTY_BODY          /\S/
29 header    __TOCC_EXISTS            exists:ToCc
30
31 rawbody   __SARE_HTML_HAS_A        eval:html_tag_exists('a')
32 rawbody   __SARE_HTML_HAS_BR       eval:html_tag_exists('br')
33 rawbody   __SARE_HTML_HAS_DIV      eval:html_tag_exists('div')
34 rawbody   __SARE_HTML_HAS_FONT     eval:html_tag_exists('font')
35 rawbody   __SARE_HTML_HAS_IMG      eval:html_tag_exists('img')
36 rawbody   __SARE_HTML_HAS_P        eval:html_tag_exists('p')
37 rawbody   __SARE_HTML_HAS_PRE      eval:html_tag_exists('pre')
38 rawbody   __SARE_HTML_HAS_TITLE    eval:html_tag_exists('title')
39
40 rawbody   __SARE_HTML_HBODY        m'<html><body>'i
41 rawbody   __SARE_HTML_BEHTML       m'<body></html>'i
42 rawbody   __SARE_HTML_BEHTML2      m'^</?body></html>'i
43 rawbody   __SARE_HTML_EFONT        m'^</font>'i
44 rawbody   __SARE_HTML_EHEB         m'^</html></body>'i
45 rawbody   __SARE_HTML_CMT_CNTR     /<center><!--/
46
47 ########  ######################   ##################################################
48 #   Is there a message? 
49 ########  ######################   ##################################################
50
51 meta      SARE_HTML_EMPTY          __CTYPE_HTML && !( __SARE_HTML_HAS_TITLE ||  __TAG_EXISTS_HTML || __SARE_HTML_HAS_FONT || __TAG_EXISTS_BODY || __SARE_HTML_HAS_PRE || __SARE_HTML_HAS_DIV || __SARE_HTML_HAS_P || __SARE_HTML_HAS_A || __SARE_HTML_HAS_BR )
52 describe  SARE_HTML_EMPTY          Email is HTML format, but common tags not found
53 score     SARE_HTML_EMPTY          0.681
54 #ham      SARE_HTML_EMPTY          An "html" format email, 30 Oct 2002, Microsoft Outlook Express 6.00.2600.0000, that used no tags, just one long textual paragraph
55 #counts   SARE_HTML_EMPTY          226s/7h of 333405 corpus (262498s/70907h RM) 05/12/06
56 #max      SARE_HTML_EMPTY          506s/33h of 689155 corpus (348140s/341015h RM) 09/18/05
57 #counts   SARE_HTML_EMPTY          28s/1h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
58 #max      SARE_HTML_EMPTY          32s/2h of 54283 corpus (17106s/37177h JH-3.01) 02/13/05
59 #counts   SARE_HTML_EMPTY          0s/0h of 57287 corpus (52272s/5015h MY) 09/22/05
60 #max      SARE_HTML_EMPTY          132s/2h of 26326 corpus (22886s/3440h MY) 02/15/05
61 #counts   SARE_HTML_EMPTY          0s/0h of 13284 corpus (7412s/5872h CT) 05/14/06
62 #max      SARE_HTML_EMPTY          12s/0h of 10826 corpus (6364s/4462h CT) 05/28/05
63 #counts   SARE_HTML_EMPTY          1s/173h of 7500 corpus (1767s/5733h ft) 09/18/05
64
65 ########  ######################   ##################################################
66 #   <HTML> and <BODY> tag spamsign
67 ########  ######################   ##################################################
68
69 rawbody   __SARE_HTML_BODY_END2    m'</body[^>]*>.*</body[^>]*>'i
70 meta      SARE_HTML_BODY_END2      __SARE_HTML_BODY_END2 
71 describe  SARE_HTML_BODY_END2      Double </body>
72 score     SARE_HTML_BODY_END2      0.444
73 #hist     SARE_HTML_BODY_END2      Contrib by Matt Keller June 7 2004
74 #note     SARE_HTML_BODY_END2      Add/remove HTML_MESSAGE test has no effect
75 #counts   SARE_HTML_BODY_END2      15s/1h of 333405 corpus (262498s/70907h RM) 05/12/06
76 #max      SARE_HTML_BODY_END2      163s/13h of 281655 corpus (110173s/171482h RM) 05/05/05
77 #counts   SARE_HTML_BODY_END2      2s/1h of 9988 corpus (5657s/4331h AxB) 05/14/06
78 #counts   SARE_HTML_BODY_END2      1s/1h of 13284 corpus (7412s/5872h CT) 05/14/06
79 #max      SARE_HTML_BODY_END2      6s/0h of 10826 corpus (6364s/4462h CT) 05/28/05
80 #counts   SARE_HTML_BODY_END2      6s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
81 #counts   SARE_HTML_BODY_END2      0s/7h of 42328 corpus (34212s/8116h FVGT) 05/15/06
82 #counts   SARE_HTML_BODY_END2      15s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
83 #max      SARE_HTML_BODY_END2      63s/0h of 38858 corpus (15368s/23490h JH-SA3.0rc1) 08/22/04
84 #counts   SARE_HTML_BODY_END2      13s/0h of 106399 corpus (73151s/33248h ML) 05/14/06
85 #counts   SARE_HTML_BODY_END2      52s/2h of 23053 corpus (17334s/5719h MY) 05/14/06
86 #max      SARE_HTML_BODY_END2      69s/2h of 57287 corpus (52272s/5015h MY) 09/22/05
87
88 rawbody   SARE_HTML_HTML_DBL       /<html[^>]*><html[^>]*>/i
89 describe  SARE_HTML_HTML_DBL       Message body has very strange HTML sequence
90 score     SARE_HTML_HTML_DBL       0.639
91 #ham      SARE_HTML_HTML_DBL       Verified (several), common to various opt-in lists.
92 #hist     SARE_HTML_HTML_DBL       Fred T: FR_HTML_HTML
93 #hist     SARE_HTML_HTML_DBL       2004-06-11: [^>]* added by Bob Menschel
94 #counts   SARE_HTML_HTML_DBL       7s/1h of 333405 corpus (262498s/70907h RM) 05/12/06
95 #max      SARE_HTML_HTML_DBL       168s/0h of 65984 corpus (40739s/25245h RM) 08/21/04
96 #counts   SARE_HTML_HTML_DBL       1s/0h of 9988 corpus (5657s/4331h AxB) 05/14/06
97 #counts   SARE_HTML_HTML_DBL       0s/0h of 13284 corpus (7412s/5872h CT) 05/14/06
98 #max      SARE_HTML_HTML_DBL       9s/0h of 6944 corpus (3188s/3756h CT) 05/19/04
99 #counts   SARE_HTML_HTML_DBL       3s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
100 #counts   SARE_HTML_HTML_DBL       25s/0h of 54283 corpus (17106s/37177h JH-3.01) 02/13/05
101 #max      SARE_HTML_HTML_DBL       75s/0h of 32906 corpus (9660s/23246h JH) 05/24/04
102 #counts   SARE_HTML_HTML_DBL       1s/0h of 106399 corpus (73151s/33248h ML) 05/14/06
103 #counts   SARE_HTML_HTML_DBL       8s/1h of 23053 corpus (17334s/5719h MY) 05/14/06
104 #max      SARE_HTML_HTML_DBL       10s/0h of 57287 corpus (52272s/5015h MY) 09/22/05
105
106 ########  ######################   ##################################################
107 #   <TITLE> Tag Tests
108 ########  ######################   ##################################################
109
110 #              Moved file 1 to 3:   SARE_HTML_TITLE_MNY
111 rawbody   SARE_HTML_TITLE_MNY      /<title>.{0,25}Money.{0,25}<\/title>/i
112 describe  SARE_HTML_TITLE_MNY      HTML Title implies this may be spam
113 score     SARE_HTML_TITLE_MNY      0.458
114 #ham      SARE_HTML_TITLE_MNY      confirmed
115 #hist     SARE_HTML_TITLE_MNY      Fred T: FR_TITLE_MONEY
116 #counts   SARE_HTML_TITLE_MNY      16s/2h of 333405 corpus (262498s/70907h RM) 05/12/06
117 #max      SARE_HTML_TITLE_MNY      260s/11h of 689155 corpus (348140s/341015h RM) 09/18/05
118 #counts   SARE_HTML_TITLE_MNY      0s/0h of 13287 corpus (7414s/5873h CT) 05/14/06
119 #max      SARE_HTML_TITLE_MNY      0s/1h of 6944 corpus (3188s/3756h CT) 05/19/04
120 #counts   SARE_HTML_TITLE_MNY      0s/0h of 54283 corpus (17106s/37177h JH-3.01) 02/13/05
121 #max      SARE_HTML_TITLE_MNY      7s/0h of 38858 corpus (15368s/23490h JH-SA3.0rc1) 08/22/04
122 #counts   SARE_HTML_TITLE_MNY      2s/0h of 105856 corpus (72598s/33258h ML) 05/14/06
123 #counts   SARE_HTML_TITLE_MNY      15s/0h of 23074 corpus (17350s/5724h MY) 05/14/06
124 #max      SARE_HTML_TITLE_MNY      120s/0h of 57287 corpus (52272s/5015h MY) 09/22/05
125
126 ########  ######################   ##################################################
127 #   <A> and HREF rules          
128 ########  ######################   ##################################################
129
130 ########  ######################   ##################################################
131 #   Spamsign character sets and fonts 
132 ########  ######################   ##################################################
133
134 rawbody   SARE_HTML_COLOR_B        /(?:style="?|<style[^>]*>)[^>"]*[^-]color\s*:\s*rgb\(\s*2[2-5][0-9]\s*,\s*2[2-5][0-9]\s*,\s*2[2-5][0-9]\s*\)[^>]*>/i
135 describe  SARE_HTML_COLOR_B        BAD STYLE: color: too light (rgb(n))
136 score     SARE_HTML_COLOR_B        0.621
137 #ham      SARE_HTML_COLOR_B        Tickemaster ticket confirmation emails
138 #hist     SARE_HTML_COLOR_B        From Jesse Houwing May 14 2004
139 #counts   SARE_HTML_COLOR_B        20s/4h of 333405 corpus (262498s/70907h RM) 05/12/06
140 #counts   SARE_HTML_COLOR_B        2s/8h of 9988 corpus (5657s/4331h AxB) 05/14/06
141 #counts   SARE_HTML_COLOR_B        1s/1h of 13284 corpus (7412s/5872h CT) 05/14/06
142 #counts   SARE_HTML_COLOR_B        47s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
143 #counts   SARE_HTML_COLOR_B        0s/1h of 42328 corpus (34212s/8116h FVGT) 05/15/06
144 #counts   SARE_HTML_COLOR_B        3s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
145 #max      SARE_HTML_COLOR_B        5s/0h of 54283 corpus (17106s/37177h JH-3.01) 02/13/05
146 #counts   SARE_HTML_COLOR_B        12s/0h of 106399 corpus (73151s/33248h ML) 05/14/06
147 #counts   SARE_HTML_COLOR_B        8s/0h of 23053 corpus (17334s/5719h MY) 05/14/06
148
149 rawbody   SARE_HTML_LANG_PTBR      /lang=(?:3D)?PT-BR/
150 describe  SARE_HTML_LANG_PTBR      Odd language
151 score     SARE_HTML_LANG_PTBR      0.189
152 #hist     SARE_HTML_LANG_PTBR      LW_PT_BR, Loren Wilton
153 #counts   SARE_HTML_LANG_PTBR      11s/0h of 333405 corpus (262498s/70907h RM) 05/12/06
154 #max      SARE_HTML_LANG_PTBR      213s/0h of 70693 corpus (43127s/27566h RM) 10/02/04
155 #counts   SARE_HTML_LANG_PTBR      0s/1h of 56020 corpus (51687s/4333h AxB2) 05/15/06
156 #counts   SARE_HTML_LANG_PTBR      9s/25h of 13284 corpus (7412s/5872h CT) 05/14/06
157 #counts   SARE_HTML_LANG_PTBR      1s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
158 #counts   SARE_HTML_LANG_PTBR      69s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
159 #counts   SARE_HTML_LANG_PTBR      2s/0h of 106399 corpus (73151s/33248h ML) 05/14/06
160 #counts   SARE_HTML_LANG_PTBR      0s/0h of 47221 corpus (42968s/4253h MY) 06/18/05
161 #max      SARE_HTML_LANG_PTBR      10s/0h of 19448 corpus (16863s/2585h MY) 10/05/04
162
163 ########  ######################   ##################################################
164 #   Invalid or Suspicious URI Tests
165 ########  ######################   ##################################################
166
167 uri       SARE_HTML_URI_DEFASP     m'/default.asp\?id='i
168 describe  SARE_HTML_URI_DEFASP     URI to page name which suggests spammer's page
169 score     SARE_HTML_URI_DEFASP     0.093
170 #hist     SARE_HTML_URI_DEFASP     Deleted SARE_HTML_URI_X1 = LW_URI_ID due to complete overlap: /\?id\x10\x30\x34\x35/i
171 #counts   SARE_HTML_URI_DEFASP     0s/8h of 333405 corpus (262498s/70907h RM) 05/12/06
172 #max      SARE_HTML_URI_DEFASP     130s/27h of 689155 corpus (348140s/341015h RM) 09/18/05
173 #counts   SARE_HTML_URI_DEFASP     0s/5h of 13287 corpus (7414s/5873h CT) 05/14/06
174 #max      SARE_HTML_URI_DEFASP     44s/0h of 6944 corpus (3188s/3756h CT) 05/19/04
175 #counts   SARE_HTML_URI_DEFASP     1s/1h of 42454 corpus (34336s/8118h FVGT) 05/15/06
176 #counts   SARE_HTML_URI_DEFASP     0s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
177 #max      SARE_HTML_URI_DEFASP     361s/0h of 38858 corpus (15368s/23490h JH-SA3.0rc1) 08/22/04
178 #counts   SARE_HTML_URI_DEFASP     24s/0h of 23074 corpus (17350s/5724h MY) 05/14/06
179 #max      SARE_HTML_URI_DEFASP     24s/0h of 57287 corpus (52272s/5015h MY) 09/22/05
180
181 ########  ######################   ##################################################
182 #   Image tag tests
183 ########  ######################   ##################################################
184
185 ########  ######################   ##################################################
186 #   Paragraphs, breaks, and spacings
187 ########  ######################   ##################################################
188
189 rawbody   SARE_HTML_P_MANY3        /<P><P><P>/i
190 describe  SARE_HTML_P_MANY3        Too many empty paragraph tags in a row
191 score     SARE_HTML_P_MANY3        1.108
192 #hist     SARE_HTML_P_MANY3        04/02/2004 http://www.rulesemporium.com/rules/99_FVGT_rawbody.cf
193 #overlap  SARE_HTML_P_MANY3        Total overlap within SARE_HTML_URI_MANYP2, but no ham hits here (until Feb 2005)
194 #ham      SARE_HTML_P_MANY3        From: Ticketmaster <support@reply.ticketmaster.com>, Tuesday, January 25, 2005, 4:00:27 PM
195 #counts   SARE_HTML_P_MANY3        78s/6h of 333405 corpus (262498s/70907h RM) 05/12/06
196 #max      SARE_HTML_P_MANY3        458s/28h of 689155 corpus (348140s/341015h RM) 09/18/05
197 #counts   SARE_HTML_P_MANY3        143s/0h of 56020 corpus (51687s/4333h AxB2) 05/15/06
198 #counts   SARE_HTML_P_MANY3        0s/0h of 11260 corpus (6568s/4692h CT) 06/17/05
199 #max      SARE_HTML_P_MANY3        9s/0h of 6944 corpus (3188s/3756h CT) 05/19/04
200 #counts   SARE_HTML_P_MANY3        412s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
201 #counts   SARE_HTML_P_MANY3        50s/0h of 42328 corpus (34212s/8116h FVGT) 05/15/06
202 #counts   SARE_HTML_P_MANY3        4s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
203 #max      SARE_HTML_P_MANY3        15s/0h of 32260 corpus (8983s/23277h JH) 05/14/04
204 #counts   SARE_HTML_P_MANY3        9s/0h of 23053 corpus (17334s/5719h MY) 05/14/06
205 #max      SARE_HTML_P_MANY3        41s/0h of 57287 corpus (52272s/5015h MY) 09/22/05
206
207 ########  ######################   ##################################################
208 #   Javascript and object tests     
209 ########  ######################   ##################################################
210
211 ########  ######################   ##################################################
212 #  Useless tags (tag structures that do nothing) 
213 #  Largely submitted by Matt Yackley, with contributions by 
214 #  Carl Friend, Jennifer Wheeler, Scott Sprunger, Larry Gilson
215 ########  ######################   ##################################################
216
217 rawbody   SARE_HTML_USL_1CHAR      m'(?!<[biopu]></[biopu]>)<([a-z])></\1>'i 
218 describe  SARE_HTML_USL_1CHAR      Invalid and empty 1-char tag - /tag combination
219 score     SARE_HTML_USL_1CHAR      0.029
220 #counts   SARE_HTML_USL_1CHAR      6s/14h of 333405 corpus (262498s/70907h RM) 05/12/06
221 #max      SARE_HTML_USL_1CHAR      46s/6h of 196718 corpus (96193s/100525h RM) 02/22/05
222 #counts   SARE_HTML_USL_1CHAR      3s/0h of 56020 corpus (51687s/4333h AxB2) 05/15/06
223 #counts   SARE_HTML_USL_1CHAR      0s/0h of 10826 corpus (6364s/4462h CT) 05/28/05
224 #max      SARE_HTML_USL_1CHAR      3s/0h of 6944 corpus (3188s/3756h CT) 05/19/04
225 #counts   SARE_HTML_USL_1CHAR      8s/30h of 155408 corpus (103805s/51603h DOC) 05/15/06
226 #counts   SARE_HTML_USL_1CHAR      2s/1h of 42328 corpus (34212s/8116h FVGT) 05/15/06
227 #counts   SARE_HTML_USL_1CHAR      3s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
228 #max      SARE_HTML_USL_1CHAR      6s/0h of 54283 corpus (17106s/37177h JH-3.01) 02/13/05
229 #counts   SARE_HTML_USL_1CHAR      2s/0h of 23053 corpus (17334s/5719h MY) 05/14/06
230
231 ########  ######################   ##################################################
232 #   Miscellaneous tag tests
233 ########  ######################   ##################################################
234
235 rawbody   SARE_HTML_BODY_2SP       /<body  /i
236 describe  SARE_HTML_BODY_2SP       HTML tag is strangely formed
237 score     SARE_HTML_BODY_2SP       0.665
238 #hist     SARE_HTML_BODY_2SP       FR_BODY_2SPACES
239 #counts   SARE_HTML_BODY_2SP       682s/152h of 333405 corpus (262498s/70907h RM) 05/12/06
240 #counts   SARE_HTML_BODY_2SP       678s/2h of 9988 corpus (5657s/4331h AxB) 05/14/06
241 #counts   SARE_HTML_BODY_2SP       48s/0h of 13284 corpus (7412s/5872h CT) 05/14/06
242 #counts   SARE_HTML_BODY_2SP       215s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
243 #counts   SARE_HTML_BODY_2SP       1455s/8h of 42328 corpus (34212s/8116h FVGT) 05/15/06
244 #counts   SARE_HTML_BODY_2SP       62s/5h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
245 #max      SARE_HTML_BODY_2SP       94s/0h of 38858 corpus (15368s/23490h JH-SA3.0rc1) 08/22/04
246 #counts   SARE_HTML_BODY_2SP       361s/2h of 106399 corpus (73151s/33248h ML) 05/14/06
247 #counts   SARE_HTML_BODY_2SP       21s/2h of 23053 corpus (17334s/5719h MY) 05/14/06
248 #max      SARE_HTML_BODY_2SP       66s/2h of 47221 corpus (42968s/4253h MY) 06/18/05
249
250 full      SARE_HTML_TD_BR          m'<td.{10,400}<br>.{1,7}<br>.{1,7}<br>.{1,7}<br>.{0,400}</td>'is
251 describe  SARE_HTML_TD_BR          Multiple line breaks in spammer pattern
252 score     SARE_HTML_TD_BR          0.934
253 #hist     SARE_HTML_TD_BR          Fred T: FR_WICKED_SPAM_??
254 #counts   SARE_HTML_TD_BR          2757s/33h of 333405 corpus (262498s/70907h RM) 05/12/06
255 #counts   SARE_HTML_TD_BR          368s/0h of 56020 corpus (51687s/4333h AxB2) 05/15/06
256 #counts   SARE_HTML_TD_BR          40s/10h of 13284 corpus (7412s/5872h CT) 05/14/06
257 #counts   SARE_HTML_TD_BR          471s/0h of 155408 corpus (103805s/51603h DOC) 05/15/06
258 #counts   SARE_HTML_TD_BR          190s/10h of 42328 corpus (34212s/8116h FVGT) 05/15/06
259 #counts   SARE_HTML_TD_BR          36s/0h of 54067 corpus (16890s/37177h JH-3.01) 06/18/05
260 #max      SARE_HTML_TD_BR          182s/0h of 38858 corpus (15368s/23490h JH-SA3.0rc1) 08/22/04
261 #counts   SARE_HTML_TD_BR          700s/0h of 106399 corpus (73151s/33248h ML) 05/14/06
262 #counts   SARE_HTML_TD_BR          68s/14h of 23053 corpus (17334s/5719h MY) 05/14/06
263 #max      SARE_HTML_TD_BR          184s/15h of 47221 corpus (42968s/4253h MY) 06/18/05
264
265 # EOF