r/enable-sup/cosspd.doc

   1                             OSPD ORIGINS AND CURRENCY\r
   2 ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ\r
   3 \r
   4 \r
   5 One of the results of the researches that have taken place in producing\r
   6 the ENABLE2K word lists is documentation of the deficiencies of the OSPD\r
   7 (the Official Scrabble Player's Dictionary).   Notably, the ENABLE2K\r
   8 OSPDADD list includes over 6500 words which ought to be present in the\r
   9 OSPD, but are not.  During work on the most recent revision of ENABLE2K,\r
  10 I became interested in the opposite question, namely, how many words in\r
  11 OSPD were mistakes, that is, words which should not have been included\r
  12 according to the original criteria by which the OSPD was constructed.\r
  13 \r
  14 It is beyond my power to answer that question, as OSPD was assembled from\r
  15 a number of out-of-print dictionaries, such as the Merriam-Webster\r
  16 Collegiate 9th edition and the American Heritage College Dictionary\r
  17 2nd edition, which I do not own.  In place of this question, I have\r
  18 tried to determine instead what words of OSPD have become stale, that\r
  19 is, are not included in recent dictionaries of the sort from which OSPD\r
  20 was composed.  After much labor, I have produced a list showing, for\r
  21 each OSPD word, a contemporary dictionary in which it may be found, or\r
  22 the absence of any.  Additionally, after haunting eBay for some months,\r
  23 I have come into possession of the 1973 Funk and Wagnall's College\r
  24 Dictionary, which was one of the primary sources of the original OSPD,\r
  25 and which has enabled me to reduce the number of words of completely\r
  26 unknown provenance to a small fraction of the total.\r
  27 \r
  28 The result of these researches is the COSSPD.LST file.  This file\r
  29 contains all the words of OSPD, plus those of OSPDADD.LST and the\r
  30 OSPD-eligible words from MW10ADD.LST.  Each word is preceded by two\r
  31 characters, indicating where a definition of (or reference to) the\r
  32 word is to be found.  The first character supplies a historical\r
  33 perspecive on the word, while the second character provides a more\r
  34 recent perspective.  The encoding of this information is described\r
  35 later in this document.\r
  36 \r
  37 A summary of statistics derived from COSSPD.LST follows.  I find it\r
  38 noteworthy that each of the source dictionaries has contributed a\r
  39 significant fraction of the total.\r
  40 \r
  41 Note that each category is limited to words not in any previous category,\r
  42 except where stated otherwise.  (See below for explanation of the\r
  43 dictionary acronyms.)\r
  44 \r
  45 Of the 100940 OSPD words,\r
  46 \r
  47   . 70861 words (70.2 %) are found in both MW10 and another recent\r
  48     dictionary.\r
  49   . 3215 words (3.2 %) are found solely in MW10.\r
  50   . 7226 words (7.2 %) are found in RHWCD2.\r
  51   . 3747 words (3.7 %) are found in AHD3 or AHD4.  Most of these\r
  52     (3090) are also found in AHCD3.\r
  53   . 3478 words (3.4 %) are found in WNWCD3 or WNWCD4.\r
  54   . 752 words (0.7 %) are found in RHWCD1.\r
  55   . 5725 words (5.7 %) are found in the 1973 F&WCD.\r
  56   . 3329 words (3.3 %) were not found in any OSPD source I consulted.\r
  57   . Of the words in the previous two categories, 520 (0.5 %) are\r
  58     to be found in EWED1.  The rest are the words I refer to as\r
  59     "stale".\r
  60   . 2605 words (2.6 %) are inflections of words not explicitly\r
  61     supported by the OSPD sources, including inflections for words\r
  62     whose part of speech is omitted.  Of these, 1055 are listed by\r
  63     NI3.  Over half of the total (1303) are inflections of words\r
  64     from F&WCD.\r
  65 \r
  66 COSSPD.LST also contains 6754 words from recent dictionary editions.\r
  67 These words are eligible for OSPD but are not present, either due to\r
  68 oversight or because they were added after the most recent OSPD was\r
  69 compiled.  Statistics on these words are as follows:\r
  70 \r
  71   . 191 words (2.8 %) are from MW10.\r
  72   . 1781 words (26.4 %) are from RHWCD2.\r
  73   . 1882 words (27.9 %) are from AHD3 or AHD4.\r
  74   . 418 words (6.2 %) are from WNWCD3 or WNWCD4.\r
  75   . 1847 words (27.3 %) are from EWED1.\r
  76   . 625 words (9.3 %) are from RHWCD1.\r
  77   . 10 words (0.1 %) are additional inflections of OSPD words I\r
  78     believe to be correct, but which are not listed in any of the\r
  79     OSPD sources.\r
  80 \r
  81 The file STALE.LST contains the "stale words" referred to above.  These\r
  82 are the OSPD words for which no recent source (of the size of MW10 or\r
  83 RHWCD2) could be found, and their inflections.  A few of these words,\r
  84 such as "fishbone", "lima" and "unmended", are still current, and their\r
  85 omission from recent dictionaries seems rather surprising, but by and\r
  86 large they are extremely obscure, and unlikely to be missed by any but\r
  87 the most fanatical word game devotees.\r
  88 \r
  89 The annotations of COSSPD.LST and their meanings are as follows:\r
  90 \r
  91    = - Indicates a word found in MW10.  (See note 1.)\r
  92    . - Indicates a word found in the Random House Webster's College\r
  93        Dictionary 2nd edition (RHWCD2).\r
  94    &,@ - Indicates a word found in an American Heritage dictionary.\r
  95        (See note 2).\r
  96    > - Indicates a word found in Webster's New World College\r
  97        Dictionary, 3rd or 4th edition (WNWCD3/4).\r
  98    % - Indicates a word found in the 1973 Funk and Wagnall's College\r
  99        Dictionary (F&WCD) (first column only).\r
 100    # - Indicates a word found in the Encarta World English Dictionary,\r
 101        first edition (EWED1) (second column only).\r
 102    : - Indicates a word found in the Random House Webster's College\r
 103        Dictionary 1st edition (RHWCD1).  (See note 3.)\r
 104    " - Indicates an inflection not found in or implied by any source\r
 105        dictionary, but endorsed by the Merriam-Webster New International\r
 106        3 (NI3) CD-ROM.  (See notes 4 through 6.)\r
 107    ^ - Indicates an inflection not found in or implied by any source\r
 108        dictionary, and not shown by the NI3 CD-ROM.  (See notes 4\r
 109        and 5.)\r
 110    ` - Indicates a British variant of an included word not explicitly\r
 111        mentioned by any of the source dictionaries.  (See note 7.)\r
 112    - - Indicates a word still in the published OSPD3, but which was\r
 113        removed by the TWL98 reform.\r
 114    + - Indicates a word not present in OSPD (first column only).\r
 115    blank - Indicates a word not in any of these categories.  In column\r
 116        1, a blank indicates that I could not find the word in any\r
 117        historical source (omitting Encarta); while in column 2 it\r
 118        indicates it could not be found in any modern source (omitting\r
 119        the Funk and Wagnall's dictionary).\r
 120 \r
 121 Notes:\r
 122 \r
 123 1.  If a word is annotated with "=" in both columns, it indicates the\r
 124 word was not found in any modern source other than MW10.  (About 65 %\r
 125 of the words are shown as "=.", meaning they are listed by both MW10 and\r
 126 RHWCD2.)\r
 127 \r
 128 2.  The "&" symbol has a slightly different meaning in the two columns.\r
 129 According to the Scrabble FAQ, the American Heritage source dictionary\r
 130 for OSPD was the American Heritage College Dictionary (AHCD3).  In\r
 131 researching ENABLE2K, I have instead generally used the full American\r
 132 Heritage Dictionary (AHCD3/4), which is available on CD-ROM.  In the\r
 133 second column, "&" indicates this dictionary.  In the first column, "&"\r
 134 indicates the American Heritage College Dictionary, and "@" is used to\r
 135 reference words listed in the full American Heritage Dictionary, but not\r
 136 in the College Dictionary.  Also note that this list uses both the 3rd\r
 137 and 4th editions of the full American Heritage Dictionary, but only the\r
 138 3rd edition of the College Dictionary, as the 4th edition was not\r
 139 released until this work was almost completed.\r
 140 \r
 141 3.  I should probably regard the Random House Webster's College 1st\r
 142 edition as now "stale", as the last printing was in 1995.  I have\r
 143 decided not to do so on the basis that many copies are still in use,\r
 144 and also because this is a very fine dictionary which I hate to write\r
 145 off.  Thousands of words from the 1st edition were removed from the\r
 146 2nd, and it is the only "current" source for many of them.\r
 147 \r
 148 4.  As anyone who has looked at PLURALS.DOC knows, the question of\r
 149 validating inflections is very complex and vexing.  I did not want to\r
 150 complicate these OSPD researches further with trying to ascertain the\r
 151 validity of all inflections listed in OSPD.  Therefore, I adopted an\r
 152 agnostic policy for inflections.  If a word was shown in a source\r
 153 dictionary without inflections, I assumed the inflections were regular,\r
 154 even if I knew better.  As a simple example, I am well aware that the\r
 155 plural of "fireman" is "firemen".  But MW10 lists "fireman" without\r
 156 showing an explicit plural, leading me to treat "firemen" as not shown\r
 157 in MW10, even though the compilers of that volume certainly intended it\r
 158 to be implied.  This has sometimes had the effect of making some of\r
 159 the inflections of a word appear to have a different source from the\r
 160 word itself.\r
 161 \r
 162 5.  "^" has a secondary meaning.  Some of the source dictionaries\r
 163 include lists of words with common prefixes, such as "anti-", "pre-"\r
 164 and "un-", which do not show parts of speech.  Inflections of such\r
 165 words, regular or not, are shown with a "^" or """ annotation unless\r
 166 some other dictionary shows the appropriate part of speech.\r
 167 \r
 168 6.  The Merriam-Webster NI3 CD-ROM is a relatively recent addition to\r
 169 my collection of electronic dictionaries.  I was interested to discover\r
 170 during this research how much effect the contents of NI3 had on OSPD.\r
 171 Many of the stranger inflections of OSPD, such as "sensiblest" and\r
 172 "enuresises", are to be found there, and nowhere else.  Once I made\r
 173 this connection, I made a distinction between unsupported inflections\r
 174 mentioned in NI3 and the remainder.  About 1 in 3 of these inflections\r
 175 showed up in NI3.  (The percentage is significantly greater than that\r
 176 if one excludes the inflections of words without an explicit part of\r
 177 speech discussed in note 5.)\r
 178 \r
 179 7.  I remember, when the 2nd edition of OSPD was current, that its cover\r
 180 boldly proclaimed "Now includes Canadian words!"  This led me to suspect\r
 181 that perhaps it had been "padded" with unsupported British variants of\r
 182 words.  My suspicion was not confirmed.  I marked unsupported British\r
 183 variants of OSPD words with a "`", but there turned out to be relatively\r
 184 few of them (171).  It is more reasonable to suppose that they were\r
 185 present in some of the earlier editions of the source dictionaries (such\r
 186 as MW9) than that they were added for marketing reasons.\r
 187 \r
 188 \r
 189 Mendel and I have occasionally been asked to supply definitions of the\r
 190 words in the ENABLE2K list.  We have seen no need to undertake that labor,\r
 191 as, with the exception of the signature words, all the ENABLE2K words are\r
 192 defined in either OSPD or in MW10.  However, we must admit that we have\r
 193 not provided definitions of the words in the various supplemental lists,\r
 194 which derive from multiple sources.  It should now be noted that, for\r
 195 the subset of supplemental words eligible for inclusion in OSPD, the\r
 196 COSSPD.LST file helps meet that need.  For any unfamiliar short word not\r
 197 listed in OSPD, its COSSPD.LST entry indicates a specific current\r
 198 dictionary in which a definition can be found, all of which are\r
 199 available online, with the exception of RHWCD1.  (And the RHWCD1\r
 200 words can generally also be found in the Random House Unabridged\r
 201 Dictionary, which is available on CD-ROM.)\r
 202 \r
 203 \r
 204 A final note is an explanation of the file name COSSPD.LST.  COSSPD is\r
 205 an acronym for Contemporary Open Source Scrabble Player's Dictionary,\r
 206 which is the name I have given to the collection of words from\r
 207 COSSPD.LST which do not have a blank (or a minus) in the second column.\r
 208 This list is contemporary because it omits words from long-out-of-print\r
 209 sources, and includes words from recent sources such as the Encarta\r
 210 dictionary.  The list is "open source" because it makes explicit the\r
 211 origin of its contents; every word can be checked (and corrected, if\r
 212 mistakes are found).  Because of these two characteristics, I believe\r
 213 it be superior to the OSPD, both for practical use and for fulfilling\r
 214 the original intent behind its creation.\r
 215 \r
 216 \r
 217 \r
 218 \r
 219 Scrabble is a trademark of the Milton Bradley Co., Inc.\r
 220 The OSPD is a trademark of the Milton Bradley Co., Inc.\r
 221 Encarta is a trademark of the Microsoft Corp.\r
 222 \r
 223 \r
 224 --Alan Beale\r