speller/make-aspell-dict

   1 #!/bin/bash
   2
   3 shopt -s nullglob
   4 set -e
   5
   6 rm -f *.twl
   7
   8 export LANG=C
   9 export LC_ALL=C
  10 export LC_CTYPE=C
  11 export LC_COLLATE=C
  12
  13 mk-list() { ../mk-list -d final "$@"; }
  14
  15 # may be slightly faster
  16 #mk-list() { ../mk-list -f -d final "$@" | (cd final; xargs cat) | sort -u; }
  17
  18 echo base
  19
  20 mk-list english 60 > en.wl0
  21 mk-list en_US     60 > en_US-w_accents.twl
  22 mk-list en_GB-ise 60 > en_GB-ise-w_accents.twl
  23 mk-list en_GB-ize 60 > en_GB-ize-w_accents.twl
  24 mk-list en_CA     60 > en_CA-w_accents.twl
  25 cat en_??-w_accents.twl | sort -u > en-w_accents.twl
  26
  27 mk-list en_US 60 --variants 0 > en-variant_0.wl0
  28 mk-list en_US 60 --variants 0,1 > en-variant_1.wl0
  29 mk-list en_US 60 --variants 0,1,2 > en-variant_2.wl0
  30
  31 mk-list en_GB 60 --variants 0 > en_GB-variant_0.wl0
  32 mk-list en_GB 60 --variants 0,1 > en_GB-variant_1.wl0
  33
  34 mk-list en_CA 60 --variants 0 > en_CA-variant_0.wl0
  35 mk-list en_CA 60 --variants 0,1 > en_CA-variant_1.wl0
  36
  37 echo deaccent
  38
  39 for f in *-w_accents.twl
  40 do
  41   b=`basename $f -w_accents.twl`
  42   src/deaccent < $f | sort -u > $b-wo_accents.twl
  43   #cat $f $b-wo_accents.twl | sort -u > $b.twl
  44 done
  45
  46 for f in en*-variant_*.wl0
  47 do
  48   b=`basename $f .wl0`
  49   src/deaccent < $f > $b.wl1
  50   cat $f $b.wl1 | sort -u > $b.wl
  51 done
  52
  53 echo common
  54
  55 # find the intersection of all *.twl word lists
  56
  57 cat *.twl | sort -u > en-common.wl.0
  58 for f in *.twl
  59 do
  60   comm -12 en-common.wl.0 $f > en-common.wl
  61   mv en-common.wl en-common.wl.0
  62 done
  63 mv en-common.wl.0 en-common.wl
  64
  65 echo finish
  66
  67 for f in *.twl
  68 do
  69   b=`basename $f .twl`
  70   comm -13 en-common.wl $f > $b-only.wl
  71 done
  72
  73 rm -f *.wl.* *.twl *.wl{0,1} *.vwl
  74 cp -p *.wl aspell/
  75 cp -p ../README aspell/doc/SCOWL-README
  76 cat aspell/Copyright.in ../Copyright > aspell/Copyright
  77
  78