speller/make-aspell-dict

   1 #!/bin/bash
   2
   3 shopt -s nullglob
   4 set -e
   5
   6 rm -f *.twl
   7
   8 export LANG=C
   9 export LC_ALL=C
  10 export LC_CTYPE=C
  11 export LC_COLLATE=C
  12
  13 SIZE=60
  14
  15 if [ "$SCOWL_VERSION" ]; then
  16   true
  17 elif git status 2>&1 > /dev/null; then
  18   SCOWL_VERSION="`git log --pretty=format:'%cd-%h' --date=short -n 1 -- ..`"
  19 else
  20   SCOWL_VERSION=unknown
  21 fi
  22 export SCOWL_VERSION
  23
  24 mk-list() { ../mk-list -d final "$@"; }
  25
  26 # may be slightly faster
  27 #mk-list() { ../mk-list -f -d final "$@" | (cd final; xargs cat) | sort -u; }
  28
  29 echo base
  30
  31 mk-list english $SIZE > en.wl0
  32 mk-list en_US     $SIZE > en_US-w_accents.twl
  33 mk-list en_GB-ise $SIZE > en_GB-ise-w_accents.twl
  34 mk-list en_GB-ize $SIZE > en_GB-ize-w_accents.twl
  35 mk-list en_CA     $SIZE > en_CA-w_accents.twl
  36 mk-list en_AU     $SIZE > en_AU-w_accents.twl
  37 cat en_??-w_accents.twl | sort -u > en-w_accents.twl
  38
  39 mk-list en_US $SIZE --variants 1 > en-variant_0.wl0
  40 mk-list en_US $SIZE --variants 1,2 > en-variant_1.wl0
  41 mk-list en_US $SIZE --variants 1,2,3 > en-variant_2.wl0
  42
  43 mk-list en_GB $SIZE --variants 1 > en_GB-variant_0.wl0
  44 mk-list en_GB $SIZE --variants 1,2 > en_GB-variant_1.wl0
  45
  46 mk-list en_CA $SIZE --variants 1 > en_CA-variant_0.wl0
  47 mk-list en_CA $SIZE --variants 1,2 > en_CA-variant_1.wl0
  48
  49 mk-list en_AU $SIZE --variants 1 > en_AU-variant_0.wl0
  50 mk-list en_AU $SIZE --variants 1,2 > en_AU-variant_1.wl0
  51
  52 echo deaccent
  53
  54 for f in *-w_accents.twl
  55 do
  56   b=`basename $f -w_accents.twl`
  57   src/deaccent < $f | sort -u > $b-wo_accents.twl
  58   #cat $f $b-wo_accents.twl | sort -u > $b.twl
  59 done
  60
  61 for f in en*-variant_*.wl0
  62 do
  63   b=`basename $f .wl0`
  64   src/deaccent < $f > $b.wl1
  65   cat $f $b.wl1 | sort -u > $b.wl
  66 done
  67
  68 echo common
  69
  70 # find the intersection of all *.twl word lists
  71
  72 cat *.twl | sort -u > en-common.wl.0
  73 for f in *.twl
  74 do
  75   comm -12 en-common.wl.0 $f > en-common.wl
  76   mv en-common.wl en-common.wl.0
  77 done
  78 mv en-common.wl.0 en-common.wl
  79
  80 echo finish
  81
  82 for f in *.twl
  83 do
  84   b=`basename $f .twl`
  85   comm -13 en-common.wl $f > $b-only.wl
  86 done
  87
  88 rm -f *.wl.* *.twl *.wl{0,1} *.vwl
  89 cp -p *.wl aspell/
  90 cp -p ../README aspell/doc/SCOWL-README
  91 sh aspell/info.sh > aspell/info
  92 sh aspell/Copyright.sh > aspell/Copyright
  93 cat ../Copyright >> aspell/Copyright
  94
  95