speller/make-aspell-dict

   1 #!/bin/bash
   2
   3 shopt -s nullglob
   4 set -e
   5
   6 rm -f *.twl
   7
   8 export LANG=C
   9 export LC_ALL=C
  10 export LC_CTYPE=C
  11 export LC_COLLATE=C
  12
  13 SIZE=60
  14
  15 if [ "$SCOWL_VERSION" ]; then
  16   true
  17 elif git status 2>&1 > /dev/null; then
  18   SCOWL_VERSION="`git log --pretty=format:'%cd-%h' --date=short -n 1 -- ..`"
  19 else
  20   SCOWL_VERSION=unknown
  21 fi
  22 export SCOWL_VERSION
  23
  24 mk-list() { ../mk-list -d final "$@"; }
  25
  26 # may be slightly faster
  27 #mk-list() { ../mk-list -f -d final "$@" | (cd final; xargs cat) | sort -u; }
  28
  29 echo base
  30
  31 mk-list english $SIZE > en.wl0
  32 mk-list en_US     $SIZE > en_US-w_accents.twl
  33 mk-list en_GB-ise $SIZE > en_GB-ise-w_accents.twl
  34 mk-list en_GB-ize $SIZE > en_GB-ize-w_accents.twl
  35 mk-list en_CA     $SIZE > en_CA-w_accents.twl
  36 cat en_??-w_accents.twl | sort -u > en-w_accents.twl
  37
  38 mk-list en_US $SIZE --variants 1 > en-variant_0.wl0
  39 mk-list en_US $SIZE --variants 1,2 > en-variant_1.wl0
  40 mk-list en_US $SIZE --variants 1,2,3 > en-variant_2.wl0
  41
  42 mk-list en_GB $SIZE --variants 1 > en_GB-variant_0.wl0
  43 mk-list en_GB $SIZE --variants 1,2 > en_GB-variant_1.wl0
  44
  45 mk-list en_CA $SIZE --variants 1 > en_CA-variant_0.wl0
  46 mk-list en_CA $SIZE --variants 1,2 > en_CA-variant_1.wl0
  47
  48 echo deaccent
  49
  50 for f in *-w_accents.twl
  51 do
  52   b=`basename $f -w_accents.twl`
  53   src/deaccent < $f | sort -u > $b-wo_accents.twl
  54   #cat $f $b-wo_accents.twl | sort -u > $b.twl
  55 done
  56
  57 for f in en*-variant_*.wl0
  58 do
  59   b=`basename $f .wl0`
  60   src/deaccent < $f > $b.wl1
  61   cat $f $b.wl1 | sort -u > $b.wl
  62 done
  63
  64 echo common
  65
  66 # find the intersection of all *.twl word lists
  67
  68 cat *.twl | sort -u > en-common.wl.0
  69 for f in *.twl
  70 do
  71   comm -12 en-common.wl.0 $f > en-common.wl
  72   mv en-common.wl en-common.wl.0
  73 done
  74 mv en-common.wl.0 en-common.wl
  75
  76 echo finish
  77
  78 for f in *.twl
  79 do
  80   b=`basename $f .twl`
  81   comm -13 en-common.wl $f > $b-only.wl
  82 done
  83
  84 rm -f *.wl.* *.twl *.wl{0,1} *.vwl
  85 cp -p *.wl aspell/
  86 cp -p ../README aspell/doc/SCOWL-README
  87 sh aspell/info.sh > aspell/info
  88 sh aspell/Copyright.sh > aspell/Copyright
  89 cat ../Copyright >> aspell/Copyright
  90
  91