テキスト内の文字間の余分なスペースを削除するスクリプト

私はすべての文字の後に追加のスペースが追加されたテキストの負荷があるテキスト文書を持っています！

例：

T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t…

視覚的に：

T␣h␣e␣␣b␣o␣o␣k␣␣a␣l␣s␣o␣␣h␣a␣s␣␣a␣n␣␣a␣n␣a␣l␣y␣t␣i c␣a␣l␣␣p␣u␣r␣p␣o␣s␣e␣␣w␣h␣i␣c␣h␣␣i␣s␣␣m␣o␣r␣e␣␣i␣ m␣p␣o␣r␣t␣a␣n␣t…

余分があることに注意してください各文字の後にスペースため、連続する単語の間に2つのスペース。

私が得ることができる方法はありますか awksed余分なスペースをまたは削除ますか？（残念ながら、このテキスト文書は膨大であり、手動で確認するには非常に長い時間がかかります。）  何らかのテキスト認識も必要であるため、これはおそらく単純なbashスクリプトで解決するはるかに複雑な問題であることを感謝します。

この問題にどのようにアプローチできますか？

次の正規表現は、スペースの文字列の最初のスペースを削除します。それは仕事をする必要があります。

s/ ( *)/\1/g

のようなもの：

perl -i -pe 's/ ( *)/\1/g' infile.txt

... infile.txtを「修正済み」バージョンに置き換えます。

使用wordsegment、純粋なPythonの単語分割NLPパッケージ：

$ pip install wordsegment
$ python2.7 -m wordsegment <<<"T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t"
the book also has an analytical purpose which is more important

入力に単語間の二重スペースが含まれるという事実に基づいて、はるかに簡単な解決策があります。ダブルスペースを未使用の文字に変更し、スペースを削除して、未使用の文字をスペースに戻すだけです。

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | sed 's/  /\-/g;s/ //g;s/\-/ /g'

...出力：

本には、より重要な分析目的もあります

Perlが助けになります！

辞書が必要です。つまり、1行に1つの単語をリストしたファイルです。私のシステムでは、として存在し/var/lib/dict/words、同様のファイルも見ました/usr/share/dict/britishなど。

まず、辞書のすべての単語を覚えています。次に、入力を行ごとに読み取り、単語に文字を追加しようとします。可能であれば、その単語を覚えて、残りの行を分析してみてください。行の終わりに到達すると、行を出力します。

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

my $words = '/var/lib/dict/words';
my %word;

sub analyze {
    my ($chars, $words, $pos) = @_;
    if ($pos == @$chars) {
        $_[3] = 1;  # Found.
        say "@$words";
        return
    }
    for my $to ($pos .. $#$chars) {
        my $try = join q(), @$chars[ $pos .. $to ];
        if (exists $word{$try}) {
            analyze($chars, [ @$words, $try ], $to + 1, $_[3]);
        }
    }
}


open my $WORDS, '<', $words or die $!;
undef @word{ map { chomp; lc $_ } <$WORDS> };

while (<>) {
    my @chars = map lc, /\S/g;
    analyze(\@chars, [], 0, my $found = 0);
    warn "Unknown: $_" unless $found;
}

入力のために、私のシステムで4092の可能な読み取り値を生成します。

注：この回答（ここにある他のいくつかの回答と同様）は、単語が区切られていない以前のバージョンの質問に基づいています。新しいバージョンは簡単に回答できます。

次のような入力で：

T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t

あなたが試すことができます：

 $ tr -d ' ' < file | grep -oiFf /usr/share/dict/words | paste -sd ' '
 The book also has ana na l y tic al purpose which ism ore important

左から右に処理し、次の単語から最も長い単語を見つけます。

明らかに、ここでは、その文は意味をなさないため、単語の最良の選択ではありませんが、正しい文を見つけるには、テキストの文法や意味、または少なくとも統計的なものを理解できるツールが必要です最もありそうな単語のセットを見つけるために、どの単語が一緒に見つかる可能性が高いかに関する情報。ソリューションは、Lynnが見つけた専門のライブラリのようです

Dewi Morganのバージョンに似ていますが、sedを使用しています。

$ echo "f o o  t h e  b a r" | sed -r "s/[ ]{1}([^ ]{1})/\1/g"
foo the bar

Perlのワンライナーを使用して実行できます（実行する必要があります）が、小さなCパーサーも非常に高速で、非常に小さい（そして、うまくいけば非常に正確です）：

#include <stdio.h>
#include <stdlib.h>

int main()
{
  char c1 = '\0', c2 = '\0', tmp_c;

  c1 = fgetc(stdin);
  for (;;) {
    if (c1 == EOF) {
      break;
    }
    c2 = fgetc(stdin);
    if (c2 == EOF) {
      if (c1 != ' ') {
        fputc(c1, stdout);
      }
      break;
    }
    if (c1 == c2 && c1 == ' ') {
      tmp_c = fgetc(stdin);
      if (tmp_c != EOF) {
        if (tmp_c != '\n') {
          ungetc(tmp_c, stdin);
          fputc(' ', stdout);
        } else {
          ungetc(tmp_c, stdin);
        }
      } else {
        break;
      }
    } else if (c1 != ' ') {
      fputc(c1, stdout);
    }
    c1 = c2;
  }
  exit(EXIT_SUCCESS);
}

コンパイル済み

gcc-4.9 -O3 -g3  -W -Wall -Wextra -std=c11 lilcparser.c -o lilcparser

（プログラムは9kb未満です）

次のようなパイプで使用します。

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | ./lilcparser

私はこれを試しましたが、うまくいくようです：

echo "<text here>" | sed -r 's/(\w)(\s)/\1/g'

このsedコマンドは2つのグループをキャプチャし、最初のグループのみを返します。

C ++では、これを行います。

#include <fstream>
using namespace std;

int main()
{   
    fstream is("test.txt", std::ios::in);

    char buff;
    vector<char>str;

    while (!is.eof()){is.get(buff);str.push_back(buff);} //read file to string

    for (int a=0;a<str.size();++a)if (str[a] == ' ' && str[a + 1] != ' ')str.erase(str.begin()+a);
    is.close();

    ofstream os("test.txt", std::ios::out | std::ios::trunc); //clear file for rewrite

    os.write(str.data(), str.size() * sizeof(char)); //write chars
    os.close();

    return 0;
    }

テストテキストファイルの内容を同じ文字列に変更しますが、文字間のスペースは削除されます。（正確にするためには、すべての文字の間にスペースが必要です）。

$ echo 'F o u r  s c o r e  a n d' | \
txr -t '(mapcar* (opip (split-str @1 "  ")
                       (mapcar (op regsub #/ / ""))
                       (cat-str @1 " "))
                 (get-lines))'
Four score and


$ txr -e '(awk (:begin (set fs "  "))
               ((mf (regsub #/ / ""))))'  # mf: modify fields
F o u r  s c o r e  a n d
Four score and


$ awk -F'  ' '{for(i=1;i<=NF;i++)gsub(/ /,"",$i);print}'
F o u r  s c o r e  a n d
Four score and