個別の行を引用符付きのエントリを含むコンマ区切りリストに変換する

次のデータ（Rmarkdownファイルから解析されたRパッケージのリスト）があり、それをインストールのためにRに渡すことができるリストにしたい：

d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr

リストをフォームのリストに変換したい：

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

現在、生ファイルから上記のリストに移動するbashパイプラインがあります。

grep 'library(' Presentation.Rmd \
| grep -v '#' \
| cut -f2 -d\( \
| tr -d ')'  \
| sort | uniq

新しい行をコンマ区切りリストに変換するためのステップを追加したいと思います。を追加しようとしましたがtr '\n' '","'、失敗します。また、次のスタックオーバーフローの回答をいくつか試しましたが、やはり失敗します。

• /programming/1251999/how-can-i-replace-a-newline-n-using-sed

これがlibrary(stringr)))phics)結果として生成されます。

• /programming/10748453/replace-comma-with-newline-in-sed

これが,%結果として生成されます。

• sedは改行文字を置き換えることができますか？

この-iフラグ（フラグを削除したもの）は、入力と同じ出力を生成します。

sedで引用符を追加してから、pasteで行をマージできます：

sed 's/^\|$/"/g'|paste -sd, -

GNU coreutilsベースのシステム（Linuxなど）を実行している場合、末尾のを省略できます'-'。

入力したデータにDOSスタイルの行末がある場合（@phkの推奨）、次のようにコマンドを変更できます。

sed 's/\r//;s/^\|$/"/g'|paste -sd, -

awk 'BEGIN { ORS="" } { print p"'"'"'"$0"'"'"'"; p=", " } END { print "\n" }' /path/to/list

awk 'BEGIN { ORS="" } { print p"\047"$0"\047"; p=", " } END { print "\n" }' /path/to/list

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

awkすべてのエスケープせずにスクリプト自体ですBEGIN { ORS="" } { print p"'"$0"'"; p=", " } END { print "\n" }。最初のエントリを出力すると、変数pが設定されます（その前は空の文字列のようです）。この変数を使用すると、pすべてのエントリ（またはawk-speak：record）に接頭辞が付けられ、その周りに一重引用符が追加されて出力されます。awk出力レコードセパレータ変数はORS、空になるように設定されているので（プレフィックスはあなたのためにそれをやっているので）必要とされていませんBEGINING。ああ、ファイルにEND改行を追加することもできます（たとえば、さらにテキスト処理ツールで動作します）。これが不要な場合は、その部分とENDその後のすべて（一重引用符内）を削除できます。

Windows / DOSスタイルの行末（\r\n）がある場合は、\nまずUNIXスタイル（）に変換する必要があります。これを行うにtr -d '\015'は、パイプラインの先頭に置くことができます。

tr -d '\015' < /path/to/input.list | awk […] > /path/to/output

（\rファイル内でsを使用しないと仮定します。ここでは非常に安全な仮定です。）

または、dos2unix /path/to/input.listファイルをその場で変換するために1回実行するだけです。

以下のようdon_crisstiのリンク解答@ショー、信じられないほど速い上のペーストオプションの境界線- Linuxカーネルの配管は、私はちょうど今それを試していなかった場合、私は信じていたよりも効率的です。驚くべきことに、コンマとスペースではなく、リスト項目を区切る単一のコンマで満足できる場合は、貼り付けパイプライン

(paste -d\' /dev/null - /dev/null | paste -sd, -) <input

妥当なflexプログラムよりも高速です（！）

%option 8bit main fast
%%
.*  { printf("'%s'",yytext); }
\n/(.|\n) { printf(", "); }

しかし、まともなパフォーマンスが許容できる場合（そして、ストレステストを実行していない場合、定数係数の差を測定することはできず、それらはすべて瞬時に行われます）、セパレータの柔軟性と妥当なものの両方が必要です-ライナー-y-ness、

sed "s/.*/'&'/;H;1h;"'$!d;x;s/\n/, /g'

あなたのチケットです。はい、それはラインノイズのように見えますが、H;1h;$!d;xイディオムはすべてを丸rightみする正しい方法です。すべてが実際に読みやすくなったことを認識できたら、丸s/.*/'&'/sみとが続きs/\n/, /gます。

編集：不条理に接して、フレックスを取得して他の中空のすべてを打ち負かすことはかなり簡単です。組み込みのマルチスレッド/シグナルハンドラー同期が必要ないことをstdioに伝えるだけです：

%option 8bit main fast
%%
.+  { putchar_unlocked('\'');
      fwrite_unlocked(yytext,yyleng,1,stdout);
      putchar_unlocked('\''); }
\n/(.|\n) { fwrite_unlocked(", ",2,1,stdout); }

ストレス下では、ペーストパイプラインよりも2倍から3倍高速です。

Perl

Pythonワンライナー：

$ python -c "import sys; print ','.join([repr(l.strip()) for l in sys.stdin])" < input.txt                               
'd3heatmap','data.table','ggplot2','htmltools','htmlwidgets','metricsgraphics','networkD3','plotly','reshape2','scales','stringr'

単純な方法で動作します-シェルの<演算子を使用してinput.txtをstdinにリダイレクトし、.strip()改行を削除してrepr()各行の引用表現を作成しながら各行をリストに読み込みます。リストは、セパレーターとして.join()、関数を介して1つの大きな文字列に結合されます,

または、+引用符を各ストリップ行に連結するために使用できます。

 python -c "import sys;sq='\'';print ','.join([sq+l.strip()+sq for l in sys.stdin])" < input.txt

Perl

これまでと基本的に同じ考え方：すべての行を読み取り、末尾の改行を削除し、一重引用符で囲み、すべてを配列@cvsに詰め込み、配列値をコンマで結合して出力します。

$ perl -ne 'chomp; $sq = "\047" ; push @cvs,"$sq$_$sq";END{ print join(",",@cvs)   }'  input.txt                        

「d3heatmap」、「data.table」、「ggplot2」、「htmltools」、「htmlwidgets」、「metricsgraphics」、「networkD3」、「plotly」、「reshape2」、「scales」、「stringr」

あなたがデータがファイルテキストにあると仮定すると、以下はうまくいくはずだと思います

d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr

コールドダウン置換を持つ配列を使用してみましょう。

#!/bin/bash
input=( $(cat text) ) 
output=( $(
for i in ${input[@]}
        do
        echo -ne "'$i',"
done
) )
output=${output:0:-1}
echo ${output//,/, }

スクリプトの出力は次のようになります。

'd3heatmap', 'data.table', 'ggplot2', 'htmltools', 'htmlwidgets', 'metricsgraphics', 'networkD3', 'plotly', 'reshape2', 'scales', 'stringr'

これはあなたが探していたものだと思いますか？

多くの場合、非常によく似たシナリオがあります。Excelから列をコピーし、コンテンツをコンマ区切りリストに変換したい（後のSQLクエリで使用するため... WHERE col_name IN <comma-separated-list-here>）。

これは私の.bashrcにあるものです：

function lbl {
    TMPFILE=$(mktemp)
    cat $1 > $TMPFILE
    dos2unix $TMPFILE
    (echo "("; cat $TMPFILE; echo ")") | tr '\n' ',' | sed -e 's/(,/(/' -e 's/,)/)/' -e 's/),/)/'
    rm $TMPFILE
}

次にlbl、入力を待機するcmd行で（ "line by line"）を実行し、クリップボードからコンテンツを貼り付け、を押す<C-D>と、関数はで囲まれた入力を返します()。これは次のようになります。

$ lbl
1
2
3
dos2unix: converting file /tmp/tmp.OGM6UahLTE to Unix format ...
(1,2,3)

（ここにdos2unixを入れた理由を覚えていないが、これはおそらく会社のセットアップでトラブルを引き起こすことが多いためだろう。）

sedの一部のバージョンは少し異なる動作をしますが、私のMacでは、sedの「uniq」以外のすべてを処理できます。

sed -n -e '
# Skip commented library lines
/#/b
# Handle library lines
/library(/{
    # Replace line with just quoted filename and comma
    # Extra quoting is due to command-line use of a quote
    s/library(\([^)]*\))/'\''\1'\'', /
    # Exchange with hold, append new entry, remove the new-line
    x; G; s/\n//
    ${
        # If last line, remove trailing comma, print, quit
        s/, $//; p; b
    }
    # Save into hold
    x
}
${
    # Last line not library
    # Exchange with hold, remove trailing comma, print
    x; s/, $//; p
}
'

残念ながら、ユニークな部分を修正するには、次のようなことをしなければなりません：

grep library Presentation.md | sort -u | sed -n -e '...'

-ポール

RパッケージをプレーンテキストリストでRにインストールすることは、Rで直接そのリストを使用するソリューションを提案したが、bash、perl、python、awk、sed、または引用符とコンマを入れるものと戦う人は誰もいませんリスト。これはまったく必要ではなく、さらに、Rで変換されたリストを入力および使用する方法を解決しません。

プレーンテキストファイル（前述packages.txt）を単一の変数を持つデータフレームとして読み込むだけで、ベクトルとして直接使用でき、で直接使用できinstall.packagesます。したがって、使用可能なRオブジェクトに変換し、そのリストをインストールするだけです。

df <- read.delim("packages.txt", header=F, strip.white=T, stringsAsFactors=F)
install.packages(df$V1)

または外部ファイルなし：

packages <-" 
d3heatmap
data.table
ggplot2
htmltools
htmlwidgets
metricsgraphics
networkD3
plotly
reshape2
scales
stringr
"
df <- read.delim(textConnection(packages), 
header=F, strip.white=T, stringsAsFactors=F)
install.packages(df$V1)