Pythonを使用してJSONを解析しますか?


18

members.json以下のようなJSONファイルがあります。

{
   "took": 670,
   "timed_out": false,
   "_shards": {
      "total": 8,
      "successful": 8,
      "failed": 0
   },
   "hits": {
      "total": 74,
      "max_score": 1,
      "hits": [
         {
            "_index": "2000_270_0",
            "_type": "Medical",
            "_id": "02:17447847049147026174478:174159",
            "_score": 1,
            "_source": {
               "memberId": "0x7b93910446f91928e23e1043dfdf5bcf",
               "memberFirstName": "Uri",
               "memberMiddleName": "Prayag",
               "memberLastName": "Dubofsky"
            }
         }, 
         {
            "_index": "2000_270_0",
            "_type": "Medical",
            "_id": "02:17447847049147026174478:174159",
            "_score": 1,
            "_source": {
               "memberId": "0x7b93910446f91928e23e1043dfdf5bcG",
               "memberFirstName": "Uri",
               "memberMiddleName": "Prayag",
               "memberLastName": "Dubofsky"
            }
         }
      ]
   }
}

bashスクリプトを使用して解析し、フィールドのリストのみを取得しますmemberId

予想される出力は次のとおりです。

memberIds
----------- 
0x7b93910446f91928e23e1043dfdf5bcf
0x7b93910446f91928e23e1043dfdf5bcG

以下にbash + pythonコードを追加してみました.bashrc

function getJsonVal() {
   if [ \( $# -ne 1 \) -o \( -t 0 \) ]; then
       echo "Usage: getJsonVal 'key' < /tmp/file";
       echo "   -- or -- ";
       echo " cat /tmp/input | getJsonVal 'key'";
       return;
   fi;
   cat | python -c 'import json,sys;obj=json.load(sys.stdin);print obj["'$1'"]';
}

そして呼ばれた:

$ cat members.json | getJsonVal "memberId"

しかし、それは投げます:

Traceback (most recent call last):
  File "<string>", line 1, in <module>
KeyError: 'memberId'

参照

/programming//a/21595107/432903


2
なぜこれをbashで行う必要があるのですか?ここでは明らかにpythonを使用しているので、この仕事をするpythonスクリプトを作成しないのはなぜですか?bashを使用してそれを行う方法に関する実際の答えが得られない場合があります。これを行う必要がある場合は、別の言語を使用するためです。
DavidG 14

私はあなたからタイトルを変更し、「bashスクリプトを使用して」「のpythonを使用して」いるのでpython、ないbash、あなたはJSONを解析するために使用しているものです。たとえば、そのエラーは確かにPythonエラーであり、bashエラーではありません。
goldilocks 14

@goldilocksは、彼の試みが使用されたという理由だけで、彼のpython目標が使用されることを意味するわけではありませんpython
ヨルダン14

@DavidGは私の答えを参照してください。これは純粋なシェルではなく、外部コマンドですが、シェルスクリプトに非常にうまく統合されます。
ヨルダン14

jsonの無関係なフィールドのほとんどを削除することをお勧めします。_sourceに2〜3個の要素を含めるだけで、目的の内容を把握できます。残りは気を散らす
アントン14

回答:


25

使用する場合:

 $ cat members.json | \
     python -c 'import json,sys;obj=json.load(sys.stdin);print obj;'

ネストされた辞書の構造をobj調べると、元の行が次のようになっていることがわかります。

$ cat members.json | \
    python -c 'import json,sys;obj=json.load(sys.stdin);print obj["hits"]["hits"][0]["_source"]["'$1'"]';

その「memberId」要素に。これにより、Pythonをワンライナーとして保持できます。

ネストされた「ヒット」要素に複数の要素がある場合、次のようなことができます。

$ cat members.json | \
python -c '
import json, sys
obj=json.load(sys.stdin)
for y in [x["_source"]["'$1'"] for x in obj["hits"]["hits"]]:
    print y
'

Chris Downのソリューションは、あらゆるレベルで(一意の)キーに対して単一の値を見つけるのに適しています。

複数の値を出力する2番目の例では、1つのライナーで試すべき限界に達しているため、その時点で処理の半分をbashで行う理由はほとんどなく、完全なPythonソリューションに移行します。


8

bashでこれを行う別の方法は、jshonを使用することです。を使用した問題の解決策はjshon次のとおりです。

$ jshon -e hits -e hits -a -e _source -e memberId -u < foo.json
0x7b93910446f91928e23e1043dfdf5bcf
0x7b93910446f91928e23e1043dfdf5bcG

-eオプションは、JSONから値を抽出します。-a配列を反復処理し、-u最終的な文字列をデコードします。


jshonをインストールしましょう
prayagupd

6

さて、あなたのキーはオブジェクトのルートにないことは明らかです。次のようなものを試してください:

json_key() {
    python -c '
import json
import sys

data = json.load(sys.stdin)

for key in sys.argv[1:]:
    try:
        data = data[key]
    except TypeError:  # This is a list index
        data = data[int(key)]

print(data)' "$@"
}

これには、単にPythonに構文を挿入するだけでなく、破損(または、さらに悪いことに、任意のコードの実行)を引き起こす可能性があるという利点があります。

その後、次のように呼び出すことができます。

json_key hits hits 0 _source memberId < members.json

1
注:これは、「ヒット」内の各項目をループしません。必要な場合は、そのインスタンス用の特定のPythonコードを作成する必要があります。
クリスダウン14

ただし、1つのmemberIdのみが表示されます。
prayagupd 14

4

別の選択肢はjqです。

$ cat members.json | jq -r '.hits|.hits|.[]|._source|.memberId'
0x7b93910446f91928e23e1043dfdf5bcf
0x7b93910446f91928e23e1043dfdf5bcG

2

これを試して:

$ cat json.txt | python -c 'import sys; import simplejson as json; \
print "\n".join( [i["_source"]["memberId"] for i in json.loads( sys.stdin.read() )["hits"]["hits"]] )'


既にpretty printedjsonをお持ちの場合は、grepそれだけではいかがですか?

$ cat json.txt | grep memberId
               "memberId": "0x7b93910446f91928e23e1043dfdf5bcf",
               "memberId": "0x7b93910446f91928e23e1043dfdf5bcG",

あなたはいつでもsimplejson pythonできれいに印刷されたフォーマットを得ることができgrepます。

# cat json_raw.txt
{"hits": {"hits": [{"_score": 1, "_type": "Medical", "_id": "02:17447847049147026174478:174159", "_source": {"memberLastName": "Dubofsky", "memberMiddleName": "Prayag", "memberId": "0x7b93910446f91928e23e1043dfdf5bcf", "memberFirstName": "Uri"}, "_index": "2000_270_0"}, {"_score": 1, "_type": "Medical", "_id": "02:17447847049147026174478:174159", "_source": {"memberLastName": "Dubofsky", "memberMiddleName": "Prayag", "memberId": "0x7b93910446f91928e23e1043dfdf5bcG", "memberFirstName": "Uri"}, "_index": "2000_270_0"}], "total": 74, "max_score": 1}, "_shards": {"successful": 8, "failed": 0, "total": 8}, "took": 670, "timed_out": false}

ダンプを使用する:

# cat json_raw.txt | python -c 'import sys; import simplejson as json; \
print json.dumps( json.loads( sys.stdin.read() ), sort_keys=True, indent=4); '

{
    "_shards": {
        "failed": 0,
        "successful": 8,
        "total": 8
    },
    "hits": {
        "hits": [
            {
                "_id": "02:17447847049147026174478:174159",
                "_index": "2000_270_0",
                "_score": 1,
                "_source": {
                    "memberFirstName": "Uri",
                    "memberId": "0x7b93910446f91928e23e1043dfdf5bcf",
                    "memberLastName": "Dubofsky",
                    "memberMiddleName": "Prayag"
                },
                "_type": "Medical"
            },
            {
                "_id": "02:17447847049147026174478:174159",
                "_index": "2000_270_0",
                "_score": 1,
                "_source": {
                    "memberFirstName": "Uri",
                    "memberId": "0x7b93910446f91928e23e1043dfdf5bcG",
                    "memberLastName": "Dubofsky",
                    "memberMiddleName": "Prayag"
                },
                "_type": "Medical"
            }
        ],
        "max_score": 1,
        "total": 74
    },
    "timed_out": false,
    "took": 670
}

その後、単にgrep「memberId」パターンで結果が返されます。

完全に正確にするには:

#!/bin/bash

filename="$1"
cat $filename | python -c 'import sys; import simplejson as json; \
print json.dumps( json.loads( sys.stdin.read() ), sort_keys=True, indent=4)' | \
grep memberId | awk '{print $2}' | sed -e 's/^"//g' | sed -e 's/",$//g'

使用法:

$ bash bash.sh json_raw.txt 
0x7b93910446f91928e23e1043dfdf5bcf
0x7b93910446f91928e23e1043dfdf5bcG


0

deepdiffを使用すると、正確なキーを知る必要はありません。

import json
from deepdiff import DeepSearch
DeepSearch(json.load(open("members.json", "r")), 'memberId', verbose_level=2)['matched_paths'].values()

0

これがbashソリューションです。

  1. ファイルを作成する find_members.sh
  2. 次の行をファイルに追加して保存します

    #!/bin/bash
    
    echo -e "\nmemberIds\n---------"
    cat members.json | grep -E 'memberId'|awk '{print$2}' | cut -d '"' -f2
  3. chmod +x find_members.sh

それを実行してください:

$ ./find_members.sh

memberIds
----------------
0x7b93910446f91928e23e1043dfdf5bcf
0x7b93910446f91928e23e1043dfdf5bcG
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.