Logstashで複数の異種入力を処理するにはどうすればよいですか？

技術ログやビジネスログなど、2つの非常に異なるタイプのログがあり、必要な場合を考えてみましょう。

• 生の技術ログは、gelf出力を使用してgraylog2サーバーにルーティングされます。
• jsonビジネスログは、専用のelasticsearch_http出力を使用してelasticsearchクラスターに保存されます。

Syslog-NGたとえば、構成ファイルを使用すると、ディスパッチされる前に個別に処理できるいくつかの異なる入力を定義できることがわかります。何をLogstash行うことができないようです。1つのインスタンスが2つの特定の構成ファイルで開始できる場合でも、すべてのログは同じチャネルを使用し、同じ処理が適用されます...

さまざまなタイプのログと同じ数のインスタンスを実行する必要がありますか？

さまざまなタイプのログと同じ数のインスタンスを実行する必要がありますか？

番号！異なるタイプのログを処理するために実行できるインスタンスは1つだけです。

logstash構成ファイルでは、各入力を異なるタイプで指定できます。次に、フィルターでifを使用してさまざまな処理を区別し、出力で別の宛先への「if」出力を使用できます。

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

これがあなたに役立つことを願っています:)

複数のファイル入力にタグを使用しました：

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

logstashは、入力セクションで2つを超えるファイルを読み取ることができないと思います。以下をお試しください

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}