クリスマスツリーを検出するには?[閉まっている]


382

次の画像に表示されるクリスマスツリーを検出するアプリケーションを実装するために使用できる画像処理技術はどれですか。

これらすべての画像で機能するソリューションを探しています。したがって、ハールカスケード分類器またはテンプレートマッチングのトレーニングを必要とするアプローチは、それほど興味深いものではありません。

オープンソーステクノロジーのみを使用している限り任意のプログラミング言語で記述できるものを探しています。ソリューションは、この質問で共有されている画像でテストする必要があります。あり6枚の入力画像は、その答えは、それらのそれぞれの処理結果を表示する必要があります。最後に、各出力画像には、検出されたツリーを囲むように赤い線が描画されている必要があります。

これらの画像に含まれる木をプログラムでどのように検出しますか?


3
一部の画像をトレーニングに使用することは許可されていますか?または、提供されたすべての画像を検証に使用する必要がありますか?いずれにせよ、クールな競争:D
HannesOvrén2013

7
@karlphillip、これらの画像をテストに使用し、他の画像をトレーニングに使用しますか?トレーニングセットが何であるかが明確でないというだけのことです。
GilLevi 2013

16
@karlphillip:私のアドバイス:「オープンソース」の要件を削除してください。実際に使用する言語/フレームワークは問題ではありません。画像処理/コンピュータービジョンアルゴリズムは言語にとらわれないため、MATLABで記述できれば、OpenCVまたは他の任意のフレームワークで確実に実行できます。 !
Amro、

2
@karlphillipありがとう、あなたのこの「探求」に貢献するために私たち全員を動員してくれました!数時間を生産的に過ごす絶好の機会でしたが、最も重要なのは、単一の問題に対してどのように多くの異なるアプローチが見つかるかを確認することです... 1月1日にもう一度実行してください(多分サンタクロースの挑戦?
;

2
さて、私は質問を言い換えて、競争の要素を取り除きました。私はそれがそれ自体でうまく立つことができるはずだと思います。
ブラッド・ラーソン

回答:


184

私は面白いと思うアプローチを持ち、他のアプローチとは少し異なります。他のいくつかのアプローチと比較した私のアプローチの主な違いは、イメージのセグメンテーションステップの実行方法にあります。Pythonのscikit-learnのDBSCANクラスタリングアルゴリズムを使用しました。これは、必ずしも単一の明確な重心があるとは限らない、やや不定形の形状を見つけるために最適化されています。

トップレベルでは、私のアプローチはかなりシンプルで、約3つのステップに分けることができます。最初にしきい値を適用します(実際には、2つの個別のしきい値の論理「または」)。他の多くの回答と同様に、クリスマスツリーはシーン内の明るいオブジェクトの1つであると想定しました。そのため、最初のしきい値は単純なモノクロの明るさテストです。0〜255のスケール(黒は0、白は255)で220を超えるピクセルは、バイナリの白黒画像に保存されます。2番目のしきい値は、6つの画像の左上と右下の樹木で特に目立つ赤と黄色のライトを探し、ほとんどの写真でよく見られる青緑色の背景に対して際立っています。RGB画像をHSV空間に変換し、そして、色相が0.0-1.0スケールで0.2未満(おおよそ黄色と緑の間の境界に対応)または0.95より大きい(紫と赤の間の境界に対応)、さらに明るい飽和色が必要です。彩度と値はどちらも0.7を超えている必要があります。2つのしきい値処理の結果は論理的に「OR」結合され、結果の白黒バイナリイメージのマトリックスが以下に示されます。

HSVとモノクロの明るさのしきい値処理後のクリスマスツリー

各画像には、おおよそ各木の位置に対応する1つの大きなピクセルのクラスターがあり、さらにいくつかの画像には、いくつかの建物の窓のライトまたは地平線上の背景シーン。次のステップは、コンピューターにこれらが別個のクラスターであることを認識させ、各ピクセルにクラスターメンバーシップID番号を正しくラベル付けすることです。

このタスクでは、DBSCANを選択しました。ここで、他のクラスタリングアルゴリズムと比較して、DBSCANの通常の動作をかなりよく視覚的に比較できます。前に言ったように、それはアモルファス形状でうまくいきます。各クラスターが異なる色でプロットされているDBSCANの出力を次に示します。

DBSCANクラスタリング出力

この結果を確認する際に注意すべき点がいくつかあります。1つ目は、DBSCANの動作を調整するために、ユーザーが「近接」パラメーターを設定する必要があることです。これにより、アルゴリズムがテストポイントを集積するのではなく、新しい個別のクラスターを宣言するために、ポイントのペアをどのように分離する必要があるかを効果的に制御します。既存のクラスター。この値を各画像の対角線に沿ったサイズの0.04倍に設定しました。画像のサイズは、おおよそVGAから約HD 1080までさまざまであるため、このタイプの相対的な定義は重要です。

注目に値するもう1つの点は、scikit-learnに実装されているDBSCANアルゴリズムには、このサンプルの大きな画像の一部に対してかなり困難なメモリ制限があることです。したがって、いくつかの大きな画像では、この制限内に留まるために、実際に各クラスターを「間引き」する(つまり、3番目または4番目のピクセルごとに保持し、他のピクセルをドロップする)必要がありました。このカリングプロセスの結果として、残りの個々のスパースピクセルは、一部の大きな画像では見づらくなります。したがって、表示のみを目的として、上記の画像の色分けされたピクセルはわずかに効果的に「拡張」されており、目立つようになっています。これは、物語のための純粋な美容上の操作です。私のコードにはこの拡張について言及するコメントがありますが、

クラスターが識別されてラベルが付けられたら、3番目の最後のステップは簡単です。各画像で最大のクラスターを取るだけです(この場合、メンバーピクセルの総数で「サイズ」を測定することにしましたが、代わりに、物理的な範囲を測定する何らかのタイプのメトリックを簡単に使用して、そのクラスターの凸包を計算します。次に、凸包が木の境界になります。この方法で計算された6つの凸包は、以下の赤で示されています。

計算された境界線を持つクリスマスツリー

ソースコードはPython 2.7.6用に書かれており、numpyscipymatplotlib、およびscikit-learnに依存しています。私はそれを2つの部分に分けました。最初の部分は、実際の画像処理を担当します。

from PIL import Image
import numpy as np
import scipy as sp
import matplotlib.colors as colors
from sklearn.cluster import DBSCAN
from math import ceil, sqrt

"""
Inputs:

    rgbimg:         [M,N,3] numpy array containing (uint, 0-255) color image

    hueleftthr:     Scalar constant to select maximum allowed hue in the
                    yellow-green region

    huerightthr:    Scalar constant to select minimum allowed hue in the
                    blue-purple region

    satthr:         Scalar constant to select minimum allowed saturation

    valthr:         Scalar constant to select minimum allowed value

    monothr:        Scalar constant to select minimum allowed monochrome
                    brightness

    maxpoints:      Scalar constant maximum number of pixels to forward to
                    the DBSCAN clustering algorithm

    proxthresh:     Proximity threshold to use for DBSCAN, as a fraction of
                    the diagonal size of the image

Outputs:

    borderseg:      [K,2,2] Nested list containing K pairs of x- and y- pixel
                    values for drawing the tree border

    X:              [P,2] List of pixels that passed the threshold step

    labels:         [Q,2] List of cluster labels for points in Xslice (see
                    below)

    Xslice:         [Q,2] Reduced list of pixels to be passed to DBSCAN

"""

def findtree(rgbimg, hueleftthr=0.2, huerightthr=0.95, satthr=0.7, 
             valthr=0.7, monothr=220, maxpoints=5000, proxthresh=0.04):

    # Convert rgb image to monochrome for
    gryimg = np.asarray(Image.fromarray(rgbimg).convert('L'))
    # Convert rgb image (uint, 0-255) to hsv (float, 0.0-1.0)
    hsvimg = colors.rgb_to_hsv(rgbimg.astype(float)/255)

    # Initialize binary thresholded image
    binimg = np.zeros((rgbimg.shape[0], rgbimg.shape[1]))
    # Find pixels with hue<0.2 or hue>0.95 (red or yellow) and saturation/value
    # both greater than 0.7 (saturated and bright)--tends to coincide with
    # ornamental lights on trees in some of the images
    boolidx = np.logical_and(
                np.logical_and(
                  np.logical_or((hsvimg[:,:,0] < hueleftthr),
                                (hsvimg[:,:,0] > huerightthr)),
                                (hsvimg[:,:,1] > satthr)),
                                (hsvimg[:,:,2] > valthr))
    # Find pixels that meet hsv criterion
    binimg[np.where(boolidx)] = 255
    # Add pixels that meet grayscale brightness criterion
    binimg[np.where(gryimg > monothr)] = 255

    # Prepare thresholded points for DBSCAN clustering algorithm
    X = np.transpose(np.where(binimg == 255))
    Xslice = X
    nsample = len(Xslice)
    if nsample > maxpoints:
        # Make sure number of points does not exceed DBSCAN maximum capacity
        Xslice = X[range(0,nsample,int(ceil(float(nsample)/maxpoints)))]

    # Translate DBSCAN proximity threshold to units of pixels and run DBSCAN
    pixproxthr = proxthresh * sqrt(binimg.shape[0]**2 + binimg.shape[1]**2)
    db = DBSCAN(eps=pixproxthr, min_samples=10).fit(Xslice)
    labels = db.labels_.astype(int)

    # Find the largest cluster (i.e., with most points) and obtain convex hull   
    unique_labels = set(labels)
    maxclustpt = 0
    for k in unique_labels:
        class_members = [index[0] for index in np.argwhere(labels == k)]
        if len(class_members) > maxclustpt:
            points = Xslice[class_members]
            hull = sp.spatial.ConvexHull(points)
            maxclustpt = len(class_members)
            borderseg = [[points[simplex,0], points[simplex,1]] for simplex
                          in hull.simplices]

    return borderseg, X, labels, Xslice

2番目の部分は、最初のファイルを呼び出して上記のすべてのプロットを生成するユーザーレベルのスクリプトです。

#!/usr/bin/env python

from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.cm as cm
from findtree import findtree

# Image files to process
fname = ['nmzwj.png', 'aVZhC.png', '2K9EF.png',
         'YowlH.png', '2y4o5.png', 'FWhSP.png']

# Initialize figures
fgsz = (16,7)        
figthresh = plt.figure(figsize=fgsz, facecolor='w')
figclust  = plt.figure(figsize=fgsz, facecolor='w')
figcltwo  = plt.figure(figsize=fgsz, facecolor='w')
figborder = plt.figure(figsize=fgsz, facecolor='w')
figthresh.canvas.set_window_title('Thresholded HSV and Monochrome Brightness')
figclust.canvas.set_window_title('DBSCAN Clusters (Raw Pixel Output)')
figcltwo.canvas.set_window_title('DBSCAN Clusters (Slightly Dilated for Display)')
figborder.canvas.set_window_title('Trees with Borders')

for ii, name in zip(range(len(fname)), fname):
    # Open the file and convert to rgb image
    rgbimg = np.asarray(Image.open(name))

    # Get the tree borders as well as a bunch of other intermediate values
    # that will be used to illustrate how the algorithm works
    borderseg, X, labels, Xslice = findtree(rgbimg)

    # Display thresholded images
    axthresh = figthresh.add_subplot(2,3,ii+1)
    axthresh.set_xticks([])
    axthresh.set_yticks([])
    binimg = np.zeros((rgbimg.shape[0], rgbimg.shape[1]))
    for v, h in X:
        binimg[v,h] = 255
    axthresh.imshow(binimg, interpolation='nearest', cmap='Greys')

    # Display color-coded clusters
    axclust = figclust.add_subplot(2,3,ii+1) # Raw version
    axclust.set_xticks([])
    axclust.set_yticks([])
    axcltwo = figcltwo.add_subplot(2,3,ii+1) # Dilated slightly for display only
    axcltwo.set_xticks([])
    axcltwo.set_yticks([])
    axcltwo.imshow(binimg, interpolation='nearest', cmap='Greys')
    clustimg = np.ones(rgbimg.shape)    
    unique_labels = set(labels)
    # Generate a unique color for each cluster 
    plcol = cm.rainbow_r(np.linspace(0, 1, len(unique_labels)))
    for lbl, pix in zip(labels, Xslice):
        for col, unqlbl in zip(plcol, unique_labels):
            if lbl == unqlbl:
                # Cluster label of -1 indicates no cluster membership;
                # override default color with black
                if lbl == -1:
                    col = [0.0, 0.0, 0.0, 1.0]
                # Raw version
                for ij in range(3):
                    clustimg[pix[0],pix[1],ij] = col[ij]
                # Dilated just for display
                axcltwo.plot(pix[1], pix[0], 'o', markerfacecolor=col, 
                    markersize=1, markeredgecolor=col)
    axclust.imshow(clustimg)
    axcltwo.set_xlim(0, binimg.shape[1]-1)
    axcltwo.set_ylim(binimg.shape[0], -1)

    # Plot original images with read borders around the trees
    axborder = figborder.add_subplot(2,3,ii+1)
    axborder.set_axis_off()
    axborder.imshow(rgbimg, interpolation='nearest')
    for vseg, hseg in borderseg:
        axborder.plot(hseg, vseg, 'r-', lw=3)
    axborder.set_xlim(0, binimg.shape[1]-1)
    axborder.set_ylim(binimg.shape[0], -1)

plt.show()

@ lennon310のソリューションはクラスタリングです。(k-means)
user3054997 2013

1
@stachyra簡単な方法を提案する前に、この方法についても考えました。これは、他の場合でも良い結果を生み出すために拡張および一般化される大きな可能性を秘めていると思います。クラスタリングのためにニューラルネットを試すことができます。SOMやニューラルガスのようなものが優れた働きをします。それにもかかわらず、素晴らしい提案と私からの賛成!
sepdek 2013

4
@ファウスト&ライアンカールソン:みんな、ありがとう!はい、賛成投票システムは、数時間以内に提出された2つまたは3つの短い回答を審査するのに適していますが、長い期間にわたって長い回答が行われるコンテストに関しては、深刻なバイアスがあることに同意します。 。1つには、早期の提出が賛成票の蓄積を開始する前に、後の提出物が公開レビューに利用されることさえあります。そして、答えがすべて長い場合は、適度なリードを確立するとすぐに、人々が最初の回答のみを賛成し、残りを読むことを気にすることなく「バンドワゴン効果」がしばしば発生します。
スタキラ2014年

2
@stachyra素晴らしいニュースの友達!おめでとうございます。これであなたの新年が始まります。
sepdek 2014年

1
@ lennon310:私はこの問題にはまだ極大値検出フィルタを試していませんが、あなたはそれを自分で探検したい場合は、scipyのダウンロードは、このいずれかを。このプロジェクトのPythonソースコードは非常に短いため、実際には100%公開できました。文字通り、必要なことは、2つのコードスニペットを別々の.pyファイルにコピーアンドペーストし、scipy.ndimage.filters.maximum_filter()しきい値を使用したのと同じ場所での呼び出しを置き換えることです。
スタキラ2014年

145

編集注:この投稿を編集して、(i)要件で要求されているとおりに各ツリー画像を個別に処理し、(ii)結果の品質を向上させるためにオブジェクトの明るさと形状の両方を考慮するようにしました。


被写体の明るさと形状を考慮したアプローチを以下に示します。言い換えれば、三角形のような形状とかなりの明るさを持つオブジェクトを探します。Marvin画像処理フレームワークを使用して、Javaで実装されました。

最初のステップは、色のしきい値処理です。ここでの目的は、かなりの明るさを持つオブジェクトに分析を集中させることです。

出力画像:

ソースコード:

public class ChristmasTree {

private MarvinImagePlugin fill = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.fill.boundaryFill");
private MarvinImagePlugin threshold = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.color.thresholding");
private MarvinImagePlugin invert = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.color.invert");
private MarvinImagePlugin dilation = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.morphological.dilation");

public ChristmasTree(){
    MarvinImage tree;

    // Iterate each image
    for(int i=1; i<=6; i++){
        tree = MarvinImageIO.loadImage("./res/trees/tree"+i+".png");

        // 1. Threshold
        threshold.setAttribute("threshold", 200);
        threshold.process(tree.clone(), tree);
    }
}
public static void main(String[] args) {
    new ChristmasTree();
}
}

2番目のステップでは、形状を形成するために、画像内の最も明るい点が拡張されます。このプロセスの結果は、かなりの明るさを持つオブジェクトの推定形状です。塗りつぶしセグメンテーションを適用すると、切断された形状が検出されます。

出力画像:

ソースコード:

public class ChristmasTree {

private MarvinImagePlugin fill = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.fill.boundaryFill");
private MarvinImagePlugin threshold = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.color.thresholding");
private MarvinImagePlugin invert = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.color.invert");
private MarvinImagePlugin dilation = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.morphological.dilation");

public ChristmasTree(){
    MarvinImage tree;

    // Iterate each image
    for(int i=1; i<=6; i++){
        tree = MarvinImageIO.loadImage("./res/trees/tree"+i+".png");

        // 1. Threshold
        threshold.setAttribute("threshold", 200);
        threshold.process(tree.clone(), tree);

        // 2. Dilate
        invert.process(tree.clone(), tree);
        tree = MarvinColorModelConverter.rgbToBinary(tree, 127);
        MarvinImageIO.saveImage(tree, "./res/trees/new/tree_"+i+"threshold.png");
        dilation.setAttribute("matrix", MarvinMath.getTrueMatrix(50, 50));
        dilation.process(tree.clone(), tree);
        MarvinImageIO.saveImage(tree, "./res/trees/new/tree_"+1+"_dilation.png");
        tree = MarvinColorModelConverter.binaryToRgb(tree);

        // 3. Segment shapes
        MarvinImage trees2 = tree.clone();
        fill(tree, trees2);
        MarvinImageIO.saveImage(trees2, "./res/trees/new/tree_"+i+"_fill.png");
}

private void fill(MarvinImage imageIn, MarvinImage imageOut){
    boolean found;
    int color= 0xFFFF0000;

    while(true){
        found=false;

        Outerloop:
        for(int y=0; y<imageIn.getHeight(); y++){
            for(int x=0; x<imageIn.getWidth(); x++){
                if(imageOut.getIntComponent0(x, y) == 0){
                    fill.setAttribute("x", x);
                    fill.setAttribute("y", y);
                    fill.setAttribute("color", color);
                    fill.setAttribute("threshold", 120);
                    fill.process(imageIn, imageOut);
                    color = newColor(color);

                    found = true;
                    break Outerloop;
                }
            }
        }

        if(!found){
            break;
        }
    }

}

private int newColor(int color){
    int red = (color & 0x00FF0000) >> 16;
    int green = (color & 0x0000FF00) >> 8;
    int blue = (color & 0x000000FF);

    if(red <= green && red <= blue){
        red+=5;
    }
    else if(green <= red && green <= blue){
        green+=5;
    }
    else{
        blue+=5;
    }

    return 0xFF000000 + (red << 16) + (green << 8) + blue;
}

public static void main(String[] args) {
    new ChristmasTree();
}
}

出力画像に示すように、複数の形状が検出されました。この問題では、画像にいくつかの明るい点があります。ただし、このアプローチは、より複雑なシナリオに対処するために実装されました。

次のステップでは、各形状が分析されます。単純なアルゴリズムは、三角形に似たパターンを持つ形状を検出します。アルゴリズムは、オブジェクトの形状を1行ずつ分析します。各形状線の質量の中心がほぼ同じ(しきい値がある場合)であり、yが増加するにつれて質量が増加する場合、オブジェクトは三角形のような形状になります。シェイプラインの質量は、シェイプに属するそのラインのピクセル数です。オブジェクトを水平にスライスして、各水平セグメントを分析するとします。それらが相互に集中化され、長さが線形パターンで最初のセグメントから最後のセグメントまで増加する場合、おそらく三角形に似たオブジェクトがあります。

ソースコード:

private int[] detectTrees(MarvinImage image){
    HashSet<Integer> analysed = new HashSet<Integer>();
    boolean found;
    while(true){
        found = false;
        for(int y=0; y<image.getHeight(); y++){
            for(int x=0; x<image.getWidth(); x++){
                int color = image.getIntColor(x, y);

                if(!analysed.contains(color)){
                    if(isTree(image, color)){
                        return getObjectRect(image, color);
                    }

                    analysed.add(color);
                    found=true;
                }
            }
        }

        if(!found){
            break;
        }
    }
    return null;
}

private boolean isTree(MarvinImage image, int color){

    int mass[][] = new int[image.getHeight()][2];
    int yStart=-1;
    int xStart=-1;
    for(int y=0; y<image.getHeight(); y++){
        int mc = 0;
        int xs=-1;
        int xe=-1;
        for(int x=0; x<image.getWidth(); x++){
            if(image.getIntColor(x, y) == color){
                mc++;

                if(yStart == -1){
                    yStart=y;
                    xStart=x;
                }

                if(xs == -1){
                    xs = x;
                }
                if(x > xe){
                    xe = x;
                }
            }
        }
        mass[y][0] = xs;
        mass[y][3] = xe;
        mass[y][4] = mc;    
    }

    int validLines=0;
    for(int y=0; y<image.getHeight(); y++){
        if
        ( 
            mass[y][5] > 0 &&
            Math.abs(((mass[y][0]+mass[y][6])/2)-xStart) <= 50 &&
            mass[y][7] >= (mass[yStart][8] + (y-yStart)*0.3) &&
            mass[y][9] <= (mass[yStart][10] + (y-yStart)*1.5)
        )
        {
            validLines++;
        }
    }

    if(validLines > 100){
        return true;
    }
    return false;
}

最後に、以下に示すように、三角形に似ていてかなりの明るさを持つこの形状(この場合はクリスマスツリー)の各形状の位置が、元の画像で強調表示されています。

最終的な出力画像:

最終的なソースコード:

public class ChristmasTree {

private MarvinImagePlugin fill = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.fill.boundaryFill");
private MarvinImagePlugin threshold = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.color.thresholding");
private MarvinImagePlugin invert = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.color.invert");
private MarvinImagePlugin dilation = MarvinPluginLoader.loadImagePlugin("org.marvinproject.image.morphological.dilation");

public ChristmasTree(){
    MarvinImage tree;

    // Iterate each image
    for(int i=1; i<=6; i++){
        tree = MarvinImageIO.loadImage("./res/trees/tree"+i+".png");

        // 1. Threshold
        threshold.setAttribute("threshold", 200);
        threshold.process(tree.clone(), tree);

        // 2. Dilate
        invert.process(tree.clone(), tree);
        tree = MarvinColorModelConverter.rgbToBinary(tree, 127);
        MarvinImageIO.saveImage(tree, "./res/trees/new/tree_"+i+"threshold.png");
        dilation.setAttribute("matrix", MarvinMath.getTrueMatrix(50, 50));
        dilation.process(tree.clone(), tree);
        MarvinImageIO.saveImage(tree, "./res/trees/new/tree_"+1+"_dilation.png");
        tree = MarvinColorModelConverter.binaryToRgb(tree);

        // 3. Segment shapes
        MarvinImage trees2 = tree.clone();
        fill(tree, trees2);
        MarvinImageIO.saveImage(trees2, "./res/trees/new/tree_"+i+"_fill.png");

        // 4. Detect tree-like shapes
        int[] rect = detectTrees(trees2);

        // 5. Draw the result
        MarvinImage original = MarvinImageIO.loadImage("./res/trees/tree"+i+".png");
        drawBoundary(trees2, original, rect);
        MarvinImageIO.saveImage(original, "./res/trees/new/tree_"+i+"_out_2.jpg");
    }
}

private void drawBoundary(MarvinImage shape, MarvinImage original, int[] rect){
    int yLines[] = new int[6];
    yLines[0] = rect[1];
    yLines[1] = rect[1]+(int)((rect[3]/5));
    yLines[2] = rect[1]+((rect[3]/5)*2);
    yLines[3] = rect[1]+((rect[3]/5)*3);
    yLines[4] = rect[1]+(int)((rect[3]/5)*4);
    yLines[5] = rect[1]+rect[3];

    List<Point> points = new ArrayList<Point>();
    for(int i=0; i<yLines.length; i++){
        boolean in=false;
        Point startPoint=null;
        Point endPoint=null;
        for(int x=rect[0]; x<rect[0]+rect[2]; x++){

            if(shape.getIntColor(x, yLines[i]) != 0xFFFFFFFF){
                if(!in){
                    if(startPoint == null){
                        startPoint = new Point(x, yLines[i]);
                    }
                }
                in = true;
            }
            else{
                if(in){
                    endPoint = new Point(x, yLines[i]);
                }
                in = false;
            }
        }

        if(endPoint == null){
            endPoint = new Point((rect[0]+rect[2])-1, yLines[i]);
        }

        points.add(startPoint);
        points.add(endPoint);
    }

    drawLine(points.get(0).x, points.get(0).y, points.get(1).x, points.get(1).y, 15, original);
    drawLine(points.get(1).x, points.get(1).y, points.get(3).x, points.get(3).y, 15, original);
    drawLine(points.get(3).x, points.get(3).y, points.get(5).x, points.get(5).y, 15, original);
    drawLine(points.get(5).x, points.get(5).y, points.get(7).x, points.get(7).y, 15, original);
    drawLine(points.get(7).x, points.get(7).y, points.get(9).x, points.get(9).y, 15, original);
    drawLine(points.get(9).x, points.get(9).y, points.get(11).x, points.get(11).y, 15, original);
    drawLine(points.get(11).x, points.get(11).y, points.get(10).x, points.get(10).y, 15, original);
    drawLine(points.get(10).x, points.get(10).y, points.get(8).x, points.get(8).y, 15, original);
    drawLine(points.get(8).x, points.get(8).y, points.get(6).x, points.get(6).y, 15, original);
    drawLine(points.get(6).x, points.get(6).y, points.get(4).x, points.get(4).y, 15, original);
    drawLine(points.get(4).x, points.get(4).y, points.get(2).x, points.get(2).y, 15, original);
    drawLine(points.get(2).x, points.get(2).y, points.get(0).x, points.get(0).y, 15, original);
}

private void drawLine(int x1, int y1, int x2, int y2, int length, MarvinImage image){
    int lx1, lx2, ly1, ly2;
    for(int i=0; i<length; i++){
        lx1 = (x1+i >= image.getWidth() ? (image.getWidth()-1)-i: x1);
        lx2 = (x2+i >= image.getWidth() ? (image.getWidth()-1)-i: x2);
        ly1 = (y1+i >= image.getHeight() ? (image.getHeight()-1)-i: y1);
        ly2 = (y2+i >= image.getHeight() ? (image.getHeight()-1)-i: y2);

        image.drawLine(lx1+i, ly1, lx2+i, ly2, Color.red);
        image.drawLine(lx1, ly1+i, lx2, ly2+i, Color.red);
    }
}

private void fillRect(MarvinImage image, int[] rect, int length){
    for(int i=0; i<length; i++){
        image.drawRect(rect[0]+i, rect[1]+i, rect[2]-(i*2), rect[3]-(i*2), Color.red);
    }
}

private void fill(MarvinImage imageIn, MarvinImage imageOut){
    boolean found;
    int color= 0xFFFF0000;

    while(true){
        found=false;

        Outerloop:
        for(int y=0; y<imageIn.getHeight(); y++){
            for(int x=0; x<imageIn.getWidth(); x++){
                if(imageOut.getIntComponent0(x, y) == 0){
                    fill.setAttribute("x", x);
                    fill.setAttribute("y", y);
                    fill.setAttribute("color", color);
                    fill.setAttribute("threshold", 120);
                    fill.process(imageIn, imageOut);
                    color = newColor(color);

                    found = true;
                    break Outerloop;
                }
            }
        }

        if(!found){
            break;
        }
    }

}

private int[] detectTrees(MarvinImage image){
    HashSet<Integer> analysed = new HashSet<Integer>();
    boolean found;
    while(true){
        found = false;
        for(int y=0; y<image.getHeight(); y++){
            for(int x=0; x<image.getWidth(); x++){
                int color = image.getIntColor(x, y);

                if(!analysed.contains(color)){
                    if(isTree(image, color)){
                        return getObjectRect(image, color);
                    }

                    analysed.add(color);
                    found=true;
                }
            }
        }

        if(!found){
            break;
        }
    }
    return null;
}

private boolean isTree(MarvinImage image, int color){

    int mass[][] = new int[image.getHeight()][11];
    int yStart=-1;
    int xStart=-1;
    for(int y=0; y<image.getHeight(); y++){
        int mc = 0;
        int xs=-1;
        int xe=-1;
        for(int x=0; x<image.getWidth(); x++){
            if(image.getIntColor(x, y) == color){
                mc++;

                if(yStart == -1){
                    yStart=y;
                    xStart=x;
                }

                if(xs == -1){
                    xs = x;
                }
                if(x > xe){
                    xe = x;
                }
            }
        }
        mass[y][0] = xs;
        mass[y][12] = xe;
        mass[y][13] = mc;   
    }

    int validLines=0;
    for(int y=0; y<image.getHeight(); y++){
        if
        ( 
            mass[y][14] > 0 &&
            Math.abs(((mass[y][0]+mass[y][15])/2)-xStart) <= 50 &&
            mass[y][16] >= (mass[yStart][17] + (y-yStart)*0.3) &&
            mass[y][18] <= (mass[yStart][19] + (y-yStart)*1.5)
        )
        {
            validLines++;
        }
    }

    if(validLines > 100){
        return true;
    }
    return false;
}

private int[] getObjectRect(MarvinImage image, int color){
    int x1=-1;
    int x2=-1;
    int y1=-1;
    int y2=-1;

    for(int y=0; y<image.getHeight(); y++){
        for(int x=0; x<image.getWidth(); x++){
            if(image.getIntColor(x, y) == color){

                if(x1 == -1 || x < x1){
                    x1 = x;
                }
                if(x2 == -1 || x > x2){
                    x2 = x;
                }
                if(y1 == -1 || y < y1){
                    y1 = y;
                }
                if(y2 == -1 || y > y2){
                    y2 = y;
                }
            }
        }
    }

    return new int[]{x1, y1, (x2-x1), (y2-y1)};
}

private int newColor(int color){
    int red = (color & 0x00FF0000) >> 16;
    int green = (color & 0x0000FF00) >> 8;
    int blue = (color & 0x000000FF);

    if(red <= green && red <= blue){
        red+=5;
    }
    else if(green <= red && green <= blue){
        green+=30;
    }
    else{
        blue+=30;
    }

    return 0xFF000000 + (red << 16) + (green << 8) + blue;
}

public static void main(String[] args) {
    new ChristmasTree();
}
}

このアプローチの利点は、オブジェクトの形状を分析するため、他の明るいオブジェクトを含む画像でおそらく機能することです。

メリークリスマス!


ノート2の編集

このソリューションと他のいくつかの出力イメージの類似性についての議論があります。実際、それらは非常によく似ています。しかし、このアプローチはオブジェクトをセグメント化するだけではありません。また、ある意味でオブジェクトの形状を分析します。同じシーンで複数の明るいオブジェクトを処理できます。実際、クリスマスツリーは最も明るいものである必要はありません。私は議論を豊かにするためにそれを放棄しています。サンプルにバイアスがあり、最も明るいオブジェクトを探すだけで、木が見つかります。しかし、この時点で本当に議論を中止したいのでしょうか?この時点で、コンピュータが実際にクリスマスツリーに似ているオブジェクトをどれだけ認識しているか。このギャップを埋めようとしましょう。

この点を明らかにするために、以下に結果を示します。

入力画像

ここに画像の説明を入力してください

出力

ここに画像の説明を入力してください


2
それは面白い。各画像を個別に処理しても同じ結果が得られることを願っています。質問を4時間前に編集して、回答を投稿して具体的に述べました。これらの結果で回答を更新できればすばらしいと思います。
karlphillip 2013

@Marvinの三角形検出では、質量の変動をどのように処理しましたか?厳密な三角形ではなく、yが変化しても質量はモノではありません
user3054997

2
@ user3054997:それは別のポイントです。私が投稿したように、アルゴリズムは厳密な三角形の形状を求めていません。各オブジェクトを分析し、単純な基準で三角形に「似ている」ツリーを検討します。オブジェクトの質量は、yの増加に応じて増加し、各水平オブジェクトセグメントの質量の中心は互いにほぼ集中しています。 。
GabrielAmbrósioArchanjo 2013

@Marvin私の解決策は本当に簡単です、私も私の答えでそれを述べました。ちなみに、それはあなたの最初のソリューションよりもうまくいきました。私が正しく思い出した場合、最初の答えで、小さなライトテクスチャを検出するための機能記述子について話しましたが、これはここでは行っていません。私は単に、あなたの現在のアプローチと結果は最初の解決策よりも私のものにはるかに似ていると言いました。もちろん、私はあなたがそれを認めるとは期待していません、私は記録のためだけにそれを述べました。
smeso 2013

1
@sepdekここには私のものよりもはるかに優れたいくつかの解決策があり、それらはまだ私の賛成票の半分を得ています。他のソリューションから「刺激を受ける」ことには何の問題もありません。私もあなたの解決策を見ました、私はあなたに反対することは何もありません、あなたは私の後にそれらを投稿しました、そして私の「アイデア」はあなたが私をコピーしたと言うほどオリジナルではありませんでした。しかし、マービンは私の前に投稿し、同じアルゴリズムを使用して私のものを見た後の解決策を編集した唯一の人でした...少なくとも彼は「うん、私はあなたの解決策が好きだったのでそれを再利用しました」と言っていたかもしれません。ゲーム。
smeso 2014年

75

これが私のシンプルでばかげた解決策です。それは、木が絵の中で最も明るくて大きなものであるという仮定に基づいています。

//g++ -Wall -pedantic -ansi -O2 -pipe -s -o christmas_tree christmas_tree.cpp `pkg-config --cflags --libs opencv`
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main(int argc,char *argv[])
{
    Mat original,tmp,tmp1;
    vector <vector<Point> > contours;
    Moments m;
    Rect boundrect;
    Point2f center;
    double radius, max_area=0,tmp_area=0;
    unsigned int j, k;
    int i;

    for(i = 1; i < argc; ++i)
    {
        original = imread(argv[i]);
        if(original.empty())
        {
            cerr << "Error"<<endl;
            return -1;
        }

        GaussianBlur(original, tmp, Size(3, 3), 0, 0, BORDER_DEFAULT);
        erode(tmp, tmp, Mat(), Point(-1, -1), 10);
        cvtColor(tmp, tmp, CV_BGR2HSV);
        inRange(tmp, Scalar(0, 0, 0), Scalar(180, 255, 200), tmp);

        dilate(original, tmp1, Mat(), Point(-1, -1), 15);
        cvtColor(tmp1, tmp1, CV_BGR2HLS);
        inRange(tmp1, Scalar(0, 185, 0), Scalar(180, 255, 255), tmp1);
        dilate(tmp1, tmp1, Mat(), Point(-1, -1), 10);

        bitwise_and(tmp, tmp1, tmp1);

        findContours(tmp1, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);
        max_area = 0;
        j = 0;
        for(k = 0; k < contours.size(); k++)
        {
            tmp_area = contourArea(contours[k]);
            if(tmp_area > max_area)
            {
                max_area = tmp_area;
                j = k;
            }
        }
        tmp1 = Mat::zeros(original.size(),CV_8U);
        approxPolyDP(contours[j], contours[j], 30, true);
        drawContours(tmp1, contours, j, Scalar(255,255,255), CV_FILLED);

        m = moments(contours[j]);
        boundrect = boundingRect(contours[j]);
        center = Point2f(m.m10/m.m00, m.m01/m.m00);
        radius = (center.y - (boundrect.tl().y))/4.0*3.0;
        Rect heightrect(center.x-original.cols/5, boundrect.tl().y, original.cols/5*2, boundrect.size().height);

        tmp = Mat::zeros(original.size(), CV_8U);
        rectangle(tmp, heightrect, Scalar(255, 255, 255), -1);
        circle(tmp, center, radius, Scalar(255, 255, 255), -1);

        bitwise_and(tmp, tmp1, tmp1);

        findContours(tmp1, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);
        max_area = 0;
        j = 0;
        for(k = 0; k < contours.size(); k++)
        {
            tmp_area = contourArea(contours[k]);
            if(tmp_area > max_area)
            {
                max_area = tmp_area;
                j = k;
            }
        }

        approxPolyDP(contours[j], contours[j], 30, true);
        convexHull(contours[j], contours[j]);

        drawContours(original, contours, j, Scalar(0, 0, 255), 3);

        namedWindow(argv[i], CV_WINDOW_NORMAL|CV_WINDOW_KEEPRATIO|CV_GUI_EXPANDED);
        imshow(argv[i], original);

        waitKey(0);
        destroyWindow(argv[i]);
    }

    return 0;
}

最初のステップは、画像内の最も明るいピクセルを検出することですが、ツリー自体と、その光を反射する雪を区別する必要があります。ここでは、カラーコードに本当に単純なフィルターを適用して雪を除外しようとします。

GaussianBlur(original, tmp, Size(3, 3), 0, 0, BORDER_DEFAULT);
erode(tmp, tmp, Mat(), Point(-1, -1), 10);
cvtColor(tmp, tmp, CV_BGR2HSV);
inRange(tmp, Scalar(0, 0, 0), Scalar(180, 255, 200), tmp);

次に、すべての「明るい」ピクセルを見つけます。

dilate(original, tmp1, Mat(), Point(-1, -1), 15);
cvtColor(tmp1, tmp1, CV_BGR2HLS);
inRange(tmp1, Scalar(0, 185, 0), Scalar(180, 255, 255), tmp1);
dilate(tmp1, tmp1, Mat(), Point(-1, -1), 10);

最後に、2つの結果を結合します。

bitwise_and(tmp, tmp1, tmp1);

次に、最大の明るいオブジェクトを探します。

findContours(tmp1, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);
max_area = 0;
j = 0;
for(k = 0; k < contours.size(); k++)
{
    tmp_area = contourArea(contours[k]);
    if(tmp_area > max_area)
    {
        max_area = tmp_area;
        j = k;
    }
}
tmp1 = Mat::zeros(original.size(),CV_8U);
approxPolyDP(contours[j], contours[j], 30, true);
drawContours(tmp1, contours, j, Scalar(255,255,255), CV_FILLED);

これでほぼ完了しましたが、まだ雪により不完全な部分があります。それらを切り取るために、円と長方形を使用してマスクを作成し、木の形状に近づけて不要な部分を削除します。

m = moments(contours[j]);
boundrect = boundingRect(contours[j]);
center = Point2f(m.m10/m.m00, m.m01/m.m00);
radius = (center.y - (boundrect.tl().y))/4.0*3.0;
Rect heightrect(center.x-original.cols/5, boundrect.tl().y, original.cols/5*2, boundrect.size().height);

tmp = Mat::zeros(original.size(), CV_8U);
rectangle(tmp, heightrect, Scalar(255, 255, 255), -1);
circle(tmp, center, radius, Scalar(255, 255, 255), -1);

bitwise_and(tmp, tmp1, tmp1);

最後のステップは、木の輪郭を見つけ、それを元の絵に描くことです。

findContours(tmp1, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);
max_area = 0;
j = 0;
for(k = 0; k < contours.size(); k++)
{
    tmp_area = contourArea(contours[k]);
    if(tmp_area > max_area)
    {
        max_area = tmp_area;
        j = k;
    }
}

approxPolyDP(contours[j], contours[j], 30, true);
convexHull(contours[j], contours[j]);

drawContours(original, contours, j, Scalar(0, 0, 255), 3);

申し訳ありませんが、現在接続状態が悪いため、写真をアップロードできません。後でやってみます。

メリークリスマス。

編集:

ここに最終出力のいくつかの写真:


1
こんにちは!回答がすべての要件に従っていることを確認してください。6つの入力画像があり、回答にはそれぞれの処理結果が表示されます。
karlphillip 2013

こんにちは!ファイル名をCLI引数としてプログラムに渡すことができます./christmas_tree ./*.png。それらはあなたが望むだけ多くすることができ、結果は次々に任意のキーを押すことで示されます。これは間違っていますか?
smeso 2013

大丈夫ですが、スレッドの閲覧者が実際に結果確認できるように、画像をアップロードして質問で共有する必要があります。あなたが何をしたかを人々に見せることで、投票を獲得する可能性が
高まり

私はこれの解決策を見つけようとしています、いくつかの接続の問題があります。
smeso 2013

2
すごい!これで、次のコードを使用して、回答内でそれらを再スケーリングできます<img src="http://i.stack.imgur.com/nmzwj.png" width="210" height="150">。画像へのリンクを変更するだけです;)
karlphillip

60

コードはMatlab R2007aで作成しました。私はクリスマスツリーを大まかに抽出するためにk平均法を使用しました。中間結果は1つの画像でのみ表示し、最終結果は6つの画像すべてで表示します。

最初に、RGBスペースをラボスペースにマップしました。これにより、bチャネルの赤のコントラストが強調されます。

colorTransform = makecform('srgb2lab');
I = applycform(I, colorTransform);
L = double(I(:,:,1));
a = double(I(:,:,2));
b = double(I(:,:,3));

ここに画像の説明を入力してください

色空間の機能に加えて、各ピクセル自体ではなく、近傍に関連するテクスチャ機能も使用しました。ここでは、3つの元のチャネル(R、G、B)からの強度を線形結合しました。この方法でフォーマットした理由は、写真のクリスマスツリーにはすべて赤のライトが付いており、場合によっては緑/青のイルミネーションも付いているためです。

R=double(Irgb(:,:,1));
G=double(Irgb(:,:,2));
B=double(Irgb(:,:,3));
I0 = (3*R + max(G,B)-min(G,B))/2;

ここに画像の説明を入力してください

に3X3ローカルバイナリパターンを適用しI0、中央のピクセルをしきい値として使用し、しきい値を超える平均ピクセル強度値とそれ未満の平均値との差を計算することでコントラストを取得しました。

I0_copy = zeros(size(I0));
for i = 2 : size(I0,1) - 1
    for j = 2 : size(I0,2) - 1
        tmp = I0(i-1:i+1,j-1:j+1) >= I0(i,j);
        I0_copy(i,j) = mean(mean(tmp.*I0(i-1:i+1,j-1:j+1))) - ...
            mean(mean(~tmp.*I0(i-1:i+1,j-1:j+1))); % Contrast
    end
end

ここに画像の説明を入力してください

合計で4つの機能があるため、クラスタリング方法ではK = 5を選択します。k-meansのコードを以下に示します(これは、Andrew Ng博士の機械学習コースからのものです。私は以前にこのコースを受講し、自分でプログラミングの割り当てでコードを記述しました)。

[centroids, idx] = runkMeans(X, initial_centroids, max_iters);
mask=reshape(idx,img_size(1),img_size(2));

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
function [centroids, idx] = runkMeans(X, initial_centroids, ...
                                  max_iters, plot_progress)
   [m n] = size(X);
   K = size(initial_centroids, 1);
   centroids = initial_centroids;
   previous_centroids = centroids;
   idx = zeros(m, 1);

   for i=1:max_iters    
      % For each example in X, assign it to the closest centroid
      idx = findClosestCentroids(X, centroids);

      % Given the memberships, compute new centroids
      centroids = computeCentroids(X, idx, K);

   end
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
function idx = findClosestCentroids(X, centroids)
   K = size(centroids, 1);
   idx = zeros(size(X,1), 1);
   for xi = 1:size(X,1)
      x = X(xi, :);
      % Find closest centroid for x.
      best = Inf;
      for mui = 1:K
        mu = centroids(mui, :);
        d = dot(x - mu, x - mu);
        if d < best
           best = d;
           idx(xi) = mui;
        end
      end
   end 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
function centroids = computeCentroids(X, idx, K)
   [m n] = size(X);
   centroids = zeros(K, n);
   for mui = 1:K
      centroids(mui, :) = sum(X(idx == mui, :)) / sum(idx == mui);
   end

私のコンピューターではプログラムの実行が非常に遅いため、3回実行しただけです。通常、停止基準は、(i)少なくとも10回の反復時間、または(ii)重心に変化がないことです。私のテストでは、反復を増やすと、背景(空と木、空と建物など)をより正確に区別できますが、クリスマスツリーの抽出に大幅な変化は見られませんでした。また、k-meansはランダムなセントロイドの初期化の影響を受けないため、プログラムを数回実行して比較することをお勧めします。

k-meansの後、最大強度のラベル領域I0が選択されました。また、境界の抽出には境界トレースが使用されました。私にとって、最後のクリスマスツリーは最初の5つにあるほどコントラストが高くないため、抽出するのが最も困難です。私の方法の別の問題は、bwboundariesMatlabで関数を使用して境界をトレースすることですが、3番目、5番目、6番目の結果で確認できるように、内側の境界も含まれる場合があります。クリスマスツリー内の暗い側は、照らされた側と一緒にクラスター化されないだけでimfillなく、非常に多くの小さな内部境界のトレースにつながります(あまり改善されません)。すべての私のアルゴリズムはまだ多くの改善の余地があります。

一部の出版物は、平均シフトがk平均よりも堅牢であることを示しており、多くの グラフカットベースのアルゴリズムは、複雑な境界セグメンテーションでも非常に競争力があります。私は平均シフトアルゴリズムを自分で作成しました。十分な光がなくても領域を抽出する方が良いようです。しかし、平均シフトは少し過剰に分割されており、マージのいくつかの戦略が必要です。私のコンピューターでは、k-meansよりもはるかに低速で実行されていました。私はそれをあきらめる必要があると思います。上記の最新のアルゴリズムを使用して、他のユーザーが優れた結果をここに送信することを楽しみにしています。

しかし、私は常に、機能の選択が画像セグメンテーションの重要な要素であると信じています。オブジェクトと背景の間のマージンを最大化できる適切な機能を選択すると、多くのセグメンテーションアルゴリズムが確実に機能します。さまざまなアルゴリズムによって結果が1から10に改善される可能性がありますが、機能の選択により0から1に改善される可能性があります。

メリークリスマス !


2
答えてくれてありがとう!Matlabはオープンソースではありませんが、Scilabはそうです。私もこの答えが他の人と競合するのを見たいと思います。;)
karlphillip 2013

6
カールありがとうございます。Octaveは、Matlabとほぼ同じコーディング文法を共有する別のオープンソースソフトウェアです:mathworks.fr/matlabcentral/answers/14399-gnu-octave-vs-matlab
lennon310 2013

興味深いことに、知りませんでした。ありがとうございます。あなたのコードはOctaveで動作しますか?
karlphillip 2013

まだテストしていませんが、問題はないと思います:)
lennon310

@ lennon310境界を削除して凸包を取得すると、穴の問題が解消されると思います。凸包は、セット内のすべてのポイントを含む最小の領域であることを覚えておいてください。
sepdek 2014年

57

これは、従来の画像処理アプローチを使用した私の最後の投稿です...

ここでは、他の2つの提案をどうにかして組み合わせて、さらに良い結果を達成しています。実際のところ、これらの結果がどのように改善されるかはわかりません(特に、メソッドが生成するマスクされた画像を見る場合)。

アプローチの中心は、3つの主要な仮定の組み合わせです。

  1. 画像は木の領域で大きな変動を持っている必要があります
  2. 画像は木の領域でより高い強度を持つ必要があります
  3. 背景領域は強度が低く、主に青みがかっている必要があります

これらの前提を念頭に置いて、メソッドは次のように機能します。

  1. 画像をHSVに変換する
  2. LoGフィルターでVチャネルをフィルター処理する
  3. LoGフィルター処理された画像にハードしきい値を適用して、「アクティビティ」マスクAを取得します
  4. Vチャンネルにハードしきい値を適用して強度マスクBを取得
  5. Hチャネルしきい値処理を適用して、低輝度の青っぽい領域を背景マスクCにキャプチャします。
  6. ANDを使用してマスクを組み合わせ、最終的なマスクを取得する
  7. マスクを拡張して領域を拡大し、分散したピクセルを接続します
  8. 小さな領域を取り除き、最終的に木のみを表す最終的なマスクを取得します

これがMATLABのコードです(ここでも、スクリプトは現在のフォルダー内のすべてのjpg画像を読み込みます。これも、最適化されたコードではありません)。

% clear everything
clear;
pack;
close all;
close all hidden;
drawnow;
clc;

% initialization
ims=dir('./*.jpg');
imgs={};
images={}; 
blur_images={}; 
log_image={}; 
dilated_image={};
int_image={};
back_image={};
bin_image={};
measurements={};
box={};
num=length(ims);
thres_div = 3;

for i=1:num, 
    % load original image
    imgs{end+1}=imread(ims(i).name);

    % convert to HSV colorspace
    images{end+1}=rgb2hsv(imgs{i});

    % apply laplacian filtering and heuristic hard thresholding
    val_thres = (max(max(images{i}(:,:,3)))/thres_div);
    log_image{end+1} = imfilter( images{i}(:,:,3),fspecial('log')) > val_thres;

    % get the most bright regions of the image
    int_thres = 0.26*max(max( images{i}(:,:,3)));
    int_image{end+1} = images{i}(:,:,3) > int_thres;

    % get the most probable background regions of the image
    back_image{end+1} = images{i}(:,:,1)>(150/360) & images{i}(:,:,1)<(320/360) & images{i}(:,:,3)<0.5;

    % compute the final binary image by combining 
    % high 'activity' with high intensity
    bin_image{end+1} = logical( log_image{i}) & logical( int_image{i}) & ~logical( back_image{i});

    % apply morphological dilation to connect distonnected components
    strel_size = round(0.01*max(size(imgs{i})));        % structuring element for morphological dilation
    dilated_image{end+1} = imdilate( bin_image{i}, strel('disk',strel_size));

    % do some measurements to eliminate small objects
    measurements{i} = regionprops( logical( dilated_image{i}),'Area','BoundingBox');

    % iterative enlargement of the structuring element for better connectivity
    while length(measurements{i})>14 && strel_size<(min(size(imgs{i}(:,:,1)))/2),
        strel_size = round( 1.5 * strel_size);
        dilated_image{i} = imdilate( bin_image{i}, strel('disk',strel_size));
        measurements{i} = regionprops( logical( dilated_image{i}),'Area','BoundingBox');
    end

    for m=1:length(measurements{i})
        if measurements{i}(m).Area < 0.05*numel( dilated_image{i})
            dilated_image{i}( round(measurements{i}(m).BoundingBox(2):measurements{i}(m).BoundingBox(4)+measurements{i}(m).BoundingBox(2)),...
                round(measurements{i}(m).BoundingBox(1):measurements{i}(m).BoundingBox(3)+measurements{i}(m).BoundingBox(1))) = 0;
        end
    end
    % make sure the dilated image is the same size with the original
    dilated_image{i} = dilated_image{i}(1:size(imgs{i},1),1:size(imgs{i},2));
    % compute the bounding box
    [y,x] = find( dilated_image{i});
    if isempty( y)
        box{end+1}=[];
    else
        box{end+1} = [ min(x) min(y) max(x)-min(x)+1 max(y)-min(y)+1];
    end
end 

%%% additional code to display things
for i=1:num,
    figure;
    subplot(121);
    colormap gray;
    imshow( imgs{i});
    if ~isempty(box{i})
        hold on;
        rr = rectangle( 'position', box{i});
        set( rr, 'EdgeColor', 'r');
        hold off;
    end
    subplot(122);
    imshow( imgs{i}.*uint8(repmat(dilated_image{i},[1 1 3])));
end

結果

結果

ここでも高解像度の結果が利用可能です!
追加の画像を使用したさらに多くの実験がここにあります。


1
素晴らしいもの!他の回答もこの形式に従っていることを確認してください。賞金を獲得するには、オープンソーステクノロジーを使用する必要がありますが、残念ながらMatlabはその1つではありません。ただし、SciLabとOctaveは同じで、同様の構文と機能を提供します。;)
karlphillip 2013

オクターブコードは同じです...
sepdek

@karlphillipどういうわけか、この質問はMatlabタグを持つことになりました。オープンソースが本当に必要な場合は、削除することをお勧めします。
Dennis Jaheruddin 2013

@sepdek非常にいいですが、最終的な画像に「穴」を含めるために、まだ何かできるかもしれません。(承認されたピクセルで完全に囲まれているすべてのピクセルを追加しますか?!)
Dennis Jaheruddin 2013

1
@karlphillipサンクスマン!私のアプローチがおもしろかったと思います。さらに、投票数の多いソリューションではなく、最もエレガントなソリューションを選択していただき、ありがとうございます!!!
sepdek 2014年

36

私の解決策:

  1. Rチャンネルを取得(RGBから)-このチャンネルで実行するすべての操作:

  2. 関心領域(ROI)の作成

    • 最小値149のしきい値Rチャネル(右上の画像)

    • 結果領域を拡張する(左中央の画像)

  3. 計算されたroiでエジェを検出します。ツリーには多くのエッジがあります(中央右の画像)

    • 結果を拡張する

    • 大きな半径の侵食(左下の画像)

  4. 最大の(領域ごとの)オブジェクトを選択します-結果領域です

  5. ConvexHull(ツリーは凸多角形)(右下の画像)

  6. 境界ボックス(右下の画像-grrenボックス)

ステップバイステップ: ここに画像の説明を入力してください

最初の結果-最も単純ですが、オープンソースソフトウェアではありません-"Adaptive Vision Studio + Adaptive Vision Library":これはオープンソースではありませんが、プロトタイプ作成が非常に高速です。

クリスマスツリーを検出するためのアルゴリズム全体(11ブロック): AVLソリューション

次のステップ。私たちはオープンソースのソリューションを求めています。AVLフィルターをOpenCVフィルターに変更します。ここでは少し変更を加えました。たとえば、エッジ検出でcvCannyフィルターを使用し、roiを考慮して領域画像とエッジ画像を乗算し、findContours + contourAreaで使用した最大の要素を選択しましたが、考え方は同じです。

https://www.youtube.com/watch?v=sfjB3MigLH0&index=1&list=UUpSRrkMHNHiLDXgylwhWNQQ

OpenCVソリューション

リンクを2つしか配置できないため、中間ステップの画像を表示できません。

では、openSourceフィルターを使用しますが、まだ完全なオープンソースではありません。最後のステップ-C ++コードへの移植。バージョン2.4.4でOpenCVを使用しました

最終的なc ++コードの結果は次のとおりです。 ここに画像の説明を入力してください

c ++コードも非常に短いです:

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/opencv.hpp"
#include <algorithm>
using namespace cv;

int main()
{

    string images[6] = {"..\\1.png","..\\2.png","..\\3.png","..\\4.png","..\\5.png","..\\6.png"};

    for(int i = 0; i < 6; ++i)
    {
        Mat img, thresholded, tdilated, tmp, tmp1;
        vector<Mat> channels(3);

        img = imread(images[i]);
        split(img, channels);
        threshold( channels[2], thresholded, 149, 255, THRESH_BINARY);                      //prepare ROI - threshold
        dilate( thresholded, tdilated,  getStructuringElement( MORPH_RECT, Size(22,22) ) ); //prepare ROI - dilate
        Canny( channels[2], tmp, 75, 125, 3, true );    //Canny edge detection
        multiply( tmp, tdilated, tmp1 );    // set ROI

        dilate( tmp1, tmp, getStructuringElement( MORPH_RECT, Size(20,16) ) ); // dilate
        erode( tmp, tmp1, getStructuringElement( MORPH_RECT, Size(36,36) ) ); // erode

        vector<vector<Point> > contours, contours1(1);
        vector<Point> convex;
        vector<Vec4i> hierarchy;
        findContours( tmp1, contours, hierarchy, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, Point(0, 0) );

        //get element of maximum area
        //int bestID = std::max_element( contours.begin(), contours.end(), 
        //  []( const vector<Point>& A, const vector<Point>& B ) { return contourArea(A) < contourArea(B); } ) - contours.begin();

            int bestID = 0;
        int bestArea = contourArea( contours[0] );
        for( int i = 1; i < contours.size(); ++i )
        {
            int area = contourArea( contours[i] );
            if( area > bestArea )
            {
                bestArea  = area;
                bestID = i;
            }
        }

        convexHull( contours[bestID], contours1[0] ); 
        drawContours( img, contours1, 0, Scalar( 100, 100, 255 ), img.rows / 100, 8, hierarchy, 0, Point() );

        imshow("image", img );
        waitKey(0);
    }


    return 0;
}

エラーなしでこのプログラムをビルドできるコンパイラはどれですか。
karlphillip 2014年

ビルドにはVisual Studio 2012を使用しました。c ++ 11をサポートするc ++コンパイラを使用する必要があります。
AdamF 2014年

私はそれを自由に使えるシステムを持っていません。std::max_element()通話を書き換えていただけませんか?私もあなたの答えに報いたいと思います。私はgcc 4.2を持っていると思います。
karlphillip 2014年

これはc ++ 11機能です;)上記のソースコードを変更しました。今すぐお試しください。
AdamF 2014年

わかりました、ありがとう。試してみましたが綺麗です。この質問が再開されるとすぐに(他のユーザーがそれを手伝ってくれる必要があります)私はあなたに報酬を与えるために別の報奨金を設定できます。おめでとう!
karlphillip 2014年

31

...別の昔ながらのソリューション-純粋にHSV処理基づいています

  1. 画像をHSV色空間に変換する
  2. HSVのヒューリスティックに基づいてマスクを作成します(以下を参照)
  3. モルフォロジー膨張をマスクに適用して、切断された領域を接続します
  4. 小さな領域と水平方向のブロックを破棄する(ツリーは垂直方向のブロックであることを忘れないでください)
  5. 境界ボックスを計算する

HSV処理のヒューリスティックについて一言:

  1. 色相(H)が210〜320度のすべては、背景または無関係な領域にあるはずのブルーマゼンタとして破棄されます。
  2. 値(V)が40%未満のすべても、暗すぎて関連性がないとして破棄されます

もちろん、このアプローチを微調整するために他の多くの可能性を試してみることができます...

これは、トリックを実行するためのMATLABコードです(警告:コードは最適化にはほど遠い!!!プロセスで何かを追跡できるようにするために、MATLABプログラミングには推奨されない手法を使用しました。これは大幅に最適化できます)。

% clear everything
clear;
pack;
close all;
close all hidden;
drawnow;
clc;

% initialization
ims=dir('./*.jpg');
num=length(ims);

imgs={};
hsvs={}; 
masks={};
dilated_images={};
measurements={};
boxs={};

for i=1:num, 
    % load original image
    imgs{end+1} = imread(ims(i).name);
    flt_x_size = round(size(imgs{i},2)*0.005);
    flt_y_size = round(size(imgs{i},1)*0.005);
    flt = fspecial( 'average', max( flt_y_size, flt_x_size));
    imgs{i} = imfilter( imgs{i}, flt, 'same');
    % convert to HSV colorspace
    hsvs{end+1} = rgb2hsv(imgs{i});
    % apply a hard thresholding and binary operation to construct the mask
    masks{end+1} = medfilt2( ~(hsvs{i}(:,:,1)>(210/360) & hsvs{i}(:,:,1)<(320/360))&hsvs{i}(:,:,3)>0.4);
    % apply morphological dilation to connect distonnected components
    strel_size = round(0.03*max(size(imgs{i})));        % structuring element for morphological dilation
    dilated_images{end+1} = imdilate( masks{i}, strel('disk',strel_size));
    % do some measurements to eliminate small objects
    measurements{i} = regionprops( dilated_images{i},'Perimeter','Area','BoundingBox'); 
    for m=1:length(measurements{i})
        if (measurements{i}(m).Area < 0.02*numel( dilated_images{i})) || (measurements{i}(m).BoundingBox(3)>1.2*measurements{i}(m).BoundingBox(4))
            dilated_images{i}( round(measurements{i}(m).BoundingBox(2):measurements{i}(m).BoundingBox(4)+measurements{i}(m).BoundingBox(2)),...
                round(measurements{i}(m).BoundingBox(1):measurements{i}(m).BoundingBox(3)+measurements{i}(m).BoundingBox(1))) = 0;
        end
    end
    dilated_images{i} = dilated_images{i}(1:size(imgs{i},1),1:size(imgs{i},2));
    % compute the bounding box
    [y,x] = find( dilated_images{i});
    if isempty( y)
        boxs{end+1}=[];
    else
        boxs{end+1} = [ min(x) min(y) max(x)-min(x)+1 max(y)-min(y)+1];
    end

end 

%%% additional code to display things
for i=1:num,
    figure;
    subplot(121);
    colormap gray;
    imshow( imgs{i});
    if ~isempty(boxs{i})
        hold on;
        rr = rectangle( 'position', boxs{i});
        set( rr, 'EdgeColor', 'r');
        hold off;
    end
    subplot(122);
    imshow( imgs{i}.*uint8(repmat(dilated_images{i},[1 1 3])));
end

結果:

結果には、マスクされた画像と境界ボックスが表示されます。 ここに画像の説明を入力してください


こんにちは、答えてくれてありがとう。要件セクションを読んで、回答がすべての指示に従っていることを確認してください。結果の画像を共有するのを忘れました。;)
karlphillip 2013

2
@karlphillip sepdekには画像を共有するための十分な評判がありません。私は彼のリンクと指示に従って、画像を回答の本文に移動しました。これらが正しいものかどうかはわかりませんが、この部分にコメントしてください。
alko

@alkoわかった、ありがとう。ただし、共有した画像の一部が入力セットにありませんでした。答えは、質問で共有された6つの画像すべてを処理した結果を示す必要があります。
karlphillip 2013

@karlphillipそれは彼のイメージであり、私のものではありません。それは私が「この部分をコメント」で意味したものです;)
alko

2
問題を引き起こして申し訳ありません...私の意図ではありません。私は最初のデータセットにすべての画像を含めて、私のコンセプトが堅牢であることを証明するためだけにそれをさらに強化しました...
sepdek

23

昔ながらの画像処理アプローチ...
このアイデアは、画像が通常は暗くて滑らかな背景(場合によっては前景)に明るい木を描いているという仮定に基づいています。点灯ツリー領域は、より多くの「元気」で、高い強度を有します
プロセスは次のとおりです。

  1. グレイレベルに変換
  2. LoGフィルタリングを適用して、最も「アクティブな」領域を取得します
  3. 最も明るい領域を取得するために、熱心なしきい値処理を適用します
  4. 前の2つを組み合わせて予備マスクを取得する
  5. 形態学的膨張を適用して領域を拡大し、隣接するコンポーネントを接続します
  6. 領域サイズに応じて小さな候補領域を排除する

得られるのは、各画像のバイナリマスクと境界ボックスです。

この素朴な手法を使用した結果は次のとおりです。 ここに画像の説明を入力してください

MATLABで のコードは次のとおりです。コードは、JPG画像を含むフォルダーで実行されます。すべての画像を読み込み、検出された結果を返します。

% clear everything
clear;
pack;
close all;
close all hidden;
drawnow;
clc;

% initialization
ims=dir('./*.jpg');
imgs={};
images={}; 
blur_images={}; 
log_image={}; 
dilated_image={};
int_image={};
bin_image={};
measurements={};
box={};
num=length(ims);
thres_div = 3;

for i=1:num, 
    % load original image
    imgs{end+1}=imread(ims(i).name);

    % convert to grayscale
    images{end+1}=rgb2gray(imgs{i});

    % apply laplacian filtering and heuristic hard thresholding
    val_thres = (max(max(images{i}))/thres_div);
    log_image{end+1} = imfilter( images{i},fspecial('log')) > val_thres;

    % get the most bright regions of the image
    int_thres = 0.26*max(max( images{i}));
    int_image{end+1} = images{i} > int_thres;

    % compute the final binary image by combining 
    % high 'activity' with high intensity
    bin_image{end+1} = log_image{i} .* int_image{i};

    % apply morphological dilation to connect distonnected components
    strel_size = round(0.01*max(size(imgs{i})));        % structuring element for morphological dilation
    dilated_image{end+1} = imdilate( bin_image{i}, strel('disk',strel_size));

    % do some measurements to eliminate small objects
    measurements{i} = regionprops( logical( dilated_image{i}),'Area','BoundingBox');
    for m=1:length(measurements{i})
        if measurements{i}(m).Area < 0.05*numel( dilated_image{i})
            dilated_image{i}( round(measurements{i}(m).BoundingBox(2):measurements{i}(m).BoundingBox(4)+measurements{i}(m).BoundingBox(2)),...
                round(measurements{i}(m).BoundingBox(1):measurements{i}(m).BoundingBox(3)+measurements{i}(m).BoundingBox(1))) = 0;
        end
    end
    % make sure the dilated image is the same size with the original
    dilated_image{i} = dilated_image{i}(1:size(imgs{i},1),1:size(imgs{i},2));
    % compute the bounding box
    [y,x] = find( dilated_image{i});
    if isempty( y)
        box{end+1}=[];
    else
        box{end+1} = [ min(x) min(y) max(x)-min(x)+1 max(y)-min(y)+1];
    end
end 

%%% additional code to display things
for i=1:num,
    figure;
    subplot(121);
    colormap gray;
    imshow( imgs{i});
    if ~isempty(box{i})
        hold on;
        rr = rectangle( 'position', box{i});
        set( rr, 'EdgeColor', 'r');
        hold off;
    end
    subplot(122);
    imshow( imgs{i}.*uint8(repmat(dilated_image{i},[1 1 3])));
end

ファウストのように、結果の画像をアップロードすることを忘れないでください。
karlphillip

私はここで初心者なので、画像をアップロードできません。私の説明で提供されたリンクの結果を参照してください。
sepdek 2013

わかりましたが、他の人と同じように、質問で共有された画像を使用する必要があります。それらを処理したら、どこかにアップロードし、回答を編集してリンクを追加します。後で私はあなたの答えを編集して、その中に画像を配置します。
karlphillip 2013

リンクには正しい画像が含まれているようです。
Dennis Jaheruddin 2013

22

私が見たものとはまったく異なるアプローチを使用して、私は ライトでクリスマスツリーを検出するスクリプト。結果は常に対称的な三角形ではなく、必要に応じてツリーの角度(「太さ」)のような数値です。

このアルゴリズムに対する最大の脅威は、明らかに(多数の)横またはツリーの前のライト(さらなる最適化までの大きな問題)です。編集(追加):できないこと:クリスマスツリーがあるかどうかを確認し、1つの画像で複数のクリスマスツリーを見つけ、ラスベガスの真ん中にあるクリスマスツリーを正しく検出し、大きく曲がっているクリスマスツリーを検出します。逆さまたは切り刻まれた...;)

異なる段階は次のとおりです。

  • 各ピクセルの追加された輝度(R + G + B)を計算します
  • 各ピクセルの上にある8つの隣接ピクセルすべてのこの値を合計します
  • すべてのピクセルをこの値でランク付けします(最初に最も明るい)。
  • 上から順に、近すぎるものをスキップして、これらのNを選択します
  • を計算する これらの上位Nの(ツリーのおおよその中心を提供します)
  • 選択された最も明るいライトからの一番上のライトの拡大サーチビームで、中央位置から上に向かって開始します(人々は少なくとも1つのライトを一番上に置く傾向があります)
  • そこから、線が左と右に60度下がるところを想像してみてください(クリスマスツリーはそれほど太くないはずです)。
  • 最も明るいライトの20%がこの三角形の外側になるまで、60度を下げます
  • 三角形の一番下にある光を見つけて、木の下の水平方向の境界を与えます
  • できた

マーキングの説明:

  • ツリーの中央にある大きな赤い十字:上位N個の最も明るいライトの中央値
  • そこから上への点線:木のてっぺんの「サーチビーム」
  • 小さな赤十字:木のてっぺん
  • 本当に小さな赤い十字:上位N個の最も明るいライトすべて
  • 赤い三角形:ああ!

ソースコード:

<?php

ini_set('memory_limit', '1024M');

header("Content-type: image/png");

$chosenImage = 6;

switch($chosenImage){
    case 1:
        $inputImage     = imagecreatefromjpeg("nmzwj.jpg");
        break;
    case 2:
        $inputImage     = imagecreatefromjpeg("2y4o5.jpg");
        break;
    case 3:
        $inputImage     = imagecreatefromjpeg("YowlH.jpg");
        break;
    case 4:
        $inputImage     = imagecreatefromjpeg("2K9Ef.jpg");
        break;
    case 5:
        $inputImage     = imagecreatefromjpeg("aVZhC.jpg");
        break;
    case 6:
        $inputImage     = imagecreatefromjpeg("FWhSP.jpg");
        break;
    case 7:
        $inputImage     = imagecreatefromjpeg("roemerberg.jpg");
        break;
    default:
        exit();
}

// Process the loaded image

$topNspots = processImage($inputImage);

imagejpeg($inputImage);
imagedestroy($inputImage);

// Here be functions

function processImage($image) {
    $orange = imagecolorallocate($image, 220, 210, 60);
    $black = imagecolorallocate($image, 0, 0, 0);
    $red = imagecolorallocate($image, 255, 0, 0);

    $maxX = imagesx($image)-1;
    $maxY = imagesy($image)-1;

    // Parameters
    $spread = 1; // Number of pixels to each direction that will be added up
    $topPositions = 80; // Number of (brightest) lights taken into account
    $minLightDistance = round(min(array($maxX, $maxY)) / 30); // Minimum number of pixels between the brigtests lights
    $searchYperX = 5; // spread of the "search beam" from the median point to the top

    $renderStage = 3; // 1 to 3; exits the process early


    // STAGE 1
    // Calculate the brightness of each pixel (R+G+B)

    $maxBrightness = 0;
    $stage1array = array();

    for($row = 0; $row <= $maxY; $row++) {

        $stage1array[$row] = array();

        for($col = 0; $col <= $maxX; $col++) {

            $rgb = imagecolorat($image, $col, $row);
            $brightness = getBrightnessFromRgb($rgb);
            $stage1array[$row][$col] = $brightness;

            if($renderStage == 1){
                $brightnessToGrey = round($brightness / 765 * 256);
                $greyRgb = imagecolorallocate($image, $brightnessToGrey, $brightnessToGrey, $brightnessToGrey);
                imagesetpixel($image, $col, $row, $greyRgb);
            }

            if($brightness > $maxBrightness) {
                $maxBrightness = $brightness;
                if($renderStage == 1){
                    imagesetpixel($image, $col, $row, $red);
                }
            }
        }
    }
    if($renderStage == 1) {
        return;
    }


    // STAGE 2
    // Add up brightness of neighbouring pixels

    $stage2array = array();
    $maxStage2 = 0;

    for($row = 0; $row <= $maxY; $row++) {
        $stage2array[$row] = array();

        for($col = 0; $col <= $maxX; $col++) {
            if(!isset($stage2array[$row][$col])) $stage2array[$row][$col] = 0;

            // Look around the current pixel, add brightness
            for($y = $row-$spread; $y <= $row+$spread; $y++) {
                for($x = $col-$spread; $x <= $col+$spread; $x++) {

                    // Don't read values from outside the image
                    if($x >= 0 && $x <= $maxX && $y >= 0 && $y <= $maxY){
                        $stage2array[$row][$col] += $stage1array[$y][$x]+10;
                    }
                }
            }

            $stage2value = $stage2array[$row][$col];
            if($stage2value > $maxStage2) {
                $maxStage2 = $stage2value;
            }
        }
    }

    if($renderStage >= 2){
        // Paint the accumulated light, dimmed by the maximum value from stage 2
        for($row = 0; $row <= $maxY; $row++) {
            for($col = 0; $col <= $maxX; $col++) {
                $brightness = round($stage2array[$row][$col] / $maxStage2 * 255);
                $greyRgb = imagecolorallocate($image, $brightness, $brightness, $brightness);
                imagesetpixel($image, $col, $row, $greyRgb);
            }
        }
    }

    if($renderStage == 2) {
        return;
    }


    // STAGE 3

    // Create a ranking of bright spots (like "Top 20")
    $topN = array();

    for($row = 0; $row <= $maxY; $row++) {
        for($col = 0; $col <= $maxX; $col++) {

            $stage2Brightness = $stage2array[$row][$col];
            $topN[$col.":".$row] = $stage2Brightness;
        }
    }
    arsort($topN);

    $topNused = array();
    $topPositionCountdown = $topPositions;

    if($renderStage == 3){
        foreach ($topN as $key => $val) {
            if($topPositionCountdown <= 0){
                break;
            }

            $position = explode(":", $key);

            foreach($topNused as $usedPosition => $usedValue) {
                $usedPosition = explode(":", $usedPosition);
                $distance = abs($usedPosition[0] - $position[0]) + abs($usedPosition[1] - $position[1]);
                if($distance < $minLightDistance) {
                    continue 2;
                }
            }

            $topNused[$key] = $val;

            paintCrosshair($image, $position[0], $position[1], $red, 2);

            $topPositionCountdown--;

        }
    }


    // STAGE 4
    // Median of all Top N lights
    $topNxValues = array();
    $topNyValues = array();

    foreach ($topNused as $key => $val) {
        $position = explode(":", $key);
        array_push($topNxValues, $position[0]);
        array_push($topNyValues, $position[1]);
    }

    $medianXvalue = round(calculate_median($topNxValues));
    $medianYvalue = round(calculate_median($topNyValues));
    paintCrosshair($image, $medianXvalue, $medianYvalue, $red, 15);


    // STAGE 5
    // Find treetop

    $filename = 'debug.log';
    $handle = fopen($filename, "w");
    fwrite($handle, "\n\n STAGE 5");

    $treetopX = $medianXvalue;
    $treetopY = $medianYvalue;

    $searchXmin = $medianXvalue;
    $searchXmax = $medianXvalue;

    $width = 0;
    for($y = $medianYvalue; $y >= 0; $y--) {
        fwrite($handle, "\nAt y = ".$y);

        if(($y % $searchYperX) == 0) { // Modulo
            $width++;
            $searchXmin = $medianXvalue - $width;
            $searchXmax = $medianXvalue + $width;
            imagesetpixel($image, $searchXmin, $y, $red);
            imagesetpixel($image, $searchXmax, $y, $red);
        }

        foreach ($topNused as $key => $val) {
            $position = explode(":", $key); // "x:y"

            if($position[1] != $y){
                continue;
            }

            if($position[0] >= $searchXmin && $position[0] <= $searchXmax){
                $treetopX = $position[0];
                $treetopY = $y;
            }
        }

    }

    paintCrosshair($image, $treetopX, $treetopY, $red, 5);


    // STAGE 6
    // Find tree sides
    fwrite($handle, "\n\n STAGE 6");

    $treesideAngle = 60; // The extremely "fat" end of a christmas tree
    $treeBottomY = $treetopY;

    $topPositionsExcluded = 0;
    $xymultiplier = 0;
    while(($topPositionsExcluded < ($topPositions / 5)) && $treesideAngle >= 1){
        fwrite($handle, "\n\nWe're at angle ".$treesideAngle);
        $xymultiplier = sin(deg2rad($treesideAngle));
        fwrite($handle, "\nMultiplier: ".$xymultiplier);

        $topPositionsExcluded = 0;
        foreach ($topNused as $key => $val) {
            $position = explode(":", $key);
            fwrite($handle, "\nAt position ".$key);

            if($position[1] > $treeBottomY) {
                $treeBottomY = $position[1];
            }

            // Lights above the tree are outside of it, but don't matter
            if($position[1] < $treetopY){
                $topPositionsExcluded++;
                fwrite($handle, "\nTOO HIGH");
                continue;
            }

            // Top light will generate division by zero
            if($treetopY-$position[1] == 0) {
                fwrite($handle, "\nDIVISION BY ZERO");
                continue;
            }

            // Lights left end right of it are also not inside
            fwrite($handle, "\nLight position factor: ".(abs($treetopX-$position[0]) / abs($treetopY-$position[1])));
            if((abs($treetopX-$position[0]) / abs($treetopY-$position[1])) > $xymultiplier){
                $topPositionsExcluded++;
                fwrite($handle, "\n --- Outside tree ---");
            }
        }

        $treesideAngle--;
    }
    fclose($handle);

    // Paint tree's outline
    $treeHeight = abs($treetopY-$treeBottomY);
    $treeBottomLeft = 0;
    $treeBottomRight = 0;
    $previousState = false; // line has not started; assumes the tree does not "leave"^^

    for($x = 0; $x <= $maxX; $x++){
        if(abs($treetopX-$x) != 0 && abs($treetopX-$x) / $treeHeight > $xymultiplier){
            if($previousState == true){
                $treeBottomRight = $x;
                $previousState = false;
            }
            continue;
        }
        imagesetpixel($image, $x, $treeBottomY, $red);
        if($previousState == false){
            $treeBottomLeft = $x;
            $previousState = true;
        }
    }
    imageline($image, $treeBottomLeft, $treeBottomY, $treetopX, $treetopY, $red);
    imageline($image, $treeBottomRight, $treeBottomY, $treetopX, $treetopY, $red);


    // Print out some parameters

    $string = "Min dist: ".$minLightDistance." | Tree angle: ".$treesideAngle." deg | Tree bottom: ".$treeBottomY;

    $px     = (imagesx($image) - 6.5 * strlen($string)) / 2;
    imagestring($image, 2, $px, 5, $string, $orange);

    return $topN;
}

/**
 * Returns values from 0 to 765
 */
function getBrightnessFromRgb($rgb) {
    $r = ($rgb >> 16) & 0xFF;
    $g = ($rgb >> 8) & 0xFF;
    $b = $rgb & 0xFF;

    return $r+$r+$b;
}

function paintCrosshair($image, $posX, $posY, $color, $size=5) {
    for($x = $posX-$size; $x <= $posX+$size; $x++) {
        if($x>=0 && $x < imagesx($image)){
            imagesetpixel($image, $x, $posY, $color);
        }
    }
    for($y = $posY-$size; $y <= $posY+$size; $y++) {
        if($y>=0 && $y < imagesy($image)){
            imagesetpixel($image, $posX, $y, $color);
        }
    }
}

// From http://www.mdj.us/web-development/php-programming/calculating-the-median-average-values-of-an-array-with-php/
function calculate_median($arr) {
    sort($arr);
    $count = count($arr); //total numbers in array
    $middleval = floor(($count-1)/2); // find the middle value, or the lowest middle value
    if($count % 2) { // odd number, middle is the median
        $median = $arr[$middleval];
    } else { // even number, calculate avg of 2 medians
        $low = $arr[$middleval];
        $high = $arr[$middleval+1];
        $median = (($low+$high)/2);
    }
    return $median;
}


?>

画像: 左上 下中央 左下 右上 上部中央 右下

ボーナス:ドイツのWeihnachtsbaum、Wikipedia レーマーベルク http://commons.wikimedia.org/wiki/File:Weihnachtsbaum_R%C3%B6merberg.jpg


17

私はopencvでpythonを使用しました。

私のアルゴリズムは次のようになります:

  1. まず、画像から赤いチャネルを取得します
  2. 赤のチャネルにしきい値(最小値200)を適用する
  3. 次に、モルフォロジカルグラディエントを適用してから、「クロージング」を実行します(膨張に続いて侵食)
  4. 次に、平面で輪郭を見つけ、最も長い輪郭を選択します。

結果:

コード:

import numpy as np
import cv2
import copy


def findTree(image,num):
    im = cv2.imread(image)
    im = cv2.resize(im, (400,250))
    gray = cv2.cvtColor(im, cv2.COLOR_RGB2GRAY)
    imf = copy.deepcopy(im)

    b,g,r = cv2.split(im)
    minR = 200
    _,thresh = cv2.threshold(r,minR,255,0)
    kernel = np.ones((25,5))
    dst = cv2.morphologyEx(thresh, cv2.MORPH_GRADIENT, kernel)
    dst = cv2.morphologyEx(dst, cv2.MORPH_CLOSE, kernel)

    contours = cv2.findContours(dst,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)[0]
    cv2.drawContours(im, contours,-1, (0,255,0), 1)

    maxI = 0
    for i in range(len(contours)):
        if len(contours[maxI]) < len(contours[i]):
            maxI = i

    img = copy.deepcopy(r)
    cv2.polylines(img,[contours[maxI]],True,(255,255,255),3)
    imf[:,:,2] = img

    cv2.imshow(str(num), imf)

def main():
    findTree('tree.jpg',1)
    findTree('tree2.jpg',2)
    findTree('tree3.jpg',3)
    findTree('tree4.jpg',4)
    findTree('tree5.jpg',5)
    findTree('tree6.jpg',6)

    cv2.waitKey(0)
    cv2.destroyAllWindows()

if __name__ == "__main__":
    main()

カーネルを(25,5)から(10,5)に変更すると、左下を除くすべてのツリーでより良い結果が得られます。 ここに画像の説明を入力してください

私のアルゴリズムは、ツリーにライトが付いていると想定しており、左下のツリーでは、一番上が他よりもライトが少ないです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.