OpenCV C ++ / Obj-C：1枚の紙の検出/ Square検出

OpenCVの正方形検出の例をテストアプリケーションに正常に実装しましたが、出力がかなり乱雑なので、フィルター処理する必要があります。または、コードが間違っていますか？

私は（のようなスキュー低減のために紙の4つの隅の点に興味があること）、さらに処理...

入出力：

元の画像：

クリック

コード：

double angle( cv::Point pt1, cv::Point pt2, cv::Point pt0 ) {
    double dx1 = pt1.x - pt0.x;
    double dy1 = pt1.y - pt0.y;
    double dx2 = pt2.x - pt0.x;
    double dy2 = pt2.y - pt0.y;
    return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10);
}

- (std::vector<std::vector<cv::Point> >)findSquaresInImage:(cv::Mat)_image
{
    std::vector<std::vector<cv::Point> > squares;
    cv::Mat pyr, timg, gray0(_image.size(), CV_8U), gray;
    int thresh = 50, N = 11;
    cv::pyrDown(_image, pyr, cv::Size(_image.cols/2, _image.rows/2));
    cv::pyrUp(pyr, timg, _image.size());
    std::vector<std::vector<cv::Point> > contours;
    for( int c = 0; c < 3; c++ ) {
        int ch[] = {c, 0};
        mixChannels(&timg, 1, &gray0, 1, ch, 1);
        for( int l = 0; l < N; l++ ) {
            if( l == 0 ) {
                cv::Canny(gray0, gray, 0, thresh, 5);
                cv::dilate(gray, gray, cv::Mat(), cv::Point(-1,-1));
            }
            else {
                gray = gray0 >= (l+1)*255/N;
            }
            cv::findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);
            std::vector<cv::Point> approx;
            for( size_t i = 0; i < contours.size(); i++ )
            {
                cv::approxPolyDP(cv::Mat(contours[i]), approx, arcLength(cv::Mat(contours[i]), true)*0.02, true);
                if( approx.size() == 4 && fabs(contourArea(cv::Mat(approx))) > 1000 && cv::isContourConvex(cv::Mat(approx))) {
                    double maxCosine = 0;

                    for( int j = 2; j < 5; j++ )
                    {
                        double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                        maxCosine = MAX(maxCosine, cosine);
                    }

                    if( maxCosine < 0.3 ) {
                        squares.push_back(approx);
                    }
                }
            }
        }
    }
    return squares;
}

編集17/08/2012：

検出された正方形を画像上に描画するには、次のコードを使用します。

cv::Mat debugSquares( std::vector<std::vector<cv::Point> > squares, cv::Mat image )
{
    for ( int i = 0; i< squares.size(); i++ ) {
        // draw contour
        cv::drawContours(image, squares, i, cv::Scalar(255,0,0), 1, 8, std::vector<cv::Vec4i>(), 0, cv::Point());

        // draw bounding rect
        cv::Rect rect = boundingRect(cv::Mat(squares[i]));
        cv::rectangle(image, rect.tl(), rect.br(), cv::Scalar(0,255,0), 2, 8, 0);

        // draw rotated rect
        cv::RotatedRect minRect = minAreaRect(cv::Mat(squares[i]));
        cv::Point2f rect_points[4];
        minRect.points( rect_points );
        for ( int j = 0; j < 4; j++ ) {
            cv::line( image, rect_points[j], rect_points[(j+1)%4], cv::Scalar(0,0,255), 1, 8 ); // blue
        }
    }

    return image;
}

これはStackoverflowで繰り返し発生する問題であり、関連する実装を見つけることができなかったので、チャレンジを受け入れることにしました。

OpenCVにある四角形のデモにいくつかの変更を加えました。以下の結果のC ++コードは、画像内の用紙を検出できます。

void find_squares(Mat& image, vector<vector<Point> >& squares)
{
    // blur will enhance edge detection
    Mat blurred(image);
    medianBlur(image, blurred, 9);

    Mat gray0(blurred.size(), CV_8U), gray;
    vector<vector<Point> > contours;

    // find squares in every color plane of the image
    for (int c = 0; c < 3; c++)
    {
        int ch[] = {c, 0};
        mixChannels(&blurred, 1, &gray0, 1, ch, 1);

        // try several threshold levels
        const int threshold_level = 2;
        for (int l = 0; l < threshold_level; l++)
        {
            // Use Canny instead of zero threshold level!
            // Canny helps to catch squares with gradient shading
            if (l == 0)
            {
                Canny(gray0, gray, 10, 20, 3); // 

                // Dilate helps to remove potential holes between edge segments
                dilate(gray, gray, Mat(), Point(-1,-1));
            }
            else
            {
                    gray = gray0 >= (l+1) * 255 / threshold_level;
            }

            // Find contours and store them in a list
            findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);

            // Test contours
            vector<Point> approx;
            for (size_t i = 0; i < contours.size(); i++)
            {
                    // approximate contour with accuracy proportional
                    // to the contour perimeter
                    approxPolyDP(Mat(contours[i]), approx, arcLength(Mat(contours[i]), true)*0.02, true);

                    // Note: absolute value of an area is used because
                    // area may be positive or negative - in accordance with the
                    // contour orientation
                    if (approx.size() == 4 &&
                            fabs(contourArea(Mat(approx))) > 1000 &&
                            isContourConvex(Mat(approx)))
                    {
                            double maxCosine = 0;

                            for (int j = 2; j < 5; j++)
                            {
                                    double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                                    maxCosine = MAX(maxCosine, cosine);
                            }

                            if (maxCosine < 0.3)
                                    squares.push_back(approx);
                    }
            }
        }
    }
}

この手順が実行された後、用紙はで最大の正方形になりvector<vector<Point> >ます。

最大の正方形を見つける関数を書かせてください。;）

指定されていない他の要件がない限り、カラー画像をグレースケールに変換し、それだけで作業します（3つのチャネルで作業する必要はなく、現在のコントラストはすでに高すぎます）。また、サイズ変更に関して特定の問題がない限り、画像のサイズを縮小したバージョンで作業します。これは、画像が比較的大きく、サイズが解決される問題に何も追加しないためです。次に、最後に、メディアンフィルター、いくつかの基本的な形態学的ツール、および統計（ほとんどの場合、既に行われている大津しきい値処理）を使用して、問題が解決されます。

これが私があなたのサンプル画像と私が周りで見つけた紙のシートでいくつかの他の画像で得たものです：

中央値フィルターは、グレースケールになった画像から細部を削除するために使用されます。おそらく白っぽい紙の内側の細い線が削除される可能性があります。これは、廃棄しやすい小さな接続コンポーネントで終了するためです。中央値の後に、形態勾配を適用します（単にdilation-erosion）、結果を大津で2値化します。形態勾配は、強いエッジを維持するための良い方法です。より多く使用する必要があります。次に、この勾配により輪郭の幅が増加するため、モルフォロジカルシンニングを適用します。これで、小さなコンポーネントを破棄できます。

この時点で、上の図（青いポリゴンを描く前）の画像は次のようになっています。左のコンポーネントは、紙を説明するコンポーネントだけなので、表示されていません。

例を考えると、今残っている唯一の問題は、長方形のように見えるコンポーネントとそうでないコンポーネントを区別することです。これは、形状を含む凸包の面積とバウンディングボックスの面積の比率を決定することです。これらの例では比率0.7が適切に機能します。紙の内側にあるコンポーネントも破棄する必要がある場合もありますが、これらの例ではこの方法を使用しないでください（ただし、OpenCVから直接実行できるため、この手順は非常に簡単です）。

参考までに、Mathematicaのサンプルコードは次のとおりです。

f = Import["http://thwartedglamour.files.wordpress.com/2010/06/my-coffee-table-1-sa.jpg"]
f = ImageResize[f, ImageDimensions[f][[1]]/4]
g = MedianFilter[ColorConvert[f, "Grayscale"], 2]
h = DeleteSmallComponents[Thinning[
     Binarize[ImageSubtract[Dilation[g, 1], Erosion[g, 1]]]]]
convexvert = ComponentMeasurements[SelectComponents[
     h, {"ConvexArea", "BoundingBoxArea"}, #1 / #2 > 0.7 &], 
     "ConvexVertices"][[All, 2]]
(* To visualize the blue polygons above: *)
Show[f, Graphics[{EdgeForm[{Blue, Thick}], RGBColor[0, 0, 1, 0.5], 
     Polygon @@ convexvert}]]

紙の長方形があまり明確に定義されていないさまざまな状況がある場合、またはアプローチがそれを他の形状と混同している場合-これらの状況はさまざまな理由で発生する可能性がありますが、一般的な原因は画像取得の不良です-次に、論文「ウィンドウ化ハフ変換に基づく長方形検出」で説明されている作業を伴う処理ステップ。

さて、私は遅れています。

画像では、用紙はwhite、背景はcoloredです。したがって、紙がのSaturation(饱和度)チャネルであることを検出する方が良いでしょうHSV color space。まずwiki HSL_and_HSVを参照してください。次に、私の答えからほとんどのアイデアをこれにコピーします画像の色付きセグメントの検出に。

主な手順：

1. に読む BGR
2. 画像を変換 bgrからhsvスペースに
3. Sチャネルのしきい値
4. 次に、最大の外形を見つけます（またはを実行CannyするかHoughLines、必要findContoursに応じてを選択します）。

これは私の結果です：

Pythonコード（Python 3.5 + OpenCV 3.3）：

#!/usr/bin/python3
# 2017.12.20 10:47:28 CST
# 2017.12.20 11:29:30 CST

import cv2
import numpy as np

##(1) read into  bgr-space
img = cv2.imread("test2.jpg")

##(2) convert to hsv-space, then split the channels
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
h,s,v = cv2.split(hsv)

##(3) threshold the S channel using adaptive method(`THRESH_OTSU`) or fixed thresh
th, threshed = cv2.threshold(s, 50, 255, cv2.THRESH_BINARY_INV)

##(4) find all the external contours on the threshed S
#_, cnts, _ = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]

canvas  = img.copy()
#cv2.drawContours(canvas, cnts, -1, (0,255,0), 1)

## sort and choose the largest contour
cnts = sorted(cnts, key = cv2.contourArea)
cnt = cnts[-1]

## approx the contour, so the get the corner points
arclen = cv2.arcLength(cnt, True)
approx = cv2.approxPolyDP(cnt, 0.02* arclen, True)
cv2.drawContours(canvas, [cnt], -1, (255,0,0), 1, cv2.LINE_AA)
cv2.drawContours(canvas, [approx], -1, (0, 0, 255), 1, cv2.LINE_AA)

## Ok, you can see the result as tag(6)
cv2.imwrite("detected.png", canvas)

関連する回答：

1. OpenCVを使用して画像のカラーパッチを検出する方法
2. OpenCVを使用した色付きの背景でのエッジ検出
3. OpenCV C ++ / Obj-C：1枚の紙の検出/ Square検出
4. 異なるOpenCVバージョンで `cv2.findContours`を使用するには？

何が必要である四角形の代わりに回転した長方形の。 RotatedRect正しくない結果が得られます。また、透視投影が必要になります。

基本的に何をしなければならないかです：

• すべてのポリゴンセグメントをループして、ほぼ等しいポリゴンセグメントを接続します。
• それらを並べ替えて、最も大きい4つのラインセグメントができるようにします。
• それらの線を交差させれば、4つの最も可能性の高いコーナーポイントがあります。
• コーナーポイントから収集された遠近法と既知のオブジェクトのアスペクト比でマトリックスを変換します。

Quadrangle等高線から四角形への変換を処理するクラスを実装し、それを正しいパースペクティブに変換します。

ここで動作する実装を参照してください： 輪郭を歪めるJava OpenCV

ドキュメントのバウンディングボックスを検出したら、4点透視変換を実行して、画像の上から見下ろした鳥瞰図を取得できます。これにより、スキューが修正され、目的のオブジェクトのみが分離されます。

入力画像：

検出されたテキストオブジェクト

テキストドキュメントのトップダウンビュー

コード

from imutils.perspective import four_point_transform
import cv2
import numpy

# Load image, grayscale, Gaussian blur, Otsu's threshold
image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (7,7), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]

# Find contours and sort for largest contour
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)
displayCnt = None

for c in cnts:
    # Perform contour approximation
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    if len(approx) == 4:
        displayCnt = approx
        break

# Obtain birds' eye view of image
warped = four_point_transform(image, displayCnt.reshape(4, 2))

cv2.imshow("thresh", thresh)
cv2.imshow("warped", warped)
cv2.imshow("image", image)
cv2.waitKey()

紙を検出するのはちょっと古い学校です。スキューの検出に取り組みたい場合は、テキスト行の検出を直接目的とした方がよいでしょう。これで、極値が左、右、上、下になります。不要な場合は画像内のグラフィックを破棄し、テキストラインセグメントに関する統計を行って、最も発生している角度範囲または角度を見つけます。これは、適切なスキュー角度に絞り込む方法です。次に、これらのパラメーターをスキュー角度と極値に設定して、画像をデスキューし、必要なものに画像を切り取ります。

現在の画像の要件については、CV_RETR_LISTの代わりにCV_RETR_EXTERNALを使用することをお勧めします。

エッジを検出する別の方法は、紙のエッジでランダムフォレスト分類器をトレーニングし、分類器を使用してエッジマップを取得することです。これははるかに堅牢な方法ですが、トレーニングと時間が必要です。

ランダムフォレストは、低コントラストのシナリオで機能します。たとえば、おおよそ白い背景のホワイトペーパーです。