OpenCVでテーブルゲームカードの画像からアートワークを抽出する

10

私はpythonで小さなスクリプトを書いて、アートワークのみを表すトランプの部分を抽出またはトリミングし、残りをすべて削除しようとしています。さまざまなしきい値処理方法を試しましたが、うまくいきませんでした。また、アートワークの位置は常に同じ位置またはサイズではなく、常にテキストと境界線のみの長方形の形であるので、アートワークの位置を手動で記録することはできません。

ここに画像の説明を入力してください

from matplotlib import pyplot as plt
import cv2

img = cv2.imread(filename)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

ret,binary = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU | cv2.THRESH_BINARY)

binary = cv2.bitwise_not(binary)
kernel = np.ones((15, 15), np.uint8)

closing = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)

plt.imshow(closing),plt.show()

現在の出力は私が得ることができる最も近いものです。私は正しい方法で、白い部分の周りに長方形を描くためにさらにラングリングを試すことができますが、それは持続可能な方法ではないと思います：

現在の出力

最後のメモとして、以下のカードを参照してください。すべてのフレームが正確に同じサイズまたは位置であるわけではありませんが、常にテキストと枠線のみのアートワークが存在します。厳密にカットする必要はありませんが、アートはカードの「領域」であり、テキストを含む他の領域に囲まれています。私の目標は、アートワークの領域をできるだけキャプチャすることです。

ここに画像の説明を入力してください

ここに画像の説明を入力してください

python  image  opencv  image-processing  computer-vision 
— ワロルツ
ソース
「ナルコメーバ」カードからはどんな出力を待っていますか？規則的な形状の境界もありません。さらに、ユーザーの支援なしに解決策があるとは思いません。
— Burak
できる最善の方法は、境界ポイントをクリックし、最も近い検出されたコーナーにそれらを一致させることによってそれらのポイントを強調し、ポイント間のエッジに基づいて形状を見つけることです。このアルゴリズムの適切な実装がほとんどの場合に達成できるかどうか、私はまだ疑います。エッジ検出しきい値を調整し、ポイント間の線の曲率（左クリック：直線、右クリック：湾曲、など）をリアルタイムでヒントにすると、成功の可能性が高まります。
— Burak
1
Narcomoebaカードにより良い例を追加しました。カードのアートワーク領域に興味があるのがわかると思いますが、100％正確である必要はありません。私の意見では、いわば、カードをさまざまな「地域」に分割できるようにするためのいくつかの変革が必要です。
— Waroulolz
最初に画像を2種類（おそらく4種類ですか？情報として提供され、画像は上部または右側に表示されます）にトリミングし、opencvを使用して画像にテキストがあるかどうかを確認できます。したがって、必要に応じてトリミング->フィルター->結果->エッジをカットする方が、opencvがより良い結果を出すのに簡単です。
— elprup

回答:

3

ハフライン変換を使用して、画像の線形部分を検出しました。すべての線の交差は、他の交差点を含まないすべての可能な長方形を作成するために使用されました。あなたが探しているカードの部分は常にそれらの長方形の中で最も大きいので（少なくともあなたが提供したサンプルでは）、私は勝者としてそれらの長方形の最大のものを選んだだけです。スクリプトはユーザーの操作なしで機能します。

import cv2
import numpy as np
from collections import defaultdict

def segment_by_angle_kmeans(lines, k=2, **kwargs):
    #Groups lines based on angle with k-means.
    #Uses k-means on the coordinates of the angle on the unit circle 
    #to segment `k` angles inside `lines`.

    # Define criteria = (type, max_iter, epsilon)
    default_criteria_type = cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER
    criteria = kwargs.get('criteria', (default_criteria_type, 10, 1.0))
    flags = kwargs.get('flags', cv2.KMEANS_RANDOM_CENTERS)
    attempts = kwargs.get('attempts', 10)

    # returns angles in [0, pi] in radians
    angles = np.array([line[0][1] for line in lines])
    # multiply the angles by two and find coordinates of that angle
    pts = np.array([[np.cos(2*angle), np.sin(2*angle)]
                    for angle in angles], dtype=np.float32)

    # run kmeans on the coords
    labels, centers = cv2.kmeans(pts, k, None, criteria, attempts, flags)[1:]
    labels = labels.reshape(-1)  # transpose to row vec

    # segment lines based on their kmeans label
    segmented = defaultdict(list)
    for i, line in zip(range(len(lines)), lines):
        segmented[labels[i]].append(line)
    segmented = list(segmented.values())
    return segmented

def intersection(line1, line2):
    #Finds the intersection of two lines given in Hesse normal form.
    #Returns closest integer pixel locations.
    #See https://stackoverflow.com/a/383527/5087436

    rho1, theta1 = line1[0]
    rho2, theta2 = line2[0]

    A = np.array([
        [np.cos(theta1), np.sin(theta1)],
        [np.cos(theta2), np.sin(theta2)]
    ])
    b = np.array([[rho1], [rho2]])
    x0, y0 = np.linalg.solve(A, b)
    x0, y0 = int(np.round(x0)), int(np.round(y0))
    return [[x0, y0]]


def segmented_intersections(lines):
    #Finds the intersections between groups of lines.

    intersections = []
    for i, group in enumerate(lines[:-1]):
        for next_group in lines[i+1:]:
            for line1 in group:
                for line2 in next_group:
                    intersections.append(intersection(line1, line2)) 
    return intersections

def rect_from_crossings(crossings):
    #find all rectangles without other points inside
    rectangles = []

    # Search all possible rectangles
    for i in range(len(crossings)):
        x1= int(crossings[i][0][0])
        y1= int(crossings[i][0][1])

        for j in range(len(crossings)):
            x2= int(crossings[j][0][0])
            y2= int(crossings[j][0][1])

            #Search all points
            flag = 1
            for k in range(len(crossings)):
                x3= int(crossings[k][0][0])
                y3= int(crossings[k][0][1])

                #Dont count double (reverse rectangles)
                if (x1 > x2 or y1 > y2):
                    flag = 0
                #Dont count rectangles with points inside   
                elif ((((x3 >= x1) and (x2 >= x3))and (y3 > y1) and (y2 > y3) or ((x3 > x1) and (x2 > x3))and (y3 >= y1) and (y2 >= y3))):    
                    if(i!=k and j!=k):    
                        flag = 0

            if flag:
                rectangles.append([[x1,y1],[x2,y2]])

    return rectangles

if __name__ == '__main__':
    #img = cv2.imread('TAJFp.jpg')
    #img = cv2.imread('Bj2uu.jpg')
    img = cv2.imread('yi8db.png')

    width = int(img.shape[1])
    height = int(img.shape[0])

    scale = 380/width
    dim = (int(width*scale), int(height*scale))
    # resize image
    img = cv2.resize(img, dim, interpolation = cv2.INTER_AREA) 

    img2 = img.copy()
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    gray = cv2.GaussianBlur(gray,(5,5),cv2.BORDER_DEFAULT)

    # Parameters of Canny and Hough may have to be tweaked to work for as many cards as possible
    edges = cv2.Canny(gray,10,45,apertureSize = 7)
    lines = cv2.HoughLines(edges,1,np.pi/90,160)

    segmented = segment_by_angle_kmeans(lines)
    crossings = segmented_intersections(segmented)
    rectangles = rect_from_crossings(crossings)

    #Find biggest remaining rectangle
    size = 0
    for i in range(len(rectangles)):
        x1 = rectangles[i][0][0]
        x2 = rectangles[i][1][0]
        y1 = rectangles[i][0][1]
        y2 = rectangles[i][1][1]

        if(size < (abs(x1-x2)*abs(y1-y2))):
            size = abs(x1-x2)*abs(y1-y2)
            x1_rect = x1
            x2_rect = x2
            y1_rect = y1
            y2_rect = y2

    cv2.rectangle(img2, (x1_rect,y1_rect), (x2_rect,y2_rect), (0,0,255), 2)
    roi = img[y1_rect:y2_rect, x1_rect:x2_rect]

    cv2.imshow("Output",roi)
    cv2.imwrite("Output.png", roi)
    cv2.waitKey()

これらはあなたが提供したサンプルの結果です：

画像1

画像2

画像3

線の交差を見つけるためのコードはここにあります：houghlines opencvを使用して描かれた2つの線の交点を見つけます

ハフラインの詳細については、こちらをご覧ください。

— マーティン
ソース
2
ハードワークをありがとう。あなたの答えは私が探していたものです。ハフラインがここで大きな役割を果たすことは知っていました。何度か試してみましたが、解決策に近づくことができませんでした。あなたがコメントしたように、アプローチを一般化するためにパラメーターにいくつかの微調整を行う必要がありますが、ロジックは素晴らしく強力です。
— Waroulolz
1
これはこの種の問題に対する優れた解決策であり、ユーザー入力は不要だと思います。ブラボー!!
— Meto
@Meto-ここで行われた作業に感謝しますが、ユーザー入力なしの部分には同意しません。実行時に入力するか、結果を調べてからしきい値を変更するかは、単なるエイリアスです。
— Burak
1
@Burak-同じ設定で提供されたすべてのサンプルを実行できたため、他のほとんどのカードも同様に機能すると想定しています。したがって、しきい値の設定は一度だけ行う必要があります。
— M.マーティン
0

カードには、x軸とy軸に沿った直線の境界があることがわかっています。これを使用して、画像の一部を抽出できます。次のコードは、画像内の水平線と垂直線の検出を実装しています。

import cv2
import numpy as np

def mouse_callback(event, x, y, flags, params):
    global num_click
    if num_click < 2 and event == cv2.EVENT_LBUTTONDOWN:
        num_click = num_click + 1
        print(num_click)
        global upper_bound, lower_bound, left_bound, right_bound
        upper_bound.append(max(i for i in hor if i < y) + 1)
        lower_bound.append(min(i for i in hor if i > y) - 1)
        left_bound.append(max(i for i in ver if i < x) + 1)
        right_bound.append(min(i for i in ver if i > x) - 1)

filename = 'image.png'
thr = 100  # edge detection threshold
lined = 50  # number of consequtive True pixels required an axis to be counted as line
num_click = 0  # select only twice
upper_bound, lower_bound, left_bound, right_bound = [], [], [], []
winname = 'img'

cv2.namedWindow(winname)
cv2.setMouseCallback(winname, mouse_callback)

img = cv2.imread(filename, 1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
bw = cv2.Canny(gray, thr, 3*thr)

height, width, _ = img.shape

# find horizontal lines
hor = []
for i in range (0, height-1):
    count = 0
    for j in range (0, width-1):
        if bw[i,j]:
            count = count + 1
        else:
            count = 0
        if count >= lined:
            hor.append(i)
            break

# find vertical lines
ver = []
for j in range (0, width-1):
    count = 0
    for i in range (0, height-1):
        if bw[i,j]:
            count = count + 1
        else:
            count = 0
        if count >= lined:
            ver.append(j)
            break

# draw lines
disp_img = np.copy(img)
for i in hor:
    cv2.line(disp_img, (0, i), (width-1, i), (0,0,255), 1)
for i in ver:
    cv2.line(disp_img, (i, 0), (i, height-1), (0,0,255), 1)

while num_click < 2:
    cv2.imshow(winname, disp_img)
    cv2.waitKey(10)
disp_img = img[min(upper_bound):max(lower_bound), min(left_bound):max(right_bound)]
cv2.imshow(winname, disp_img)
cv2.waitKey()   # Press any key to exit
cv2.destroyAllWindows()

含めるには、2つの領域をクリックするだけです。サンプルのクリック領域と対応する結果は次のとおりです。

線 result_of_lines

他の画像からの結果：

結果_2 result_3

— ブラク
ソース
0

各カードの色、寸法、位置、テクスチャーの動的な性質により、従来の画像処理技術を使用してアートワークのROIを自動的にトリミングすることはできないと思います。自動的に実行したい場合は、機械/ディープラーニングを調べて、独自の分類子をトレーニングする必要があります。代わりに、画像から静的ROIを選択して切り取るための手動のアプローチを以下に示します。

cv2.setMouseCallback()イベントハンドラーを使用して、マウスがクリックされたか離されたかどうかを検出するのが目的です。この実装では、マウスの左ボタンを押したままドラッグして目的のROIを選択することで、アートワークROIを抽出できます。目的のROIを選択したら、を押しcてROI を切り取り、保存します。ROIはマウスの右ボタンを使用してリセットできます。

保存されたアートワークのROI

コード

import cv2

class ExtractArtworkROI(object):
    def __init__(self):
        # Load image
        self.original_image = cv2.imread('1.png')
        self.clone = self.original_image.copy()
        cv2.namedWindow('image')
        cv2.setMouseCallback('image', self.extractROI)
        self.selected_ROI = False

        # ROI bounding box reference points
        self.image_coordinates = []

    def extractROI(self, event, x, y, flags, parameters):
        # Record starting (x,y) coordinates on left mouse button click
        if event == cv2.EVENT_LBUTTONDOWN:
            self.image_coordinates = [(x,y)]

        # Record ending (x,y) coordintes on left mouse button release
        elif event == cv2.EVENT_LBUTTONUP:
            # Remove old bounding box
            if self.selected_ROI:
                self.clone = self.original_image.copy()

            # Draw rectangle 
            self.selected_ROI = True
            self.image_coordinates.append((x,y))
            cv2.rectangle(self.clone, self.image_coordinates[0], self.image_coordinates[1], (36,255,12), 2)

            print('top left: {}, bottom right: {}'.format(self.image_coordinates[0], self.image_coordinates[1]))
            print('x,y,w,h : ({}, {}, {}, {})'.format(self.image_coordinates[0][0], self.image_coordinates[0][1], self.image_coordinates[1][0] - self.image_coordinates[0][0], self.image_coordinates[1][1] - self.image_coordinates[0][1]))

        # Clear drawing boxes on right mouse button click
        elif event == cv2.EVENT_RBUTTONDOWN:
            self.selected_ROI = False
            self.clone = self.original_image.copy()

    def show_image(self):
        return self.clone

    def crop_ROI(self):
        if self.selected_ROI:
            x1 = self.image_coordinates[0][0]
            y1 = self.image_coordinates[0][1]
            x2 = self.image_coordinates[1][0]
            y2 = self.image_coordinates[1][1]

            # Extract ROI
            self.cropped_image = self.original_image.copy()[y1:y2, x1:x2]

            # Display and save image
            cv2.imshow('Cropped Image', self.cropped_image)
            cv2.imwrite('ROI.png', self.cropped_image)
        else:
            print('Select ROI before cropping!')

if __name__ == '__main__':
    extractArtworkROI = ExtractArtworkROI()
    while True:
        cv2.imshow('image', extractArtworkROI.show_image())
        key = cv2.waitKey(1)

        # Close program with keyboard 'q'
        if key == ord('q'):
            cv2.destroyAllWindows()
            exit(1)

        # Crop ROI
        if key == ord('c'):
            extractArtworkROI.crop_ROI()
— ナタンシー
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.