Как да преобразувам стойностите на акумулатор [трансформация на Hough] обратно в линия върху платно?

Опитвам се да открия линиите в изображение с помощта на трансформацията на Hough. Затова първо създавам акумулатора така:

from math import hypot, pi, cos, sin
from PIL import Image
import numpy as np
import cv2 as cv
import math

def hough(img):

    thetaAxisSize = 460 #Width of the hough space image
    rAxisSize = 360 #Height of the hough space image
    rAxisSize= int(rAxisSize/2)*2 #we make sure that this number is even

    img = im.load()
    w, h = im.size

    houghed_img = Image.new("L", (thetaAxisSize, rAxisSize), 0) #legt Bildgroesse fest
    pixel_houghed_img = houghed_img.load()

    max_radius = hypot(w, h)
    d_theta = pi / thetaAxisSize
    d_rho = max_radius / (rAxisSize/2) 


    #Accumulator
    for x in range(0, w):
        for y in range(0, h):

            treshold = 255
            col = img[x, y]
            if col >= treshold: #determines for each pixel at (x,y) if there is enough evidence of a straight line at that pixel.

                for vx in range(0, thetaAxisSize):
                    theta = d_theta * vx #angle between the x axis and the line connecting the origin with that closest point.
                    rho = x*cos(theta) + y*sin(theta) #distance from the origin to the closest point on the straight line
                    vy = rAxisSize/2 + int(rho/d_rho+0.5) #Berechne Y-Werte im hough space image
                    pixel_houghed_img[vx, vy] += 1 #voting

    return houghed_imgcode here

И след това извикайте функцията по следния начин:

im = Image.open("img3.pgm").convert("L")
houghed_img = hough(im)
houghed_img.save("ho.bmp")
houghed_img.show()

Резултатът изглежда добър:

Акумулатор

Така че тук идва проблемът. Знам, че искам да намеря първите 3 най-високи стойности в пространството на hough и да го трансформирам обратно в 3 реда. Най-високите стойности трябва да са най-силните линии.

Затова първо търся най-високите стойности в пикселния масив и вземам X и Y стойностите на максимумите, които намерих. Доколкото разбирам, тези X и Y стойности са моите ро и тета. Намирам максимумите така:

def find_maxima(houghed_img):

    w, h = houghed_img.size
    max_radius = hypot(w, h)
    pixel_houghed_img = houghed_img.load()
    max1, max2, max3 = 0, 0, 0
    x1position, x2position, x3position = 0, 0, 0
    y1position, y2position, y3position = 0, 0, 0
    rho1, rho2, rho3 = 0, 0, 0
    theta1, theta2, theta3 = 0, 0, 0

    for x in range(1, w):
        for y in range(1, h):
            value = pixel_houghed_img[x, y]

            if(value > max1):

                max1 = value
                x1position = x
                y1position = y
                rho1 = x
                theta1 = y

            elif(value > max2):

                max2 = value
                x2position = x
                x3position = y
                rho2 = x
                theta2 = y

            elif(value > max3):

                max3 = value
                x3position = x
                y3position = y
                rho3 = x
                theta3 = y

    print('max', max1, max2, max3)
    print('rho', rho1, rho2, rho3)
    print('theta', theta1, theta2, theta3)

    # Results of the print:
    # ('max', 255, 255, 255)
    # ('rho', 1, 1, 1)
    # ('theta', 183, 184, 186)
    return rho1, theta1, rho2, theta2, rho3, theta3    

И сега искам да използвам тези ро и тета стойности, за да начертая откритите линии. Правя това със следния код:

img_copy = np.ones(im.size)

rho1, theta1, rho2, theta2, rho3, theta3 = find_maxima(houghed_img)

a1 = math.cos(theta1)
b1 = math.sin(theta1)
x01 = a1 * rho1
y01 = b1 * rho1
pt11 = (int(x01 + 1000*(-b1)), int(y01 + 1000*(a1)))
pt21 = (int(x01 - 1000*(-b1)), int(y01 - 1000*(a1)))
cv.line(img_copy, pt11, pt21, (0,0,255), 3, cv.LINE_AA)

a2 = math.cos(theta2)
b2 = math.sin(theta2)
x02 = a2 * rho2
y02 = b2 * rho2
pt12 = (int(x02 + 1000*(-b2)), int(y02 + 1000*(a2)))
pt22 = (int(x02 - 1000*(-b2)), int(y02 - 1000*(a2)))
cv.line(img_copy, pt12, pt22, (0,0,255), 3, cv.LINE_AA)

a3 = math.cos(theta3)
b3 = math.sin(theta3)
x03 = a3 * rho3
y03 = b3 * rho3
pt13 = (int(x03 + 1000*(-b3)), int(y03 + 1000*(a3)))
pt23 = (int(x03 - 1000*(-b3)), int(y03 - 1000*(a3)))
cv.line(img_copy, pt13, pt23, (0,0,255), 3, cv.LINE_AA)

cv.imshow('lines', img_copy)
cv.waitKey(0)
cv.destroyAllWindows()

Резултатът обаче изглежда грешен:

въведете описание на изображението тук

Така че моето предположение е, че или правя нещо нередно, когато декларирам стойностите rho и theta във функцията find_maxima(), което означава, че нещо не е наред с това:

   max1 = value
   x1position = x
   y1position = y
   rho1 = x
   theta1 = y

ИЛИ че правя нещо нередно, когато превеждам стойността rho и theta обратно в ред.

Ще бъда много благодарен, ако някой може да ми помогне с това!

Редактиране1: Като заявка, моля, намерете оригиналното изображение, където искам да намеря редовете отдолу:

въведете описание на изображението тук

Edit2: Благодарение на приноса на @Alessandro Jacopson и @Cris Luegno успях да направя някои промени, които определено ми дават известна надежда!

В моя def hough (img): задавах прага на 255, което означава, че гласувах само за бели пиксели, което е грешно, тъй като искам да гледам черните пиксели, тъй като тези пиксели ще показват линии, а не белия фон на моя образ. Така че изчислението на акумулатора в def hough(img): сега изглежда така:

#Accumulator
    for x in range(0, w):
        for y in range(0, h):

            treshold = 0
            col = img[x, y]
            if col <= treshold: #determines for each pixel at (x,y) if there is enough evidence of a straight line at that pixel.

                for vx in range(0, thetaAxisSize):
                    theta = d_theta * vx #angle between the x axis and the line connecting the origin with that closest point.
                    rho = x*cos(theta) + y*sin(theta) #distance from the origin to the closest point on the straight line
                    vy = rAxisSize/2 + int(rho/d_rho+0.5) #Berechne Y-Werte im hough space image
                    pixel_houghed_img[vx, vy] += 1 #voting

    return houghed_img

Това води до следния акумулатор и следните стойности rho и thea, когато използвате функцията find_maxima():

въведете описание на изображението тук

# Results of the prints: (now top 8 instead of top 3)
# ('max', 155, 144, 142, 119, 119, 104, 103, 98)
# ('rho', 120, 264, 157, 121, 119, 198, 197, 197)
# ('theta', 416, 31, 458, 414, 417, 288, 291, 292)

Линиите, които мога да начертая от тези стойности, изглеждат така:

въведете описание на изображението тук

Така че тези резултати са много по-добри, но нещо изглежда все още не е наред. Имам силно подозрение, че все пак нещо не е наред тук:

for x in range(1, w):
    for y in range(1, h):
        value = pixel_houghed_img[x, y]

        if(value > max1):

            max1 = value
            x1position = x
            y1position = y
            rho1 = value
            theta1 = x

Тук задавам rho и theta равни на [0...w] съответно [0...h]. Мисля, че това е погрешно, тъй като в пространството на Hough стойностите на X и защо Y не са 0, 1,2,3... тъй като ние сме в друго пространство. Така че предполагам, че трябва да умножа X и Y с нещо, за да ги върна обратно в пространството. Но това е само предположение, може би вие, момчета, можете да измислите нещо друго?

Отново благодаря много на Алесандро и Крис, че ми помогнаха тук!

Edit3: Работен код, благодарение на @Cris Luengo

from math import hypot, pi, cos, sin
from PIL import Image
import numpy as np
import cv2 as cv
import math

def hough(img):

    img = im.load()
    w, h = im.size

    thetaAxisSize = w #Width of the hough space image
    rAxisSize = h #Height of the hough space image
    rAxisSize= int(rAxisSize/2)*2 #we make sure that this number is even

    houghed_img = Image.new("L", (thetaAxisSize, rAxisSize), 0) #legt Bildgroesse fest
    pixel_houghed_img = houghed_img.load()

    max_radius = hypot(w, h)
    d_theta = pi / thetaAxisSize
    d_rho = max_radius / (rAxisSize/2) 

    #Accumulator
    for x in range(0, w):
        for y in range(0, h):

            treshold = 0
            col = img[x, y]
            if col <= treshold: #determines for each pixel at (x,y) if there is enough evidence of a straight line at that pixel.

                for vx in range(0, thetaAxisSize):
                    theta = d_theta * vx #angle between the x axis and the line connecting the origin with that closest point.
                    rho = x*cos(theta) + y*sin(theta) #distance from the origin to the closest point on the straight line
                    vy = rAxisSize/2 + int(rho/d_rho+0.5) #Berechne Y-Werte im hough space image
                    pixel_houghed_img[vx, vy] += 1 #voting

    return houghed_img, rAxisSize, d_rho, d_theta

def find_maxima(houghed_img, rAxisSize, d_rho, d_theta):

    w, h = houghed_img.size
    pixel_houghed_img = houghed_img.load()
    maxNumbers = 9
    ignoreRadius = 10
    maxima = [0] * maxNumbers
    rhos = [0] * maxNumbers
    thetas = [0] * maxNumbers

    for u in range(0, maxNumbers):

        print('u:', u)
        value = 0 
        xposition = 0
        yposition = 0

        #find maxima in the image
        for x in range(0, w):
            for y in range(0, h):

                if(pixel_houghed_img[x,y] > value):

                    value = pixel_houghed_img[x, y]
                    xposition = x
                    yposition = y

        #Save Maxima, rhos and thetas
        maxima[u] = value
        rhos[u] = (yposition - rAxisSize/2) * d_rho
        thetas[u] = xposition * d_theta

        pixel_houghed_img[xposition, yposition] = 0

        #Delete the values around the found maxima
        radius = ignoreRadius

        for vx2 in range (-radius, radius): #checks the values around the center
            for vy2 in range (-radius, radius): #checks the values around the center
                x2 = xposition + vx2 #sets the spectated position on the shifted value 
                y2 = yposition + vy2

                if not(x2 < 0 or x2 >= w):
                    if not(y2 < 0 or y2 >= h):

                        pixel_houghed_img[x2, y2] = 0
                        print(pixel_houghed_img[x2, y2])

    print('max', maxima)
    print('rho', rhos)
    print('theta', thetas)

    return maxima, rhos, thetas

im = Image.open("img5.pgm").convert("L")
houghed_img, rAxisSize, d_rho, d_theta = hough(im)
houghed_img.save("houghspace.bmp")
houghed_img.show()

img_copy = np.ones(im.size)

maxima, rhos, thetas = find_maxima(houghed_img, rAxisSize, d_rho, d_theta)

for t in range(0, len(maxima)):
    a = math.cos(thetas[t])
    b = math.sin(thetas[t])
    x = a * rhos[t]
    y = b * rhos[t]
    pt1 = (int(x + 1000*(-b)), int(y + 1000*(a)))
    pt2 = (int(x - 1000*(-b)), int(y - 1000*(a)))
    cv.line(img_copy, pt1, pt2, (0,0,255), 3, cv.LINE_AA)

cv.imshow('lines', img_copy)
cv.waitKey(0)
cv.destroyAllWindows()

Оригинално изображение:

въведете описание на изображението тук

Акумулатор:

въведете описание на изображението тук

Успешно откриване на линия:

въведете описание на изображението тук


person Leonard Michalas    schedule 24.06.2018    source източник
comment
Вашите 3 максимума със стойност 255 са подозрителни. Вашият акумулатор може би от тип uint8? Насищате ли акумулаторните контейнери?   -  person Cris Luengo    schedule 25.06.2018
comment
Хей Крис, знаех си, че мога да разчитам на теб отново! Благодаря ти много! Вие ме накарахте да се замисля с вашия вход и мисля, че открих грешката в моя код по отношение на 255 стойности. Все пак нещо не е наред... Моля, вижте актуализирания ми въпрос.   -  person Leonard Michalas    schedule 25.06.2018


Отговори (2)


Тази част от кода ви не изглежда правилна:

max1 = value
x1position = x
y1position = y
rho1 = value
theta1 = x

Ако x и y са двете координати в пространството на параметрите, те ще съответстват на rho и theta. Задаването на rho равно на стойността няма смисъл. Също така не знам защо съхранявате x1position и y1position, след като не използвате тези променливи.

След това трябва да трансформирате тези координати обратно към действителните стойности на rho и theta, като обърнете трансформацията, която правите, когато пишете:

theta = d_theta * vx #angle between the x axis and the line connecting the origin with that closest point.
rho = x*cos(theta) + y*sin(theta) #distance from the origin to the closest point on the straight line
vy = rAxisSize/2 + int(rho/d_rho+0.5) #Berechne Y-Werte im hough space image

Обратното би било:

rho = (y - rAxisSize/2) * d_rho
theta = x * d_theta
person Cris Luengo    schedule 26.06.2018
comment
Благодаря ти много Крис! Резултатът все още не е перфектен, но вече открива някои от линиите правилно! - person Leonard Michalas; 26.06.2018
comment
@Leonard: Да, за да подобрите търсенето си на максимуми, първо намерете една най-голяма стойност, зачеркнете част от пространството на Hough около нея, след това намерете следващата най-голяма стойност и т.н. По този начин предотвратявате множество попадения за един ред. - person Cris Luengo; 26.06.2018
comment
Много благодаря! Бяхте толкова голяма помощ за мен, наистина го оценявам. Сега работи перфектно! Добавих моя оптимизиран и работещ код в края на моя въпрос за вашия интерес и може би за бъдещите поколения, които се интересуват от извършване на груба трансформация. - person Leonard Michalas; 26.06.2018

Първо, следвайки Как да създадете минимален, пълен и проверим пример, трябва да публикувате или да дадете връзка към вашето изображение img3.pgm, ако е възможно.

Тогава ти написа, че:

# Results of the print:
# ('max', 255, 255, 255)
# ('rho', 1, 1, 1)
# ('theta', 183, 184, 186)

така че rho е едно и също за трите реда, а theta не е толкова различно, варирайки между 183 и 186; така че трите линии са почти равни една на друга и този факт не зависи от метода, който използвате, за да получите уравнението на линията и да го нарисувате.

Според урока Hough Line Transform то струва ми се, че вашият метод за намиране на две точки на права е правилен. Това е, което урокът предлага и ми изглежда еквивалентен на вашия код:

lines = cv2.HoughLines(edges,1,np.pi/180,200)
for rho,theta in lines[0]:
    a = np.cos(theta)
    b = np.sin(theta)
    x0 = a*rho
    y0 = b*rho
    x1 = int(x0 + 1000*(-b))
    y1 = int(y0 + 1000*(a))
    x2 = int(x0 - 1000*(-b))
    y2 = int(y0 - 1000*(a))

    cv2.line(img,(x1,y1),(x2,y2),(0,0,255),2)

Подозирам, че алгоритъмът за намиране на пик може да не е правилен. Вашият алгоритъм за намиране на пик намира местоположението на най-големия пик и след това двете местоположения много близо до този максимум.

За по-лесно вижте какво се случва само в едно измерение, алгоритъмът за намиране на пик се очаква да намери три пикови местоположения при x=-1, x=0 и x=1 и пиковите стойности трябва да са близки до .25, .5 и 1.

въведете описание на изображението тук

import numpy as np
import matplotlib.pyplot as plt


x = np.linspace(-2, 2, 1000)
y = np.exp(-(x-1)**2/0.01)+.5*np.exp(-(x)**2/0.01)+.25*np.exp(-(x+1)**2/0.01)

max1, max2, max3 = 0, 0, 0
m1 = np.zeros(1000)
m2 = np.zeros(1000)
m3 = np.zeros(1000)
x1position, x2position, x3position = 0, 0, 0
for i in range(0,1000):
    value = y[i]

    if(value > max1):

        max1 = value
        x1position = x[i]

    elif(value > max2):

        max2 = value
        x2position = x[i]

    elif(value > max3):

        max3 = value
        x3position = x[i]

    m1[i] = max1
    m2[i] = max2
    m3[i] = max3



print('xposition',x1position, x2position, x3position )
print('max', max1, max2, max3)

plt.figure()
plt.subplot(4,1,1)
plt.plot(x, y)
plt.ylabel('$y$')
plt.subplot(4,1,2)
plt.plot(x, m1)
plt.ylabel('$max_1$')
plt.subplot(4,1,3)
plt.plot(x, m2)
plt.ylabel('$max_2$')
plt.subplot(4,1,4)
plt.plot(x, m3)
plt.xlabel('$x$')
plt.ylabel('$max_3$')
plt.show()

изходът е

('xposition', 0.99899899899899891, 1.0030030030030028, 1.0070070070070072)
('max', 0.99989980471948192, 0.99909860379824966, 0.99510221871862647)

и не е очакваното.

Тук имате визуална следа на програмата:въведете описание на изображението тук

За да откриете множество пикове в 2D поле, трябва да погледнете например това Откриване на пикове в 2D масив

person Alessandro Jacopson    schedule 24.06.2018