Рассчитать полярность Sentiwordnet

Я пытаюсь вычислить, чтобы сравнить оценку (по шкале от 1 до 5) из обзора с оценкой, извлеченной из анализа тональности текстового обзора. Я использую sentiwordnet, мне удалось получить положительные, отрицательные и объективные оценки, но я не могу перебрать оценки каждого слова в каждом предложении из 42 обзоров, чтобы рассчитать оценку.

Это мой код:

def preprocess_token(text): 

    lower_text=text.lower() 
    tokens = nltk.tokenize.word_tokenize(lower_text)
    return tokens

def penn_to_wn(tag):

    if tag.startswith('J'):
        return wn.ADJ
    elif tag.startswith('N'):
        return wn.NOUN
    elif tag.startswith('R'):
        return wn.ADV
    elif tag.startswith('V'):
        return wn.VERB
    return None

  lemmatizer = WordNetLemmatizer()

def get_sentiment(word,tag):
    
    wn_tag = penn_to_wn(tag)
    if wn_tag not in (wn.NOUN, wn.ADJ, wn.ADV):
        return []

    lemma = lemmatizer.lemmatize(word, pos=wn_tag)
    if not lemma:
        return []

    synsets = wn.synsets(word, pos=wn_tag)
    if not synsets:
        return []

    synset = synsets[0]
    swn_synset = swn.senti_synset(synset.name())

    return [swn_synset.pos_score(),swn_synset.neg_score(),swn_synset.obj_score()]


data["text_n"] = data['Text'].str.replace('[^\w\s]','')

data['tokens']=data['text_n'].apply(preprocess_token)


word_list=[]

for i in range(len(data['tokens'])):

    word_list.append([])

for i in range(len(data['tokens'])): 

    for word in data['tokens'][i]:

        if word[:].isalpha():

            word_list[i].append(word[:])



tagged_tokens=[]

for token in word_list:

    tagged_tokens.append(nltk.pos_tag(token))
    


senti_val=[]

for i in range(len(tagged_tokens)):

    t=tuple(get_sentiment(x,y) for x,y in tagged_tokens[i])

    values= [x for x in t if x]

    senti_val.append(values)

data['value']=senti_val

calc=[]
for i in range(len(senti_val)):
    r=senti_val[i][i][0] - senti_val[i][i][1]
    calc.append(r)
#This last chunk of code gives me error:
Traceback (most recent call last):

  File "C:\Users\----\OneDrive\python\reviews.py", line 158, in <module>
    r=senti_val[i][i][0] - senti_val[i][i][1]

IndexError: list index out of range

#I want to get the result of subtracting the negative score from the positive score for each word of each sentence and get it in a list.

любые рекомендации о том, что не так или что мне делать дальше, будут глубоко оценены.

заранее спасибо


person Learner5    schedule 02.01.2021    source источник
comment
Вы столкнулись с какими-либо ошибками? Потому что я думаю, что цикл for в порядке   -  person YukiShioriii    schedule 02.01.2021
comment
Извините, я не скопировал последнюю и самую важную часть. Я сейчас отредактировал. Спасибо   -  person Learner5    schedule 02.01.2021
comment
Можете ли вы добавить какие-либо ошибки, с которыми вы столкнулись? (полная трассировка)   -  person new QOpenGLWidget    schedule 02.01.2021


Ответы (1)


person    schedule
comment
Большое спасибо! - person Learner5; 02.01.2021