Как заставить обученный классификатор естественного языка Watson НЕ выбирать класс?

При использовании прекрасной демонстрации на http://watson-on-classifier.mybluemix.net вы иногда получал ответ "Извините, я не понял вопроса. Попробуйте перефразировать". когда ваш вопрос не относится ни к одной из поддерживаемых тем.

Я не понимаю, как это сделать с помощью классификатора естественного языка Watson: мне кажется, что какой бы ни была запись, она выбирает один из классов, для которых она была обучена... Как вы добиваетесь отклонения некоторых записей как "не соответствует любому из классов с достаточной уверенностью" ?

Спасибо за вашу помощь.


ibm-watson nl-classifier
person Sebastien Brunot    schedule 10.05.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Грубо говоря, то, что NLC делает за кулисами (я думаю), заключается в том, чтобы попытаться сопоставить одно утверждение с другим на основе понятий, извлеченных из входного текста и рассчитанных с использованием некоторой онтологии, чтобы он мог найти синонимы или понятия, которые являются «своего рода» или «часть» других понятий.

Итак, чтобы получить отказ, я вижу 3 возможных пути

  • запись не имеет корреляции ни с одним из данных, используемых в классификаторе, потому что понятия слишком далеки от понятий обучающих данных в онтологии
  • запись имеет одинаковую корреляцию более чем с одной категорией, поэтому система не может определить, принадлежит ли она к той или иной категории
  • запись имеет корреляцию с одной категорией, но уровень достоверности слишком низкий, поэтому она не удовлетворяет некоторому порогу, определенному системой
person Leo    schedule 10.05.2016
comment
У кого-нибудь действительно был отказ? Кажется, у меня никогда не бывает отбраковки с моими данными... Более того, если я тренирую НЖК с одним классом, кажется, что любая классификация приводит к этому единственному классу с достоверностью 1... Существует ли минимальное количество классов использовать, чтобы начать получать низкий уровень достоверности для записей, не связанных с классами? - person Sebastien Brunot; 11.05.2016
comment
вы абсолютно правы @SebastienBrunot, мне кажется, что watson-on-classifier.mybluemix.net не использует NLC API. Однако он, вероятно, использует Watson Dialog API или R&R API, которые являются частью набора технологий Watson Natural Language. - person Leo; 12.05.2016

arrow_upward
0
arrow_downward

NLC всегда будет возвращать ответы в порядке достоверности. Система настроена таким образом, что если намерения опускаются ниже определенного уровня достоверности, ответ не возвращается.

Это определяется лицом, составившим заявку.

person Simon O'Doherty    schedule 11.05.2016