Обработката на естествен език (NLP) е област на изкуствения интелект, която дава на машините способността да четат, разбират и извличат значение от човешкия език. Самата концепция е завладяваща, но истинската стойност на тази технология се крие в случаите на използване. Просто казано, той представлява нов тип въоръжение в много индустрии, особено науката за данни и изкуствения интелект. Има редица дисциплини, които се фокусират върху взаимодействието между науката за данни и човешките езици. [Източници: 3]
НЛП може да помогне с много задачи и приложенията на място изглежда се увеличават ежедневно. Един от най-популярните методи за използване на обработка на естествен език е науката за данни и изкуственият интелект, както и анализът на данни. [Източници: 1, 3]
Този клон на компютърната лингвистика може да се използва например за разработване на чатботове и цифрови асистенти или за улесняване на ежедневната комуникация, включително чрез превод. Нямам представа колко теми можем да използваме, но съм сигурен, че вие го правите. Корпус от лингвистика е точка, в която клонът на приложната лингвистика е колекция от предположения и обобщения, които могат да бъдат направени от писмени данни и текстови данни (напр. анализ на данни). [Източници: 1]
Огромно количество текст може да бъде анализирано и редактирано с НЛП методи, при което корелациите също могат да бъдат намерени в текста. Аристо намери своите отговори от милиарди документи, използвайки изкуствен интелект, клон на компютърните науки (изкуствен интелект), който позволява на компютрите да извличат смисъл от неструктурирани текстове. Въпреки че все още сме далеч от машини, които могат да разбират и говорят човешки език, N LP се превърна във важна част от много от приложенията, които използваме всеки ден, включително чатботове, цифрови асистенти и дори човешка комуникация и превод. [Източници: 1, 7]
Възпроизвеждащ език — капацитетът за обработка на човешкия ум е бил историческа болезнена точка за изкуствения интелект, но е обект на ограниченията на НЛП като средство за възпроизвеждане на човешки език. [Източници: 7]
В много случаи езикът носи скрити значения, които подсказват как един обект се отнася към друг обект. На този фон трябва да закръглим нашето разбиране с някои други ясни — изчистени дефиниции, които могат да засилят способността ни да обясняваме НЛП и неговото значение на по-широка аудитория и организация. [Източници: 2, 7]
Обработката на естествен език (NLP) е клон на изкуствения интелект (AI), който се занимава с комуникацията. Това широко поле отговаря за решаването на проблеми, вариращи от разпознаване на реч и транскрипция до превод на текст между различни езици, извличане на единици (като хора и места) от текста и осигуряване на по-точно представяне на езика и неговото значение в реално време. Инженерите създават N-LP модели, за да научат компютрите да разбират и дори да копират начина, по който комуникираме. Как може компютърът да бъде програмиран да генерира и разбира език като човек и как да го разберем? [Източници: 0, 2]
Първоначално терминът се отнася до способността да се чете система, но сега се е превърнал в жаргонен термин за компютърната лингвистика. Подкатегориите включват създаване на ваша собствена комуникация и разбиране на други езици като език, разпознаване на реч и текст към език. [Източници: 0]
По този начин думите се обединяват като всяка друга форма на данни, но по много по-естествен начин, отколкото при други форми на обработка. [Източници: 0]
НЛП съчетава AI с компютърна лингвистика и компютърни науки, за да обработва човешкия естествен език и език. Първата задача на НЛП е да разбере естествените езици, които компютърът получава, и е възможно по-нататъшно развитие на машинното обучение. [Източници: 5]
Компютърът използва вграден статистически модел за извършване на процедури за разпознаване на реч, които преобразуват естествения език в езици за програмиране и след това в език за програмиране. [Източници: 5]
Обработката на естествен език (NLP) е процесът на комуникация с интелигентни системи, които използват естествен език като английския. Обработката на естествен език е необходима, ако искаме интелигентна система, като робот, да изпълнява инструкции вместо нас или да чува решения от диалог - базиран или клиничен. [Източници: 6]
Обработката на естествен език (NLP) е част от областта на изкуствения интелект, която позволява на компютрите да анализират и разбират човешкия език. Това включва използването на компютри с естествен език, използван от хората за извършване на полезни задачи като реч, разпознаване на реч и речева комуникация. Обработката на естествен език или процесът на разработване на софтуер, който генерира и разбира естествени езици, така че потребителите да водят естествен разговор между себе си и своите компютри, е формулиран, за да постави основите за разработването на интелигентни системи с човешки интелект. [Източници: 5, 6]
Обработката на естествен език (NLP) е клон на изкуствения интелект (AI), използван за опростяване на начина, по който работи светът. Обработката на естествен език (обикновено съкратено N LP) или естественият език като цяло е клонът на изкуствения интелект, който се занимава с естествените езици, използвани от хората, като език, разпознаване на реч и речева комуникация. [Източници: 4, 5]
Крайната цел на НЛП е да четем, разбираме и разбираме човешкия език по начин, който е ценен за нас. Например, може да се използва за проверка на граматическата коректност на даден текст, както и за разпознаване на реч и речева комуникация. [Източници: 4]
Естествените езици са езици, които предават идеи чрез използване на писмени елементи. Те очевидно включват езици като английски, древногръцки, китайски и дотраки, но не включват компютърни езици като Python или R. Древните езици, които използват изкуството като форма на изразяване, може да са някъде в сивата зона между това, което се счита за естествен език, и това, което не е, в конвенционалния смисъл. Всякакъв вид обработка като манипулиране, куриране или анализ на тези естествени езици се счита за НЛП.
НЛП обикновено включва приложения на компютърните науки и лингвистиката. Първата задача, на която научихме компютрите за НЛП, беше деконструирането на структурата на изречението на по-малки компоненти като съществителната фраза или глаголната фраза. Те са допълнително разделени, за да присвоят конкретно техния етикет за части от речта в контекста на изречението. Твърдото кодиране на тези правила в програма може да е твърде досадно, но изпълнимо до определено ниво на сложност. Обърнете се към тази статия, за да научите как да маркирате PoS с помощта на NLTK.
Компютърните езици следват строги правила и синтаксис. Естествените езици обаче са по-разнообразни и нетрадиционни. Ние знаем как да осмислим различните комбинации от думи, значения, акценти, игри на думи и стилове на говорене, като вземем предвид контекстуалното разбиране на част от текста. Това вероятно е едно от онези неща, които свързваме най-много с това да сме хора. Но компютрите не можеха. Въведете машинно обучение.
Съвременното НЛП се движи от обширни приложения на машинното обучение. Голяма част от последните постижения са активирани от техники за задълбочено обучение, които позволяват на компютрите да формират сложни мрежи от семантика чрез обучение върху вече съществуващи текстови данни. Точно както наблюдаваме как други използват определена дума по определен начин и след това я обработват в нашия мозък, за да извлекат нейната семантика, Deep Learning до известна степен симулира това преживяване в рамките на DL модела, за да научи вродените правила и конвенции на естествения език.
Представете си как обработвате думите в мозъка си. Думи с подобна семантика могат да бъдат представени от неврони, които са по-близо един до друг. Сега си представете 3D графика, като всяко измерение представлява аспект от значението на дадена дума. Те се агрегират във вектор, за да представят кумулативната семантика на думата. Един модел на машинно обучение би поставил подобни думи по-близо една до друга в рамките на примерното пространство, освен не върху графика само с три измерения, а правдоподобно много, много повече.
Приложенията на НЛП включват четене, писане, слушане и говорене на естествени езици с помощта на компютри. През 2015 г. DeepMind публикува „документ“, описващ как са научили ML модели да четат текстове и след това да отговарят на въпроси за разбиране въз основа на тези текстове. Области като анализ на настроенията и инженерни чатботове процъфтяват. Много големи фирми използват програми за анализ на настроенията в целия интернет, за да оценят обществените перспективи за компаниите, преди да инвестират в техните акции, докато чатботовете са проектирани да изглеждат все повече и повече като хора, за да автоматизират индустрията за обслужване на клиенти.
Предсказуемият анализ на текст е технология, която използваме редовно, когато пишем на нашите смартфони и използваме тези текстови предложения. Клавиатурите непрекъснато тренират нашето предишно поведение, т.е. как пишем, кои думи използваме най-често, кои кратки форми използваме, кои думи сме склонни да използваме заедно и т.н., и предвиждат нашия текст въз основа на вероятност. Всъщност компютрите вече са толкова добри в писането, че можем да ги използваме, за да напишем цяла публикация в блог! Следва статия, генерирана от AI от ai-writer.com относно „Обработка на естествен език“.
Източници:
[0]: «https://www.cio.com/article/3258837/what-is-natural-language-processing-the-business-benefits-of-nlp-explained.html»< br /> [1]: «https://www.regens.com/en/-/natural-language-processing-what-is-it-and-how-can-you-put-it-to-use- »
[2]: «https://enterprisersproject.com/article/2019/9/natural-language-processing-nlp-explained-plain-english»
[3]: «https:/ /towardsdatascience.com/your-guide-to-natural-language-processing-nlp-48ea2511f6e1»
[4]: «https://becominghuman.ai/a-simple-introduction-to-natural-language- обработка-ea66a1747b32»
[5]: «https://www.investopedia.com/terms/n/natural-language-processing-nlp.asp»
[6]: «https:// www.tutorialspoint.com/artificial_intelligence/artificial_intelligence_natural_language_processing.htm»
[7]: «https://www.pcmag.com/opinions/what-is-natural-language-processing-nlp»
Доста впечатляващо! Въпреки че все още не е там. Отделните изречения са предимно граматически точни и могат да бъдат разбрани от нас. Връзката между изреченията обаче трябва да се подобри. Писането не винаги преминава естествено от един абзац към следващия. AI изглежда само се опитва да дефинира какво е НЛП. Наистина се опитваше да разработи в някои случаи и да премине към различни области на NLP блог, но не беше много ясно какво означава. В сегашния си вид този конкретен модел трябва да се подобри в разбирането на контекста на писане на публикация в блог на по-високо ниво, като навлизане в повече подробности за приложенията на НЛП или как работи под капака, или може би дори представяне на блог генерирани от AI.
Текущите иновации включват използването на компютърно зрение във връзка с НЛП за симулиране на по-пълна форма на възприятие. Например, ако имаме изображение на котки в чаша, което се разпознава от компютърното зрение, и поискаме изображения с котки без чашата, AI може да върне изображения само на котки. Или ако искахме изображения на котки минус чашата, плюс кутии, AI може да върне изображения на котки вътре в кутии вместо чаши, всичко това без тези снимки да бъдат маркирани ръчно. Този документ от 2015 г. разработва това приложение.
НЛП също се използва за дешифриране на големи биологични данни. Тъй като генното секвениране става все по-достъпно, учените произвеждат хиляди терабайти данни. От предсказване на генни функции до протеинови структури и функции и от предсказване на ефикасността на лекарствата за всеки отделен пациент въз основа на техния генотип до откриване на потенциални съединения за разработване на лекарства, НЛП е инструмент, най-малкото.
Крайната цел на НЛП е да симулира човешко възприятие, било то чрез комбиниране на компютърно зрение, или разпознаване на реч, или всяка друга умна комбинация и пермутация. С появата на ML и увеличаването на изчислителната мощност чрез паралелни изчисления, това беше вълнуващо време за NLP.
Изобретяването на езика вероятно е едно от най-важните изобретения на човечеството, според историка Ювал Ноа Харари. В книгата си Sapiens той говори за теорията за това как езикът би могъл да играе неразделна роля в борбата ни срещу други хора като Homo neanderthalensis. Да бъдеш в състояние да дадеш този инструмент на създадена от човека машина с всичките й тънкости със сигурност би било огромно усилие.
Бонус: Разгледайте «този» уебсайт за някои влажни мемове, генерирани от AI.
P.S. Ако искате повече кратки, конкретни статии за науката за данните и как един биолог се ориентира през революцията на данните, обмислете да следвате моя блог.
Благодаря ти!
Какво е обработка на естествен език?
