LangChain🦜🔗: Мощната рамка, революционизираща приложенията за езикови модели

Какво е LangChain?

LangChain е мощна рамка, предназначена да революционизира разработката на приложения, задвижвани от езикови модели. Езикови модели като ChatGPT и Llama са невероятно гъвкави и се отличават с широк спектър от задачи. Те обаче могат да се сблъскат с предизвикателства, когато става въпрос за предоставяне на точни отговори или за справяне със задачи, които изискват задълбочени познания или опит в областта. Тук на помощ идва LangChain.

Например — С помощта на LangChain,можем даобучим LLM като ChatGPTна персонализиран набор от данни от отзиви за ресторанти. Наборът от данни съдържа специфична информация за различни кухни, атмосфера и качество на обслужването.

Сега, когато зададете наChatGPTточен въпрос като „Кой ресторант предлага най-доброто суши в града?“, ChatGPT, след като е прецизно настроен на персонализирания ресторант преглед на набор от данни, може да предостави по-точен и конкретен отговор. Той може да се възползва от познанията си за набора от данни, за да препоръча ресторанта с най-високо оценено суши въз основа на клиентски отзиви.

Прочетете още: Официална документация

Да създадем малко приложение

В тази статия ще покажа ръководство стъпка по стъпка за създаване на четец на документи с помощта на LangChain и HuggingFace. Ще използвам Google Colab като платформа за създаване на приложението

1. Създайте нов бележник в Google Collab и инсталирайте всички необходими зависимости

Кликнете върху „Нов бележник“ или отидете на „Файл“ › „Нов бележник“, за да създадете нов бележник Colab и да инсталирате тези зависимостипо-долу.

2. Получаване на ключа за API на HuggingFace

Ако все още нямате акаунт в Hugging Face, ще трябва да създадете такъв. Можете да се регистрирате за акаунт на уебсайта Hugging Face.

След като влезете, отидете в секцията Профил, като щракнете върху иконата на вашия профил в горния десен ъгъл и изберете „Настройки“ от падащото меню.

След това отидете в раздела Access Tokens и създайте нов токен

След това създайте нова кодова клетка и добавете кода по-долу -

Заменете фиктивния низ с вашия API ключ и изпълнете кода.

3. Създаване на вграждания и векторно хранилище за отговаряне на въпроси

В много приложения на езиков модел (LLM) често възниква изискване за специфични за потребителя данни, които не са част от първоначалния набор от данни за обучение на модела. LangChain ви предоставя необходимите елементи за импортиране, трансформиране, съхраняване и ефикасно запитване към вашите персонализирани данни.

Процесът се състои от пет отделни етапа:

1. Зареждане на документ: Този етап отговаря за импортирането на данни под формата на документи.
2. Сегментиране на документ: Тук документът се подлага на сегментиране, разбивайки го на по-управляеми части.
3. Генериране на вграждане: В тази стъпка тези части се трансформират във векторни представяния, известни също като вграждания.
4. Векторен магазин: Този компонент служи като хранилище за съхраняване на гореспоменатите векторни части в специална векторна база данни.
5. Механизъм за извличане: Последният етап включва механизъм за извличане. Използва се за извличане на един или повече набора от вектори, които показват най-голямо сходство със заявка, като както заявката, така и съхранените вектори се намират в едно и също латентно пространство.

Сега нека започнем със зареждането на документа. Зареждам кратко резюме на Конституцията на Индия, генерирано от ChatGPT.

След зареждането на документа нека разделим по-дългите текстови документи на по-малки, незастъпващи се парчета от 1000 знака всеки

След сегментирането на документа нека инициализираме нашите вграждания. Ние използваме вграждания, предоставени от библиотеката Hugging Face Transformers.

Сега ще създадем векторно хранилище, използвайки Faiss. По принцип вашите текстови данни се трансформират във вектори с помощта на предоставените вграждания и Faiss се използва за ефективно индексиране и търсене в тези вектори.

Сега ще заредим Google flan-t5-xxl LLM от HuggingFace. Той е ценен инструмент за отговаряне на задачи поради неговия подход текст към текст, предварително обучен и голям размер на модела.

След това нека създадем верига с помощта на LangChain. Веригите ни позволяват да сглобим множество компоненти в едно сплотено приложение.

Ще създадем проста верига: тя започва със заявка, която след това се изпраща до LLM.

За контекст, по-долу е частта от резюмето, от която LLM отговори -

„Преамбюл: Преамбюлът на индийската конституция очертава идеалите и целите, които създателите на конституцията са имали за цел да постигнат. Той подчертава Индия като суверенна, социалистическа, светска и демократична република, която се стреми към справедливост, свобода, равенство и братство за своите граждани.“

Нека зададем друг въпрос за това

Приложения —

1. Чатботове с изкуствен интелект и виртуални асистенти: Възможностите за отговаряне на въпроси, вградени в този код, полагат основата за създаване на ботове за чат с изкуствен интелект и виртуални асистенти, които могат да осигурят незабавни, съобразени с контекста отговори на потребителски заявки. Това има приложения в поддръжката на клиенти, електронното обучение и др.
2. Образователни инструменти: Преподавателите и учениците могат да се възползват от автоматизираните отговори на въпроси, помагащи за изясняване на съмнения и подобряване на учебния опит. Може да се използва и за генериране на образователно съдържание.
3. Машини за препоръчване на съдържание: Чрез разбиране на контекста и намерението зад заявките, този код може да се използва за разработване на системи за препоръчване на съдържание, като се гарантира, че потребителите получават изключително подходящи предложения.

За читателите, които се интересуват да се потопят по-дълбоко в тези приложения и да проучат допълнителни инструменти за своите проекти, ето няколко ценни ресурса:

Заключение —

Тази статия показа как LangChain може да се използва при разработването на приложения, задвижвани от езикови модели, и как неговите гъвкави абстракции и обширен набор от инструменти позволяват на разработчиците да използват силата на LLMs.

В непрекъснато развиващия се пейзаж на изкуствения интелект, LLMs се очертаха като промени в играта и ние сме горди да бъдем част от това вълнуващо пътуване към по-интелигентно и по-ефективно бъдеще. Очакваме с нетърпение да използваме LLMs за стимулиране на иновациите, решаване на сложни предизвикателства и предоставяне на още по-голяма стойност на нашите клиенти и партньори в My Next Developer.