LLM (Large Language Model) 대규모 언어(라마인덱스, 랭체인) 간단

이번에 라마인덱스와 랭체인을 활용한 인공지능 프로그래밍에 대해서 공부를 하며 코드에 앞서 개요와 기본적인 내용에 대해서 정리한 내용이다. 구체적인 내용과 코드는 차 후 에 작성할 예정이다.

 

LLM (Large Language Model) 대규모 언어모델이란 ?

 

 

오랜 기간 동안 인터넷 같은 곳에 작성된  엄청나게 큰 규모의 데이터 세트에서 훈련 학습된다.
대규모 데이터 세트에서 얻은 지식을 기반으로 텍스트와 다양한 콘텐츠를 인식하고 요약, 번역, 예측, 생성할 수 있는 딥 러닝 알고리즘이다. 

예를들면 ChatGPT와 같이 대규모 언어 모델의 애플리케이션 중 하나로 내 질문에 대한 내용을 예측하고 답을 추출해주며 코드까지 작성해준다.

대규모 언어 모델은  많은 텍스트가 비지도 학습(unsupervised learning)을 통해 AI 알고리즘에 투입된다. 이때 모델에는 진행할 작업에 대한 분명한 지침 없이 데이터 세트가 주어지게 된다. 이런 방법으로 대규모 언어 모델은 단어뿐만 아니라 단어들 간의 관계와 그 안의 함축된 내용을 학습한다. 예를 들어, 문맥에 따라 'AI'라는 단어를 조류독감, 인공지능 등 서로 다른 두 가지 뜻을 구별하는 것을 학습하게 된다. 

또한 다음 문맥에 나올 수 있는 내용이나, 심지어 다음 단어나 개념 자체를 떠올릴 수 있는 것과 마찬가지로, 대규모 언어 모델은 습득한 지식을 사용해 내용을 예측하거나 생성한다.  

기본적인 내용은 여기까지고 활용 방법이나 코드는 차 후 작성하겠다.

 

LLM 간편하게 사용하는 프레임워크

라마인덱스
구축을 단순화하는 조정 프레임워크 또는 "데이터 프레임워크"이다. 개인 데이터의 데이터 확장을 수행하는 기능을 제공하여 지식 생성 및 추론을 위해 LLM에 통합할 수 있다. 모든 생성적 AI 기능의 중심에는 데이터가 있다. 엔터프라이즈 애플리케이션은 LLM이 교육받은 공개 데이터 그 이상에 액세스할 수 있어야 하며 애플리케이션 구축을 위해 모든 내부 및 외부 데이터 소스의 구조화된, 비구조화된, 반구조화된 데이터를 통합한다.

랭체인 
LLM(대형 언어 모델)을 사용하여 애플리케이션 생성을 단순화하도록 설계된 프레임워크