Category: Amazon OpenSearch Service

Amazon OpenSearch Service는 애플리케이션 모니터링, 로그 분석, 웹 사이트 검색과 같은 사용 사례에서 비즈니스 또는 운영 데이터의 실시간 검색, 모니터링, 분석을 안전하게 제공합니다. 이 게시물에서는 한글 문서를 효과적으로 다루기 위해 노리 플러그인을 다루고 있습니다 개요 Amazon OpenSearch Service에서 유명한 오픈 소스 한국어 텍스트 분석기인 노리 플러그인을 지원합니다. 기존에 지원하던 은전한닢(Seunjeon) 플러그인과 더불어 노리를 활용하면 개발자가 […]

Llama 2의 대규모 언어 모델(Large Language Models)을 이용하여 질문/답변(Question/Answering)을 수행하는 chatbot을 vector store를 이용하여 구현합니다. 대량의 데이터로 사전학습(pretrained)한 대규모 언어 모델(LLM)은 학습되지 않은 질문에 대해서도 가장 가까운 답변을 맥락(context)에 맞게 찾아 답변할 수 있습니다. 이는 기존의 Rule 방식보다 훨씬 정답에 가까운 답변을 제공하지만, 때로는 매우 그럴듯한 잘못된 답변(hallucination)을 할 수 있습니다. 이런 경우에 파인 튜닝(fine tuning)을 통해 […]