Project/명지대학교-입학관리팀챗봇-MARU_EGG12 프로젝트 배포 완료 & test용 api 개발 진행 배포완료0706~0708에 거쳐서 입학관리팀 llm 챗봇을 1차 완성한 프로젝트를 aws ec2로 배포완료하였다. 배포를 하는 김에 이전부터 정리하려 했던 배포 준비 및 과정을 모두 포스팅하는 바람에시간이 조금 늦어졌다.=> DJango 프로젝트 aws ec2 배포 => api도 정상 작동하는 모습 배포과정 및 배포전 프로젝트 세팅에 관해 정리한 글https://choiet.tistory.com/34https://choiet.tistory.com/29https://choiet.tistory.com/30https://choiet.tistory.com/31https://choiet.tistory.com/32=> 프로젝트 배포전 세팅 방법부터 배포까지 모든 정리를 다 완료하였다.진행하면서 이전에 배포했던 경.. 2024. 7. 9. 입학관리팀 RAG 방식 챗봇 - 1차 테스트 및 보완할 점들 기록 프로젝트 세팅 및 1차 테스트 코드 완성장고 프로젝트를 생성하고 기본 세팅을 모두 완료하고 llm 모델이 참고할 문서가 될 데이터 db도 정의하고어느정도 진행을 하였다. 기본적으로 rag는 두가지의 주요 단계를 가지게 된다. 바로 문서 검색과 생성이다.나는 코드를 아래와 같은 단계로 진행했다.1. HTML 파일을 드래그앤 드롭해서 입학모집요강 데이터를 추출해 적당한 크기로 쪼개에 db에 저장한다.2. 사용자가 질문을 하면 해당 질문과 가장 관련성 높은 문서를 유사도 계산해서 검색한다.3. 검색된 문서를 기반으로 해서 OpenAI의 GPT-3.5 모델을 사용해 답변 생성을 한다. 사용한 프레임워크, 라이브러리는 다음과 같다.- DJango : 프레임워크- BeautifulSoup : HTML 파일에서 데이.. 2024. 7. 6. LLM모델-RAG 방식 챗봇 - pdf 문서 파싱 포커스 - 중요한 것은...RAG 방식으로 LLM 챗봇을 만들 때 가장 중요하다고 생각하는 부분은 바로 문서의 파싱, 임베딩 과정이다.지금 개발해야할 부분은 입학관리팀에서 진행하던 입시생분들의 질문을 답변해줄 챗봇을 만드는 것이기에그 답변에 있어 모호한 점이나 틀린 부분이 있어서는 안된다.잘못된 정보로 답하는 순간 큰 문제를 야기할 수 있기 때문이다.답변의 정확성과 신뢰성은 필수적이다. 그렇기에 제대로된 데이터를 잘 분리해내야하는데... 챗봇이 정확한 답변을 제공하려면 먼저 기반이 되어야 할 것은 바로 문서를 정확하게 파싱하고 임베딩하는과정이 필요하다. 하지만..일반적인 학사지원, 입시관련 자료들은 타 학교와 같이 보기좋게 데이터가 가공되어 표나 그래픽적인 요소들에감싸져 있기에 그것이 쉽지가 않다. ->.. 2024. 7. 4. 명지대학교 입학관리팀 챗봇 LLM 서비스 개발의 시작 명지대학교 입학관리팀으로 부터 입시, 수시, 정시, 편입 등 관련 상담 업무를 챗봇으로 진행할 수 있게입시 상담용 챗봇 개발 부탁을 받게 되었으며 이 LLM 서비스 프로젝트에 내가 참여하게 되었다.간략한 목적과 범위를 살펴보자. 목적명지대학교 입학처 입학관리팀은 학교의 입시 상담을 진행하고 있다. 해당 내용으로는 수시, 정시, 편입, 재외국민 전형 등에 대해 소개, 평가방법, 전형진행방법 등 전체적인 입학과 관련된 상담을 진행하고있다.모집요강 공개 후 모든 전형이 진행되며 합격자가 등록하기까지 상담, 문의 관련 전화가 굉장히 많이 온다. 해당 내용 중 단순한 모집요강 내 자료 읽기나 접수방법등에 대한 문의 등 간단한 질문 위주이다.단순하고 반복적인 전화 상담에 효율적으로 대처하기 위해 입학관리팀에 입시 .. 2024. 6. 30. 이전 1 2 3 다음
