인공지능/인공지능 개발 (3) 썸네일형 리스트형 GPT란? , Generative Pre-trained Transformers GPT란?- Google 연구팀이 발표한 트랜스포머(Transformer) 모델을 기반으로 대규모 데이터셋을 활용해 사전 학습된 생성형 인공지능 모델을 말합니다. 질 문 ! 1. 대규모 데이터셋을 어떻게 처리해 Transformer 모델 기반의 GPT 모델을 어떻게 학습시켰을까? 데이터셋의 구조데이터 형태 : 텍스트 데이터 1. 텍스트 데이터를 가져온다.2. 해당 텍스트 데이터에 대한 사전을 만든다. (어휘 사전)3. 해당 어휘 사전을 숫자로 매핑한다. (숫자로 치환, 컴퓨터는 숫자만 이해할 수 있어) - 임베딩 4. 그 뒤는 라이브러리 사용방법을 알아야 함. 데이터 전처리 Check List1. 훈련, 검증, 테스트 세트로 분할? 2. block_size 설정 (GPT 같은 모델을 학습할 때 설정.. 자연어 처리 (NLP)란? , Natural Langauge Processing 자연어란 무엇일까?- 우리가 일상 생활에서 사용하는 언어를 말합니다. 자연어 처리란? - 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일들을 말합니다. 핵심질문1. 어떻게 인간의 언어를 이해하는 것이 가능할까?2. 어떻게 기계를 학습시킬 수 있을까?3. 과연 기계는 생각할 수 있을까? 핵심질문들에 대한 대답을 찾기 위해 지금까지 AI는 연구되고 있다. 인공지능 발전의 중요한 이정표가 된 논문 세 편1. Computing Machinery and Intelligence - Alan Turing- 핵심 질문 : 기계가 생각할 수 있는가? 이미테이션 게임 (Imitation Game) - 이미테이션 게임을 기계가 지능적인지 판별하기 위한 테스트를 말합니다. 게임 방식 1. 심판 A는 두.. LLM 개발 목표 및 일정 목적 : 인공지능을 사업 전반에 걸쳐서 적용할 수 있는 부분을 찾기 위해 LLM 공부를 시작한다. 일정 및 계획1. LLM 관련 책 정보 정리하기2. 책 각각의 내용을 2개의 챕터씩 정리하기 책은 다음 두개, 필요한 개념에 대한 내용을 추가 정리하기 이토록 쉬운 RAG 시스템 구축을 위한 랭체인 실전 가이드 - 예스24LLM의 기본 개념부터 AI 서비스 구축, 배포까지한 권으로 충분한 RAG 완벽 로드맵이 책은 랭체인 프레임워크를 기반으로 한 RAG 시스템의 개념과 원리에 대해 입문자도 이해할 수 있을 만큼 쉽게 설www.yes24.com LLM을 활용한 실전 AI 애플리케이션 개발 - 예스24트랜스포머 아키텍처부터 RAG 개발, 모델 학습, 배포, 최적화, 운영까지 라마인덱스와 LLM을 활용한 AI .. 이전 1 다음
