Reo’s Archive
Reo’s Archive/
📖
LLM 스터디/
🕧
2주차
카테고리
🕧

2주차

참석자
박용성박용성
생성 일시
2024년 06월 26일
날짜
2024년 06월 26일
floatFirstTOC: right

🖥️ 시작하며

  • 파인튜닝에 대해서 학습
  • 어떤 방법으로 파인튜닝을 진행할지 회의

🔍 자료

GitHub - instructkr/LogicKor: 한국어 언어모델 다분야 사고력 벤치마크
한국어 언어모델 다분야 사고력 벤치마크. Contribute to instructkr/LogicKor development by creating an account on GitHub.
GitHub - instructkr/LogicKor: 한국어 언어모델 다분야 사고력 벤치마크
https://github.com/instructkr/LogicKor
GitHub - instructkr/LogicKor: 한국어 언어모델 다분야 사고력 벤치마크
4-1. Transformer(Self Attention) [초등학생도 이해하는 자연어처리]
안녕하세요 '코딩 오페라'블로그를 운영하고 있는 저는 'Master.M'입니다. 현재 저는 '초등학생도 이해하는 자연어 처리'라는 주제로 자연어 처리(NLP)에 대해 포스팅을 하고 있습니다. 제목처럼 진짜 핵심 내용을 쉽게 설명하는 것을 목표로 하고 있으니 자연어 처리(NLP)에 입문하고 싶은 분들은 많은 관심 부탁드립니다. 지금부터 알아볼 내용은 'Transformer'입니다. Transformer 개념은 너무 방대하기 때문에 이번 시간에는 "Self Attention"을 집중적으로 다루겠습니다. 이후 내용들은 다음 글에서 다루도록 하겠습니다.  Transformer 란?  본론 부터 말씀드리면 Transformer 모델은 Attention만으로 이루어진 encoder-decoder 구조의 seqenc..
4-1. Transformer(Self Attention) [초등학생도 이해하는 자연어처리]
https://codingopera.tistory.com/43
4-1. Transformer(Self Attention) [초등학생도 이해하는 자연어처리]
[우아한 스터디] LLM(LLaMA3) Fine-Tuning 방법 정리
LLM 파인튜닝을 위한 라이브러리를 정리합니다. 본 포스팅의 예제 코드는 GitHub 을 참고해 주세요. TRL Huggingface TRL Document HuggingFace 에서 제공하는 모델 튜닝 라이브러리로 TRL(Transformer Reinforceme
[우아한 스터디] LLM(LLaMA3) Fine-Tuning 방법 정리
https://velog.io/@judy_choi/LLMLLaMA3-Fine-Tuning-방법-정리
[우아한 스터디] LLM(LLaMA3) Fine-Tuning 방법 정리
[TAPT, DAPT] - Don't Stop Pretraining. Adapt Language Models to Domains and Tasks.
BERT와 GPT 이후에 수많은 사전학습 모델이 쏟아져 나왔다. 제각기 다른 데이터셋과 다른 목적함수, 모델 구조를 가지고 학습이 되었지만 한가지 동일한 것이 있었다. Pretrain -> Finetune으로 이어지는 프레임워크였다. 이는 사전학습 시에 가능한 대량의
[TAPT, DAPT] - Don't Stop Pretraining. Adapt Language Models to Domains and Tasks.
https://velog.io/@stapers/TAPT-DAPT-Dont-Stop-Pretraining.-Adapt-Language-Models-to-Domains-and-Tasks
[TAPT, DAPT] - Don't Stop Pretraining. Adapt Language Models to Domains and Tasks.
Continued Pretraining with TinyLlama 1.1B - a Lightning Studio by adrian
Learn how to take a pretrained model and continue pretraining it on a new dataset of your choice.
Continued Pretraining with TinyLlama 1.1B - a Lightning Studio by adrian
https://lightning.ai/lightning-ai/studios/continued-pretraining-with-tinyllama-1-1b
Continued Pretraining with TinyLlama 1.1B - a Lightning Studio by adrian
규정집
법제처 국가법령정보센터 > 공공기관 규정 > 대학규칙/규정 선택 후 찾고자 하는 검색어를 입력합니다 (예 : 충북대학교 학칙, 충북대학교 연구소 등)
규정집
https://www.cbnu.ac.kr/regulation/index.do
How to Build a Text Editor Like Notion
Build your own Notion clone with React.js and learn how such text editors work. In fact, it is easier than I expected…
How to Build a Text Editor Like Notion
https://medium.com/swlh/how-to-build-a-text-editor-like-notion-c510aedfdfcc
How to Build a Text Editor Like Notion
실전! LLM 파인튜닝 (1/2)
파인튜닝, finetuning, 챗GPT, 젠틀파이, LLM, 생성AI | 앞선 글에서는 프롬프트 엔지니어링 (1) (2)에 대한 내용을 풀어봤다. 이번에는 프롬프트 엔지니어링과는 다르게 파인튜닝에 초점을 맞춰 알아보자. 파인튜닝이 왜 필요한가: 베이스모델과 파인튜닝모델 LLM(초거대언어모델)의 기본 모델(Base Model)은 특정한 답을 하게끔 만들어져 있지 않다. 예를 들어, "대전은 어느 나라 도시야?" 라고 물으면,
실전! LLM 파인튜닝 (1/2)
https://brunch.co.kr/@gentlepie/63
실전! LLM 파인튜닝 (1/2)
 
 
 
 

💡 비지도 학습, 법령 자체를 학습시키는 법?

댓글

guest