ICML 2024 Tutorial: Physics of Language Models
text
ICML 2024 Tutorial: Physics of Language Models
new_line
https://www.youtube.com/watch?v=yBL7J0kgldU
https://www.youtube.com/watch?v=yBL7J0kgldU
link
new_line
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction (2309.14316)
https://huggingface.co/papers/2309.14316
2309.14316
paper
resource
https://huggingface.co/papers/2309.14316
new_line
new_line
Series bài nói về việc hiểu cách LLM hoạt động. Rất thú vị, họ làm thí nghiệm kiểm soát 100% cách huấn luyện model và phát hiện rằng nếu pretrain không chứa dạng dữ liệu extraction (QA instruction, hoặc các dạng dữ liệu mà tác giả gọi là knowledge augmentation) thì mặc dù có qua instruct finetune thì LLM cũng không thể học skill knowledge extraction. => đặt lại câu hỏi liệu cách pretrain rồi mới SFT như hiện tại đã thực sự tốt chưa?
text
Series bài nói về việc hiểu cách LLM hoạt động. Rất thú vị, họ làm thí nghiệm kiểm soát 100% cách huấn luyện model và phát hiện rằng nếu pretrain không chứa dạng dữ liệu extraction (QA instruction, hoặc các dạng dữ liệu mà tác giả gọi là knowledge augmentation) thì mặc dù có qua instruct finetune thì LLM cũng không thể học skill knowledge extraction. => đặt lại câu hỏi liệu cách pretrain rồi mới SFT như hiện tại đã thực sự tốt chưa?
new_line
new_line
Họ đã thử vài trăm thí nghiệm với các loại kiến trúc mô hình, độ to nhỏ, ... và đều ra kết quả như nhau.
text
Họ đã thử vài trăm thí nghiệm với các loại kiến trúc mô hình, độ to nhỏ, ... và đều ra kết quả như nhau.
new_line
new_line
KNOWLEDGE AUGMENTATION (data augmentation)
text
KNOWLEDGE AUGMENTATION (data augmentation)
new_line
Nếu bạn không mix instruct data với pre-train data (mix training) tốt nhất hãy áp dụng knowledge augmentation. Tức là cùng một câu đó nhưng diễn tả lại bằng nhiều cách khác nhau.
text
Nếu bạn không mix instruct data với pre-train data (mix training) tốt nhất hãy áp dụng knowledge augmentation. Tức là cùng một câu đó nhưng diễn tả lại bằng nhiều cách khác nhau.
new_line
new_line
KNOWLEDGE MANIPULATION
text
KNOWLEDGE MANIPULATION
new_line
ví dụ giả sử đã biết (đc huấn luyện) tiểu sử của A (bao gồm ngày tháng năm sinh) và hỏi A sinh tháng chẵn hay lẻ (50% cơ hội trả lời đúng). Nếu không sử dụng CoT (gợi nhớ lại kiến thức, xem A sinh tháng mấy) thì kết quả là model không làm được. => CoT (gợi nhớ kiến thức đã học) rất quan trọng với knowledge manipulation (phân loại, so sánh, xếp hạng ...)
text
ví dụ giả sử đã biết (đc huấn luyện) tiểu sử của A (bao gồm ngày tháng năm sinh) và hỏi A sinh tháng chẵn hay lẻ (50% cơ hội trả lời đúng). Nếu không sử dụng CoT (gợi nhớ lại kiến thức, xem A sinh tháng mấy) thì kết quả là model không làm được. => CoT (gợi nhớ kiến thức đã học) rất quan trọng với knowledge manipulation (phân loại, so sánh, xếp hạng ...)
ICML 2024 Tutorial: Physics of Language Models
https://www.youtube.com/watch?v=yBL7J0kgldU
https://huggingface.co/papers/2309.14316

Series bài nói về việc hiểu cách LLM hoạt động. Rất thú vị, họ làm thí nghiệm kiểm soát 100% cách huấn luyện model và phát hiện rằng nếu pretrain không chứa dạng dữ liệu extraction (QA instruction, hoặc các dạng dữ liệu mà tác giả gọi là knowledge augmentation) thì mặc dù có qua instruct finetune thì LLM cũng không thể học skill knowledge extraction. => đặt lại câu hỏi liệu cách pretrain rồi mới SFT như hiện tại đã thực sự tốt chưa?

Họ đã thử vài trăm thí nghiệm với các loại kiến trúc mô hình, độ to nhỏ, ... và đều ra kết quả như nhau.

KNOWLEDGE AUGMENTATION (data augmentation)
Nếu bạn không mix instruct data với pre-train data (mix training) tốt nhất hãy áp dụng knowledge augmentation. Tức là cùng một câu đó nhưng diễn tả lại bằng nhiều cách khác nhau.

KNOWLEDGE MANIPULATION
ví dụ giả sử đã biết (đc huấn luyện) tiểu sử của A (bao gồm ngày tháng năm sinh) và hỏi A sinh tháng chẵn hay lẻ (50% cơ hội trả lời đúng). Nếu không sử dụng CoT (gợi nhớ lại kiến thức, xem A sinh tháng mấy) thì kết quả là model không làm được. => CoT (gợi nhớ kiến thức đã học) rất quan trọng với knowledge manipulation (phân loại, so sánh, xếp hạng ...)
👀
John6666 skiiiw tuanio
🤝
tuanio
66fb773a8e11f584894873c9
https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/yN5siPIMNlp8JYmKAzwXZ.jpeg
Czerska
QueenOfEarth
user