Transformers

Transformers đóng vai trò là khung định nghĩa mô hình cho các mô hình machine learning tiên tiến trong lĩnh vực văn bản, thị giác máy tính, âm thanh, video và đa phương thức, phục vụ cho cả suy luận và huấn luyện.

Nó tập trung hóa định nghĩa mô hình để đảm bảo định nghĩa này được thống nhất trong toàn hệ sinh thái. transformers là điểm xoay trục giữa các framework: nếu một định nghĩa mô hình được hỗ trợ, nó sẽ tương thích với phần lớn các framework huấn luyện (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …), các engine suy luận (vLLM, SGLang, TGI, …) và các thư viện mô hình hóa lân cận (llama.cpp, mlx, …) sử dụng định nghĩa mô hình từ transformers.

Chúng tôi cam kết hỗ trợ các mô hình tiên tiến mới nhất và phổ cập hóa việc sử dụng chúng bằng cách đảm bảo định nghĩa mô hình của chúng đơn giản, có thể tùy chỉnh và hiệu quả.

Có hơn 1 triệu model checkpoints của Transformers trên Hugging Face Hub để bạn sử dụng.

Khám phá Hub ngay hôm nay để tìm một mô hình và sử dụng Transformers giúp bạn bắt đầu ngay lập tức.

Khám phá Models Timeline để tìm hiểu các kiến trúc mô hình văn bản, thị giác, âm thanh và đa phương thức mới nhất trong Transformers.

Tính năng

Transformers cung cấp mọi thứ bạn cần để suy luận hoặc huấn luyện với các mô hình được huấn luyện trước tiên tiến nhất. Một số tính năng chính bao gồm:

• Pipeline: Lớp suy luận đơn giản và được tối ưu hóa cho nhiều tác vụ học máy như tạo văn bản, phân đoạn ảnh, nhận dạng giọng nói tự động, trả lời câu hỏi từ tài liệu, và nhiều hơn nữa.
• Trainer: Trình huấn luyện toàn diện hỗ trợ các tính năng như độ chính xác hỗn hợp, torch.compile và FlashAttention cho việc huấn luyện và huấn luyện phân tán các mô hình PyTorch.
• generate: Tạo văn bản nhanh với các mô hình ngôn ngữ lớn (LLM) và mô hình ngôn ngữ thị giác (VLM), bao gồm hỗ trợ streaming và nhiều chiến lược giải mã.

Thiết kế

Đọc Triết lý của chúng tôi để tìm hiểu thêm về các nguyên tắc thiết kế của Transformers.

Transformers được thiết kế dành cho các nhà phát triển và kỹ sư, nhà nghiên cứu machine learning. Các nguyên tắc thiết kế chính của nó là:

1. Nhanh chóng và dễ sử dụng: Mỗi model được triển khai từ chỉ ba lớp chính (configuration, model và preprocessor) và có thể được sử dụng nhanh chóng cho suy luận hoặc huấn luyện với Pipeline hoặc Trainer.
2. Mô hình được huấn luyện trước: Giảm lượng carbon, chi phí tính toán và thời gian bằng cách sử dụng một mô hình được huấn luyện trước thay vì huấn luyện một mô hình hoàn toàn mới. Mỗi mô hình được huấn luyện trước được tái tạo sát nhất có thể so với mô hình gốc và mang lại hiệu suất tiên tiến.

Học

Nếu bạn mới bắt đầu với Transformers hoặc muốn tìm hiểu thêm về các mô hình transformer, chúng tôi khuyên bạn nên bắt đầu với khóa học LLM. Khóa học toàn diện này bao quát mọi thứ từ những nguyên lý cơ bản về cách các mô hình transformer hoạt động đến các ứng dụng thực tế trên nhiều tác vụ khác nhau. Bạn sẽ học được quy trình làm việc hoàn chỉnh, từ việc tuyển chọn các bộ dữ liệu chất lượng cao đến tinh chỉnh các mô hình ngôn ngữ lớn và triển khai khả năng suy luận. Khóa học bao gồm cả các bài tập lý thuyết và thực hành để xây dựng nền tảng kiến thức vững chắc về các mô hình transformer trong quá trình học.