Meta Ra Mắt Thế Hệ Llama 4: Kiến Trúc Đa Phương Thức Gốc (Native Multimodal MoE) Và Cửa Sổ Ngữ Cảnh 10 Triệu Token

Trong cuộc chiến giành giật quyền định hình tương lai trí tuệ nhân tạo, nếu OpenAI, Google và Anthropic đại diện cho trường phái “vườn có tường bao” (Closed API Ecosystem) thì Meta (Facebook) dưới sự dẫn dắt của Mark Zuckerberg kiên định theo đuổi chiến lược Mã nguồn mở quy mô toàn cầu (Open-Weights Ecosystem).

Theo các thông báo nghiên cứu chính thức từ Meta AI, hãng đã thiết lập tiêu chuẩn công nghiệp mới với việc công bố thế hệ Llama 4 — chuyển đổi toàn diện sang kiến trúc Hỗn hợp Chuyên gia Đa phương thức Gốc (Native Multimodal Mixture-of-Experts – MoE) với cửa sổ ngữ cảnh lên tới 10 triệu token, nối tiếp thành công của phiên bản hiệu năng cao Llama 3.3 70B.

1
Kiến Trúc Native Multimodal MoE: Hòa Trộn Thị Giác & Ngữ Cảnh 10 Triệu Token

Hầu hết các mô hình đa phương thức trước đây đều sử dụng phương pháp “ghép nối” (late fusion): dùng một mô hình thị giác như CLIP trích xuất đặc trưng ảnh rồi nạp vào LLM văn bản. Điều này dẫn tới hiện tượng mất mát thông tin chi tiết và không hiểu được các chuỗi chuyển động phức tạp trong video.

Meta AI đã tái kiến trúc Llama 4 hoàn toàn bằng Early Fusion Multimodal MoE:

2
Llama 3.3 70B: Điểm Cân Bằng Hoàn Hảo Cho Doanh Nghiệp Sản Xuất

Trước khi Llama 4 hoàn tất lộ trình triển khai thương mại đầy đủ, Llama 3.3 70B tiếp tục là trụ cột sản xuất đáng tin cậy nhất cho các doanh nghiệp:

• Độ chính xác tương đương mô hình 405B: Nhờ áp dụng kỹ thuật chưng cất tri thức (Knowledge Distillation) từ Llama 3.1 405B kết hợp tinh chỉnh dữ liệu chất lượng cao, Llama 3.3 70B đạt điểm số benchmark tương đương đàn anh nhưng tốc độ sinh token nhanh gấp nhiều lần.
• Hỗ trợ gọi hàm (Function Calling) chuẩn xác: Kết nối trực tiếp vào các hệ quản trị cơ sở dữ liệu doanh nghiệp, ERP và các dịch vụ REST API mà không phát sinh lỗi cú pháp JSON.

3
Chiến Lược Tận Dụng Mã Nguồn Mở Meta (Khuyến Nghị Từ NIE.vn)