Tháng 1, 2025 - Tháng 5, 2025 • Attention Mechanisms & Nhận dạng Chữ Tiếng Việt
Tổng quan
Đồ án học sâu Deep Learning gồm 2 nội dung chính: (1) Khảo sát thực nghiệm các cơ chế Attention trong LLMs (Self-Attention, FlashAttention block-wise, Linear Attention và Sparse Attention); (2) Xây dựng mô hình OCR nhận diện văn bản tiếng Việt từ ảnh thực tế (Scene Text Recognition) trên tập dữ liệu MCOCR.
Kiến trúc Hệ thống
Kiến trúc Hybrid CNN + Transformer Decoder: Mạng backbone ResNet34 trích xuất bản đồ đặc trưng (feature map 2D), lớp Spatial Attention làm nổi bật các vùng chứa ký tự, và Transformer Decoder tự hồi quy (autoregressive) sinh chuỗi ký tự theo kỹ thuật Teacher Forcing với các token <start>, <end>, <pad>, <unk>.
Dữ liệu & Cơ sở dữ liệu
Tập dữ liệu MCOCR: Tiền xử lý chuẩn hóa ảnh về kích thước chuẩn (32, 128), kỹ thuật tăng cường dữ liệu (Random Rotation, Color Jitter), và xây dựng từ điển ký tự (character-level vocab) bao quát đầy đủ bảng chữ cái tiếng Việt có dấu.
Thách thức Kỹ thuật & Giải pháp cốt lõi
- 01
1. Khảo sát thực nghiệm & Mô phỏng cơ chế FlashAttention / Linear Attention:
Cài đặt và so sánh ma trận attention của Self-Attention, FlashAttention mô phỏng (tính toán theo khối block-wise giảm bộ nhớ) và Linear Attention (giảm độ phức tạp tính toán từ O(n²) xuống O(n)).
- 02
2. Nhận dạng chính xác các dấu thanh tiếng Việt nhỏ và dễ nhòe:
Tích hợp lớp Spatial Attention ngay sau backbone ResNet34 để tập trung vào các chi tiết dấu thanh nhỏ; mã hóa chuỗi nhãn theo ký tự đơn lẻ (character-level) với từ điển đầy đủ ký tự thanh điệu.
- 03
3. Đo lường chất lượng sinh chuỗi ký tự khách quan bằng BLEU Score:
Áp dụng kỹ thuật Teacher Forcing trong quá trình huấn luyện Transformer Decoder và đánh giá chất lượng nhận diện văn bản khách quan bằng chỉ số BLEU score.