Đồ án tốt nghiệp - Ứng dụng mô hình Vision Transformer trong phân loại dữ liệu bệnh phổi: ĐÁTNNKTYS

BỘ GIÁO DỤC &amp ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
-

KHÓA LUẬN TỐT NGHIỆP
NGÀNH KỸ THUẬT Y SINH

ĐỀ TÀI:

ỨNG DỤNG MÔ HÌNH VISION
TRANSFORMER TRONG PHÂN
LOẠI DỮ LIỆU BỆNH PHỔI
GVHD: TS. Nguyễn Mạnh Hùng
SVTH1: Ngô Quang Khải
MSSV1: 18129026
SVTH2: Huỳnh Văn Pháp
MSSV2: 18129041
TP. Hồ Chí Minh – 06/2022

BỘ GIÁO DỤC &amp ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
-

KHÓA LUẬN TỐT NGHIỆP
NGÀNH KỸ THUẬT Y SINH
ĐỀ TÀI:

ỨNG DỤNG MÔ HÌNH VISION
TRANSFORMER TRONG PHÂN
LOẠI DỮ LIỆU BỆNH PHỔI
GVHD: TS. Nguyễn Mạnh Hùng
SVTH1: Ngô Quang Khải
MSSV1: 18129026
SVTH2: Huỳnh Văn Pháp
MSSV2: 18129041

TP. Hồ Chí Minh – 06/2022

TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT
NAM
Độc lập - Tự do - Hạnh phúc

Tp. HCM, ngày

tháng 06 năm 2022

NHIỆM VỤ KHÓA LUẬN TỐT NGHIỆP
Họ tên sinh viên:
Chuyên ngành:
Hệ đào tạo:
Khóa:

Ngô Quang Khải
Huỳnh Văn Pháp
Kỹ thuật Y Sinh
Đại học chính quy
2018

MSSV: 18129026
MSSV: 18129041
Mã ngành: 7520212D
Mã hệ:
1
Lớp:
181290C

I. TÊN ĐỀ TÀI: ỨNG DỤNG MÔ HÌNH VISION TRANSFORMER TRONG
PHÂN LOẠI DỮ LIỆU BỆNH PHỔI
II. NHIỆM VỤ
1. Các số liệu ban đầu:
- Tập dữ liệu X-quang ngực: ChestXpert, Chest14 và VinDr-CXR.
- Các mô hình Vision Transformer: ViT-B16, ViT-L16, ViT-S16, R50+ViT-B16.
- Các biến thể mô hình ResNet: ResNet18, ResNet34, ResNet50.
- Các cơ chế diễn giải mô hình: Grad-CAM, Attention Map.
- Ngôn ngữ lập trình: Python, HTML, CSS.
- Thư viện hỗ trợ xây dựng web API: Flask python.
- Cơ sở dữ liệu: SQLite, tương tác thông qua công cụ SQLAlchemy.
- Công nghệ đóng gói và triển khai ứng dụng: Docker.
2. Nội dung thực hiện:
- Tìm hiểu lý thuyết về các mô hình phân loại
- Nghiên cứu các tập dữ liệu Chest14, ChestExpert, VinDR-CXR và tạo tập dữ liệu
phù hợp với đề tài.
- Tiến hành các thí nghiệm huấn luyện mô hình ViT.
- Đánh giá kết quả các thí nghiệm bằng phương pháp định tính và định lượng.
- Xây dựng web API cho ứng dụng mô hình phân loại bệnh phổi.
i

- Chạy thử nghiệm, kiểm tra và hiệu chỉnh hệ thống.
- Đóng gói và triển khai ứng dụng với Docker.
- Viết báo cáo thực hiện.
- Bảo vệ luận văn.
III. NGÀY GIAO NHIỆM VỤ:
25/02/2022
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 21/06/2022
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:
Ts. Nguyễn Mạnh Hùng
CÁN BỘ HƯỚNG DẪN

BM.
...

...
utils.data import DataLoader
from models.modeling import VisionTransformer, CONFIGS

# Prepare Model
config = CONFIGS[R50-ViT-B_16]
model = VisionTransformer(config, num_classes=10, zero_head=False, img_size=224,
vis=True)
PATH=model /Finetune_Chest14_R50B16_enhance.bin
model.load_state_dict(torch.load(PATH))
model.eval()

VinXray_labels=dict(enumerate(open( /VinXrayLabel.txt)))

transform = transforms.Compose([
transforms.Resize((224, 224)),
transforms.Grayscale(num_output_channels=3),
transforms.ToTensor(),
transforms.Normalize(mean=[0.5], std=[0.5]),
])
im=Image.open(Images/051c2436c0acdb5e09d085c7e4a764f3.jpg)

def get_attention_map(img, get_mask=False):
x = transform(img)
x.size()
logits, att_mat = model(x.unsqueeze(0))

84

print(logits =,logits)
att_mat = torch.stack(att_mat).squeeze(1)

# Average the attention weights across all heads.
att_mat = torch.mean(att_mat, dim=1)

# To account for residual connections, we add an identity matrix to the
# attention matrix and re-normalize the weights.
residual_att = torch.eye(att_mat.size(1))
aug_att_mat = att_mat + residual_att
aug_att_mat = aug_att_mat / aug_att_mat.sum(dim=-1).unsqueeze(-1)

# Recursively multiply the weight matrices
joint_attentions = torch.zeros(aug_att_mat.size())
joint_attentions[0] = aug_att_mat[0]

for n in range(1, aug_att_mat.size(0)):
joint_attentions[n] = torch.matmul(aug_att_mat[n], joint_attentions[n-1])
v = joint_attentions[-1]
grid_size = int(np.sqrt(aug_att_mat.size(-1)))
mask = v[0, 1:].reshape(grid_size, grid_size).detach().numpy()
if get_mask:
result = cv2.resize(mask / mask.max(), img.size)
else:
mask = cv2.resize(mask / mask.max(), img.size)[..., np.newaxis]
result = (mask * img).astype(uint8)

85

return result

def plot_attention_map(original_img, att_map):
fig, (ax1, ax2) = plt.subplots(ncols=2, figsize=(16, 16))
ax1.set_title(Original)
ax2.set_title(Attention Map Last Layer)
_ = ax1.imshow(original_img)
_ = ax2.imshow(att_map)

result = get_attention_map(im)
plot_attention_map(im, result)

# Check mask for Attention Map
check_mask = get_attention_map(im, True)
plot_attention_map(im, check_mask)

 Chương trình triển khai ứng dụng web:
Vì số lượng các tệp chương trình khá nhiều và chương trình viết khá dài, do đó
không thuận tiện để trình bày tất cả trong báo cáo. Nhóm xin phép chia sẽ mã nguồn
của nhóm thông qua link Google Drive dưới dây: https://drive.google.com/file/d/1ydoFvEFrvcFLidWBmTGf37J5ZwSKnnS/view?usp=sharing

86