Yêu cầu:
User đang muốn lấy dữ liệu từ danh sách các đơn vị sẽ tham gia triển lãm (hơn 800 đơn vị), danh sách này được publish trên trang web - https://www.aluminium-exhibition.com/germany/en-gb/exhibitor-directory.html?#/
Nội dung cần lấy khá nhiều cột dữ liệu (16 cột) như sau:
Company | Country | Stand | Website | Coil/Sheet | Extrusion/Profile | Both | Fabrication | Sheet Metal | Process | Primary Markets | Sourcing Notes | Manufacturing sub processes | Product Category(ies) | Contact Name | Contact Email |
Nội dung cần lấy không hiển thị toàn bộ trên trang web đã nêu mà phải click vào bên trong thêm một cấp mới thấy được.
Ví dụ: Supplier Granco Clark Inc.
Đồng thời thông tin yêu cầu cần phải đánh giá xem sản phẩm của supplier có được classify theo các category như: coil/sheet, extrusion/profile, fabrication, sheet metal, process... mà các thông tin này phải cần đọc hiểu sản phẩm thì mới nhận định được chứ không có sẵn.
Đánh giá yêu cầu này khá phức tạp vừa là cào dữ liệu vừa dùng agent đọc hiểu để classify theo category, do đó tôi quyết định dùng Muse AI để thử nghiệm.
Thực nghiệm:
Đơn giản cực kỳ với vài bước:
Input cho Muse đường dẫn của triển lãm như trên, Muse sẽ đọc hiểu và cung cấp insight căn bản.
Yêu cầu Muse đánh giá xem việc lấy dữ liệu theo yêu cầu (16 cột) là có khả thi không?
Ban đầu tôi yêu cầu làm 1 lần cho toàn bộ supplier có trong danh sách (hơn 800), Muse chạy nhưng chỉ dừng lại ở supplier thứ 61 và báo lỗi ko thể lấy tiếp do trình duyệt chặn cào dữ liệu.
Tôi yêu cầu dùng sub-agent, chia nhỏ từng batch (mỗi batch 60 supplier), supplier nào cào không được thì ghi log lại và tiếp tục chạy.
Kết quả là Muse chạy liên tục khoảng 5 tiếng, 50% limit token tuần và kết quả thu được là 769 nhà có đủ thông tin (trong tổng số 809 nhà ban đầu).
Kết luận:
Muse quả nhiên rất đáng để bạn dùng trong công tác cào dữ liệu phức tạp (vừa cào vừa kèm đánh giá ngữ nghĩa nội dung).