Mục tiêu bài học

Trong bài học này, bạn sẽ khám phá về Phương pháp luận khoa học dữ liệu từ khâu xác định yêu cầu dữ liệu đến thu thập các nguồn dữ liệu (From Requirements to Data Collection). Bạn sẽ xem xét một số ví dụ thực tế về các yêu cầu dữ liệu trong phương pháp luận trước khi bước vào thực hiện các giai đoạn thu thập và đánh giá chất lượng dữ liệu ban đầu.

• Giải thích các yêu cầu dữ liệu trong phương pháp luận khoa học dữ liệu.

• Giải thích quy trình thu thập dữ liệu và đánh giá chất lượng dữ liệu ban đầu.

• Hoàn thành các giai đoạn Yêu cầu Dữ liệu và Thu thập Dữ liệu thông qua bài lab thực hành thực tế.

1. Yêu cầu Dữ liệu (Data Requirements)

Trong bài học này, chúng ta sẽ đi qua 2 giai đoạn tiếp theo của phương pháp luận. Từ giai đoạn này, chúng ta sẽ bắt đầu làm việc với dữ liệu và dành phần lớn thời gian để tương tác trực tiếp với chúng.

Giai đoạn thứ 3 của phương pháp luận là Data Requirements (Yêu cầu dữ liệu). Trong giai đoạn này, chúng ta sẽ xác định chính xác những dữ liệu cần thiết để giải quyết vấn đề đã đặt ra. Dữ liệu chính là nguyên liệu quan trọng nhất để tìm ra giải pháp. Việc xác định dữ liệu bao gồm 3 khía cạnh cốt lõi:

• Xác định nội dung dữ liệu: Cần thu thập những chỉ số, trường thông tin hay đặc trưng cụ thể nào?

• Xác định định dạng dữ liệu: Dữ liệu có cấu trúc, bán cấu trúc hay phi cấu trúc?

• Xác định nguồn dữ liệu: Dữ liệu nằm trong cơ sở dữ liệu nội bộ, hệ thống giao dịch hay nguồn dữ liệu mở từ bên ngoài?

Nếu nội dung, định dạng hoặc nguồn dữ liệu không phù hợp, điều đó có thể khiến quá trình tìm giải pháp không đạt hiệu quả, tốn kém thời gian và thậm chí buộc bạn phải quay lại giai đoạn này để làm lại từ đầu.

Bài đọcData Requirements trong phương pháp luận Khoa học Dữ liệu (Data Science PM)

VideoIBM Cognitive Class – Data Requirements & Collection Overview, YouTube, tiếng Anh

2. Thu thập Dữ liệu (Data Collection)

Sau khi đã xác định được các yêu cầu về dữ liệu, chúng ta bước vào giai đoạn tiếp theo: Data Collection (Thu thập dữ liệu). Trong quá trình này, nhà khoa học dữ liệu không chỉ đơn thuần là thu thập dữ liệu sẵn có mà còn phải liên tục đánh giá xem bộ dữ liệu đó đã chứa đủ những thông tin mình cần hay chưa.

• Các phương pháp như thống kê mô tả (descriptive statistics) và trực quan hóa (data visualization) có thể được áp dụng để đánh giá nội dung, chất lượng cũng như khám phá các thông tin chi tiết sơ bộ về dữ liệu.

• Các khoảng trống hoặc lỗ hổng trong dữ liệu (data gaps) sẽ được phát hiện để lập kế hoạch bổ sung hoặc xử lý thích hợp.

• Trong giai đoạn này, các yêu cầu dữ liệu ban đầu có thể sẽ được điều chỉnh hoặc sửa đổi, từ đó đưa ra quyết định xem bộ dữ liệu cần bổ sung thêm hay bớt đi để đáp ứng chính xác bài toán.

Tài liệuPandas I/O Tools: Đọc và thu thập dữ liệu từ nhiều nguồn khác nhau (Pandas Docs) · Các tập dữ liệu mẫu trong Scikit-Learn

Thực hành: Lab 3 – Từ Yêu cầu đến Thu thập dữ liệu

Trong bài thực hành Lab 3, bạn sẽ tiếp tục bài toán tự động hóa quy trình xác định nguồn gốc ẩm thực dựa trên các thành phần nguyên liệu của công thức món ăn.

• Yêu cầu dữ liệu: Xác định các nguyên liệu là yếu tố then chốt để phân loại nguồn gốc món ăn.

• Thu thập dữ liệu: Khám phá cách nhà nghiên cứu Yong-Yeol Ahn thu thập hàng chục nghìn công thức nấu ăn từ các trang web lớn như Allrecipes, Epicurious và Menupan.

• Thực hành Python: Sử dụng thư viện pandas để tải bộ dữ liệu recipes.csv gồm 57,691 công thức nấu ăn và 384 nguyên liệu, kiểm tra cấu trúc dữ liệu cơ bản bằng các lệnh recipes.head() và recipes.shape.

Thời gian dự kiến thực hành: 120 phút.

Vào Lab 3

Tổng kết bài học

Hoàn thành bài học này, bạn đã nắm được:

• Giai đoạn Yêu cầu Dữ liệu: Liên quan đến việc xác định nội dung, định dạng và nguồn dữ liệu cần thiết để chuẩn bị cho việc thu thập ban đầu.

• Giai đoạn Thu thập Dữ liệu: Xem xét lại bài toán nghiệp vụ, đưa ra quyết định thu thập bổ sung, áp dụng các kỹ thuật thống kê mô tả và trực quan hóa để đánh giá chất lượng và nội dung tập dữ liệu thu được.