Cloud Exam Pro

Bộ đề luyện thi AWS Certified Machine Learning Engineer Specialty này được thiết kế để mô phỏng kỳ thi thực tế. Gồm 5 đề thi, mỗi đề chứa 65 câu hỏi được biên soạn dựa trên exam guide chính thức từ AWS.

Đề được biên soạn từ Mentor tại Cloud Mentor Pro có nhiều năm kinh nghiệm làm việc với AI, ML trên môi trường AWS. Bên cạnh đó cũng tham gia đào tạo học viên thi chứng chỉ AWS MLS.

Đặc điểm nổi bật của practice test:

• Xem đáp án ngay 👁️ hoặc sau khi hoàn thành

• ⏸️ Tạm dừng và tiếp tục bất cứ lúc nào

• Làm lại không giới hạn số lần

• ⏰ Có đếm ngược thời gian

• Đánh dấu câu cần xem lại bằng flag 🚩

• 💬 Thảo luận và giải đáp mọi thắc mắc qua kênh discord với Mentor

Câu hỏi ví dụ trong đề:

Question

A bank wants to launch a low-rate credit promotion. The bank is located in a town that recently experienced economic hardship. Only some of the bank's customers were affected by the crisis, so the bank's credit team must identify which customers to target with the promotion. However, the credit team wants to make sure that loyal customers' full credit history is considered when the decision is made.

The bank's data science team developed a model that classifies account transactions and understands credit eligibility. The data science team used the XGBoost algorithm to train the model. The team used 7 years of bank transaction historical data for training and hyperparameter tuning over the course of several days.
The accuracy of the model is sufficient, but the credit team is struggling to explain accurately why the model denies credit to some customers. The credit team has almost no skill in data science.

What should the data science team do to address this issue in the MOST operationally efficient manner?

A. Use Amazon SageMaker Studio to rebuild the model. Create a notebook that uses the XGBoost training container to perform model training. Deploy the model at an endpoint. Enable Amazon SageMaker Model Monitor to store inferences. Use the inferences to create Shapley values that help explain model behavior. Create a chart that shows features and SHapley Additive exPlanations (SHAP) values to explain to the credit team how the features affect the model outcomes.

B. Use Amazon SageMaker Studio to rebuild the model. Create a notebook that uses the XGBoost training container to perform model training. Activate Amazon SageMaker Debugger, and configure it to calculate and collect Shapley values. Create a chart that shows features and SHapley Additive exPlanations (SHAP) values to explain to the credit team how the features affect the model outcomes.

C. Create an Amazon SageMaker notebook instance. Use the notebook instance and the XGBoost library to locally retrain the model. Use the plot_importance() method in the Python XGBoost interface to create a feature importance chart. Use that chart to explain to the credit team how the features affect the model outcomes.

D. Use Amazon SageMaker Studio to rebuild the model. Create a notebook that uses the XGBoost training container to perform model training. Deploy the model at an endpoint. Use Amazon SageMaker Processing to post-analyze the model and create a feature importance explainability chart automatically for the credit team.

Overall explanation

📝 Tóm tắt đề:

• Mục tiêu: Phân loại giao dịch tài khoản và xác định đủ điều kiện tín dụng (credit eligibility).

• Mô hình hiện tại: Đã sử dụng thuật toán XGBoost và 7 năm dữ liệu lịch sử để huấn luyện.

• Vấn đề cốt lõi: Độ chính xác đủ (sufficient), nhưng đội tín dụng (credit team) đang gặp khó khăn trong việc giải thích chính xác tại sao mô hình từ chối tín dụng (struggling to explain accurately why the model denies credit).

• Hạn chế của người dùng cuối: Đội tín dụng hầu như không có kỹ năng về khoa học dữ liệu (almost no skill in data science).

• Câu hỏi: Đội khoa học dữ liệu nên làm gì để giải quyết vấn đề này một cách hiệu quả về mặt vận hành NHẤT (MOST operationally efficient manner)?

✅ Đáp án đúng:

Use Amazon SageMaker Studio to rebuild the model. Create a notebook that uses the XGBoost training container to perform model training. Activate Amazon SageMaker Debugger, and configure it to calculate and collect Shapley values. Create a chart that shows features and SHapley Additive exPlanations (SHAP) values to explain to the credit team how the features affect the model outcomes.

• Hiệu quả vận hành (MOST operationally efficient): Phương pháp này tận dụng Amazon SageMaker Debugger (một tính năng của SageMaker) để tự động tính toán và thu thập các giá trị giải thích (explainability values) như Shapley/SHAP ngay trong quá trình huấn luyện (training) hoặc sau huấn luyện. Điều này loại bỏ nhu cầu phải thiết lập các bước hậu xử lý (post-analysis) phức tạp riêng biệt sau khi triển khai, giúp tiết kiệm thời gian và tài nguyên vận hành.

• Khả năng giải thích cá nhân (Individual Explainability): Các giá trị SHapley Additive exPlanations (SHAP) là phương pháp giải thích hàng đầu, cung cấp khả năng giải thích cấp độ cá nhân (per-instance). Điều này rất quan trọng đối với các quyết định nhạy cảm như từ chối tín dụng, nơi cần giải thích chính xác tại sao một khách hàng cụ thể bị từ chối.

• Non-technical user: Đề xuất tạo một biểu đồ (chart) từ các giá trị SHAP để giải thích cho đội tín dụng (những người hầu như không có kỹ năng DS) là cách tiếp cận tốt nhất để truyền đạt thông tin phức tạp một cách trực quan và dễ hiểu.

• Hỗ trợ XGBoost: SageMaker Debugger có hỗ trợ tích hợp để thu thập các giá trị SHAP cho các thuật toán phổ biến như XGBoost.

Ví dụ: Sử dụng kĩ thuật SHAP trong Sagemaker, những feature có giá trị SHAP càng cao, càng ảnh hưởng lớn đến kết quả dự đoán của mô hình ( feature Country đang có giá trị SHAP lớn nhất -> feature này ảnh hưởng cao nhất đến kết quả dự đoán mô hình, ngược lại feature Ethnic group có giá trị SHAP nhỏ nhất -> feature ảnh hưởng thấp nhất đến kết quả dự đoán mô hình ):

Các đáp án sai:

❌ Use Amazon SageMaker Studio to rebuild the model. Create a notebook that uses the XGBoost training container to perform model training. Deploy the model at an endpoint. Enable Amazon SageMaker Model Monitor to store inferences. Use the inferences to create Shapley values that help explain model behavior. Create a chart that shows features and SHapley Additive exPlanations (SHAP) values to explain to the credit team how the features affect the model outcomes.

• Sai. Model Monitor được thiết kế để giám sát độ lệch dữ liệu (data drift) và độ lệch mô hình (model drift), KHÔNG PHẢI để tính toán các giá trị giải thích như SHAP.

• Mặc dù bạn có thể sử dụng dữ liệu Inference để tính toán SHAP bên ngoài, đây không phải là cách hiệu quả về mặt vận hành nhất so với việc tích hợp nó vào Debugger.

❌ Create an Amazon SageMaker Notebook Instance. Use the notebook instance and the XGBoost library to locally retrain the model. Use the plot_importance() method in the Python XGBoost interface to create a feature importance chart. Use that chart to explain to the credit team how the features affect the model outcomes.

• Sai. Phương thức plot_importance() của XGBoost chỉ cung cấp Global Feature Importance. Nó không thể cung cấp giải thích cấp độ cá nhân (per-instance explanation), điều rất quan trọng trong các trường hợp từ chối tín dụng cụ thể.

• Hơn nữa, việc huấn luyện lại cục bộ trên Notebook Instance không phải là cách vận hành hiệu quả nhất so với việc sử dụng các tính năng tích hợp của SageMaker.

❌ Use Amazon SageMaker Studio to rebuild the model. Create a notebook that uses the XGBoost training container to perform model training. Deploy the model at an endpoint. Use Amazon SageMaker Processing to post-analyze the model and create a feature importance explainability chart automatically for the credit team.

• Sai. Mặc dù SageMaker Processing có thể được sử dụng cho việc post-analysis để tính toán SHAP, nhưng việc sử dụng SageMaker Debugger tích hợp để thu thập SHAP ngay trong quá trình training hoặc thông qua Hook là cách tiếp cận hiệu quả về mặt vận hành NHẤT (MOST operationally efficient), vì nó đơn giản hóa quy trình công việc và tận dụng các tính năng có sẵn.

🔑 Tips and tricks:

• Giải thích Mô hình (Explainability) VÀ Hiệu quả vận hành/Tự động (MOST operationally efficient/Automate) → Amazon SageMaker Debugger (sử dụng SHAP hoặc Shapley values).

• Bài toán nhạy cảm (Tín dụng, Y tế, Pháp lý) VÀ Cần giải thích TẠI SAO một instance CỤ THỂ bị/được → Giải thích cấp độ cá nhân (Per-Instance Explainability) → SHAP/Shapley values.

• Giám sát Độ lệch Dữ liệu (Data Drift) hoặc Độ lệch Mô hình (Model Drift) → Amazon SageMaker Model Monitor.

📖 Reference:

https://shap.readthedocs.io/en/latest/

https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-feature-attribute-shap-baselines.html

https://aws.amazon.com/blogs/machine-learning/ml-explainability-with-amazon-sagemaker-debugger/

=======================

Mentor: Minh Huỳnh

Hơn 6+ năm kinh nghiệm làm việc trong lĩnh vực Software Development và Cloud Computing, đã làm việc tại nhiều vị trí: Backend Developer, MLOps Engineer, Cloud DevOps Engineer. Hiện tại đang làm việc tại đơn vị Cloud/Data Solutions Department của FPT Japan.

• Kinh nghiệm thiết kế, triển khai, tư vấn nhiều giải pháp Cloud/AI trên Cloud.

• Kinh nghiệm CI/CD cho Web/Application/MLOps, triển khai các Frontier-Models, Generative AI, Big Data trên Cloud.

• Kinh nghiệm training nội bộ cho team Cloud.

Certificate

• AWS Certified Cloud Practitioner (CLF)

• AWS Certified AI Practitioner (AIF)

• AWS Certified Solutions Architect - Associate (SAA)

• AWS Certified Developer - Associate (DVA)

• AWS Certified SysOps Administrator - Associate (SOA)

• AWS Certified Data Engineer - Associate (DEA)

• AWS Certified Machine Learning Engineer – Associate (MLA)

• AWS Certified Solutions Architect - Professional (SAP)

• AWS Certified DevOps Engineer - Professional (DOP)

• AWS Certified Security - Specialty (SCS)

• AWS Certified Advanced Networking - Specialty (ANS)

• AWS Certified Machine Learning – Specialty (MLS)

• Google Cloud Certified - Professional Machine Learning

• Google Cloud Certified - Professional Cloud Architect

• Google Cloud Certified - Professional Cloud DevOps Engineer

• Google Cloud Certified - Professional Cloud Security Engineer

• Google Cloud Certified - Professional Cloud Database Engineer

• Google Cloud Certified - Professional Cloud Network Engineer

• NVIDIA-Certified Associate: Multimodal Generative AI

• NVIDIA-Certified Associate: Generative AI and LLMs

• Databricks Certified Machine Learning Professional

• Databricks Certified Data Engineer Professional

• Databricks Certified Data Analyst Associate

• Databricks Certified Data Engineer Associate

• Databricks Certified Machine Learning Associate

=======================

✨ Chúc bạn có trãi nghiệm học tập thú vị và may mắn trong kỳ thi Certified Machine Learning Engineer - Specialty!

• Cho những ai muốn chinh phục chứng chỉ AWS Certified Machine Learning Engineer - Specialty (MLS-C01)