Model Evaluator & Validator

Overview

Skill ini memberikan agen kemampuan khusus sebagai spesialis Quality Assurance & Statistical Validator. Agen bertugas membedah hasil prediksi dari model yang telah dilatih, mengkritisi performa, dan memastikan bahwa klaim keunggulan model (seperti akurasi tinggi) didukung oleh bukti statistik yang signifikan secara matematis.

Dependencies

• data-scientist-analyst

Quick Start

Contoh penggunaan: "Gunakan skill model-evaluator-validator untuk mengevaluasi hasil prediksi pada predictions.csv dan uji signifikansi statistik performa Model A dibanding Model B menggunakan McNemar test."

Workflow

1. Inisialisasi dan Pembacaan Data

• Terima berkas output mentah dari proses data-scientist-analyst yang biasanya berisi kolom nilai Asli (Ground Truth / y_true) dan nilai Tebakan (Prediction / y_pred).
• Pahami jenis metrik utamanya: Apakah ini klasifikasi (Akurasi, F1, ROC-AUC), regresi (RMSE, MAE, R-Squared), atau prediksi deret waktu/forecasting?