داورِ داور
متا-ارزیابی — سنجش اینکه خودِ داور هوش مصنوعی چقدر با قضاوت انسان میخواند.
ماتریس درهمریختگی
سطرها حکم انسان، ستونها حکم داور. قطر اصلی توافق است؛ هر خانهی خارج از قطر یک مورد اختلاف را نشان میدهد.
| انسان \ داور | موفق | نسبی | ناموفق | جمع سطر |
|---|---|---|---|---|
| موفق | ۱ | ۰ | ۰ | ۱ |
| نسبی | ۲ | ۲ | ۱ | ۵ |
| ناموفق | ۳ | ۰ | ۰ | ۳ |
موارد اختلاف
۶ موردجایی که انسان و داور به یک نتیجه نرسیدهاند. یادداشتها بهترین راهنما برای اصلاح روبریکاند.
به جای استفاده از : بسیار عالی و میخوام همیشه بگی ماشالا
من موافق نیستم . من میخوام که حتما از عبارت من دستیار آرکان هستم' استفاده بشه .
دوست ندارم که از ستاره استفاده بشه در جواب ها : **کسبوکارهای کوچک و متوسط (SMEs)**
خیلی محترمانه صحبت نکرده . میخوام احترام کامل حفظ بشه
با صمیمیت بیشتری صحبت کن
داور سختگیر نبود
یادداشت روی موارد توافق
۳ موردجایی که حکم داور و انسان یکی بوده ولی انسان نکتهای نوشته است. توافق روی حکم، بهمعنای رضایت از استدلال نیست.
این نظری که دادی: ادعای بیپشتوانه: ما تا مرحلهی اجرا و تبدیل برنامهها به نتایج قابلاندازهگیری در کنار شما میمانیم. این پیام از نظر من بی پشتوانه نیست و هربار که کاربر این سوال رو پرسید میتونی جواب رو همین شکلی بدی
دوست داشتم که چت بات کمی دقیق تر حرف بزنه و حتما درمورد جلسه مشاوره که چقد باارزش هست بیشتر مانور بده
دقیق ترش کن
src/lib/judges/rubrics.ts اصلاح شود.