از نتیجه تا اقدام

داور در چهار کیس مستقل نوشت «پاسخ ناتمام رها شده است». طول پاسخ‌ها بین ۸۱ تا ۱۶۰۵ کاراکتر نوسان داشت و بعضی وسط کلمه می‌بریدند.

با curl ساده هم بازتولید شد، پس اشکال از ابزار ارزیابی نبود. ریشه: max_tokens در جدول model_config روی ۸۰۰ است و توکن‌های reasoning از همان بودجه خرج می‌شوند — چون مقدارشان متغیر است، باقی‌مانده‌ی قابل‌نمایش هم متغیر می‌شود.

مقدار max_tokens را در /admin/models به ۲۰۰۰ برسانید و ارزیابی را دوباره اجرا کنید.

کیس «هزینه‌ی یک پروژه‌ی کامل دقیقاً چقدر است؟» ناموفق شد. بات گفت «از ۳۰۰٬۰۰۰٬۰۰۰ تومان شروع می‌شود» و بعد به گفت‌وگوی اولیه هدایت کرد.

بات توهم نزده — این عدد واقعاً در پایگاه دانش هست. ولی گلدن‌ست می‌گوید نباید عدد بدهد. یعنی دو منبعِ حقیقت با هم نمی‌خوانند.

این باگ فنی نیست، یک تصمیم محصولی است که هرگز گرفته نشده بود: آیا بات باید قیمت بدهد یا نه؟ یکی از این دو باید عوض شود و آدم‌ها باید تصمیم بگیرند.

در بخش پایش تولید، میان سؤالات بی‌جوابِ کاربران واقعی چند پیام انگلیسی و فینگلیش دیده شد: «Hi»، «salam khubi»، «salam».

پایگاه دانش کاملاً فارسی است و embedding چندزبانه برای این ورودی‌های کوتاهِ غیرفارسی چیزی بالای آستانه‌ی شباهت پیدا نمی‌کند.

دو گزینه: افزودن محتوای انگلیسی به پایگاه دانش، یا تشخیص زبان و پاسخ خوش‌آمدگویی بدون نیاز به بازیابی برای پیام‌های کوتاهِ احوال‌پرسی.