إزاي نقيّم ميزات نماذج اللغة قبل ما تدخل الإنتاج

ديمو بيرد على برومبت واحد مش ميزة منتج. الإنتاج محتاج ميزانية فشل، مجموعة ذهبية، وإنسان يقدر يقول لأ.

بنقيّم المسار، مش الإحساس.

• المجموعة الذهبية: الأسئلة اللي عارفين شكل الإجابة الصح فيها.
• ميزانية الفشل: كام مرة إجابة وحشة مسموحة قبل ما نوقف القطار.
• مراجعة بشرية: الحلقة اللي بتمسك اللي المقاييس فاتته.

سلّم التقييم مع الميزة. لو ما تقدرش تسمّي حالة الفشل، مش جاهز للمستخدمين.