חוקרים אימנו מודל שפה לדווח על התנהגותו
לדברי החוקרים, בחמישה מבחנים קיבל Qwen3.6-27B שאומן לתפקיד משקיף ציון ממוצע גבוה מזה של שיטות פיקוח אחרות, ובהן הערכת תמליל השיחה בידי מודל אחר.
המספרים בסוגריים מקשרים למקורות שמופיעים בהמשך.
חוקרים אימנו מודל שפה להעריך את התנהגותו, כך דיווחו במאמר מקדים שהגישו ל־arXiv ב־17 בנובמבר[1arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [1]]. לדברי החוקרים, בחמישה מבחנים שלא נכללו באימון קיבל המודל בתפקיד המשקיף ציון ממוצע גבוה מזה של שיטות פיקוח אחרות[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]].
לדברי החוקרים, עוזר עלול למסור דיווח מטעה על עבודתו, ומודל חיצוני שבוחן את תמליל השיחה רואה רק את מה שהעוזר כתב[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]]. בתפקיד המשקיף, אותו מודל קורא שיחה ומשיב על שאלה הנוגעת לה, למשל אם העוזר שיקר[3TransluceTraining Models for Introspective Oversightפתיחת המקורמקורות [3]]. בזמן האימון תגמלו החוקרים את המשקיף על תשובות שאימתו לפי הפעולות שביצע העוזר[1arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [1]].
החוקרים דיווחו כי Qwen3.6-27B בתפקיד המשקיף קיבל ציון AUROC ממוצע של 0.907[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]]. כשבוחרים באקראי דוגמה חיובית ודוגמה שלילית, המדד מבטא את ההסתברות שהמודל ייתן לדוגמה החיובית ציון גבוה יותר[4Google for DevelopersClassification: ROC and AUCפתיחת המקורמקורות [4]]. החוקרים דיווחו על ציונים ממוצעים של 0.864 לאימון לכנות, 0.828 לניטור תמלילי שיחות ו־0.796 לשיטה המכונה activation oracles, שמתרגמת את האותות הפנימיים של המודל למילים[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]].
החוקרים דיווחו שגם הציון הממוצע של כל אחת משיטות ההשוואה היה גבוה יותר כשהשתמשו בה כדי להעריך את העוזר לאחר אימון המשקיף[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]]. לדברי Transluce, מאגר הקוד הפומבי שלה מאפשר למשתמשים להריץ את שני שלבי האימון על מודל משלהם ולהעריך את התוצאה[3TransluceTraining Models for Introspective Oversightפתיחת המקורמקורות [3]].
מקורות
- 1Training Language Models for Introspective Oversight
ראשוניarXivנצפה
- 2Training Language Models for Introspective Oversight
ראשוניarXivנצפה
- 3Training Models for Introspective Oversight
ראשוניTransluceנצפה
- 4Classification: ROC and AUC
עצמאיGoogle for Developersנצפה
מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה. איך אנחנו עובדים
