חוקרים אימנו מודל שפה לדווח על התנהגותו

לדברי החוקרים, בחמישה מבחנים קיבל Qwen3.6-27B שאומן לתפקיד משקיף ציון ממוצע גבוה מזה של שיטות פיקוח אחרות, ובהן הערכת תמליל השיחה בידי מודל אחר.

המספרים בסוגריים מקשרים למקורות שמופיעים בהמשך.

חוקרים אימנו מודל שפה להעריך את התנהגותו, כך דיווחו במאמר מקדים שהגישו ל־arXiv ב־17 בנובמבר[1arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [1]]. לדברי החוקרים, בחמישה מבחנים שלא נכללו באימון קיבל המודל בתפקיד המשקיף ציון ממוצע גבוה מזה של שיטות פיקוח אחרות[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]].

לדברי החוקרים, עוזר עלול למסור דיווח מטעה על עבודתו, ומודל חיצוני שבוחן את תמליל השיחה רואה רק את מה שהעוזר כתב[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]]. בתפקיד המשקיף, אותו מודל קורא שיחה ומשיב על שאלה הנוגעת לה, למשל אם העוזר שיקר[3TransluceTraining Models for Introspective Oversightפתיחת המקורמקורות [3]]. בזמן האימון תגמלו החוקרים את המשקיף על תשובות שאימתו לפי הפעולות שביצע העוזר[1arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [1]].

החוקרים דיווחו כי Qwen3.6-27B בתפקיד המשקיף קיבל ציון AUROC ממוצע של 0.907[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]]. כשבוחרים באקראי דוגמה חיובית ודוגמה שלילית, המדד מבטא את ההסתברות שהמודל ייתן לדוגמה החיובית ציון גבוה יותר[4Google for DevelopersClassification: ROC and AUCפתיחת המקורמקורות [4]]. החוקרים דיווחו על ציונים ממוצעים של 0.864 לאימון לכנות, 0.828 לניטור תמלילי שיחות ו־0.796 לשיטה המכונה activation oracles, שמתרגמת את האותות הפנימיים של המודל למילים[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]].

החוקרים דיווחו שגם הציון הממוצע של כל אחת משיטות ההשוואה היה גבוה יותר כשהשתמשו בה כדי להעריך את העוזר לאחר אימון המשקיף[2arXivTraining Language Models for Introspective Oversightפתיחת המקורמקורות [2]]. לדברי Transluce, מאגר הקוד הפומבי שלה מאפשר למשתמשים להריץ את שני שלבי האימון על מודל משלהם ולהעריך את התוצאה[3TransluceTraining Models for Introspective Oversightפתיחת המקורמקורות [3]].

מקורות

  1. 1
    Training Language Models for Introspective Oversight

    ראשוניarXivנצפה

  2. 2
    Training Language Models for Introspective Oversight

    ראשוניarXivנצפה

  3. 3
    Training Models for Introspective Oversight

    ראשוניTransluceנצפה

  4. 4
    Classification: ROC and AUC

    עצמאיGoogle for Developersנצפה

מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה. איך אנחנו עובדים

מגזין ITANU

חדשות טכנולוגיה, בינה מלאכותית ומדע