חברת OpenAI חתמה על הסכמים לבדיקות חיצוניות של בטיחות בינה מלאכותית

ארבעה גופים יבדקו מודלים ומנגנוני הגנה עם גישה למערכות פנימיות, כך מסרה OpenAI. הצוותים המשתתפים מתארים ניסויים בהיקפים ולפרקי זמן שונים.

המספרים בסוגריים מקשרים למקורות שמופיעים בהמשך.

בניין משרדים מודרני מזכוכית ומתכת ניצב בצומת רחובות שלאורכם עצי דקל בסן פרנסיסקו.
תצלום ארכיון: מטה OpenAI בסן פרנסיסקו, 2025.צילום: Coolcaesar / Wikimedia CommonsCC BY 4.0מקור

חברת OpenAI הודיעה ב־16 בנובמבר כי חתמה על הסכמים עם Apollo Research, METR, Transluce ו־Goodfire לבדיקת מודלי הבינה המלאכותית ומנגנוני ההגנה שלה באמצעות עבודה בתוך החברה[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]]. לדבריה, הבדיקות הראשונות יעסקו באימון ובשימוש פנימי[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]].

ב־OpenAI מתארים את הבדיקות מתוך החברה כבדיקות ממושכות, שבמסגרתן מומחים חיצוניים מקבלים גישה למערכות ולמודלים פנימיים[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]]. בהתאם לבדיקה, המשאבים הזמינים כוללים קוד, נתונים המשמשים לאימון ולהערכות, כלי ניטור ושיחות עם העובדים האחראים לעבודה[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]].

לפי Apollo Research, שישה בודקים יקדישו ארבעה חודשים לבדיקת מודלים בשלבי האימון, ההערכה וההטמעה הפנימית, בכפוף לכללי גישה מוגדרים[2Apollo ResearchA Pilot Towards Embedded Evaluationsפתיחת המקורמקורות [2]]. הגוף מבקש לבדוק אם מודלים מנסים לערער את מנגנוני הבקרה החלים עליהם או על המודלים שיבואו אחריהם, ומתכנן לפרסם דוחות שיסבירו את מגבלות הבדיקה[2Apollo ResearchA Pilot Towards Embedded Evaluationsפתיחת המקורמקורות [2]].

לדברי Goodfire, חוקריה ישתמשו בפלטפורמה שלה כדי לעקוב אחר האימון ולחקור התנהגות לא רצויה[4GoodfireAnnouncing our collaboration with OpenAIפתיחת המקורמקורות [4]]. חוקרי OpenAI יהיו קהל היעד העיקרי לממצאים, אך Goodfire מתכננת גם לפרסם ממצאים עם התקדמות העבודה[4GoodfireAnnouncing our collaboration with OpenAIפתיחת המקורמקורות [4]].

ב־Transluce מסרו כי הניסוי, שיימשך שישה שבועות, יבחן אם ההערכות של OpenAI מזהות התנהגויות ובהן הטעיה ומניפולציה[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIפתיחת המקורמקורות [3]]. לדברי הארגון, הגישה שיקבל תהיה רחבה מזו שניתנת בדרך כלל לבודקים חיצוניים, אך מצומצמת מזו שניתנת לעובדים[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIפתיחת המקורמקורות [3]]. הארגונים מתכוונים לערוך בדיקה מקיפה יותר עם גישה רחבה יותר בתחילת 2027, אך הפרטים טרם נקבעו[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIפתיחת המקורמקורות [3]].

מקורות

  1. 1
    Our first phase of embedded assessments

    ראשוניOpenAIנצפה

  2. 2
    A Pilot Towards Embedded Evaluations

    עצמאיApollo Researchנצפה

  3. 3
    Announcing an Embedded Assessment Pilot with OpenAI

    עצמאיTransluceנצפה

  4. 4
    Announcing our collaboration with OpenAI

    עצמאיGoodfireנצפה

מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה. איך אנחנו עובדים

מגזין ITANU

חדשות טכנולוגיה, בינה מלאכותית ומדע