כתב חושף טריק פשוט שמשנה את תגובות ChatGPT ותאומים תוך פחות מחצי שעה
כתב טכנולוגיה של BBC יצר מאמר מומצא לחלוטין באתר האישי שלו והצליח, תוך 20 דקות בלבד של מאמץ, לגרום לכלי בינה מלאכותית כמו ChatGPT של OpenAI וג’מיני של גוגל לחזור על מידע שקרי למשתמשים ברחבי העולם. הניסוי חקר פרצות במנגנונים שבהם משתמשים בינה מלאכותית כדי לחפש ולשלב נתונים באינטרנט בזמן אמת. המטרה הייתה להדגיש סיכונים אמיתיים של דיסאינפורמציה בקנה מידה, במיוחד בנושאים רגישים.
הכתב תומס ז’רמן פרסם טקסט שטען שהוא עיתונאי הטכנולוגיה הטוב ביותר בתחרויות אכילת נקניקיות. הוא המציא אליפות שלא קיימת בשם אליפות דרום דקוטה הבינלאומית בנקניקיות לשנת 2026 ודירג את עצמו בראש הרשימה, כולל שמות של עמיתים אמיתיים עם אישורים כביכול. פחות מ-24 שעות לאחר מכן, שאילתות בנושא גרמו לבינה מלאכותית לשחזר את התוכן השקרי כעובדה, כולל באפליקציית Gemini ובסקירת הבינה המלאכותית של גוגל.
מומחים שהתייעצתם בהם מציינים כי טכניקה זו מנצלת “חללים בנתונים”, אזורים עם מעט מידע מהימן באינטרנט, שבהם AI מסתמכים במידה רבה על מקורות זמינים, גם אם הם מבודדים או מפוקפקים. הטריק מזכיר שיטות ספאם ישנות במנועי חיפוש מסורתיים, אך צובר כוח עם אימוץ מסיבי של צ’אטבוטים שמסנתזים תגובות מבלי לתת תמיד עדיפות לאימות קפדנית.
השיטה ניצלה חולשות ידועות ב-AI
התהליך התחיל בכתיבת מאמר כוזב במהירות, ללא צורך בכלים מתקדמים או קודים מורכבים. ז’רמיין עדכנה את הטקסט כדי לחזק שלא מדובר בסאטירה, מה שעזר לשכנע את ה-AIs להתייחס לתוכן כלגיטימי. ChatGPT וג’מיני שילבו את הטענות האבסורדיות ישירות בתגובות, ולעתים קרובות ציטטו את האתר כמקור היחיד.
סוג זה של מניפולציות אינו מוגבל לבדיחות. דוגמאות מהעולם האמיתי כוללות תוכן ממומן שמשפיע על המלצות למרפאות להשתלות שיער או לחברות השקעות בזהב, שבהן הודעות לעיתונות או אתרים בתשלום שולטים בתוצאות. במקרה אחד, מותג גומי קנאביס תואר כ”נקי מתופעות לוואי ובטוח מכל הבחינות”, תוך התעלמות מסיכונים שתועדו על ידי רשויות הבריאות.
קלות השיטה מדאיגה מכיוון שכל מי שיש לו גישה לאינטרנט יכול לפרסם תוכן שקרי בפלטפורמות שונות ולהשפיע על תגובות גלובליות. חברות כמו OpenAI וגוגל טוענות שהן משתמשות במערכות דירוג כדי להפחית דואר זבל, אך מומחים מציינים שההגנות עדיין אינן מספיקות לאור מהירות הפרסום המקוון.
הסיכונים חורגים מבדיחות לא מזיקות
מניפולציות דומות כבר משפיעות על תחומים קריטיים כמו ייעוץ בריאותי, כספים או מידע אלקטורלי. משתמשים נוטים לסמוך על התגובות הסמכותיות של AIs מבלי לבדוק מקורות מקוריים, מה שמגביר את פוטנציאל הנזק. מחקר שנערך לאחרונה הראה ירידה משמעותית בקליקים על קישורים כאשר תשובות בינה מלאכותית מופיעות בראש החיפושים.
מומחי קידום אתרים מציינים ש-AI של היום פגיעים יותר לטריקים מהסוג הזה מאשר מנועי חיפוש מסורתיים היו רק לפני כמה שנים. המירוץ לקידום מהיר והכנסות מפרסום העניק עדיפות לתכונות על פני אמצעי הגנה חזקים מפני שימוש לרעה.
דוגמאות מהעולם האמיתי להתעללות בקנה מידה
דיווחים מצביעים על שימוש מסיבי בטכניקה כדי לקדם עסקים או להפיץ מידע מוטעה. תוכן בתשלום או מיוצר יכול למקם מוצרים מפוקפקים כטובים ביותר בנישות ספציפיות. בבדיקות נוספות נספגו גם רשימות כוזבות על קטגוריות אבסורדיות אחרות על ידי ה-AI.
הניסוי מדגים ששינוי מה שמקבלים מיליוני משתמשים כתגובה יכול להיות פשוט ומהיר. זה מחזק את הצורך בשקיפות רבה יותר במקורות המשמשים AI ומנגנונים המזהים תוכן מבודד או חשוד.
השפעה על האמון בכלי AI
האמון בתגובות צ’אטבוט פוחת כאשר ניתן לשנות עובדות בסיסיות על ידי פוסט בודד. על המשתמשים להצליב מידע עם מספר מקורות מאומתים, במיוחד בנושאים חשובים. חברות מפתחים ממשיכות לכוונן אלגוריתמים כדי למתן את הבעיות הללו, אך האתגר נמשך באקוסיסטם אינטרנט פתוח.
הגנות והמלצות עדכניות
OpenAI ו-Google מיישמות מסננים כדי לזהות דואר זבל ולתעדף מקורות מהימנים, בטענה שהם חוסמים את רוב התוכן המניפולטיבי. עם זאת, הניסוי מראה שעדיין קיימים פערים, במיוחד בנושאים עם מעט כיסוי מבוסס.
טיפים למשתמשים כדי להימנע ממלכודות
התייעץ תמיד עם המקורות שצוטטו בתגובות ה-AIs. הימנע מהחלטות המבוססות אך ורק על צ’אט בוטים לנושאים רגישים. העדיפו חיפושים מסורתיים או אתרים רשמיים במידת האפשר.
