סקירות AI של גוגל מבטיחות תשובות מיידיות, אך מחקרים חדשים מראים שהם לא תמיד אמינים. מטענות מוגזמות יתר למקורות מיושנים, הנה הסיבה שאתה צריך לחשוב פעמיים לפני שאתה סומך על אותו סיכום קטן ומסודר בראש תוצאות החיפוש שלך.
לאחר שהתגלגל מוקדם יותר השנה, סקירת AI אלו וכעת הם מופיעים יותר ויותר בראש תוצאות החיפוש. במקום למשוך ציטוט ישיר מאתר אחד, גוגל משתמשת ב- AI כדי ליצור סיכום קצר של מה שהיא חושבת שהיא התשובה הטובה ביותר לשאלתך.
לדוגמה, זה עשוי אפילו להעלות את המאמר הזה ולסכם אותו עבורך. ובעוד שזה אולי נשמע נוח, יש בעיה גדולה ברמת הדיוק של סקירות אלה. מחקרים עדכניים מראים כי ה- AI מגזים ואף משרתת מידע מיושן ומבריקים על הפרטים החשובים ביותר. עם Chatgpt לא נכון 25% מהזמן, כדאי לבדוק מקרוב כיצד אנו מקבלים מידע מ- AI.
מה המחקרים מראים
AI בטוחה, מה שיכול להוות בעיה. גם אם התשובה שגויה, ה- AI מדגיש את המידע וגורם לו להיראות אוטומטית מדויק, גם אם זה לא תמיד נכון.
במחקר אחד שנבדק על ידי עמיתים, החוקרים בדקו סיכומים בסגנון צ'אט של תקצירים מדעיים. על הנייר התוצאות נראו טוב: הסיכומים נשפטו בממוצע 92.5%. נראה די טוב, נכון? אך אפילו עם ציון דיוק גבוה, הסוקרים ציינו כי לרוב נותרו פרטי מפתח. במילים אחרות, ה- AI נתן לך את התמצית, תוך השארת היבטים חשובים בחוץ. זה הפשיט את הניואנס שמשתמש באמת יצטרך להבין את הממצאים האמיתיים.
נושא מרכזי נוסף עם סקירת AI הוא שהכללת יתר היא נושא חוזר. כאשר חוקרים במחקר אחד דחפו את המודלים לדייק, מודלים גדולים של שפה מוגזמת לעתים קרובות על מסקנות. בין 26% ל 73% מהסיכומים הציגו שגיאות על ידי הגזמת טענות. זה אולי לא נשמע קטסטרופלי, אך כאשר מסקנות מדעיות מדוקדקות הופכות להצהרות נועזות ומפושטות יתר, הקוראים יכולים להתרחק עם הרושם הלא נכון.
גוגל מעדיף את הקונצנזוס – גם אם זה לא בסדר
מבחן אחד חשף בעיה גדולה עוד יותר: סקירה כללית של AI של גוגל חזרה על תשובה מיושנת פשוט מכיוון שזו הייתה הגרסה הנפוצה ביותר שנמצאה ברשת. שמתי לב לזה באופן אישי ומוצאתי את זה מתסכל ביותר. גם אם תשובה חדשה ונכונה יותר ניתנת לרשותה, אם היא לא מתפרסמת באופן נרחב, AI לא תראה אותה מכיוון שאיי נשען בכבדות על קונצנזוס, ולא דיוק, מה שאומר שאם המידע פופולרי הוא יופיע – גם אם הוא לא מדויק.
קנה מידה הוא דאגה נוספת. ביקורת מסיבית של יותר מ -400,000 סקירות AI מצאה כי 77% מהם ציטטו מקורות רק מעשרת התוצאות האורגניות המובילות. זה אולי נראה יעיל, אבל זה יוצר תא הד. אם אף אחד מהדפים המדורגים העליונים אינו עכשווי או מדויק, גם סיכום ה- AI לא יהיה.
ככל הנראה הפרט המספר ביותר בסקירות AI הוא העובדה שאפילו גוגל אינה בטוחה לחלוטין ביכולתו של AI. מהחברה טוענת כי סקירת AI מבצעת את "ב- PAR" עם הקטעים המוצגים המסורתיים שלה, אך היא עדיין כוללת אזהרה: "תוצאות אולי אינן מדויקות." זה אמור להגיד לך את כל מה שאתה צריך לדעת.
מדוע סקירות AI טעות את זה
ישנן כמה סיבות חוזרות ונשנות שהסיכומים הללו מפספסים את הסימן. הזיות הן הברורות ביותר. שגיאות אלה הן רגעים שבהם ה- AI פשוט ממציא פרט למילוי פער. מקורות מיושנים הם אשם נוסף. אם המאמרים הנראים ביותר ישנים או פגומים, ה- AI אינו יודע טוב יותר; זה פשוט חוזר עליהם.
יש גם את נושא ההטיה לקראת חזרה. AI נשען על דפוסים וקונצנזוס, שמשמעותו תשובות פופולריות מוגברות בין אם הן נכונות או לא. ולבסוף, יש את הבעיה להחמיץ את ההקשר לחלוטין. תשובות מסובכות לעתים קרובות מוטות למשהו קצר ובטוח, אך הקצרה יכולה למחוק הקשר חשוב.
