הבינה המלאכותית החדשה של Perplexity פועלת במחשב האישי שלך – ושואלת לפני השימוש בענן

רוב עוזרי הבינה המלאכותית דורשים ממך לשלוח את השאלות, הקבצים ונתונים אחרים שלך לשרתים של מישהו אחר. המחשב הנייד החדש של Perplexity הופך את ההסדר הזה על ידי הפעלת מערכת הבינה המלאכותית כולה על חומרה שבבעלותך.

הוכרז ביום שלישי, Portable Computer מביאה את פלטפורמת המחשב הסוכנת של Perplexity ל-Nvidia DGX Spark ולמכונות לינוקס אחרות עם כרטיסים גרפיים תואמים של Nvidia.

החברה אומרת שכל משימה מתחילה במחשב שלך. אם המודל המקומי מגיע לשלב הדורש נימוקים מתקדמים יותר, Portable Computer מבקש רשות לפני שליחת הצעד הבודד הזה לדגם חזיתי בענן. לאחר מכן התשובה חוזרת לזרימת העבודה המקומית, בעוד שקבצים ומידע רגיש אחר יכולים להישאר במכשיר.

זה יכול לעשות את זה מושך לכל מי שרוצה את הנוחות של סוכן AI מבלי למסור אוטומטית את כל מה שהוא נוגע לספק ענן.

עם זאת, יש מלכוד יקר למדי.

יותר מצ'אט בוט בהתקנה מקומית

אתה כבר יכול להוריד דגמים פתוחים ולהפעיל אותם במחשב שלך. החלק הקשה הוא הפיכת אחד מהדגמים הללו לסוכן בינה מלאכותית שיכול לעבוד עם קבצים, להשתמש בכלים ולהשלים משימה הכוללת מספר שלבים.

לעשות את זה בדרך כלל אומר למצוא ולהגדיר מנוע הסקה, רתמת סוכנים, ארגז חול וכל מחברים הדרושים כדי להגיע לאפליקציות חיצוניות. אתה גם אחראי לגרום לכל החלקים האלה לעבוד יחד.

חבילות מחשב נייד הנערמות למערכת אחת. הוא כולל את המודל המקומי, מנוע ההסקות, כלי סוכנים, מחברי אפליקציות וארגז חול מבודד שבו הוא יכול להפעיל קוד ולהשתמש בכלים.

ה-AI יכול לעבוד עם קבצים המאוחסנים במחשב שלך, לקרוא קובצי PDF, להריץ פקודות מעטפת, לקחת הכתבה ולחפש באינטרנט. משתמשים יכולים גם לחבר שירותים כולל Google Drive, Gmail, Slack ו-GitHub.

שימוש בקוד ובכלים מתרחש בתוך ארגז החול המקומי, לפי Perplexity. זה מספק הפרדה מסוימת בין סוכן הבינה המלאכותית לשאר המחשב, למרות שעדיין הייתי רוצה פרטים נוספים על בדיוק למה הוא יכול לגשת וכיצד נשלטות ההרשאות הללו.

הוא יודע מתי לבקש עזרה

הניתוב ההיברידי הוא כנראה החלק המעניין ביותר של מחשב נייד.

מודל מקומי קטן יותר עשוי להספיק כדי לאתר קובץ, לחלץ מידע מ-PDF או לבצע סדרה פשוטה של ​​שלבים. סביר פחות להתאים ליכולות החשיבה של הדגמים הגדולים ביותר מ-OpenAI, Anthropic או Google.

התשובה של Perplexity היא לתת למשימה להישאר מקומית עד שהמודל יתקל במשהו שאינו יכול להתמודד בצורה מהימנה. מחשב נייד יכול אז לשאול אם הוא עשוי לשלוח את הצעד הזה למודל ענן.

משתמשים לא צריכים לבחור מצב פרטיות או ליצור כללי ניתוב משלהם. המערכת מקבלת את ההחלטה בזמן שהיא פועלת, אך המשתמש עדיין צריך לאשר את המסירה. מערכת AI מקומית כביכול הופכת להרבה פחות פרטית אם היא נופלת בשקט לענן בכל פעם שמשימה מתקשה.

התמיהה גם אומרת שעבודות שהושלמו באופן מקומי לא יצרכו זיכויים לחיוב. רק החלק שנשלח לענן ייחשב עבור השימוש בענן.

בעת ההשקה, המשתמשים יכולים לבחור בדגם Qwen של 27 מיליארד פרמטרים או בגרסה של Perplexity לאחר הכשרה, הנקראת PPLX 27B. Nemotron 3.5 Lightning של Nvidia צפוי לבוא בעקבותיו. משתמשים יוכלו גם להביא דגם ושרת מסקנות משלהם.

החומרה היא המלכוד

מחשב נייד עשוי לרוץ במחשב האישי שלך, אך לא על כל מחשב.

התוכנה מושקת לראשונה בלינוקס ודורשת חומרת Nvidia עם לפחות 24GB של VRAM. הוא תומך ב-Nvidia DGX Spark בגודל שולחן העבודה וכן במחשבים תואמים המריצים DGX OS או Ubuntu על חומרת ARM או x64.

התמיכה של Windows אמורה להגיע בספטמבר. Perplexity לא הכריזה על תמיכה ב-macOS.

מחשב נייד יהיה זמין למנויי Perplexity Pro, Max, Enterprise Pro ו-Enterprise Max. אפילו עם מנוי תואם, לרוב האנשים לא תהיה החומרה הדרושה מתחת לשולחנותיהם.

זה הופך את המהדורה הראשונית הזו לרלוונטית יותר לחובבי בינה מלאכותית, מפתחים וחברות שכבר בבעלותן מערכות Nvidia מתקדמות מאשר מישהו שמתלבט בין ChatGPT ל-Perplexity במחשב נייד רגיל.

ובכל זאת, הרעיון מאחורי זה יכול להגיע לקהל רחב הרבה יותר. עוזרי AI מקבלים גישה למידע אישי יותר ויותר, כולל דואר אלקטרוני, מסמכי עבודה וקבצים המאוחסנים במחשבים שלנו. הפעלת יותר מהעבודה הזו באופן מקומי נותנת למשתמשים דרך נוספת להחליט מה עוזב את המחשב שלהם ומתי.

מחשב נייד אינו מוכן להחליף צ'אט בוט בענן עבור רוב האנשים. עם זאת, הוא מציע הצצה לאיך יכול להיראות עוזר AI פרטי יותר ברגע שהחומרה הדרושה להפעלתו הופכת קלה יותר להרשות לעצמה.