AI Chatbots כמו Chatgpt and Gemini בדרך כלל זקוק לענן כדי לתפקד. עם זאת, מה אם היית יכול להריץ דגם שפה גדול שלם (LLM) ממש באייפון שלך ללא מנוי, חיבור לאינטרנט וללא כל נתונים שעוזבים את המכשיר שלך? בזכות קומץ אפליקציות ודגמים דחוסים קלים, אתה יכול למעשה.
ניסיתי את זה, והנה מה שאתה צריך לדעת.
פועל AI באופן מקומי באייפון
כעת תוכלו להריץ דגמי קוד פתוח כמו לאמה וקוון ישירות ב- iOS. דגמים אלה נרתעים ממתקנים באמצעות תהליך שנקרא כימות, שדחוס אותם כך שישתלב בזיכרון הנייד מבלי לשבור את הביצועים לחלוטין.
התפיסה: הביצועים תלויים מאוד בחומרה שלך. IPhone 15 Pro או 15 Pro Max עם השבב האחרון של אפל יכול לטעון דגמים של עד 7B או 8B פרמטרים (כמו LLAMA 3.1 8B), ואילו טלפונים ישנים מתאימים יותר לדגמי פרמטרים קטנים יותר של 1-3B.
האפליקציות שמאפשרות את זה
- חוות LLM (בחינם): הדרך הקלה ביותר להתחיל. אתה יכול להוריד דגם קטן (כמו PHI-3.5 DENICESS) ולהריץ אותו במצב לא מקוון רק ברז. זה חלק באופן מפתיע לתשובות מהירות.
- צ'אט MLC (בחינם): זה זה שהשתמשתי בו. הייתי משתמש בחוות LLM אבל משום מה חנות האפליקציות של Apple לא נותנת לי את האפשרות להוריד אותה. מכיוון שהאחד הזה היה בחינם, הלכתי על זה וזה עבד באותה מידה.
- פרטי LLM (פרויקט קהילתי): זו יותר אפשרות DIY ולא למשתמש המזדמן. למדריכים מפורטות זה לטעינת דגמים כמו LLAMA 3.1 ו- QWEN באייפון שלך. אם אתה רוצה להתעסק, בהחלט תן לזה צילום.
- אפולו (בתשלום): שמעתי דברים טובים אבל לא ניסיתי את האפליקציה הזו בעצמי. תודיע לי בתגובות מה אתה חושב על האפליקציה הממוקדת בפרטיות זו.
כיצד להפעיל את הדגם באופן מקומי
לאחר שהורדת את האפליקציה שלך לבחירה, פתח את האפליקציה. משם, דפדף ברשימת הדגמים המובנים ובחר באחד (למשל, PHI-3.5 הנחה כמות Q4). בחרתי ב- Qwen 2.5 ללא סיבה אחרת אלא שלא השתמשתי בו זמן מה.
לאחר שתוריד אותו, תראה את הדגם במכשיר שלך (בכל מקום בין כמה מאות מגה -בייט לכמה GB תלוי בגודל). משם, פשוט התחל לשוחח.
תרצה לשמור על ציפיות מציאותיות; זה לא הזמן לבקש צלילות עמוקות או תוכניות ארוכות אחר צעד. זכור את הדברים הבאים:
- מְהִירוּת: דגמים קטנים (1–3b) מגיבים מהר יותר; דגמים גדולים יכולים לקחת שניות לאסימון.
- הֶקשֵׁר: אל תדביק מאמרים שלמים; שמור על הנחיות קצרות יותר.
- תְפוּקָה: LLMs מקומיים עשויים להיות פחות מלוטשים מ- ChatGpt, אך הם מועילים לתווים, סיכומים, שאלות ותשובות וניסוח קל משקל.
היה לי כיף לנסות כמה הנחיות. שום דבר מפואר; המטרה שלי הייתה רק לראות את סוג התגובות שקיבלתי מהבקשה המקומית. דבר אחד שתבחין מייד הוא המהירות. מדהים כמה מהר ה- LLM מגיב.
ניסיתי את ההנחיות הבאות ובסך הכל, התרשמתי.
- "סיכמו את הכרזת העצמאות בשלוש נקודות כדור."
- "כתוב סיפור קצר לפני השינה על רובוט וחתול."
- "תן לי שלושה רעיונות לארוחת ערב באמצעות עוף, אורז וברוקולי."
הפעלת LLM מקומית אינה זהה לשוחח עם Chatgpt-5. זה בהחלט מרגיש יעיל וגולמי. אם אתה מנסה זאת, זכור לשמור על ההנחיות שלך כי חלונות ההקשר מוגבלים בהרבה מאשר בעת השימוש בגרסה הרגילה של Chatbots. התגובות ירגישו לאט יותר אם תעמיסו על ה- LLM המקומי.
למה שתעשה זאת?
- אין דמי מנוי. אתה לא שורף נקודות זכות רק כדי להתנסות.
- פרטיות מובנית. הכל נשאר הלאה המכשיר שלך.
- מגוון באופן מפתיע. התפוצצתי מכמה הדגם המיני יכול להתמודד. בכל פעם שדחפתי את הגבולות, הוא הצליח להתמודד עם המתמודד בקלות.
