AI
עומסי AI על AWS
החלק של ה־AI במוצר צריך תשתית כמו כל דבר אחר: גישה מאובטחת למודלים, משאבי חישוב שמתאימים לעומס, מקום לאחסן וקטורים, ומעקב אחרי מה שכל בקשה עולה. זה בדיוק מה שאנחנו בונים — כקוד, בחשבון שלכם.
מה כולל השירות
גישה למודלים
Amazon Bedrock עם הרשאות מדויקות, גישה פרטית דרך ה־VPC ורישום שימוש מלא.
הרצה ואירוח
נקודות קצה ב־SageMaker או שירותי הסקה בקונטיינרים, כולל סקיילינג לפי עומס.
משאבי GPU
צמתי GPU על EKS שעולים כשצריך ונכבים כשלא — הפריט היקר ביותר בחשבון.
מאגרי וקטורים ו־RAG
אחסון והקשר לחיפוש סמנטי, כולל צינור עדכון של המסמכים.
בקרת עלויות
תקציבים, מדידה לפי שימוש והתראות — כי חשבון AI מטפס מהר.
אבטחה ופרטיות
הפרדת נתונים, הצפנה, ושליטה במה שיוצא מהארגון ומה נשאר בפנים.
מה זה לא
זה לא שירות של אימון מודלים או מחקר נתונים. אנחנו לא בונים את המודל — אנחנו בונים את התשתית שמריצה אותו בצורה יציבה, מאובטחת ובעלות שאפשר לחזות. אם אתם מחפשים אנשי מחקר, נאמר את זה ישר.
איך זה עובד
- 1הבנת המקרה — איזה מודל, איזו תעבורה צפויה, אילו נתונים ואיזו רגישות.
- 2תכנון ועלות — ארכיטקטורה והערכת עלות חודשית, לפני שנכתב קוד.
- 3הקמה כקוד — Terraform לכל התשתית, כולל הרשאות, רשת וניטור.
- 4בדיקות עומס — מדידה אמיתית של זמני תגובה ועלות לכל בקשה.
- 5מסירה — תיעוד, הדרכה ואפשרות לתמיכה שוטפת.
שירותים קשורים
- שירותי AWS
- Kubernetes — הבסיס להרצת GPU בקנה מידה.
- הוזלת עלויות — קריטי במיוחד בעומסי AI.
שאלות נפוצות
- כמה עולה להריץ מודל על AWS?
- תלוי בשיטה. מודל מנוהל ב־Bedrock מחויב לפי שימוש ומתאים לתעבורה משתנה. אירוח עצמי על GPU משתלם מנקודת עומס מסוימת אבל דורש תשומת לב לעלות. בשלב התכנון נותנים הערכה לשתי האפשרויות.
- הנתונים שלנו יישארו פרטיים?
- עם Bedrock בתוך חשבון ה־AWS שלכם, הבקשות אינן משמשות לאימון מודלים, ואפשר לנתב אותן דרך רשת פרטית. עם אירוח עצמי הנתונים ממילא לא יוצאים מהחשבון שלכם.
- אפשר להתחיל בקטן?
- כן, וזה מומלץ: נקודת קצה אחת, תקציב מוגדר ומדידה של עלות לכל בקשה, לפני שמרחיבים.
- אתם בונים את המודל עצמו?
- לא. העבודה שלנו היא התשתית סביב המודל: פריסה, אבטחה, סקיילינג, ניטור ועלות.
ספרו לי מה רץ אצלכם היום
שיחה קצרה, ואחריה תוכנית כתובה עם הערכת עלות והיקף עבודה מוגדר. ללא התחייבות.