מתחילים פרויקט מתחילים
מקרי בוחןתבנית מקרה · SayMo
SayMo Pro: סטטיסטיקות עם נתונים לדוגמה ופקדי הקלטה מורחבים
SayMoהכתבה · אפליקציית macOS
בקרת ההקלטה המורחבת של SayMo בהדגמת הדפדפן: הגדרות, היסטוריה, הקלטת AUTO, הדבקה ושפת המקלדת.
בקרת ההקלטה המורחבת; הדגמת ממשק

שירותים

  • עיצוב מוצר
  • עיצוב UX/UI
  • פיתוח אפליקציות

כלים

  • ניתוח מתחרים
  • מידול איומים
  • ניתוח מחזור חיי נתונים
  • בדיקת זרימת משתמש
  • ניתוח פערי אבטחה

מערך טכנולוגי

  • Swift
  • AppKit
  • WebKit
  • whisper.cpp
  • Metal
  • Parakeet
  • Core ML
  • FluidAudio
  • CTranslate2
  • M2M-100
  • CryptoKit
  • LocalAuthentication

SayMo

SayMo הופך דיבור לטקסט באפליקציית ה-Mac שבה אתם כבר משתמשים. הוא נבנה בסטודיו לעבודה היומיומית שלנו ומרכז גם בקשות הרשאה של סוכני AI במקום אחד, כך שמענה אינו דורש חיפוש בצ'אטים פתוחים.

הבעיה

הכתבת משימה ומענה לסוכן הם פעולות קטנות שחוזרות בחלונות רבים. רצינו ששניהם ישתלבו בעבודה שכבר על המסך, עם דרך לשחזר הכתבה כשהזיהוי או ההזנה אינם מתנהלים כצפוי.

החלטות עיצוב

עיצבנו פקד קומפקטי בקצה המסך וקיצורים שמתחילים הקלטה בלי לפתוח חלון נוסף. בקשות הרשאה מופיעות עם די הקשר כדי לענות לצ'אט הנכון.

הפכנו שחזור לחלק מהתהליך הרגיל: טקסט מזוהה נשמר לפני ההזנה והקלטות שלא הושלמו נשארות זמינות לניסיון נוסף. זיהוי הדיבור פועל מקומית ב-Mac.

התרומה שלנו

הגדרנו את תהליכי ההקלטה, ההזנה והשחזור, עיצבנו את הממשק ובנינו את אפליקציית macOS המקורית. השימוש היומיומי שלנו מכוון את הפיתוח. המקרה הזה מציג את גרסת הפיתוח הנוכחית.

פאנל הבקשות של SayMo תלוי מראש רקע כחול עם בקשה אחת מ-Claude Code: פרויקט saymo, צ'אט Release build, «בנה את האפליקציה והרץ את הבדיקות», הפקודה המדויקת, ואז אישור חד-פעמי, דחייה ו«לא, ואמור ל-Claude מה לעשות במקום»
בקשת Claude Code לדוגמה עם הפרויקט, המשימה והתגובות הזמינות

הביאו את הבקשה הממתינה לאדם.

בקשת הרשאה יכולה לעצור עבודה באחד מצ'אטים פתוחים רבים. אנו מרכזים את הפרויקט, הצ'אט והפקודה המדויקת בפאנל בראש המסך, ומעניקים לכל בקשה די הקשר לקבלת החלטה.

אפשר לאשר את הבקשה, לדחות אותה או לתת הנחיה אחרת. התשובה שייכת לבקשה הזאת, כך שהמענה אינו תלוי בחלון העבודה שנמצא בחזית.

הגדרות ההכתבה של SayMo: מצב תמלול, שפה אוטומטית, מודל Parakeet על Neural Engine, הפעלה ב-Mouse 5, מצב הקלטה בהחזקה ובלחיצה
זיהוי מקומי והפעלת ההקלטה בתצוגת הגדרות אחת

התחילו לדבר מתוך המשימה שכבר פתוחה.

קיצור מקלדת או כפתור צד בעכבר מתחיל הקלטה כשהאפליקציה הנוכחית נשארת במיקוד. SayMo מתמלל ב-Mac ומזין את התוצאה במיקום הסמן הפעיל.

בקרת ההקלטה נשארת קומפקטית, ואפשר לבחור את אופן ההפעלה ומצב ההקלטה בתצוגת הגדרות אחת. כך הכתבה חוזרת נשארת קרובה לדרך שבה האדם כבר עובד.

חלון SayMo, עמוד הכתבות: שדה חיפוש והכתבות מקובצות לפי יום, כל אחת עם שעה, אפליקציה ואורך, מלא בנתונים לדוגמה
היסטוריית הכתבות הניתנת לחיפוש עם שעה והקשר האפליקציה; רשומות לדוגמה

שמרו את המילים לפני ההזנה.

הזנה שנכשלה צריכה להשאיר הכתבה שניתן להשתמש בה. אנו שומרים את הטקסט המזוהה בהיסטוריה לפני ההזנה, עם השעה והאפליקציה כדי לעזור למצוא אותו בהמשך.

אם הזיהוי נכשל, ההקלטה נשמרת לניסיון נוסף. ההיסטוריה מספקת מקום לחיפוש ולשחזור הטקסט. הארכיון מוצפן בדיסק, עם נעילת היסטוריה המופעלת כברירת מחדל.

כלי מקורי שמעוצב מתוך שימוש יומיומי.

עיצבנו ובנינו את SayMo סביב העבודה שלנו באפליקציות ובצ'אטים של AI. עמוד האפליקציה מאפשר לגלות הדגמות דפדפן של הפקדים ובקשות הסוכנים. קלט המיקרופון וההגדרות בהדגמות האלה מדומים.

מקרים נוספים

HE