حصري: شرف لاول مرة وكيل منظمة العفو الدولية يمكنه قراءة وفهم شاشتك

لقد اختار مطعمًا ، ولكن بعد ذلك لم يتمكن من إكمال العملية لأن المكان الذي اختاره يتطلب بطاقة ائتمان لتأكيد الحجز ، وعندها كان على المستخدم توليه. يمكنك أن تكون مرنًا في استفسارك – على سبيل المثال ، تطلب منه حجز مطعم “تم تصنيفه للغاية” أنه سيبحث في المراجعات ذات الدرجات العالية ، على الرغم من أن الوكيل لا يقوم بأي بحث أكثر من ذلك. إنه ليس مراجعات مرجعية مع مراجعات مع بيانات من أجزاء أخرى من الويب ، خاصة وأن كل هذه البيانات تتم معالجتها على الجهاز ولا يتم إرسالها إلى السحابة.

هذا النوع من الذكاء الاصطناعي هو الكلمة الطنانة الحالية في مجال التكنولوجيا. اختبر زميلي فارس مؤخرًا مساعد منظمة العفو الدولية يمكنه تصفح الويب وأداء المهام عبر الإنترنت. كشفت Google في أواخر العام الماضي عن نموذج Gemini 2 AI المدربين على اتخاذ إجراءات نيابة عنك. كما أنه يجدد فكرة وجود واجهة مستخدم توليدية للهواتف الذكية – في MWC 2024 ، رأينا بعض الشركات التي تعمل على طرق للتفاعل مع التطبيقات دون استخدام التطبيقات على الإطلاق ، بدلاً من ذلك ، نميل إلى مساعدي الذكاء الاصطناعى لإنشاء واجهة مستخدم عند إصدار أمر.

يشبه نهج الشرف إلى حد ما ما هو ما يفعله الأرنب – من الأرنب الشهير R1 – مع وضع Teach ، حيث تقوم بتدريب مساعدها يدويًا على إكمال المهمة. ليست هناك حاجة للوصول إلى واجهة برمجة تطبيقات التطبيق (API) ، وهي الطريقة التقليدية لتطبيقات أو خدمات التواصل مع بعضها البعض. يحفظ الوكيل العملية ، مما يسمح لك بعد ذلك بإصدار الأمر وجعله ينفذ المهمة.

لكن Honor يقول إن نموذج تنفيذ الذكاء الاصطناعي المعتمد على الذات ليس مدربًا على اتباع خطوات صارمة-إنه قادر على التعرف على سياق الشاشة متعددة الوسائط لأداء المهام بشكل مستقل. بدلاً من الاضطرار إلى تدريب المساعد لتعلم كل جزء من تطبيق OpenTable ، يكون قادرًا على فهم العناصر الدلالية لواجهة المستخدم وسيتم متابعة عملية متعددة الخطوات لتنفيذ طلبك. أبرز هرف أن هذه العملية كانت أكثر فعالية من حيث التكلفة: “على عكس المنافسين مثل Apple و Samsung و Google ، والتي تعتمد على واجهات برمجة التطبيقات الخارجية – التي تدير تكاليف التشغيل العالية – يدير وكيل AI الخاص بـ Honor مجموعة واسعة من المهام”.