قم بتشغيل رموز Hugging Face كوحدات استدلال OpenVINO الأصلية
تحويل رموز Hugging Face إلى نماذج OpenVINO IR وتشغيل الترميز محليًا داخل خط أنابيب الاستدلال، مما يزيل المعالجة المسبقة الخاصة بـ Python فقط من مسار النشر. توفر شركة Intel هذه الإضافة لتضمين الترميز وفك الترميز داخل OpenVINO، مع واجهات برمجة التطبيقات بلغة Python و C++. تشمل الوظائف الرئيسية تحويل IR، وخطوط أنابيب مجمعة من الرموز + النماذج، وعمليات التعبير العادي/التطبيع المخصصة. تستهدف الأداة مطوري ومهندسي الذكاء الاصطناعي الذين يحتاجون إلى نشرات LLM خفيفة تعتمد على C++ على أجهزة Intel لسيناريوهات الإنتاج أو الحافة.
تحويل منطق المميز إلى نماذج OpenVINO لاستخدامها في خط الأنابيب الأصلي
الأداة تحول مميزين Hugging Face إلى نماذج تمثيل وسيط OpenVINO، مما يسمح بتشغيل التمييز داخل وقت تشغيل OpenVINO بدلاً من كونه خطوة خارجية بلغة بايثون. يدعم التحويل خوارزميات التمييز الشائعة مثل ترميز بايت-باير، وWordPiece، وSentencePiece. يمكنك بعد ذلك دمج تمثيل المميز مع النموذج الرئيسي بحيث تتعامل سلسلة الاستدلال الواحدة مع إدخال النص من خلال التمييز إلى مخرجات النموذج، مما يقلل من خطوات المعالجة المسبقة الخارجية.
الاستدلال المعتمد على وحدة المعالجة المركزية فقط للمميزين يؤثر على خيارات النشر
يتم تنفيذ المميزين على وحدة المعالجة المركزية داخل وقت تشغيل OpenVINO، مما يؤثر على مكان وضع معالجة النصوص في نظام غير متجانس. بينما يمكن أن تستهدف النماذج الرئيسية للذكاء الاصطناعي وحدة المعالجة المركزية، أو وحدة معالجة الرسوميات، أو وحدة معالجة الشبكات العصبية، فإن مكون المميز يعمل على المعالج، لذا يجب التخطيط لسعة وحدة المعالجة المركزية وفقًا لذلك لأحمال النصوص الكبيرة أو ذات الكمون المنخفض. تم تحسين الإضافة لمعالجات Intel وتفترض أن وقت تشغيل OpenVINO متاح على المضيف.
يعمل بدون تبعيات بايثون، ملائم لبناء الإنتاج بلغة C++
المشروع يكشف عن واجهات برمجة التطبيقات لكل من بايثون وC++ ويمكّن صراحة خطوط استدلال C++ الأصلية بالكامل من خلال إزالة مكتبات المميزين بلغة بايثون من الإنتاج. بالنسبة للفرق التي تدمج LLMs في تطبيقات C++ أو البرامج الثابتة للحافة، فإن ذلك يقلل من التبعيات الزمنية الخارجية. بالنسبة لبيئات C++، يمكن بناء المميز من المصدر أو استخدامه كإضافة ثنائية، مما يتناسب مع سير العمل المعتاد للبناء الأصلي.
السلامة، خيارات المعالجة، والتكامل مع OpenVINO GenAI
تدعم الأداة خطوات المعالجة المسبقة الحتمية مثل التنظيف القائم على التعبيرات العادية والتطبيع داخل تمثيل المميز، مما يحافظ على تدفق استدلال للقراءة فقط لمعالجة النص. يتكامل مع OpenVINO GenAI وOptimum Intel لمواءمة التمييز مع نشر النموذج. يتم صيانة المشروع بنشاط من قبل Intel ويهدف إلى تقليل بصمة النشر مع الحفاظ على المعالجة المسبقة داخل حدود الاستدلال.
عملي لنشر C++ LLM في الإنتاج، مع مقايضة المعالج المركزي
الأداة تناسب المطورين الذين يحتاجون إلى إزالة اعتمادات وقت تشغيل Python وتشغيل التجزئة داخل خط أنابيب الاستدلال، وصيانتها النشطة من قبل Intel تدعم التحديثات المعمارية المستمرة. المقايضة الملحوظة الوحيدة هي أن استدلال التجزئة يعمل على المعالج المركزي، لذا يجب على الفرق توفير سعة المعالج عند التعامل مع أحجام طلبات عالية أو معالجة دفعات كبيرة. بالنسبة لبناء C++ في الإنتاج أو الحافة التي تعطي الأولوية لأدنى اعتمادات وقت التشغيل، توفر الأداة ميزة تشغيلية واضحة مع هذا القيد.
