🎤 التعرف على الكلام – التحكم الصوتي في سكراتش #
تُتيح لك إضافة التعرف على الكلام التحكم الصوتي الحقيقي في سكراتش.
فهي تُمكّنك من التقاط الكلمات المنطوقة وتحويلها إلى نص، مما يُتيح لك استخدام الأوامر الصوتية، والإملاء، ومشاريع تعلم اللغات، والألعاب التفاعلية التي يتم التحكم فيها صوتيًا، كل ذلك في الوقت الفعلي، مباشرةً من متصفحك.
سهلة الاستخدام للمبتدئين، وقوية بما يكفي للفصول الدراسية الإبداعية. ✨
🌟 ملخص #
- تحويل الصوت إلى نص: التقط الكلمات المنطوقة واستخدمها في مشاريع سكراتش الخاصة بك.
- دعم متعدد اللغات: التعرف على الكلام بأكثر من 25 لغة بما في ذلك الإنجليزية والإسبانية والفرنسية والألمانية والعربية والفارسية والصينية واليابانية والكورية
- التعرف الفوري: احصل على نسخة فورية من الكلمات المنطوقة.
- سهولة التكامل: استخدم كتلًا بسيطة لبدء الاستماع واسترجاع النص الذي تم التعرف عليه.
- تحويل الأرقام: تحويل الأرقام الفارسية/العربية إلى أرقام إنجليزية لتسهيل المعالجة.
- يعمل عبر المتصفح: يعمل في متصفحات Chrome وMicrosoft Edge ومعظم المتصفحات المبنية على Chromium والتي تدعم واجهة برمجة تطبيقات الكلام على الويب.
✨ الميزات الرئيسية #
- يدعم أكثر من 25 لغة مع العديد من اللهجات الإقليمية.
- واجهة برمجة تطبيقات التعرف على الكلام المدمجة في المتصفح (واجهة برمجة تطبيقات الكلام على الويب).
- أمر بسيط للاستماع والانتظار لالتقاط الصوت بشكل متزامن.
- إمكانية تغيير اللغة أثناء العمل للمشاريع متعددة اللغات.
- يعمل مباشرة من خلال متصفحك - سريع الاستجابة.
- لا يتطلب الأمر أي إعداد أو مفاتيح API - يعمل تلقائيًا مع واجهة برمجة التطبيقات المدمجة في متصفحك.
🚀 كيفية الاستخدام #
- انتقل إلى: pishi.ai/play
- افتح قسم الإضافات.
- حدد ملحق التعرف على الكلام.
- اسمح بالوصول إلى الميكروفون عندما يطلب منك المتصفح ذلك.
- تحديد اللغة: استخدم كتلة "اجعل اللغة هي [LANGUAGE]" لاختيار اللغة التي تريدها (اللغة الافتراضية هي الإنجليزية).
- ابدأ الاستماع: استخدم خاصية "استمع وانتظر" - سيبدأ الملحق بالاستماع إلى الميكروفون الخاص بك وينتظر منك التحدث.
- استرجاع الكلام: بعد التحدث، يتم تخزين النص الذي تم التعرف عليه ويمكن استرجاعه باستخدام كتلة "کلام" الخاصة بالمبلغ.
- الاستخدام في المشاريع: ادمجها مع وحدات أخرى لإنشاء ألعاب يتم التحكم فيها صوتيًا، وأدوات إملاء، وأنشطة لتعلم اللغات، والمزيد!
نصائح
- تحدث بوضوح وبوتيرة طبيعية للحصول على أفضل دقة في التعرف على الكلام.
- استخدم بيئة هادئة لتقليل تداخل الضوضاء المحيطة.
- بالنسبة للغات التي تحتوي على أرقام غير إنجليزية (العربية / الفارسية)، استخدم كتلة "تحويل الأرقام الفارسية / العربية إلى الإنجليزية" لتوحيد الأرقام.
- يعمل بشكل أفضل في متصفحات Chrome و Edge وغيرها من المتصفحات المبنية على Chromium والتي تدعم واجهة برمجة تطبيقات الكلام على الويب.
🧱 الكتل والوظائف #
🎤 التقاط الصوت #
يبدأ البرنامج بالاستماع إلى الميكروفون وينتظر التعرف على المدخلات الصوتية.
هذا أمر حجب - سيتوقف البرنامج مؤقتًا حتى يتم اكتشاف الكلام وكتابته، أو حتى يحدث خطأ/مهلة زمنية (حوالي 60 ثانية).
كيف يعمل؟
- عند تشغيل هذا الجزء من الكود، يبدأ المتصفح بالاستماع عبر الميكروفون الخاص بك.
- تحدث بوضوح - سيقوم نظام التعرف على الكلام بنسخ ما تقوله.
- بمجرد التعرف على الكلام، يتم حفظ النص وتكتمل العملية.
- إذا لم يتم اكتشاف أي كلام أو حدث خطأ، فستنتهي العملية بنتيجة فارغة.
هام: تأكد من تفعيل أذونات الميكروفون في إعدادات متصفحك.
يُبلغ عن آخر نص صوتي تم التعرف عليه بواسطة كتلة "استمع وانتظر".
يُعيد النص المكتوب كسلسلة نصية، أو سلسلة نصية فارغة في حالة عدم التعرف على أي كلام أو حدوث خطأ.
مثال:
- إذا قلت "مرحباً يا سکراتش"، فسيقوم هذا المربع بالإبلاغ عن "مرحباً يا سکراتش".
- استخدم هذه الكتلة لعرض الكلام المُتعرف عليه، ومقارنة الكلمات، وتفعيل الإجراءات، أو تخزين الكلام في متغيرات.
يُبلغ هذا عن مدى ثقة نظام التعرف على الكلام في النتيجة الأخيرة التي تم التعرف عليها، وذلك برقم بين 0 و1 (حيث 1 تعني ثقة بنسبة 100%).
ويُرجع سلسلة نصية فارغة إذا لم يتم التعرف على أي نتيجة بعد، أو إذا لم يكن للنتيجة أي درجة ثقة.
ملاحظة: لا تعرض جميع المتصفحات قيمة الثقة. يعرضها متصفح جوجل كروم بشكل موثوق؛ بينما قد تعرض المتصفحات الأخرى سلسلة نصية فارغة حتى بعد التعرف الناجح.
كيف يعمل؟
- بعد اكتمال عملية "استمع وانتظر"، تُرجع هذه الكتلة رقمًا عشريًا مثل 0.92 (بمعنى ثقة بنسبة 92٪).
- القيمة الأعلى تعني أن المتصفح كان أكثر يقيناً بشأن ما سمعه.
- قد يشير انخفاض مستوى الثقة إلى أنه يجب عليك أن تطلب من المستخدم تكرار كلامه أو التحدث بشكل أكثر وضوحًا.
مثال:
- استخدم كتلة "إذا" للتحقق: إذا كانت (الثقة) > 0.8، فاقبل الإجابة؛ وإلا فاطلب من المستخدم المحاولة مرة أخرى.
- اعرض قيمة الثقة على الشاشة أثناء بناء مشروعك واختباره لفهم جودة التعرف.
يعرض هذا التطبيق النص المؤقت الحالي أثناء عملية التعرف على الكلام، قبل اعتماد النتيجة النهائية.
ويتم تحديثه باستمرار أثناء حديثك، مما يمنحك معاينة فورية لما يسمعه المتصفح.
كيف يعمل؟
- أثناء تشغيل "استمع وانتظر" وأنت تتحدث، تعكس هذه الكتلة أفضل تخمين للمتصفح حتى الآن.
- تتغير القيمة بسرعة مع معالجة التعرف لكل مقطع لفظي أو كلمة.
- بمجرد انتهاء عملية التعرف، يحتوي قسم "كلام" على النص النهائي المؤكد، بينما يحتوي قسم "الكلام المباشر" على النص المؤقت الأخير.
مثال:
- اعرض "الكلام المباشر" في فقاعة كلام على شخصيتك حتى يتمكن الجمهور من رؤية الكلمات تظهر في الوقت الفعلي أثناء حديثك.
- استخدمه لإنشاء ترجمة فورية أو تأثير يشبه جهاز التلقين داخل مشروعك.
نصيحة - استخدم "الكلمة التالية" للأوامر الصوتية: بالنسبة للمشاريع التي تتطلب التفاعل مع كلمات منطوقة محددة - مثل لعبة يقول فيها اللاعب "اقفز" أو "يسار" أو "أطلق النار" – فإن استخدام "الكلمة التالية" أكثر عملية من استطلاع "الكلام المباشر" مباشرةً. انظر أدناه.
يقوم بإخراج الكلمة التالية من قائمة الانتظار المختارة وإرجاعها، أو سلسلة نصية فارغة إذا كانت قائمة الانتظار فارغة.
MODEاختر البث المباشر (المؤقت، في الوقت الفعلي) أو البث النهائي (النسخة المؤكدة).
كيف يعمل؟
- أثناء تشغيل خاصية "استمع وانتظر"، تتم مقارنة كل تحديث مؤقت للنص من المتصفح بعدد الكلمات التي تمت رؤيتها سابقًا؛ وتُضاف أي كلمات جديدة إلى قائمة الانتظار المباشرة. وعندما يُصدر المتصفح النتيجة النهائية، تُضاف جميع الكلمات من النص النهائي إلى قائمة الانتظار النهائية دفعة واحدة.
- في كل مرة يقرأ فيها البرنامج النصي الخاص بك هذه الكتلة، تتم إزالة أقدم كلمة انتظار بشكل ذري من قائمة الانتظار المختارة وإعادتها.
- إذا وصلت كلمات متعددة قبل أن يقرأها البرنامج النصي، فإنها جميعًا تنتظر في قائمة الانتظار - ولا تضيع أي منها.
- قائمة الانتظار المباشرة: لا تُمسح تلقائيًا. تبقى الكلمات من جلسات "استمع وانتظر" السابقة حتى يقرأها البرنامج النصي. تتسع قائمة الانتظار لما يصل إلى 200 كلمة؛ إذا امتلأت، تُحذف أقدم الكلمات غير المقروءة لإفساح المجال للكلمات الجديدة.
- قائمة الانتظار النهائية: يتم مسحها تلقائيًا في كل مرة تبدأ فيها عملية "استمع وانتظر" جديدة، لذلك يتم إرجاع الكلمات من الجلسة الحالية فقط.
- تُرجع قيمة فارغة عندما تكون قائمة الانتظار المختارة فارغة.
البث المباشر مقابل النهائي - أيهما نستخدم؟
- مباشر - ميزة التحدث المباشر تُتيح الوصول إلى الكلمات بشكل أسرع (أثناء التحدث)، مما يجعلها مثالية للألعاب الفورية والأوامر السريعة. قد تُنتج هذه الميزة أحيانًا بعض الأخطاء الطفيفة أثناء قيام المتصفح بتحسين تخمينه للكلمة
- نهائي - تُضاف الكلمات النهائية فقط بعد أن يُنهي نموذج لغة المتصفح كتابة النص الكامل. هذه الطريقة أكثر دقة، لكنها تصل لاحقًا (بعد توقفك عن الكلام). تُعاد تهيئة قائمة الانتظار النهائية مع كل عملية "استمع وانتظر" جديدة، لذا لا تنتقل أي كلمات قديمة من جلسة سابقة.
الاستخدام النموذجي - لعبة يتم التحكم فيها صوتياً:
- قم بتشغيل "استمع وانتظر" في نص برمجي واحد (يبقى نشطًا أثناء حديث المستخدم).
- في حلقة لا نهائية منفصلة، اقرأ "الكلمة التالية [مباشر]" في كل دورة وتفاعل مع كل أمر بالترتيب الذي تم نطقه به.
ملاحظة - قد يتم احتساب الكلمات المتكررة بشكل زائد: إذ تُعيد عملية التعرف النهائية في متصفح كروم تحليل الصوت بالكامل باستخدام نموذج لغوي، وبالنسبة للكلمات المتطابقة المتكررة، تكون الحدود الصوتية غير واضحة، حيث يُضيف النموذج أحيانًا تكرارًا إضافيًا (على سبيل المثال، قد ينتج عن قول كلمة "everybody" ثلاث مرات أربع مرات). هذا سلوك خاص بالمتصفح لا يمكن للإضافة تصحيحه. لتجنب ذلك: استخدم كلمات أوامر قصيرة ومميزة صوتيًا ("jump"، "left"، "fire").
🌍إعدادات اللغة #
يحدد لغة التعرف على الكلام.
LANGUAGEاختر من قائمة منسدلة تضم أكثر من 25 لغة مدعومة ومتغيرات إقليمية.
اللغات المدعومة:
- عربي - العربية
- فارسي - فارسی
- إنجليزي - english
- إنجليزي (أمريكي) - american
- إنجليزي (بريطاني) - british
- ألماني - deutsch
- إسباني (إسبانيا) - español
- إسباني (أمريكا اللاتينية) - español latinoamericano
- فرنسي - français
- إيطالي - italiano
- برتغالي - português
- برتغالي (برازيلي) - português brasileiro
- روسي - русский
- تركي - türkçe
- أوكراني - українська
- كوري - 한국어
- ياباني - 日本語
- صيني (مبسط) - 简体中文
- صيني (تقليدي) - 繁體中文
- هندي - हिंदी
- بنغالي - বাংলা
- إندونيسي - bahasa indonesia
- أذربيجاني - azəri
- كازاخي - қазақша
- أوزبكي - oʻzbekcha
ملاحظة: قد تدعم متصفحات جوجل كروم بعض اللغات دون غيرها.
على سبيل المثال، تعمل اللغة الفارسية حاليًا في جوجل كروم، ولكنها قد تُظهر خطأً في الشبكة في مايكروسوفت إيدج.
إذا لم يتم التعرف على اللغة من خلال الكلام، فجرب اختبارها في جوجل كروم أولًا.
أمثلة على الاستخدام:
- أنشئ مشاريع متعددة اللغات تتنقل بين اللغات.
- قم ببناء أدوات لتعلم اللغات تتعرف على الكلمات في لغات مختلفة.
- اجعل الألعاب التي يتم التحكم فيها صوتياً متاحة للمتحدثين بالعديد من اللغات.
🔢 تحويل الأرقام #
يحوّل هذا البرنامج الأرقام الفارسية (من ٠ إلى ٩) أو العربية (من ٠ إلى ٩) في النص المنطوق إلى أرقام إنجليزية (من ٠ إلى ٩).
يُعدّ هذا مفيدًا للمشاريع التي تتطلب معالجة الأرقام المنطوقة بالفارسية أو العربية، مما يُسهّل استخدامها في العمليات الحسابية أو المقارنات.
كيف يعمل؟
- يقوم تلقائيًا بالكشف عن الأرقام الفارسية (۰ ۱ ۲ ۳ ۴ ۵ ۶ ۷ ۸ ۹) وتحويلها إلى (0 1 2 3 4 5 6 7 8 9).
- يقوم تلقائيًا بالكشف عن الأرقام العربية الهندية (٠ ١ ٢ ٣ ٤ ٥ ٦ ٧ ٨ ٩) وتحويلها إلى (٠ ١ ٢ ٣ ٤ ٥ ٦ ٧ ٨ ٩).
- يحل النص المحول محل نص الكلام الأصلي - استدعِ هذه الكتلة بعد عبارة "استمع وانتظر" إذا لزم الأمر.
مثال:
إذا كان الكلام المعترف به هو "شماره ۱۲۳" (الرقم 123 بالأرقام الفارسية)، فبعد التحويل يصبح نص الكلام "شماره 123" بالأرقام الإنجليزية.
نصيحة: استخدم هذه الكتلة عند العمل مع الكلام الفارسي أو العربي لضمان أن تكون الأرقام بتنسيق يمكن لبرنامج سكراتش استخدامه بسهولة لإجراء العمليات الحسابية.
🎓 الاستخدامات التعليمية #
- تعلم اللغة: إنشاء أدوات لتدريب النطق - ينطق الطلاب الكلمات ويقوم النظام بفحص كلامهم.
- قم بإنشاء اختبارات مفردات تستجيب للإجابات المنطوقة.
- تطوير مشاريع سرد قصص متعددة اللغات حيث تستجيب الشخصيات للأوامر الصوتية بلغات مختلفة.
- تعليم مفاهيم إمكانية الوصول - إظهار كيف يمكن للتحكم الصوتي أن يساعد الأشخاص ذوي الإعاقة على التفاعل مع التكنولوجيا.
- استكشف معالجة اللغة الطبيعية - يتعلم الطلاب كيف تفهم الآلات الكلام البشري.
- قم بإنشاء ألعاب ومحاكاة يتم التحكم فيها صوتيًا لممارسة مهارات اللغة في سياقها.
- قم ببناء أدوات إملاء لممارسة الكتابة وسرد القصص الإبداعي.
🎮 مشاريع نموذجية #
- لعبة الأوامر الصوتية: قل "يسار"، "يمين"، "اقفز" للتحكم في الشخصية.
- كرة التنبؤ السحرية: اطرح سؤالاً بصوت عالٍ – سيجيبك الكائن السحري بإجابة.
- الآلة الحاسبة الصوتية: قل مسائل رياضية مثل "ما هو ناتج جمع خمسة وثلاثة؟" - يعرض البرنامج الإجابة.
- اختبار اللغة: يسأل سبرايت "كيف تقول مرحباً بالإسبانية؟" - يجيب الطالب بصوته.
- منشئ القصص: أملِ قصة وشاهدها تظهر على الشاشة أثناء حديثك.
- منتقي الألوان: قل اسم اللون - يتغير شكل الكائن إلى ذلك اللون.
- محاكي الحيوانات الأليفة: أعطِ أوامر صوتية مثل "اجلس" و"العب" و"نم" لحيوان أليف افتراضي.
- مُرحِّب متعدد اللغات: تحدث بلغات مختلفة - يكتشف الكائن الفضائي اللغة ويستجيب وفقًا لذلك.
✨ جرّب مشروعًا #
هل أنت مستعد لتطبيق ما تعلمته عمليًا؟
إنشاء Pishi يتم التحكم به صوتيًا في Scratch
استخدم تمييز الكلام للتحكم في Pishi باستخدام أوامر صوتية مثل left وright وjump وspin.
عرض المشروع
🧩 جرب بنفسك: pishi.ai/play
🔧 نصائح وحلول للمشاكل #
🎤 نصائح خاصة بالتعرف على الكلام #
- هل الميكروفون لا يعمل؟ تحقق من أذونات المتصفح - تأكد من أن الموقع لديه إمكانية الوصول إلى الميكروفون.
- هل تواجه صعوبة في تمييز الكلام بدقة؟ تحدث بوضوح وقلل من الضوضاء المحيطة. استخدم سماعة رأس أو ميكروفونًا خارجيًا للحصول على جودة صوت أفضل.
- هل تم الكشف عن لغة خاطئة؟ تأكد من ضبط اللغة الصحيحة باستخدام "اجعل اللغة هي [LANGUAGE]" قبل الاستماع.
- هل تواجه خطأ "التعرف على الكلام غير مدعوم"؟ يتطلب هذا الامتداد متصفح Chrome أو Edge أو أي متصفح آخر مبني على Chromium يدعم واجهة برمجة تطبيقات Web Speech API. أما متصفحا Safari وFirefox فيدعمان هذه الميزة بشكل محدود أو لا يدعمانها إطلاقاً.
- هل تواجه مشكلة في اللغة على متصفحك؟ قد لا يدعم متصفح إيدج أو غيره من المتصفحات بعض اللغات (مثل الفارسية). جرّب استخدام متصفح كروم للحصول على أفضل توافق.
- هل حدث انقطاع في الاتصال أم لم يتم الكشف عن أي كلام؟ ينتظر النظام حوالي 60 ثانية للكشف عن الكلام - إذا لم يتم الكشف عن أي شيء، فسيحدث انقطاع في الاتصال ويعيد نصًا فارغًا.
- هل تواجه مشكلة في عرض الأرقام؟ بالنسبة للغة الفارسية أو العربية، استخدم وحدة تحويل الأرقام لتطبيع الأرقام.
- هل تختلف جودة التعرف؟ تعتمد دقة التعرف على الكلام على اللهجة والنطق ووضوح الكلام - وقد تختلف النتائج بين المستخدمين.
- هل تتكرر الكلمات أكثر من مرات نطقها؟ هذا سلوك معروف في المتصفحات. تُعيد عملية التعرف النهائية في متصفح كروم تحليل الصوت بالكامل باستخدام نموذج لغوي، وبالنسبة للكلمات المتطابقة المتكررة، تكون الحدود الصوتية غير واضحة - حيث يُضيف النموذج أحيانًا تكرارًا إضافيًا. استخدم كلمات أوامر قصيرة ومميزة، وتجنب تكرار الكلمة نفسها كأمر في اللعبة.
- الاتصال بالإنترنت: تستخدم واجهة برمجة تطبيقات الكلام على الويب خدمات جوجل السحابية لمعظم اللغات - يلزم وجود اتصال بالإنترنت لكي يعمل التعرف على الكلام.
- يمكنك إيقاف عملية التعرف في أي وقت عن طريق إيقاف البرنامج النصي أو إعادة تحميل المشروع.
🔒 الخصوصية والأمان #
- يستخدم هذا الامتداد واجهة برمجة تطبيقات الكلام على الويب المدمجة في المتصفح، والتي قد ترسل الصوت إلى خوادم جوجل للمعالجة (اعتمادًا على تطبيق المتصفح).
- تتم معالجة الصوت لأغراض النسخ فقط - يتم إرجاع نص الكلام إلى متصفحك ولا يتم تخزينه بواسطة هذا الامتداد.
- تتم معالجة الصوت بواسطة متصفحك باستخدام واجهة برمجة تطبيقات الكلام على الويب - لا تتلقى Pishi.ai و Scratch أي بيانات أو تخزنها.
- لا يتم حفظ أو نقل أي بيانات شخصية أو تسجيلات صوتية بواسطة Pishi.ai أو Scratch.
- راجع دائمًا إعدادات الخصوصية والأذونات الخاصة بمتصفحك فيما يتعلق بالوصول إلى الميكروفون.
🧪 معلومات فنية #
- واجهة برمجة التطبيقات: واجهة برمجة تطبيقات الكلام على الويب (التعرف على الكلام / webkitSpeechRecognition)
- المتصفحات المدعومة: كروم، وإيدج، ومعظم المتصفحات المبنية على كروميوم والتي تدعم واجهة برمجة تطبيقات الكلام على الويب
- اللغات: أكثر من 25 لغة ولهجات إقليمية
- مهلة الانتظار: حوالي 60 ثانية من الاستماع لكل مكالمة "استمع وانتظر".
- وضع التعرف: التعرف بلقطة واحدة (عبارة واحدة لكل مكالمة استماع؛ الوضع المستمر غير مدعوم)
- النتائج الأولية: مُفعّل - تحديثات "الكلام المباشر" في الوقت الفعلي أثناء عملية النطق
- درجة الثقة: يُقدّمها المتصفح كرقم عشري من 0 إلى 1؛ وهي متاحة عبر أداة الإبلاغ عن "الثقة" بعد انتهاء عملية التعرّف.
- يلزم الاتصال بالإنترنت: نعم - تستخدم واجهة برمجة تطبيقات الكلام عبر الويب عادةً معالجة قائمة على السحابة للنسخ.
- تحويل الأرقام: تحويل الأرقام: يدعم تحويل الأرقام من الفارسية (۰-۹) والعربية الهندية (٠-٩) إلى الإنجليزية (٠-٩)
- الخصوصية: تتم معالجة الصوت بواسطة واجهة برمجة تطبيقات المتصفح - لا يقوم برنامج Pishi.ai Scratch بتخزين كلامك مطلقًا.
🔗 الإضافات ذات الصلة #
- 🔊 نص إلى كلام – تحويل النص إلى صوت منطوق
- 💬 شات جي بي تي – قم بإنشاء ردود ذكية، أو إجراء محادثات، أو بناء روبوتات محادثة تفهم صوتك وتستجيب له.
- 🌐 الترجمة – ترجمة الكلام المعترف به إلى لغات أخرى للمشاريع متعددة اللغات أو الترجمة الفورية.
- 🏫 آلة جوجل التعليمية – استخدم نماذجك المدربة الخاصة للتعرف على الأصوات أو الصور أو الوضعيات التي تم إنشاؤها في Google Teachable Machine.
📚 يتعلم أكثر #
- مساعدة في إضافات الذكاء الاصطناعي على pishi.ai
- وثائق واجهة برمجة تطبيقات الكلام على الويب
- أفكار سكراتش
