وجّه Pishi عبر متاهة يتحكم بها الصوت بالذكاء الاصطناعي في Scratch
قل مسارًا بصوتك، ووجّه Pishi عبر مهمتين في المتاهة، واجمع battery الاختيارية، ثم صِل إلى الهدف قبل انتهاء الوقت!
استخدم التعرّف على الكلام لتوجيه Pishi عبر المتاهة بصوتك. قل الاتجاهات والأرقام للتحرك عبر الشبكة، وتجنّب العقبات، والوصول إلى الهدف. أكمل المهمتين وشاهد أعلى نتيجة يمكنك تحقيقها!
مستوى الصعوبة
متوسط
الوقت التقديري
40–50 دقيقة
الإضافة
SPEECH RECOGNITION
📖 ما الذي ستتعلّمه
- كيف يحوّل التعرّف على الكلام بالذكاء الاصطناعي اللغة المنطوقة إلى نص
- كيف يحوّل التعرّف على الكلام العبارات المنطوقة إلى نص
- كيف تقرأ عبارة كلمةً بكلمة وتنفّذ عدة أوامر بالترتيب
- كيف تتحكم كلمات الاتجاهات والأرقام في الحركة على شبكة
- كيف تستخدم الكتل المخصصة ورسائل البث لتنظيم اللعبة
- كيف تستخدم الألوان لاكتشاف العقبات وbattery والهدف
- كيف تضيف مؤقتًا ونتيجة وأصواتًا للتغذية الراجعة
- كيف تخصّص الأوامر وتحسّن التعرّف عندما لا يكون الكلام واضحًا
🧰 ما الذي تحتاج إليه
- جهاز كمبيوتر مزود بميكروفون واتصال بالإنترنت
- Chrome أو Edge أو متصفح آخر يدعم التعرّف على الكلام
- Pishi.ai في Scratch (ابدأ مشروعًا جديدًا)
- إضافة Speech Recognition (اطّلع على دليل المساعدة)
- كائن Pishi وخلفيتان للمتاهة
- ألوان مختلفة للمسارات والعقبات والحدود وbattery والهدف
- أصوات للعد التنازلي والاصطدامات وbattery والهدف
🛠️ أنشئ مشروعك
1. أنشئ مهمتي المتاهة
أنشئ خلفيتين للمتاهة باسم “mission 1” و“mission 2” ارسم كل واحدة منهما على شكل شبكة، بحيث تكون المسافة بين مركزي كل مربعين متجاورين 56 خطوة، لتتوافق مع حركة Pishi.
استخدم ألوانًا مختلفة للمسار الآمن والعقبات والحد الخارجي وbattery والهدف. ضع Pishi على مربع البداية. battery اختيارية: جمعها يضيف 10 نقاط، لكن يمكن لـ Pishi إنهاء المهمة من دونها.
نصيحة: استخدم أداة القطّارة لاختيار ألوان الخلفية الدقيقة في كتل “touching color”. حتى الاختلاف البسيط في اللون قد يمنع الاكتشاف.
2. هيّئ اللعبة وأوامر الصوت
أنشئ المتغيرات الظاهرة في الكتل، ثم أنشئ كتلة مخصصة باسم “initialize”.
استخدمها لاختيار English (American) للتعرّف على الكلام، والانتقال إلى “mission 1”، ووضع Pishi عند نقطة البداية، وضبط “step” على 56 و “countdown” على 60، وإعادة ضبط “score” وبقية قيم اللعبة.
يتيح لك ذلك تغيير كلمة لاحقًا إذا واجه التعرّف على الكلام صعوبة في فهمها. على سبيل المثال، يمكنك تغيير “right” إلى “east”.
يتيح لك ذلك تغيير كلمة لاحقًا إذا واجه التعرّف على الكلام صعوبة في فهمها. على سبيل المثال، يمكنك تغيير “right” إلى “east”.
يجب أن يتكوّن كل أمر من كلمة واحدة فقط. يفحص المشروع الكلام الذي تم التعرّف عليه كلمةً بكلمة، لذلك لا يمكن لأمر مثل “go right” أن يطابق متغير أمر واحد.
3. ابدأ المهمة وعالج الأوامر المنطوقة
ابدأ البرنامج النصي الخاص بالعلم الأخضر بتشغيل “initialize”، والإعلان عن المهمة، ثم بث “start timer”. سيبدأ برنامج المؤقت العد التنازلي ويبث “start recognition” عندما يصبح Pishi جاهزًا للاستماع.
في برنامج “start recognition”، استمر في الاستماع حتى تصبح قيمة “countdown” هي “FINISH”. بعد كل عبارة، احفظ النص الذي تم التعرّف عليه في “message”، ثم استخدم “next word [final]” لإرسال كل كلمة مؤكدة بالترتيب إلى “run command [text]”. امسح “last command” قبل الاستماع إلى عبارة جديدة.
استخدم [final] لأن هذه هي الكلمات التي انتهى التعرّف على الكلام من التعرّف عليها. أما كلمات [live] فقد تستمر في التغيّر أثناء كلام اللاعب، لذلك قد ينفّذ Pishi كلمة كانت مجرد تخمين مؤقت.
على سبيل المثال، في “move right four times”، تتجاهل اللعبة “move” و “times”. تحرّك “right” Pishi مربعًا واحدًا، ثم تضيف “four” ثلاثة مربعات أخرى. أبقِ الرقم مباشرة بعد الاتجاه الخاص به؛ فعبارة “move right please four times” لن تكرر الحركة.
نصيحة للاختبار: أظهر المتغير “message” أثناء الاختبار لترى ما الذي سمعه التعرّف على الكلام.
4. حوّل كلمات الاتجاهات والأرقام إلى حركة
أنشئ الكتل المخصصة:
- run command [text]
- check repeats [num]
تتحقق الكتلة الأولى مما إذا كانت الكلمة الحالية اتجاهًا.
إذا كانت كذلك، يتحرك Pishi مربعًا واحدًا:
“up” و “down” تغيّران “y”، بينما “left” و “right” تغيّران “x”.
تتعامل “check repeats [num]” مع “two” و “three” و “four”. يكون أمر الاتجاه قد حرّك Pishi مربعًا واحدًا بالفعل، لذلك يضيف الرقم الحركات المتبقية.
على سبيل المثال، تحرّك “right three” Pishi ثلاثة مربعات إجمالًا.
بعد كل مربع، شغّل “calculate score” للتحقق من المكان الذي وصل إليه Pishi. يسمح الانتظار القصير للاعب برؤية كل حركة.
يتذكر البرنامج أيضًا الاتجاه السابق في “last command” حتى يتمكن الرقم من تكراره.
5. احسب النتيجة وغيّر المهمات
أنشئ الكتلة المخصصة “calculate score”. بعد كل حركة، تستخدم كتل “touching color” للتحقق مما وصل إليه Pishi:
- Outer boundary: اطرح “10” نقاط وأعِد Pishi إلى البداية.
- Obstacle: : اطرح “5” نقاط؛ ويمكن لـ Pishi الاستمرار.
- Battery: : إذا كانت “battery collected” تساوي “0”، فأضف “10” نقاط، ثم اضبطها على “1” حتى تُمنح المكافأة مرة واحدة فقط.
- Goal: : أضف “15” نقطة بالإضافة إلى عدد الثواني الكاملة المتبقية.
شغّل الصوت المناسب عند حدوث كل حدث. عند الوصول إلى هدف “mission 1”، أعد ضبط “last command” و “battery collected” ، وانتقل إلى “mission 2”، وأعِد Pishi إلى نقطة البداية، ثم ابث “start timer”.
عند الوصول إلى هدف “mission 2”، اضبط “countdown” على “FINISH” لإنهاء اللعبة.
6. أضف العد التنازلي لمدة 60 ثانية وأنهِ اللعبة
أنشئ برنامجًا نصيًا يبدأ بـ “when I receive [start timer]”.
يقول “3” و “2” و “1” ، ويشغّل صوت الصافرة، ويعيد ضبط مؤقت Scratch، ثم يبث “start recognition”.
يتم تشغيل التسلسل نفسه في بداية كلتا المهمتين.
طالما أن مؤقت Scratch أقل من “60” ثانية، حدّث “countdown” لإظهار الوقت المتبقي.
عند انتهاء الوقت، اضبط “countdown” على “FINISH”.
يؤدي ذلك أيضًا إلى إيقاف برنامج الاستماع.
أخفِ عرض “countdown” عند انتهاء المهمة.
بعد ذلك يعلن Pishi: “Your Score: [score]”.
🚀 جرب مشروعك!
انقر على العلم الأخضر واسمح بالوصول إلى الميكروفون. انتظر العد التنازلي وصوت الصافرة، ثم تحدث عندما يقول Pishi “Listening…”. جرّب جملة مثل “move right three times”، ثم جرّب مسارًا من اختيارك.
اختبر كلتا المهمتين. هل يمكنك الوصول إلى كل هدف قبل انتهاء الوقت؟ جرّب جمع battery الاختيارية، ثم جرّب مسارًا أقصر من دونها.
أي مسار يحقق نتيجة أعلى؟
إذا تحرك Pishi بطريقة غير متوقعة، فأظهر المتغير “message” لترى ما الذي سمعه التعرّف على الكلام. جرّب التحدث في مكان أكثر هدوءًا أو تغيير أحد الأوامر إلى بديل آخر من كلمة واحدة.
🤖 كيف يعمل؟
تبدأ المهمة بعدّ تنازلي وصوت صافرة
↓يقول اللاعب مسارًا بصوته
↓يحوّل التعرّف على الكلام المسار إلى كلمات مؤكدة
↓يقرأ Scratch الكلمات بالترتيب
↓تحرّك الاتجاهات Pishi؛ وتكرر الأرقام الاتجاه السابق
↓يتحقق Scratch من اللون بعد كل مربع
↓تحدّث اللعبة النتيجة والمهمة
يتم تجاهل الكلمات الأخرى. تنسق رسائل البث بين العد التنازلي والاستماع، ثم تبدأ التسلسل نفسه مرة أخرى في “mission 2”.
💡 اجعله أفضل!
1. اختبر كلمات أوامر جديدة
غيّر الأوامر المكوّنة من كلمة واحدة والمخزنة في متغيرات “command …”. جرّب عدة بدائل وسجّل الكلمات التي يفهمها التعرّف على الكلام بشكل أكثر موثوقية. هل تعمل عبارة كاملة مثل “move right three times” بشكل أفضل من “right three”؟
2. أنشئ مهمة متعددة اللغات
غيّر لغة التعرّف على الكلام واستبدل كلمات الأوامر بكلمات من تلك اللغة. اجعل كل أمر كلمة واحدة فقط، ثم اختبر ما إذا كانت المتاهة لا تزال تستجيب كما هو متوقع.
3. أضف تلميحًا بالذكاء الاصطناعي
استخدم إضافة AI ChatBot لإعطاء اللاعب تلميحًا عندما يعلق. أعطِه موقع Pishi والعقبات القريبة، واطلب منه اقتراح اتجاه واحد فقط بدلًا من المسار الكامل.
4. اجعل المهمة التالية تتكيف مع اللاعب
تتبّع عدد مرات الاصطدام بالعقبات أو مقدار الوقت الذي يحتاج إليه اللاعب. امنح اللاعب الذي يواجه صعوبة وقتًا إضافيًا في “mission 2”، أو قدّم تحديًا إضافيًا للاعب الذي ينهي المهمة بسرعة.
🔗 شارك إبداعك
هل انتهيت من متاهتك؟
غيّر التصميم أو أنشئ مسارًا جديدًا، ثم شارك مشروعك مع صديق أو زميل في الصف. اطلب منه لعب المهمتين وشاهد ما إذا كان يستطيع تجاوز نتيجتك!
