Mise en situation
Tu es chargé.e. de programmer une nouvelle ligne de production dans une entreprise de chocolaterie industrielle.
Ta mission est notamment de programmer un système de reconnaissance de forme qui permettra à robots de placer les chocolats correctement dans les boîtes. C’est ce qu’on appelle le pick and place.
Regarde la vidéo suivante (en coupant le son) pour comprendre en quoi consiste le pick and place:
Le machine learning
Regarde cette vidéo (en coupant le son et en mettant les sous-titres) définissant le machine learning jusqu’à 3 minutes 19 (le reste risque d’être un peu trop compliqué pour l’instant):
À ton avis: comment fonctionne le machine learning? Quels exemples doit-on donner pour que les robots prennent les bons chocolats pour les mettre au bon endroit dans les boites?
Apprentissage de reconnaissance de forme
L’entreprise de chocolaterie industrielle a opté pour le système suivant: une webcam reliée à un ordinateur programmé avec mBlock. Cet ensemble va permettre de reconnaitre les différents chocolats et de piloter les robots pour prendre les chocolats puis les placer au bon endroit.
C’est toi qui va programmer l’ordinateur et l’entrainer à reconnaitre, via la webcam, les chocolats présents sur la ligne de production.
Ouvre le logiciel mBlock.
Clique en bas à gauche sur Extension.
Choisis l’extension Machine à enseigner.
Un nouveau menu TM s’affiche: clique dessus, puis sur Modèle d’entrainement.
Saisis le nom de l’objet (un chocolat représenté par une pièce de Lego) que tu souhaites montrer à l’ordinateur.
Sélectionne la caméra que tu vas utiliser pour que l’ordinateur puisse stocker des images de ton objet: un écran montre ce que voit la caméra.
Mets ton objet dans le champ de vision de la caméra, puis clique sur Apprendre.
Recommence de nombreuses fois en changeant la position de l’objet.
Tu peux arrêter quand tu obtiens 99% de fiabilité, comme montré sur la capture d’écran ci-contre.
Fais de même pour les deux autres modèles de chocolats (pièces de Lego représentant des chocolats).
Tu dois obtenir quelque chose comme ci qui est montré ci-contre.
Clique sur Utiliser le modèle pour te servir du machine learning dans ton programme.
Utilisation du machine learning
Réalise le programme ci-contre en utilisant les nouveaux blocs présents dans le menu TM.
Teste le programme.
D’après toi: Que se passe-t-il lorsque tu présente les différents objets devant la caméra? Le résultat est-il toujours correct? Pourquoi?
Optimise le programme en respectant le cahier des charges suivant:
- Quand il y a détection, on désire afficher une forme sur l’écran correspondant à la forme du chocolat détecté,
- La forme doit s’afficher pendant 1 seconde,
- Le nom du type de chocolat doit s’afficher au-dessous de la forme qui apparait à l’écran,
- Chaque forme aura une couleur différente pour faciliter la lecture de l’opérateur de ligne.
Cyril Mottet, professeur de sciences et technologie ©eduscience 2023
Crédit images: eduscience / Pixabay