Reconnaître un objet précis parmi des milliers de quasi-jumeaux.
Contexte
Une application mobile de collection identifie un objet à partir d’une photo prise au téléphone : reflets, angle, flou, parfois photo d’un écran. Des milliers de références se ressemblent. Un modèle d’images pré-entraîné, utilisé tel quel, ne les séparait pas assez.
Approche
Nous avons entièrement ré-entraîné un modèle d’images ouvert et compact (MobileCLIP2) pour qu’il produise une empreinte par référence, avec une fonction d’apprentissage qui écarte les références voisines (ArcFace). L’entraînement part des visuels officiels du catalogue, transformés pour imiter une vraie photo, et l’évaluation se fait sur de vraies photos. Un second modèle, entraîné sur des images synthétiques, repère les quatre coins de l’objet pour le redresser. Les deux modèles tournent sur le serveur et directement dans le téléphone.
Entraînement
- Visuels officiels du catalogue
- Transformés pour imiter une vraie photo
- Modèle d’empreintes MobileCLIP2 · ArcFace
- Index d’empreintes versionné jamais écrasé
Reconnaissance
- Photo prise au téléphone
- Second modèle : les quatre coins l’objet est redressé
- Empreinte de la photo
- Référence la plus proche dans l’index
Les deux modèles tournent sur le serveur et dans le téléphone.
Ce que nous avons appris
-
Les réglages par défaut faisaient s’effondrer l’apprentissage : nous l’avons mesuré, puis corrigé.
-
Quand des confusions persistaient, la mesure a montré qu’elles venaient de variantes quasi identiques dans le catalogue et d’un index à rafraîchir. Nous n’avons pas ré-entraîné le modèle.
-
Chaque index d’empreintes est versionné, jamais écrasé : revenir en arrière ne prend qu’un changement de version.