Je suppose que la scène en question est racontée à travers le point de vue du personnage en question ?
Ton personnage va forcément ressentir des choses par rapport à sa tenue. Négatives (c'est un peu la honte de devoir se balader dans un état pareil) ou positives (cela renforce son côté anticonformiste, ou nostalgique de l'époque grunge, etc.) Dans tous les cas, c'est surtout ça qui va intéresser les lecteurs. Pas le chandail (on s'en fout) mais l'état d'esprit du personnage (et de son entourage) vis à vis du chandail.

Et si le chandail en question ne suscite absolument aucune émotion / opinion de la part du personnage point de vue, alors il ne faut pas du tout en parler parce que c'est un détail aussi insignifiant que la répartition des prises électriques dans la salle ou que la marque de peinture qui a été utilisée pour peindre le plafond.