На мой взгляд, каракуль больше соответствует элегантным образам, а вот пушистые жилеты (даже иск.мех) проще вписать в кэжуал стиль. Поэтому выбирать стоит исходя из своих потребностей - с чем носить.
Лично я не смогла бы вписать в свой гардероб жилет из каракуля, а вот куртку или пальто из каракуля - легко; так что, тут всё индивидуально.
