这个成语故事出自《儒林外史》第四回。丝:极少，极小;苟:马虎，敷衍了事。
《儒林外史》，是清朝时候吴敬梓写的一部长篇讽刺小说。在这部小说里，吴敬梓以生动的笔触，塑造了不少很有现实意义的艺术形象，暴露了各种类型士人利欲熏心、虚伪丑恶的精神面貌，揭露了封建社会的腐朽和黑暗，并对科举制度和礼教作了深刻的批判和嘲讽。在该书的第四回中，讲了这样一个故事:
明朝时候，有一个屡试不中的儒生名叫范进。有一年，他突然考中了举人，后去拜见他的老师汤知县。汤知县设宴招待了他。席间有位老者给知县送来了他与另外几个人凑份的五十斤牛肉。在当时，皇上曾有命令禁止宰杀耕牛，任何人都不准吃牛肉。这时，一向贪赃受贿的汤知县对这份礼也不知该收还是不该收，于是就向与范进同来的一个叫张静斋的举人请教。张静斋说:明天你就把那个领头送牛肉的老者抓起来，把他送来的牛肉堆在枷上，再在旁边贴上一张告示，说明他们知法犯法，实属可恶。这样，上司访知，见世叔一丝不苟，升迁就在指日。
张静斋这么一指点，汤知县连连点头地赞赏说:十分有理。便照此办了。
根据这个故事，后来人们便引出了一丝不苟这个成语，用来比喻做事认真、仔细，连最细小的地方也不马虎。