这句话在文字上很容易懂。是说有许多人，在外表的态度上非常威风，非常狠，而内心则非常空虚。孔子对这类人下了一个结论，说他们相当于低级的小人，譬如一个小偷一样，在被人抓到时，嘴上非常强硬，而实际上内心非常害怕。孔子这句话所指的是当时——春秋战国时代，许多大人先生们，往往犯了这种变态心理。我们知道，一个人内心没有真正的涵养，就会变成“色厉内荏”，外表蛮不在乎，而内心非常空虚。有时我们反省自己，何尝不会如此？坦白的说，有时生活困难，过着“穷不到一月，富不到三天”的日子，表面上充阔气，内心里很痛苦，也是“色厉内荏”的一种。其实大可不必这样做法，一个人好就是好，穷就是穷，痛苦就是痛苦，从历史的法则上看，当领导人，更不可这样。
像唐明皇这个人，少年了不起，中年了不起，晚年差一点，也是感觉到手下没有人才。举两件唐代的历史，就可以了解。唐明皇早年用了名宰相张九龄和韩休，都是唐明皇所相当敬畏的人，所以他的初期功业很了不起。对于唐明皇与杨贵妃这一段，后人写历史把责任都推到女人身上，好像唐明皇宠爱了杨贵妃，才一切都完了，这个话并不公平。有些精明的皇帝，宠爱女人的也很多，并不致于像唐明皇一样，所以问题还是在皇帝本人。唐明皇在他宗族的排行，是老三，所以浑名也叫李三郎。他有时候作了一点错事，马上问旁边的人，韩休会不会知道。往往他的担心还没有完，韩休的谏议意见书就到了。旁边的人说，你用了韩休以后瘦多了。唐明皇说，没关系，瘦了我，肥了天下就好。后来他宠爱了杨贵妃姊妹，又喜欢打球、唱戏，也可以说是心理空虚，找刺激。
但这事是在唐明皇中年以后，所以晁无咎有诗“阊阖千门万户开，三郎沉醉打毯回，九龄已老韩休死，无复明朝谏疏来。”这是替唐明皇讲出了无限的痛苦，在安禄山叛乱以前的这一段时期，他的政府中人才少了，肯说话的人没有了，张九龄、韩休都过去了，没有敢对他提反对意见的人。唐明皇遭安禄山之乱，逃难到了四川的边境，相当于后世清代慈禧逃难一样，很狼狈、很可怜，他骑在马上感叹人才的缺乏，便说：现在要想找像李林甫这样的人才都找不到了。而历史上公认李林甫是唐明皇所用宰相中很坏的一个，说他是奸臣。这是唐明皇感叹连李林甫这种能耐、这种才具的人才都找不到。旁边另一谏议大夫附和说：的确人才难得。唐明皇说：可惜的是李林甫气量太小，容不了好人，度量不宽，也不能提拔人才。这位谏议大夫很惊讶的说：陛下，您都知道了啊！这时唐明皇说：当然我知道，而且早就知道了。谏议大夫说：既然知道，可为什么还用他呢？唐明皇说：我不用他又用谁？比他更能干的又是谁呢？这就是当了主管以后，为了人才难得，有时会感到很痛苦，明知道“色厉内荏”，但是当没有人的时候，比较起来，还是好的。