刘琨当初在赵王司马伦手下打过大败仗，福兮祸兮，也增添了不少领兵战斗的经验。在赴任路上，虽“道险山峻，胡寇塞路”，他仍敢“以少击众，冒险而进”。在给朝廷的表章上，刘琨道出了并州一带胡寇猖狂、人民死亡的悲惨景象。
“……臣自涉州疆，目睹困乏，流离四散，十不存二，扶老携幼，不绝于路。及其在者，卖妻鬻子，生相捐弃，死亡委危，白骨横野。哀呼之声，感伤和气。群胡数万，周匝四山，动足遇掠，开目睹寇。……”
艰难苦恨途中，刘琨又作《扶风歌》以抒怀，心情沉郁，词意慷慨：
“朝发广莫门，暮宿丹水山。……据鞍长叹息，泪下如流泉……烈烈悲风起，泠泠涧水流。挥手长相谢，哽咽不能言……去家日已远，安知存与亡。慷慨穷林中，抱膝独摧藏……资粮既乏尽，薇蕨安可食……君子道微矣，夫子故有穷。惟昔李骞期，寄在匈奴庭；忠信反获罪，汉武不见明。我欲竟此曲，此曲悲且长；弃置勿重陈，重陈令心伤。”
历尽千辛万苦，刘琨率领一路招募的一千多号人，沿路搏斗进击，最终到达晋阳城（今山西太原）。当时的晋阳，经五部匈奴军队蹂躏，官府建筑全都被烧焚一空，僵尸遍地。侥幸存活下来的民众，个个被饿成活骷髅，面无人色，整个城内不仅荆棘成林，吃饱了人肉的野狼也四处乱窜。刘琨到后，“剪除荆棘，收葬枯骸，选府朝，建市狱”，几乎重新构建了晋阳城。其间，胡寇和坞堡强盗相继来袭，刘琨率从属兵士“恒以城门为战场”，数历惊险，驱除贼寇，终于在晋阳安顿下来。
刘琨，晋人，自有浑然天成的“魏晋风度”。有许多个寒风凛凛的夜晚，晋阳城外胡骑纷纷，团围城市。守兵、人民窘迫之计，刘琨一袭白衣，乘月登楼，发出阵阵清啸之声，“贼闻之，皆凄然长叹”。（啸是魏晋时代名人常有的举动，鲁迅等人认为是吹口哨，笔者觉得“啸”更可能是以低嗓发出的悲吟之声，类似低音歌声中的咏叹）夜深之际，刘琨又吹奏胡笳，音声哀感行人，“贼又流涕嘘唏，有怀土之切。向晓复吹之，贼并弃围而走”。在那样一个血腥、杀戮、乱离的时代，音乐仍有如此巨大的魔力，“胡笳退兵”——竟成中华审美史上的万古绝唱。直至唐代，仍保存有刘琨创造的《登陇》、《望秦》、《竹吟风》、《哀松露》、《悲汉月》五首曲子，统称《胡笳五弄》，其间融有愁远绵长的胡笳之曲，宛转凄伤，令人顿起怀乡思旧之情。当然，刘琨城楼之上独自一人，肯定不是正规的合声演奏，仅是一支胡笳在手，明月当头，呜呜咽咽。墙外群胡，伫马低首，泪眼迷离，谁也不忍心抽白羽搭弦给这位大文豪、大音乐家当胸一箭，艺术的魅力，至此已臻极致。
当时，匈奴刘渊已经称汉王，其老巢离石距晋阳才三百多里地，匈奴铁骑可以一天内驰至晋阳城下。刘琨文武全才，对周遭的匈奴别部“杂虏”施以离间计，“降者万余落”。结果，刘渊反而大惧，迁出离石，在蒲子造坚城而居，唯恐刘琨来袭。
说来也好笑，刘渊称王时，“立汉高祖以下三祖五宗神主而祭之”，并追尊蜀汉主刘禅为孝怀皇帝。刘禅他爸刘备，一直号称中山靖王之后，刘禅肯定也当属中山靖王之后无疑。而这位大晋忠臣刘琨，恰恰是百分百没有掺假的中山靖王之后，汉室血亲。如果论理讲礼，刘渊和刘琨还真能论论世系排行，没准论来论去，两人能论出谁是谁的大爷来（刘渊之所以姓“刘”其实是因为“很久很久”以前刘邦曾嫁汉室疏宗公主于匈奴，他是冒姓刘氏而已）。