由于他的社会影响力，被司马氏家族认为篡权的障碍之一，故此，在其40岁时，被司马昭斩杀。稽康的才华及慷慨悲歌的故事被后世广为颂扬。

现今更有人说《广陵散》之所以名声大振，应归功于嵇康临刑索琴弹奏所致。话说嵇康年轻时，一次夜宿洛西华阳亭。夜晚无眠，就弹起琴来，不知不觉夜深了。他起身收琴，却发现有一老者，在他身后一直认真听他弹奏。嵇康就问他：“老人家，看你听这么认真，想来也会弹琴吧，能否指点一二？”老人笑了笑，说：“略懂点吧。”

嵇康见老人貌不惊人，也不认为他真能懂琴，就存心试老者一试：“请老人家说说我弹得有哪些不足之处？”老人家拈着花白胡子说：“你只有技巧却无感情，你并没弹出刚才那首曲子的悲壮来。”嵇康一听恍然大悟，的确如此，于是虚心求教。

老人也不推辞，整好衣冠，坐下先闭目沉思良久。然后，老人才从容拨动琴弦。老人弹奏的就是《广陵散》，《广陵散》一曲取之“聂政刺韩王”的故事，曲中包括了“刺韩”、”冲冠“、”发怒”、报剑”等乐段，用琴声演绎了聂政从怨恨到愤慨的感情发展，也有对聂政不幸命运的同情。老人弹得气势磅礴，旋律变化万千，嵇康听到如痴如醉。琴声戛然而止，嵇康才如梦方醒。

回过神来，嵇康恳请老人家把这绝技传授给他，老人也觉得这个年轻人肯虚心受教也很是欣慰，于是答应教他。老人说：“一首曲子，你应先了解它的来历，以及所描述的内容，然后把自己的感情融入进去才能弹好它。”于是就给他讲起这古典的来历。原来，这古曲流传在广陵（今扬州）地方，名为《广陵散》。“散”是一种琴曲的名称。《广陵散》描写的是勇士聂政刺杀韩王的故事：

聂政的父亲是个铸剑师，给韩王铸剑，结果过了期限，被韩王杀。聂政长大后一直想替父报仇，一次混进王宫，却被侍卫发觉，只好逃进深山。后来他听说韩王喜欢听琴，就想扮作琴师接近韩王。在山里，他请了位琴师教他弹琴，经过多年的苦练他终于弹得一手好琴。于是他到京城的城楼下弹琴，当时“观者如堵，马牛止听”，韩王也听说了，就派人让他进宫里表演。

为了怕人认出他，他用涂漆来改变肤色，用石头砸掉牙齿；为了改变声音，他吞炭入口把嗓子弄哑，他已经完全变成了另外一个模样，再无人认出他。进宫时，聂政把匕首藏在琴腹中。弹奏时，他离韩王很近，趁韩王聚精会神听曲时，突然拔出匕首，把韩王刺死。宫里的人都惊呆了，等他们清醒过来，聂政已经割下自己的眼皮、嘴唇、鼻子、耳朵，彻底毁容了，然后自刎而死。

官府将他的尸体扔到街上，悬赏千金让人举报这刺客的姓氏、亲人、籍贯。聂政的母亲听说了这件事，觉得是自己的儿子才做得出这样的事情，便跑去抱起尸体大声痛哭，对着围观的人们说：“这是我儿聂政，他为报父仇，杀死暴君，又怕连累家人而毁容。但是，我怎能贪生而不让儿子名扬于世呢！”最后哭死当场。

故事讲完，嵇康被深深的震撼了，两人都沉默好久，最后嵇康对老人深施一礼说：“我明白你说的意思了，弹琴，不能单靠熟练的指法，还要理解曲子的内容和精神，把自己的感情融入到琴曲中去，自己感动了，才能打动人。”老人微笑点头，又亲自指点嵇康弹奏。快亮了，嵇康再看老人时，不知何时老人早已不见了。从此嵇康的《广陵散》弹得惊绝天下。这首名曲也和嵇康一样名闻天下。

公元262年，嵇康含冤而死，年仅四十岁。在刑场上，面对三千请愿要求赦免他的太学生，他向兄长嵇喜要来琴，再抚一曲《广陵散》。曲毕，嵇康慨然长叹道：“《广陵散》于今绝矣！”然后从容就戮。嵇康死后，《广陵散》失传，成了绝响。