晋代，已经有了“家破身亡”一语，意思是“家庭破裂，自身死亡”。唐代的“禅宗”僧人元安，把这个词语改为“家破人亡”。

    《五灯会元·洛浦元安禅师》里面记载了这位著名禅师元安的故事：

    元安本是临济大师的侍者。他通晓经论，应机敏捷，临济大师很赏识他。一次，临济大师在众人面前称赞他：“临济门下一只箭，谁敢当锋?”元安因此自鸣得意起来。一天，有人参谒临济大师。临济大师问来者：“有一人于三乘十二分教明得，有一人于三乘十二分教明得，且道此二人是同是别?”来者回答：“明得即同，明不得即别。”“三乘”，指“声闻乘”、“缘觉乘”和“菩萨乘”；“十二分教”指“十二部经”。按“禅宗”的观点，不应该注意这些名词概念。因此，来者的回答没有切中要害。这时，侍立在旁边在元安很不礼貌地插了进来，向来者提问：“这里是什么所在?说同说别!”临济大师不满地指责元安：“汝又作么生?”（“生”是唐代的一个语气词。）临济大师的意思是：参禅是我与客人之间的事，你插什么嘴呢?元安却更加放肆，竟然向临济大师“喝”起来。临济大师气坏了，刚送走客人，就问元安：“汝岂不是适来喝老僧者?”元安满不在乎地说：“是。”临济大师一怒之下，把狂妄自大的元安打了一顿。元安年轻气盛，当下就向临济大师辞行，说他要到南方去，并且不顾临济大师拦阻，当天就扬长而去了。

    元安离开临济大师以后，四处游荡够了，来到夹山建庵而居，却一直没有去拜谒夹山大师。后来，还是夹山大师修书把他找了去。在夹山大师面前，元安“不礼拜”，“当面叉手而立”，夹山大师气得骂他：“鸡栖凤巢，非其同类!”直至在参禅中败了阵，元安才收了傲气，师事于夹山大师门下，后来终于成为一代名僧。

    元安成名以后，曾与云门大师参禅，双方的禅机都十分锋利。其中，云门大师问：“学人拟归乡时如何?”意思是：“我想回家乡去，怎么样?”元安禅师回答：“家破人亡，子归何处?”意思是：“家已经没有了，家里的人都死了，你回什么地方去?”云门大师说：“恁么，则不归去也。”意思是：“这样的话，我就不回去了。”元安禅师却问道：“庭前残雪日轮消，室内游尘遣谁扫?”意思是：“你不回去，院子里的残雪可以被阳光消融，但屋子里面的尘土谁来打扫呢?”就这样，元安禅师把“归”与“不归”全都否定了。接着，他又念诵了一首偈：“决心归乡去，乘船渡五湖。举篙星月隐，停棹日轮孤。解缆离邪岸，张帆出正途。到来家荡尽，免作屋中愚。”这首偈的含义是：无所谓“归”与“不归”，应该把这些世俗之见全部打消，这样才能摆脱愚痴，“离邪岸”而“归正途”。

    成语“家破人亡”就是由元安禅师的禅语中产生的，用来形容：家庭破裂，人口死亡。