故事发生在清朝道光三十年（1850）的尼山黄土村。村里有家肉铺，铺中所卖的猪羊肉，皆由屠户陈三每日早晨送来。陈三养了一只黄狗，与他形影不离。
一日，肉铺店主开门后，未见陈三送肉。担心耽误生意，店主便到门首张望，却只看到那只黄狗狂奔而来，不见陈三身影。黄狗跑到店主跟前，衔住他的衣服，呜呜哀叫，似有话要说。店主挥手驱赶，黄狗却死活不走。
见它可怜兮兮的模样，店主心动了，问道：“你主人为何没来？莫不是出了事？你是想带我去看他吗？”黄狗听后，低头哀鸣，眼巴巴地看着店主，随后在前缓缓而行。店主跟在后面，走了约三里地，黄狗在一座废弃的旧屋前停下。
这座旧屋不知建于何年，前有小路，后依山林。因当时局势动荡，早已无人居住，荒废成了流浪汉的栖身之所。黄狗并未进屋，而是来到屋后山林边，见店主跟来，它跃入小溪，不多时便叼上一具尸体。店主上前一看，竟是陈三，他双手被绳子捆在身后，绳上还系着一块大石。
店主大惊，急忙跑回村中，喊来里长及村众一同查看。等众人赶到，却见黄狗已蜷曲在陈三尸体旁死去。里长心中感伤，嘱咐众人看守尸体，自己则火速前往县衙呈告。
此时的知县名叫林宇，江苏苏州人，进士出身，此前为邻县县丞，今年刚升任尼山黄土村所在县的知县，地方志称其“公正廉明”。林知县接到里长呈告，立刻带领衙役、仵作前往出事地点勘验。
仵作检验尸体发现，死者口中塞有破布，生前应是被人捆绑并塞口以防喊叫。身上有棍棒伤，但都非致命伤，应是生前遭过殴打。捆绑死者的是常见的麻绳，无法判断来源，身后所系大石也是山林常见之石，经溪水浸泡没留下痕迹。黄狗则是因叼死者上岸时用力过猛，溪水呛入肺中，呼吸不畅而死。
勘验尸体时，林知县仔细观察围观者，试图寻找线索。只见人们表情各异，有好奇者踮脚观看，有怕见死尸者躲在人群后听议论，还有些妇女低声哭泣，其中一名少妇哭得最为伤心，后来被一个男人带走了。
林知县勘验完毕，召集里长及甲长等询问情况，得知此屋废弃已久，鲜有人至，是荒凉之地，常有流浪汉来此避风雨。若不是黄狗引店主前来，他们根本不会知道有人在此遇害。
林知县查看屋中各处，发现屋后有堆废弃木材似被人翻动过，屋前空场有用石块搭成的简易炉灶，从灶内柴灰看，昨天还有人在此烧饭。他不禁怀疑，是不是流浪汉所为？他们居无定所，会不会因自己前来勘验而畏罪潜逃？基于此，林知县采取了两项措施。
其一，封锁道路。尼山黄土村位于一座大山脚下，离县城仅20里地，但交通不便，离最近的镇子也有大约10里地，且当时没有大路，山上居民出山只能走山路。山上居民众多，远离县城，为便于管理，朝廷在该山设有巡检司，有30名弓兵，管辖临县三都及顷山林。
如今发生命案，若凶犯知官府缉捕，必想逃出山，而山路是他们的唯一选择。所以，林知县通知巡检，严防各路口，严禁流浪汉出山，断了凶犯的逃路。
其二，清查流浪汉。按清代制度，流浪汉有专门户籍，称流户。各府县设流头一职，由流浪汉推举，官府认定，负责管理本府县流浪汉，出问题要拿流头是问。林知县找来流头，限他10日内找出曾在旧屋烧饭的流浪汉，否则治罪。
流头虽住县城，但有眼线。在巡检封锁山路后，他很快就查出了那些流浪汉，先将他们送交巡检司看押，再回县城告知林知县。原本限期10天，他仅用4天就完成了任务。林知县褒奖流头，赏了150文钱。流头表面感谢，心里却暗骂知县抠门。
因为流头在流浪汉中有很大势力，流浪汉们要给他月钱，遇雨雪天不能流浪时，他还提供粥饭，他还放高利贷、经营地下赌场、开设妓院、经商盈利，富得很，根本瞧不上这150文钱。他出了县衙，把钱扔给流浪汉们，扬长而去。
林知县提讯那几名流浪汉，让他们交代谋杀罪行。可流浪汉们拒不认罪，任凭林知县软硬兼施，他们坚称不知陈三是谁，还说自己只为混口饭吃，没奢望，不会杀人，若为钱就不会当流浪汉了。
林知县没了主意，只好先将他们关押，然后找来两个亲信，让他们去偷听流浪汉私下的议论。亲信躲在暗处，听到流浪汉们讲村妇孙氏的事，说本是艳遇，却因某人下手过重，好事变坏事。亲信再仔细听，也没听出更多内容，便告知了林知县。
林知县一听村妇孙氏，立刻想起验尸时哭得最伤心的少妇，当时就想询问，却被男人带走了。他当即传召西村里长带村妇孙氏前来。一看，正是那名少妇，便知她定是知情人，让她从实说来。
村妇孙氏如实交代了事情经过。原来，孙氏娘家在离尼山黄土村五里外的柳村，她常回去探望。上个月，她摘了些野果，觉得味道鲜美，就送了些给生病的母亲。母亲吃后神清气爽，拉着她聊家常，不知不觉到了黄昏。
母亲留她吃晚饭，她怕天黑不好走，就没吃，往回赶。经过那座旧屋时，天已黑了，几个流浪汉正在屋前升篝火做饭。孙氏因看不清路，便上前讨火想做个火把。没想到流浪汉们调戏她，她开口大骂。
流浪汉们恼羞成怒，将她按住，她拼命挣扎，还咬破了一个流浪汉的手。流浪汉们用土块塞住她的嘴，脱下她的衣服，那个被咬破手的流浪汉还用她的腰带勒她，竟把她勒“死”了。流浪汉们惊慌之下，将她的“尸体”抬到后院，用废弃木材掩盖，拿走腰带和衣服后逃窜。
半夜时分，孙氏苏醒过来，她扒开木材露出头，却因身上木材太多无法起身，只好呼救。也怪她命不该绝，屠户陈三为给肉铺送肉，天不亮就上路，经过旧屋时听到喊声，找到了孙氏。
他想搬开木材救她，孙氏却拒绝说：“我现在赤身裸体，如何见人？你别救我，快去村里喊我丈夫拿衣服来！”陈三觉得有理，又怕她有闪失，便留下黄狗看守，跑去喊她丈夫。孙氏丈夫得知后，拿了衣服跟陈三来到旧屋，救出孙氏。孙氏穿好衣服后，向陈三磕头致谢，哭诉了自己的遭遇。
孙氏丈夫咽不下这口气，找里长诉冤。里长认为要报案就得先找到罪犯，于是让他和自己一起查访。可查了几日，毫无头绪，没想到陈三又被人杀害了。因为陈三对他们有恩，如今惨死，孙氏夫妻非常伤心，孙氏丈夫怀疑是因为陈三救了孙氏才得罪了流浪汉，所以验尸那天孙氏哭得特别伤心，他怕惹事，就把孙氏拉回了家。
林知县了解情况后，当即让流浪汉们与孙氏对质。当场发现一名流浪汉手上有被咬破的痕迹，正是勒晕孙氏的凶犯。人证物证俱在，林知县便用刑讯，流浪汉们最终受不了，交代了谋害陈三的经过。
原来，他们得知孙氏没死，怕她报案，自己会被驱逐，便四处打听，得知是陈三救了孙氏，就怀恨在心。他们知道陈三每天摸黑上路，便在其必经之路埋伏，将他打翻在地，又打又绑。这时黄狗冲出来咬他们，一名流浪汉大腿被咬掉一块肉，至今还瘸着。他们用打狗棍打跑黄狗，见陈三不动了，就捆上石头把他扔进河里。他们没想到黄狗会引来店主，捞出陈三尸体，更没想到官府会查到他们。
案情大白，林知县开始拟判。这些流浪汉杀了陈三，还曾谋杀孙氏，按律应将主谋斩首。这些流浪汉都动了手，本都可按“加功”量刑，但毕竟只死了一人，全判死刑有些过分。于是，林知县将被孙氏咬伤的流浪汉定为主谋，判斩刑；被黄狗咬伤大腿的定为“加功”，判绞刑；其余流浪汉按不加工处置，判杖一百、流三千里。拟判申报后，很快得到批复，该斩的斩，该绞的绞，其余的被流放。
处置完流浪汉，林知县责令里长安葬陈三，并把黄狗葬在陈三坟边。安葬那天，林知县送来一块石碑，上书“义犬冢”三字，还有数百字的墓志铭，称赞黄狗“犬智由义生，犬亦足千古”。
如今170多年过去，尼山黄土村已没人记得曾经有这样一只黄狗，为了主人，它找到肉铺店主，又奋力捞出主人尸体，最终与主人一同长眠，令人感叹历史的沧桑。正所谓：畜生尚且知天性，人类为何少真情。