舒尔哈齐明目张胆地树立个人的权威，逐渐构成了对努尔哈赤地位的挑战，两人的关系也日益紧张，在诸贝勒共同参加的会议上，两人常因意见相左而激烈争吵，努尔哈赤开始意图除去他这个潜在的对手。
万历三十五年（1607年）三月，居住在蜚悠城的一小支女真部落，由于不堪忍受临近的乌拉部的奴役，想来依附努尔哈赤。努尔哈赤派出了舒尔哈齐和自己的儿子褚英、代善，将领费英东、扬古利、常书、扈尔汉领兵三千，前往蜚悠城收编该部。 [5] 当舒尔哈齐等人行至半途的时候，他就满腹狐疑的对同行的将领说看到帅旗上有一层淡淡的幽光，想要退兵。不过在褚英、代善的反对下，只能作罢。到达蜚悠城后，该部落酋长策穆特黑带领的五百户人丁早以做好了出发的准备，于是很快这支队伍就踏上了返回的道路。
乌拉贝勒布占泰得知消息后，立即带领一万骑兵赶来拦击，双方军队摆出了交战的阵势。但这时，舒尔哈齐却带着自己属下的五百人退到了一边，他不想破坏与姻亲的友好关系。只有褚英、代善率军英勇奋战，舒尔哈齐只在一边观看，他的部下常书、纳齐布也没有加入战斗。正是由于舒尔哈齐的消极退避，最后褚英、代善虽然打败乌拉骑兵，但是没能给以致命打击。
舒尔哈齐班师回朝之后，努尔哈赤准备将他的下属常书、纳齐布以临阵脱逃的罪名处死，以剪除他的左膀右臂同时也是杀鸡儆猴。但是舒尔哈齐的反应十分强烈，说杀他们就是等于杀我，誓不低头，大有决以死战的阵势。最后努尔哈赤为了避免公开的冲突，便做出了让步。他只罚了常书一百两黄金，夺了纳齐布下属的人马，并且从此以后剥夺了舒尔哈齐指挥军队的权利，将他排挤出了最高军事领导层。
万历三十五年（1607年），舒尔哈齐的地位一落千丈，变成了一个有名无实的人物，他痛感自己与努尔哈赤势难并存。于是，他与长子阿尔通阿，三子扎萨克图商议，图谋另立门户，与兄长分庭抗礼。
于是舒尔哈齐带着几个儿子和少数部下来到了铁岭东南的黑扯木，在那里伐木建造房屋，开辟新的根据地。 而黑扯木临近明朝的军事重镇铁岭，可以直接依靠明朝的军事保护，在他的东面又与乌拉部落接邻，能随时得到盟友的援助。
舒尔哈齐开始与努尔哈赤越来越疏远，转而靠近明朝了。李成梁看到这一分化女真的大好机会，于是火上浇油，故意挑起矛盾冲突。他上奏朝廷册封舒尔哈齐为建州右卫首领，这是明朝在辽东地区设立的最高地方军事长官。
努尔哈赤首先是责令舒尔哈齐放弃自立为王的念头，在劝说无效的情况下，他断然采取了强硬措施，于万历三十七年（1609年）三月，舒尔哈齐的两个儿子阿尔通阿、扎萨克图被努尔哈赤诛杀，部将武尔坤也被处死。努尔哈赤余怒未消，仍打算将他的次子阿敏处死，只是在皇太极等人的极力求情下，阿敏才逃过一劫，免于一死，不过他的一半家产被没收。
面对兄长咄咄逼人的姿态，舒尔哈齐失去了继续抗争的勇气。他知道自己的实力远远不如兄长，而且他所指望的靠山，驻扎在辽东的明军，也处在岌岌可危的境地，根本不是努尔哈赤的对手。在万念俱灰的绝望处境下，舒尔哈齐回到了兄长的帐下。但是这次的努尔哈赤对他不再讲兄弟情谊了，舒尔哈齐被囚禁在一间暗室之中，用铁锁锁住，仅有两个孔穴给他送食物。
万历三十九年（1611年）八月十九日，舒尔哈齐在囚禁中死去，时年四十八岁。
舒尔哈齐是清朝创立的第二号功臣，他原来的地位就是仅下努尔哈赤一等，各部酋长拜见的时候，两兄弟是同时受贺的，分南北落座。明朝的边将称努尔哈赤是二都督。舒尔哈齐同样是在起兵之初就很能打仗的人物，他屡立战功，是努尔哈赤的不可缺少的臂膀。而且，舒尔哈齐也是以努尔哈赤的继承人自居的。