王杲是一位深受汉文化影响的女真人，努尔哈赤因此也学会了一些汉语知识。当时，明军辽东总兵是李成梁。利用女真各部落之间矛盾控制局势。万历二年（1574年），明朝建州右卫指挥使、建州女真酋长王杲反叛，多次骚扰大明边境，明辽东总兵李成梁率军攻取王杲之寨，觉昌安和儿子塔克世（努尔哈赤的父亲）背叛了亲家，为明军作为向导。
王杲被李成梁诛杀。努尔哈赤兄弟也成了俘虏，努尔哈赤非常机敏，拉着弟弟在李成梁马前一跪，痛哭流涕，用流利的汉语说速求一死。李成梁见他们聪明伶俐，知道他是塔克世的儿子，就留在身边做书童。努尔哈赤因此有机会读到一些如《三国演义》、《水浒传》和军事方面的书籍。三年后，努尔哈赤又在李成梁麾下从军，练就了骑马射箭、冲锋陷阵的本领。
李成梁非常喜欢他，与他情同父子，时常给他点拨一些兵法布阵方面的知识。努尔哈赤在李成梁手下从军，因军功和李成梁的培养，升任李部总兵校尉，并随李到北京晋谒万历皇帝。其实，努尔哈赤养成了坚毅、忍耐、勇猛、低调的个性。但对其外祖父王杲之死是有想法的。明万历五年（1577年），努尔哈赤以遵父命娶妻佟佳氏为由离开了李成梁，回归到了阔别多年的家乡。
为了生存，他与弟弟又干起了挖人参、采松子、摘榛子、拾蘑菇、捡木耳的营生。多次假借李总兵校尉的名义，积极扩军，积蓄武备。万历十一年（1583年），王杲之子阿台为报父仇，屡掠边境，李成梁再率大军出击，取阿台的古勒寨及其同党阿海的莽子寨。觉昌安、塔克世再次作为明军向导。李成梁杀了阿台，屠杀女真两千多人。努尔哈赤的祖父觉昌安、父亲塔克世却在这次混乱的屠杀中，被明兵误杀。
这一次，努尔哈赤惊闻祖、父被杀，再集怒火。因明军边廷及时解释，赏赐和安抚（擢升努尔哈赤为建州左卫都指挥使，赏赐大量马匹，武器和粮草）。年方二十五岁的努尔哈赤本想起兵索报父仇，但势孤力单，怎能与拥兵百万的大明“天皇帝”交锋？无奈之下，努尔哈赤乃借口建州左卫图伦城主尼堪外兰，指责他是唆使明兵杀害父、祖的元凶，要求明廷将尼堪外兰送归自己处置。
这一要求，惹恼了骄横跋扈的明朝边廷和明军将帅，视努尔哈赤的“要求”为无理取闹，并一口拒绝，同时宣称要于甲板筑城，令尼堪外兰为“满洲国主”。 这一答复，进一步激怒了努尔哈赤。万历十一年（1583年）五月，努尔哈赤整理祖、父的十三副遗甲率领部众反了大明，去攻打尼堪外兰，取得了攻克图伦城的胜利。从此，拉开了反明的序幕。
