张作霖遇难后，杨宇霆以周公自诩，想忠心耿耿、全力以赴地辅佐少帅，稳住东北。
少帅张学良是“民国四大公子”之一，不仅风流倜傥，当时还吸毒成瘾，瘾一上来就不问政事。
杨宇霆经常苦口婆心地劝他，但他根本听不进去。
一次某官员有重要情况向张学良汇报，因张正在抽大烟，被卫兵拒之门外。无奈之下，他只好找杨宇霆求助。 杨知道后生气地骂道：“如此下去，抽死得了。”
随后，他带领这位官员来到张学良官邸，大声问卫兵：“少帅何在？”卫兵回答说：“少帅尚未起床。”杨宇霆听了这话，不禁怒火中烧，气冲冲地闯了进去。到了张学良的卧室门口以后，他大声喊道：“我是杨麟阁，快起来，有公事！”
张学良主张东北易帜，但杨宇霆强烈反对，认为归顺蒋介石会损害东北利益；1928年12月29号易帜典礼当天，杨拒绝参加合影、不肯挂青天白日旗，当众让张学良难堪。
杨宇霆父亲寿宴，张学良亲自到场祝寿，全场宾客对杨宇霆恭敬程度远超少帅，给张学良极大刺激。
而黑龙江省长常荫槐是杨宇霆的铁杆，常荫槐甚至对外宣称：东北大事不必找张学良，有事直接找杨宇霆就行。张学良感到自己的权威被架空。
日本方面知道二人不和，便散布杨宇霆将要夺权的流言，还送书《德川家康传》给张学良，暗示杨宇霆会像德川家康一样夺取少主江山。
1929年1月10日，杨宇霆、常荫槐二人要求面见张学良，让他签字任命常荫槐主管中东铁路。
张学良认为这是公然胁迫，下定决心除掉两人。不过就在动手前，张学良还是有点犹豫，他取出一枚银元，想用占卜的方法作出决断。说如果三次占卜都是“袁头”向上，表示就应该下手。没想到三次都是朝上。
于是1月10日晚，张学良在少帅府，以阻挠新政、破坏国家统一的罪名将杨宇霆和常荫槐杀害。
杀完第二天，张学良立刻召集东北政务委员会全体大员开会，当众宣布杨、常伏法，杨、常下属一律不追究；给杨、常两家各送一万银元抚恤金，安抚家属。
短期效果：张学良彻底扫清掣肘，东北军政大权完全归于自己。
长期效果：
1. 东北失去两个最懂对日交涉、军工、铁路治理的干才；杨宇霆是少数能和日本方面强硬周旋的人。
2. 东北军政高层产生 “人人自危” 心态，元老遇事不敢直言劝谏，张学良缺少制衡力量。
3. 杨宇霆一手建立的士官派瓦解，东北军内部的人才结构受损，对后来九一八的应对埋下隐患。
918后胡适曾感慨地说：“杨宇霆不死，东北四省不会如此轻易失掉。”