张作霖最初是以投靠日本起家的，早年在日俄战争中曾为日军效劳，后来当上奉军首领，所以他一直把日本帝国主义当作靠山。但张作霖非常有头脑，随着自身势力的不断壮大，他越来越不想完全受制于日本，甚至落个汉奸的骂名。因此他让英美帝国主义在东北也享有种种特权，平时同他们也保持着来往，其用意很明显：他想逐渐摆脱日本人的控制。对此日本人早已不满。在张作霖打算从北京撤兵回东北之前，日本人就紧锣密鼓地开始实施抛弃张作霖，进而直接控制东北的阴谋。他们首先劝他“隐退”，但遭到张作霖的拒绝。日军接着威胁说，要解除他的武装。与此同时，日本人开始四处调兵遣将，抓紧控制东北各战略要地，等待下手时机。
1928年5月的一个晚上，日本驻华公使芳泽谦吉会见张作霖，提出签订中日合资修筑吉会铁路(吉林-朝鲜会宁)合同的无理要求，张作霖以日本设法阻止北伐军过黄河为条件，严词拒绝。芳泽见张作霖不上圈套，进一步威胁说：“张宗昌的兵在济南杀死几十名日本侨民。”张作霖答本人未接到报告。芳泽竟用恫吓的口吻说：“张宗昌的军队是你的部下，你对此事应负一切责任。”张作霖听罢此言勃然大怒，声色俱厉地冲芳泽喊：“此事一无报告，二未调查，叫我负责，他妈拉巴子的，岂有此理!”说完之后，扔下芳泽，怒气冲冲地离开客厅。此事发生后，张作霖与日方关系更为紧张了。此刻的土肥原贤二虽然一直躲在幕后，没有与张作霖发生正面冲突，但他意识到张作霖对日本已经不再那么俯首帖耳了。
日本始终认为帮助张作霖消灭了对手，张作霖就应该对日本俯首贴耳、应该满足日本在东北的任何权益，不料却事与愿违。日本人越来越觉得张作霖是其侵占东北，实现“满蒙独立运动”的最大障碍，于是决定用暗杀手段除掉他。
1928年6月初，张作霖决定动身回老家东北沈阳。张作霖临走前，日本又对他提出了最后通牒，胁迫他同意日本的要求。张作霖仗着自己手里还有几十万军队，始终不肯松口。于是，日本关东军决定在张作霖回东北的路上除掉这个眼中钉。1928年6月4日清晨，张作霖的专车开到皇姑屯车站以东的京奉、南满两铁路交叉点的桥洞时，轰然一声巨响，专车被日本人事先埋在桥下的炸药炸得粉碎。张作霖身受重伤，倒在血泊之中，四小时后身亡。这就是当时轰动中外的“皇姑屯炸车案”。
爆炸内行都知道，这是一起计划周密的炸弹谋杀行动。日本军部和关东军一手策划了皇姑屯炸车案。直接出面策划这次行动的是关东军司令部高级参谋河本大作大佐，而幕后的策划者之一就是土肥原贤二。
那天晚上，土肥原贤二送走张作霖后，立即把张作霖所乘车厢的号码用电报密告了日本特务机关，致使爆炸一举成功。
数日后，张作霖遗体隆重下葬。他的棺材放在炮车上，几匹战马拉动着，缓缓通过了挤满观望人群的奉天大街。同张作霖的儿子张学良将军一同送葬的就有土肥原贤二。他一身素服，脸色显得沉痛。不知内幕的人不禁为之动容。
1928年，张作霖死的时候，土肥原贤二还是个大佐，是个副官，但到了1941年，他的双肩却带上了大将军阶的带穗肩章，他的胸前挂上了许多金光闪闪的勋章，其中有在日本帝国最受尊敬的“磺宝”勋章和“旭日双辉”勋章。土肥原贤二的晋升速度，在日军中是罕见的。
土肥原贤二的飞黄腾达是用无数人的鲜血和性命换来的。
◆ 东方的劳伦斯
1928年以后，土肥原贤二一直以天津为中心，进行阴谋间谍活动。他在天津建立了特务机关处，自任特务机关长。土肥原贤二在中国的活动，被人认为愈来愈代表日本真正的掌权者军方。土肥原贤二在日本军政界的地位也愈来愈高。凡有关中国问题的决策，几乎无不有其参与。
1931年8月，土肥原贤二从天津日本特务机关长调到奉天任特别机关长。三年前谋杀张作霖时，土肥原贤二只是北京公使馆武官的副手。现在到了张作霖的老家了，土肥原贤二立志要以自己的行动，使东三省独立，成为日本的附属国。
土肥原贤二是地地道道的间谍，可他表面上并不像人们想像中的特务那样凶恶，而是处处表现得“敦厚诚实”，给人一种和蔼可亲的印象，以此迷惑人心。作为中国通，他结交了许多中国人，其中多是上层人物。他的家中常常宾客云集，客厅里时而摆上中国的山珍海味，时而又设日本茶道，只见宾客频频举杯，一派歌舞升平景象。
就在这种人声鼎沸的时候，土肥原贤二却静静地举杯不饮。他竖起耳朵，仔仔细细地听着每一个人的讲话，从中滤出有用的东西。就这样，各种情报好像是自动地跑到了他的手里。就连土肥原贤二的同伙也都对此钦佩不已。
1931年9月，由关东军和土肥原贤二特务组织策划的东北事变的阴谋准备就绪。1931年9月18日，随着南满铁路柳条沟的一声巨响，早已上膛的日军大炮，对准东北军大营猛轰。东北军来不及抵挡，被打得晕头转向，尔后又奉命撤退，拱手将东三省让给了日本。
土肥原贤二阴谋得逞，被日本当局扶上了奉天市市长的宝座。