之所以选择四行仓库，是因为四行仓库高大坚固，易于防御，又因连日苦战部队伤亡很大，补充的新兵比例很高，集中在一个据点更利于控制部队。
而且四行仓库中粮弹储备充足，甚至为了防备自来水管被切断还储备了大量饮用水，是一个非常理想的守备据点。
随后孙元良召集团以上军官会议，在会上说明了留守闸北的任务和情况。
262旅524团中校团附谢晋元自告奋勇愿意率领部队执行这个任务，于是孙元良命令谢晋元率524团1营留守四行仓库。
谢晋元在接受任务后向孙元良表示：
“在未达成任务前，决不轻易作牺牲。任务达成之后，决作壮烈牺牲，以报国家。
524团中校团附谢晋元：
此时，524团1营还驻守在闸北北站附近的天通庵地区。
26日晚22时接到撤退命令，营长杨瑞符少校无法接受要撤退的现实，还打电话给524团团长韩宪元上校表示不愿撤退。
23时，韩宪元接到1营担负死守四行仓库的新命令，于是立即打电话要杨营长马上赶到团部，当面下达了新任务。
当杨瑞符营长领受任务再回到营部时，已经是27日零时20分了。此时1营各连都已根据26日22时的撤退命令开始后撤，杨营长急忙派传令兵分头去追，自己则在营部等待部队回来。
结果传令兵只追到第2连以及第1连的第1排与第2排，于是杨瑞符营长只好先率这一个半连到四行仓库向谢晋元报到。
没想到27日上午9时许，之前没联络到的1营3连、1连3排和机枪连居然也来到四行仓库。
原来这两个连在撤退途中遇到团部人员，知道1营的任务已经改变，虽然谁都知道这是一个有去无回的任务，但他们还是毅然赶到四行仓库报到。
就这样，至27日9时，524团1营共452人全部进入四行仓库，这也是当时中国军队在上海市区的最后一处据点了。
524团1营进入四行仓库后，立即开始备战。由2个班在旱桥警戒。
1连在右翼西藏路占领阵地，
2连居中在四行仓库周边占领阵地，
3连在四行仓库左翼交通银行周围占领阵地，
机枪连在四行仓库屋顶配置2挺重机枪，
另外2挺重机枪则分别配属给1连和3连。
日军第3师团的前卫部队从北站出发自东向西搜索前进，刚接近四行仓库就遭到了1营的猛烈射击，被打了个措手不及。
他们重新展开队形发起进攻，战至12时许，被守军击退。
坚守四行仓库的中国军队：
27日四行仓库的战斗虽然规模很小，但意义却非常重大，表示中国军队依然在闸北坚持战斗。
这个消息迅速在租界流传开来，成千上万的市民赶到苏州河南岸，隔河向四行仓库守军挥动帽子、毛巾、手帕致意，甚至还将日军的集结地点、行动等写在大黑板上通报给守军。
更多的人将守军急需的物资送往上海市商会，不到一天的时间，捐赠的物资就装满了10辆大卡车。谢晋元对外界问及有多少守军时回答：
“八百人”，“八百壮士”由此天下闻名。
28日，四行仓库守军除了得到大量捐赠物资，还得到了杨惠敏送来的国旗，并于29日凌晨举行了简单但不失肃穆的升旗仪式。
四行仓库楼顶飘扬的国旗，是抗战期间最为经典的一个场景，彰显了中国军民不屈的抗战精神，引起了苏州河南岸成千上万观战市民的欢呼。
29日下午，日军再度展开进攻，仍被守军击退。
经过两天的战斗，谢晋元看出了日军的顾忌——
本来四行仓库从军事上讲是一个绝地，根本没有回旋余地，所以谢晋元最初布署防御时还尽量扩充防御纵深：
1连在右
3连在左，
2连居中，
围绕四行仓库周边，四行仓库大楼基本没部署部队。
但是日军顾忌流弹落入租界，所以不敢以重炮直接轰击，只能采取纯步兵的强攻。
于是谢晋元也审时度势地改变了部署，
将部队全部收缩回仓库大楼死守，
机枪连全部部署在楼顶，
对日军形成居高临下之势。
日军正在架梯攀爬四行仓库：
30日，日军出动坦克掩护步兵进攻，被守军用手榴弹击毁2辆。
日军还在仓库墙边架起梯子攀爬进攻，守军推倒梯子，并向墙角猛投手榴弹，再次将日军击退。
束手无策的日军只能集中火力猛轰四行仓库，几乎每秒钟就落弹一发，墙面也被轰出了不少弹孔。
守军反而利用这些弹孔改建成射孔，日军一连三天毫无进展。