《塘沽協議》簽訂後，29軍撤軍。
此後的兩年裏，29軍一直駐紮在察哈爾省，當時的察哈爾省，與偽滿洲國接壤，也就是抗日前線。
1935年8月，29軍軍長宋哲元任冀察政務委員會委員長，下轄河北、察哈爾兩個省與北平、天津兩個市。張自忠任38師師長，兼任察哈爾省主席。
後來擔任張自忠參謀處長的張宗衡回憶說，張自忠主察期間，他的精力都用在補訓部隊方麵，各團馬匹車輛人員，他都要親自校點，該淘汰的淘汰，該補充的補充，凡是年輕力壯但身體稍微矮小的士兵，他都要另行編排成隊，以求整齊。他對射擊、刺殺技術特別看重，所以每個士兵的單兵作戰能力都很強。1936年，全師有兩個旅換成了捷克式步槍，舊槍補充新增加的兩個新兵旅。那時候，因為29軍名氣很大，老百姓都知道這支部隊是抗日英雄，所以察哈爾的強壯年們都以能夠入伍為榮。
在美國沒有與日本開戰前，這時候全世界最好的武器是德國造和捷克造。捷克造輕機槍，曾經在抗日戰場上發揮了極大的作用。至今，我們還能在反映抗戰的電影中看到捷克式武器的身影。
這時候的38師武器裝備煥然一新，每連有捷克式輕機槍四挺，有擲彈筒兩門，連長也配了德國造手槍一支。這種手槍在老電影《鐵道遊擊隊》、《平原遊擊隊》中經常能夠看到，俗名有很多：二十響、盒子炮、自來得二十響、快慢機。這種手槍最多可以連發20顆子彈。
然而，即使這樣，38師的武器裝備還是遠遠不如日軍的。
中國軍隊一個連的人數大致與日軍一個中隊的人數相當，都為150人到180人。38師此時一個連有輕機槍四挺，擲彈筒兩門，而日軍一個中隊有八挺輕機槍，四挺重機槍，九門擲彈筒，另外還裝備有迫擊炮。還有一些中隊裝備有馬匹和坦克、重炮。