二战投降前的日本军队编制师承西方，经过了多年发展后形成了一套较为独特的分队-小队-中队-大队-联队-旅团-师团的编制体系。
日军的分队，相当于班级建制，每个分队包括队长1人，步枪手8人和1个4人机枪组，合计13人。分队以下还能分解成2-3个战斗小组，可在机枪掩护下执行分队级战斗任务。
分队的上一级为小队，相当于排级建制，是日军最小的战术执行单位。小队的编制相对复杂，一般有甲乙丙三种编制方法，一个标准的日军小队辖7人小队部、3个分队和8人的掷弹筒分队（3具掷弹筒），合计54人，其他分队编制在此基础上进行又条件的增减。
小队上一级就是中队（连级），日军的中队级编制相对稳定，一般辖1个中队部和3个小队，人数在180-250人左右。战时可加强重机枪、迫击炮、步兵炮等支援火器，战斗力相当于国军一个营。
大队是营一级编制，日军大队以上编制基本属于随心所欲，不同年代不同部队的大队编制各不相同，兵力则在600到1100之间徘徊，不过兵力明显多于正常的营级部队。以一个标准的甲种师团野战步兵大队来说，其下辖1个大队部，4个步兵中队，1个机枪中队，1个辎重中队和1个大队炮小队。共1100余人。这样编制下一个大队计有步枪500支左右，轻机枪36挺，重机枪12挺，步兵炮2门，还有可能得到若干反坦克枪和迫击炮的加强，战时除能得到上级火力掩护外，主力大队还会配属坦克进行支援，具备很强的独立作战能力。抗战期间，日军一个标准大队能吊打国军一个师，如果当年进入根据地的冈崎支队是这种编制，那八路军是无论如何拿不下关家垴阵地的。
说完了大队就是联队，日军联队相当于团一级作战单位，日军的联队编制复杂多变，除步兵联队外还有骑兵联队、炮兵联队等。我们常说的是日军的步兵联队，一个日军步兵联队除正常下辖的3个步兵大队外，还联队部、辎重队、炮兵中队（有的为大队）和各种支援部队。比如按1938年日军第五师团配置表上统计，一个步兵联队下合计有兵员3747人，马526匹，步机枪2590件，掷弹筒76具，轻重火炮14门，各种非机动车256辆。在抗战中，虽有很多日军联队长级军官（大佐级）被击毙在战场，却从未有一个日军步兵联队被成建制歼灭，这从侧面证明了日军联队的战斗力之强。
旅团是一个比较特殊的存在，级别高于联队低于师团。步兵旅团属于早期侵华日军的常规战斗序列，受西方军事学说影响，早期侵华日军采用方块师编制，即1个师团辖2个步兵旅团，1个步兵旅团辖2个联队，约8000人左右。在战争中，日军发现原有编制较为臃肿，指挥不畅，因此逐步缩减编制，取消了旅团级建制，到抗战中后期，日军一个师团直辖三个步兵联队。
还有一种旅团叫独立混成旅团，独立混成旅团是为守备占领区和对付抗日武装而成立的独立作战部队，这些旅团直辖步兵大队，配属有炮兵、工兵、通信兵等支援部队，兵力在5000-6000左右。独立混成旅团灵活机动，战斗力强，具有丰富的反游击战经验，对抗日根据地的危害很大，被击毙在黄土岭的中将阿部规秀，就是日军独立混成第二旅团的旅团长。
师团是日军最高一级的常设编制，有甲乙丙丁4种编制的师团。抗战初期的日军常设师团为2旅团4联队，均为甲种师团，其中挽马师团2.5万余人，驮马师团2.8万人，战斗力相当于国军主力集团军。1938年后，日军师团改为三联队制，兵力维持在1.8万人左右，是为乙种师团。丙种和丁种师团属于战场日趋扩大后兵力不敷使用后的无奈之举，兵员和战斗力下降严重，因此不再赘述。
日军师团以上的编制为军-方面军-总军。这些编制不固定，根据战时具体情况进行抽调使用。总军是日本陆军在二战期间的最高编制，每个总军负责一个战略方向上的所有作战任务，总军下辖若干方面军，兵力从数十万至百万不等。二战中，日军先后建立了第一总军、第二总军、航空总军、关东军、中国派遣军、南方军共6个总军。
方面军是总军的下级编制，下辖若干军。日军的方面军不太受人关注，在二战期间共建立了21个，大部用于太平洋战场。在中国战场上，中国派遣军下的华北、华中、华南派遣军都属于方面军编制。
日本的“军”同样不固定，会根据需要抽调组成，以侵华日军第11军为例，其最盛时编有7个师团又3个独立混成旅团，总兵力超过15万人，可独立执行战略进攻任务。
最后，再附送一个“支队”。日军的支队属临时编制，一般为执行某种任务通过加强部分配属部队临时组成。通常在战前从各部队中临时抽调，战后解散回归原来建制。支队的规模大小不一，一般多为步兵联队+炮兵、骑兵、工兵各一部组成数千人规模的旅级支队，也有数百人的大队或中队级支队。台儿庄大捷中被重创的“濑谷支队”，总兵力估计接近万人，超过两个日军步兵联队之和，而偷袭八路军根据地的冈崎大队，仅有500余人，不足一个大队。