日本留学生在汉语学习中的偏误现象非常普通，影响了学生汉语水平的提高。虚词是汉语教学中的重点，其中结构助词“的”与日语的“の”在用法上有很多的相同之处，但也有不同之处。本文通过这两个虚词用法的比较，分析日本留学生在结构助词“的”的偏误原因。通过对黑龙江大学日本留学生做的问卷调查，并对结果进行分析，以及搜集了北京语言大学动态作文语料库中日本留学生“的”的误用语料，对其误用的原因进行分析、总结。通过调查发现，日本留学生产生误用的主要原因是对一些专有名词、固定短语、类固定词组中误加“的”，还有受母语负迁移的影响把“の”等同于“的”，以及是否具备良好的学习汉语环境等特殊原因。本文首先从四个角度将汉语结构助词“的”与日语的“の”的用法进行比较，第一个角度是定语的标志；第二个角度是形式体言“の”与“的”字短语；第三个角度是日语“のだ”句与“是……的”句比较；第四个角度是“の”与结构助词“的”的不同情况。其次，主要是设计调查问卷，对日本留学生进行问卷调查。最后，主要是对调查结果的分析，分别从六个角度对调查问卷进行对比分析。