日语的起源一直是争论不休的问题。明治时代的日本人把日语划为阿尔泰语系,但阿尔泰语系这个说法已经普遍遭到否定,霍默·赫尔伯特(Homer Hulbert)和大野晋(Ōno Susumu)认为日语属于达罗毗荼语系,西田龙雄(Nishida Tatsuo)认为日语属于汉藏语系,白桂思(Christopher I. Beckwith)认为日语属于日本-高句丽语系(即扶余语系),列昂·安吉洛·塞拉菲姆(Leon Angelo Serafim)认为日本语和琉球语可以组成日本语系。有一种假设认为南岛语系、壮侗语系和日本语系可以组成南岛-台语门(Austro-Tai languages),即认为三者都有共同的起源。
三国时代,汉字传入日本,唐代时日本人发明了通行于女性之间的假名,官文为文言文,因此现代日本语受古代汉语影响极大。以昭和31年(1956年)的《例解国语辞典》为例,在日本语的语汇中,和语占36.6%、汉语占53.6%,昭和39年(1964年)日本国立研究所对90种杂志用语进行了调查研究,得出了和语占36.7%、汉语占47.5%、西洋语占近10%的结论。