西周时夷蛮用作泛称，四夷没有固定的方位配置。《诗·小雅·何草不黄》被认为是“下国刺幽王”的诗，其中有“四夷交侵，中国背叛”的诗句，四夷指四方之夷以与中国对举。大概在西周末春秋初已有了“四夷”的概念。子夏说只要“恭行仁义”、“四海之内皆兄弟也”，已有了“四海”的概念。按照《尔雅·释地》的解释：“九夷、八狄、七戎、六蛮谓之四海”，是包括华夏及其它各民族在内的。

中国与夷、蛮、戎、狄配以东、南、西、北，“五方之民”共为“天下”，同居“四海”的统一格局形成了。华夏是这五方配合的核心，四夷各方包括哪些民族，随时代不同也有所不同。

华夷五方格局的形成经历了春秋、战国五个多世纪，而文献中明确以华夏居中，东夷、西戎、南蛮、北狄配合四方的记述，大概出现于战国。《左传》昭公十七年，孔子向郯子学习古代官制时曾说：“吾闻之，‘天子失官，学在四夷’，犹信。”这是指四方之夷，而《论语》中未出现“东夷”、“南蛮”等配有方位的民族称谓。《孟子·梁惠王上》提到“莅中国而抚四夷”，仍是指四方之夷。《孟子》中虽已出现“东夷”、“南蛮”等称谓，但在《孟子·尽心下》说：“君好仁，天下无故焉。南面而征北夷怨，东面征而西夷怨。奚为后我！”证实孟子所说“四夷”仍是指四方之夷。

《管子·小匡》和《礼记·王制》中关于中国、东夷、南蛮、西戎、北狄五方之民，及其习性、语言、衣服、器用等不同的记载。《管子》为战国中晚叶齐人追叙，虽依据了管仲相主而霸的事迹与言论，但所指五方之民，方位整齐的观念，是战国中晚叶成书时对齐桓公霸业的概括。《礼记》则是西汉中叶学者们依据先秦材料所作。以上征引两书的记述，说明战国已出现的五方民族整齐配合的观念，到西汉得到了确立。

华夷五方配合，只是战国秦汉受华夷大一统思想支配而对五方各族的一种划分，无论东夷、南蛮、西戎、北狄，都只是对一方民族的统称，并非已形成五大民族集团。同一方位各族未必都属同一族系，而且具体包括哪些地区的民族，随着时间推移，也有所不同。