中国在公元4世纪初永嘉之乱以后，政治、经济、文化中心所在的北方，又经历了一次比汉末更大的动乱。其后约三百年的分裂和战乱，更给文化造成了毁灭性的打击。但各民族的文化却也得到了前所未有的大交流，可算是稍有弥补。在这一段历史时期里，如上所述，精致却硕大易毁、带有农耕社会特色的瑟失传了，但不少具有游牧民族特色、便捷而能在马背上演奏的乐器却也传了进来，其中对后世影响较大的是曲项琵琶和筚篥，还有打击乐器拍板、锣、钹。就音乐而言，东方的高丽，西方的龟兹、疏勒、安国，还有南方的印度音乐经过西方，均得以在中国北方首先流行。吕光占据凉州（今甘肃张），将龟兹乐和今陕西、甘肃的音乐结合起来，称为“秦汉伎”，北魏时称“西凉乐”，后来索性称为“国伎”，已完全视为本土的音乐。外族音乐大量传入中土，终于形成中国历史上少见的把音乐分为九部、十部的隋、唐时的盛况。
值得专门提出的是乐谱的产生。就现有材料我们可知，中国的乐谱产生得很早。约在公元前2世纪成书的《礼记》中就记有名叫“投壶”和“燕射”的仪式上敲击大、小鼓的符号，它以方、圆图形（也就是古代“方”、“圆”二字）分别表示击大、小鼓，敲一下记一个字。所记为鲁、薛二地不同的击法，应是春秋战国时相传下来的。鼓是最古老的乐器，记录鼓点也较易，鼓谱的产生极早是可信的。记录歌曲的乐谱也产生得很早，公元前一世纪成书的图书目录中即记载有歌曲谱，例如目录中
有一本书叫《河南周歌诗七篇》，“歌诗”就是“歌词”；与之对应的另一本书叫《河南周歌声曲折七篇》，“歌声曲折”的词义就是“歌曲曲调”，这本记“歌曲曲调”的书，自然是歌曲谱了。但它究竟用什么方式记谱的？因为书早遗失，已无从知道。保存至今最早的旋律谱则是琴谱，它以文字记录演奏时左、右两手指法的方式，从侧面反映曲调。此谱虽为唐人抄写，原谱却是南朝梁代（公元6世纪）的。乐曲名为《碣石调·幽兰》。最初是民歌，叫《陇西行》；后来用它唱曹操的诗《碣石篇》，就改叫《碣石调》；再后又用《幽兰》诗来填配它，便称为《碣石调·幽兰》了。其结构分为四“拍”，也与《碣石调》原有四“解’相同。乐曲表现了古代文人怀才不遇的苦闷心情。
