中国在唐朝之前的乐谱都是直接用文字记载的文字谱，后来晚唐时的曹柔发明了减字谱，乐谱记载得以简化。目前现存的中国最古老的一份古琴乐谱是古琴曲《碣石调·幽兰》的谱子，相传为南朝梁代的丘明传谱，它也是流传到今天惟一的一份文字谱，为唐朝手写卷，原件现存天日本东京博物馆。
理论上来说，乐谱是伴随乐器的产生而形成的，可是我们对古琴、笛子这些传统乐器的起源和创造者的认识到现在都还只限于一些无据可考的传说故事，很多发明动不动就会跟黄帝、炎帝扯上关系。换句话说，我们其实不知道中国的一些传统乐器最早是谁，在什么时候发明的，那么在这样的基础上探求最早的乐谱是什么，我以为是无法有准确答案的。
从另一方面思考，乐谱的作用是记录音乐内容，所以或许可以这样认为，流传下来的我们可知的乐曲，必定是有乐谱作为媒介的。现在我们知道的乐曲，比较早的有孔子的《龟山操》、《猗兰操》，师旷的《阳春白雪》，伯牙的《高山流水》、《水仙操》等等。也就是说，在春秋时期，应该已经有比较完备的用文字记载的乐谱了，所以最早的乐谱应该出现在此之前。
个人猜测：最早的乐谱应该出现在奴隶社会时期，随着奴隶主贵族们的享乐欣赏的需要而逐渐产生，最迟在商朝末期或者西周早期出现并成形，至于最早的乐谱记载的究竟是哪首曲子，我觉得就没必要追究了吧
