啬夫之职，郑玄在任上勤勤恳恳，十分认真，抚恤孤苦，甚得乡里的好评，不久便晋级而成为乡佐。

郑玄不安于乡吏的工作，不愿为吏以谋生，一心向往研究学术，因此，他在做乡吏的同时，还利用一切可以利用的机会刻苦学习，每逢休假日也不回家，而到处游学向山野博士请教各种学术问题。

他的父亲对此极为反对，并一再督责和训斥他，但父、兄的反对也改变不了他的志向，他仍坚持不懈地努力学习，到二十一岁时，已经博览群书，具有了深厚的经学功底，并精于历数图纬之学，兼精算术。

当时的名士杜密任太山太守、北海相，到高密县巡视时见到郑玄，认为他是一个不可多得的人才，就把他升调到郡里为吏录，使他得到学习和深造的机会。

从此，郑玄便结束了乡吏生涯，到了北海郡不久，郑玄又辞去吏职，入太学授业；他的老师第五元先，是当时京兆平陵的大姓，曾任兖州刺史，是一位很有学问的经学博士。郑玄从师第五元先，先后学了《京氏易》、《公羊春秋》、《三统历》、《九章算术》等，俱达到了通晓的程度。

其中《京氏易》是前汉京房写的，《公羊春秋》是战国公羊高传述、前汉初成书的，这两部书都是经学的重要典籍；《三统历》是前汉刘歆写的历法，《九章算术》则传说是西周周公著的，这两部书都属历数之学的重要著述，此后十年左右，皆为郑玄折节求学的时代。

他师事第五元先后，又从东郡张恭祖学习了《周官》、《礼记》、《左氏春秋》、《韩诗》、《古文尚书》等书，其中除《礼记》和《韩诗》外，均为古文经学的重要典籍。

郑玄向第五元先和张恭祖学习了今古文经学两大学派的重要经籍后，尚不以此为满足，又从陈球受业，学习了《律令》。在此期间，他还以明经学、表节操为目的，游学于幽、并、兖、豫各州，遍访名儒，转益多师，虚心向他们学习，共同探讨学术问题。

读万卷书，行万里路，不辞劳苦，孜孜求道，郑玄的青年时代，就是这样匆忙而充实地过去了，到了而立之年后，郑玄已经成了一名有着较深造诣的经学家，他的学问在中原一带已经可以说首屈一指、无出其右者了。

郑玄虽然已经学富五车，但他自己却毫不满足，当他感到关东（指函谷关以东）学者已经无人再可请教了的时候，便通过友人卢植的关系，离开故国，千里迢迢西入关中，拜扶风人马融为师，以求进一步深造。

马融是当时最著名的经学大师，学问十分渊博，他遍注儒家经典，使古文经学达到了成熟的境地，他的门徒上千，长年追随在身边的就有四百余人，其中优秀者亦达五十人以上。

马融是勋爵门第，为人比较骄贵和讲究，虽然门徒众多，但他只亲自面授少数高材生，其余学生则由这些高材生转相授业。

郑玄投学门下后，三年不为马融所看重，甚至一直没能见到他的面，只能听其高足弟子们的讲授；但郑玄并未因此而放松学习，仍旧日夜寻究诵习，毫无怠倦。

直至有一次，马融和他的一些高足弟子在一起演算浑天问题，遇到了疑难而不能自解，有人说郑玄精于数学，于是就把他召去相见。

郑玄当场很快就圆满地解决了问题，使马融与在场的弟子们都惊服不已，马融对身边的卢植说“我和你都不如他呀！”自此以后，马融对郑玄十分看重，郑玄便把平时学习中发现而未解决的疑难问题一一向马融求教，对于篇籍的奥旨寻微探幽，无不精研，终得百尺竿头更进一步。

郑玄在马融门下学习了七年，因父母年迈需要归养，就向马融告辞返回山东故里，马融此时已经感到郑玄是个了不起的人才，甚至会超过自己，他深有感慨地对弟子们说“郑生今去，吾道东矣！”意思是说