जड़भरत के पिता उन्हें पंडित बनाना चाहते थे, किंतु बहुत प्रयत्न करने पर भी वे एक भी श्लोक याद न कर सके। उनके पिता ने उन्हें जड़ समझ लिया। पिता की मृत्यु के पश्चात माँ भी चल बसी। कुटुंब में रह गये भाई और भाभियाँ, जड़भरत के साथ बहुत बुरा व्यवहार करती थीं। जड़भरत इधर-उधर मजदूरी करते थे। जो कुछ मिल जाता था, खा लिया करते थे और जहाँ जगह मिलती थी, सो जाया करते थे। सुख-दु:ख और मान-सम्मान को एक समान समझते थे। भाईयों ने जब देखा कि उनके छोटे भाई के कारण उनकी अप्रतिष्ठा हो रही है, तो उन्होंने उन्हें खेती के काम में लगा दिया। जड़भरत रात-दिन खेतों की मेड़ों पर बैठकर खेतों की रखवाली करने लगे। वे शरीर से बड़े स्वस्थ और हट्टे-कट्टे थे। एक दिन राजा रहूगण पालकी पर बैठकर, आत्मज्ञान की शिक्षा लेने के लिए कपिल मुनि के पास जा रहे थे। मार्ग में पालकी के एक कहार की मृत्यु हो गई। राजा रहूगण ने अपने सेवकों से कहा कि वे कोई दूसरा कहार खोजकर लाएं। रहूगण के सेवक किसी दूसरे कहार की खोज में निकल पड़े। उनकी दृष्टि खेत की मेड़ पर बैठे हुए जड़भरत पर पड़ी। सेवक उन्हें पकड़कर ले गए।