中平四年，黄巾之乱爆发，张郃应征入伍，以韩馥的军司马身份参与镇压叛乱。
初平二年，韩馥出让冀州后，效力于袁绍，在攻打公孙瓒时立下不少战功，迁为宁国中郎将。
在官渡之战中，曹操袭击乌巢，张郃说
“曹公的士兵英勇善战，他们一定会击溃淳于琼等人，淳於琼一旦失败，那么将军的大业就完了，您应该尽快带兵援救。”
但谋士郭图却说
“张郃说的不是好主意，我军不如进攻曹操的大营，曹操势必回救，这样淳于琼的危难不救自解。”
张郃反驳“曹公的营盘牢固，仓促间肯定攻不下来，如果淳于琼等人被俘，我们也就要当俘虏了。”
结果袁绍听信郭图，不听张郃的劝阻，仍然派张郃、高览攻打曹军主营，结果没攻下曹洪、荀攸固守的曹军主营，同时，乌巢粮草也被曹军劫烧。
。