關於李鐵拐身世的傳說頗多，一說為西王母點化成仙，封東華教主，授鐵杖一根。一說本名洪水，常行乞於市，為人所賤，後以鐵杖擲空化為飛龍，乘龍而去為仙。一說姓李名玄，遇太上老君而得道。這裡介紹的是遇太上老君得道的傳說：

李玄年輕時就仰慕大道金丹，不願打理俗務。認為天地皆虛，人生皆幻。世情嗜慾，乃伐性之斧斤;富貴功名，皆迷心之毒酒。即使貴為天子，富有四海，也是身外之浮雲。「有」從「無」而來，「有」則必「無」，這是不變的常理。人生自有樂境，何必耽於俗情，空度歲月。於是他立志修真，告別親友，尋找清幽之谷，依傍深穴之岩，壘石為門，撥茅為席，澄心淨慮，服氣煉形，廢寢忘食，幾年內勤於修行。
一日，想到太上老君至道之名流行於世，何不拜他為師?於是披星戴月，宿水餐風，來到華山，求道於太上老君。老君授於他「道」之精要，李玄心花頓開，塵情冰釋。離開華山後，更是運道益堅，用功益力。不久，太上老君跨鶴而來，邀他十天後同遊西域諸國。十天後，李玄囑附徒弟楊子說：「我的元神將出身體與老君同遊，留身軀在此。若我七日還不返回，你可將我的身軀火化。在七日內定要看好我的身軀，切勿損壞，千萬別忘記了我的話。」囑附完畢，李玄靜坐，元神離體，飄蕩而去。
徒弟楊子受命守屍，加意防護，日夜不敢懈怠。到了第六日晚，忽見家人飛馳而至，催促他說：「母親病得十分嚴重，死而復醒，就等見你一面，請速歸。」徒弟大哭道：「母病危急，師魂未返，如我離開，誰來守屍?」家人說：「人死了那有復生之理，況且已死了六日，其肺肝必已腐壞，那裡還能復生，真是愚啊!你的師父六日了還不歸來，有失信之罪。如果親人一但告終，送死不及，那是終生之恨，不如火化他的屍體，速歸伺奉母親。」楊子聽完家人所言，想事已至此，於是架起柴薪，一把火將置屍骨化盡。
當李玄歸家前向老君辭行時，老君笑而不答，為之作偈，並催他趕快回家。偈曰：「辟穀不辟麥，車輕路亦熟;欲得舊形骸，正逢新面目。」回到家時正是第七日，他到茅齋尋找自己的軀體時，卻遍尋不著也不見徒弟。一轉身見堆柴薪之處，暖氣騰騰，幽煙寂寂，方知身軀已被火化，深怨弟子違背盟約。
李玄的遊魂無處可依，日夜遊蕩於山上。一日見一個餓死的乞丐倒在山腳下，猛然想起老君臨別之偈：「欲得舊形骸，正逢新面目。」遂知這乞丐之屍即是他的依附，於是他附在屍體後站了起來，將手中竹杖以水噴之成鐵拐。那乞丐原是蓬首垢面，袒腹跛足，持一根拐杖，即後世所見李玄之跛惡之形。後世只知其姓李，而不知其名，故以其持鐵拐之形象敬稱他為「李鐵拐」。