缪尔生于苏格兰东洛锡安的Dunbar，父母是Daniel Muir和Ann Gilrye，在八个子女中排行第三，其他孩子包括长于缪尔的Margaret、Sarah，还有比缪尔年幼的David、Daniel、Ann和Mary (双胞胎)，以及在美国出生的Joanna 。
在缪尔的自传中，他还忆起幼时的两项体验，很大程度上影响到了他后来的生活。他与伙伴玩接力赛跑，一玩就是几个小时，锻炼了其长跑的耐力。另外他还遗憾地回忆起儿时太顽皮，恶意杀戮了当地的许多小鸟，只是为了寻求一点刺激。 1868年3月，缪尔抵达旧金山，在得知有个叫约塞米蒂的地方后，他随即前往。他被约塞米蒂山谷深深地吸引住了，他写道：“没有哪个人造的殿堂可以跟约塞米蒂相比”，“(约塞米蒂)是大自然最壮丽的神殿”。在前往游览八天后，他返回了内华达山脉的山麓，然后先后当了渡船工、牧羊人，驯马员。
1869年5月，牧场主Pat Delaney给缪尔提供了一份夏季工作，在山中看管Delaney的羊群和牧羊人。缪尔兴高采烈地接受了这份工作，在随后的这个夏天里，他一直跟羊群在约塞米蒂区域。这个夏天，缪尔还攀登了大教堂峰、Mount Dana，并徒步穿越了从Bloody Canyon到Mono Lake的传统印第安人区域。也就是在这段时间里，他开始思考此区域如何形成以及生态系统如何运作的理论。
而后缪尔更加热爱这片土地，他还经客栈老板James Hutchings指导，在约塞米蒂山谷获得了一份操作锯木机的工作。缪尔是个天生的发明家，他设计了一个水力磨坊，用于切割被风刮倒的树。另外，缪尔还在约塞米蒂小溪岸边为自己建造了一座小屋。
对科学特别是地质学的热爱，占据了他的空余时间，缪尔很快确信正是冰川塑造了山谷及其周边地区的面貌。但当时普遍接受的观点，则认为使山谷形成的是灾难性的地震，提出者是约西亚·惠特尼（加利福尼亚地质勘测的领袖）。随着缪尔观点的传播，惠特尼曾试图损害缪尔的声誉，声称缪尔只是一个业余爱好者，甚至有些不学无术。但当时地质学的领军人物路易斯·阿加西认同了缪尔观点，并称赞他是“第一位具备有冰川运动概念的人”。
1871年，缪尔在圣母峰下面发现了一处活跃的高山冰川，此发现使得他的理论更为人所接受。他还是一位多产的作家，写了许多报告及文章，有的远在纽约发表。也是那一年，缪尔的偶像之一，拉尔夫·瓦尔多·爱默生来到约塞米蒂寻找他。缪尔原来在威斯康星大学的教授Ezra Carr及其妻子Jeanne，鼓励缪尔发表其观点。他们还将缪尔引荐给了许多名人，包括爱默生，还有许多科学界的领袖，比如路易斯·阿加西、约翰· 丁铎尔、约翰·叨雷、克林顿·哈特·梅里厄姆以及约瑟夫·勒孔特。
1872年3月，加利福尼亚Lone Pine的欧文斯谷发生了大地震（参见1872年Lone Pine地震），约塞米蒂山谷有强烈震感。缪尔被震醒后，兴奋地跑出小屋，高呼“A noble earthquake！”（一场伟大的地震）。而其他山谷居民，仍坚持惠特尼的观点，害怕地震将导致山谷的强烈灾变。但缪尔并不害怕，他趁着月光，考察地震导致的石块滑道。这则事件使更多的人相信缪尔关于山谷形成的观点。
缪尔崇拜自然的力量，他曾经在雷雨天时，把自己绑在被风吹得左右摇摆的树端，感受自然的力量！要知道他这样做，一个闪电过来就可以让他一命呜呼，这种近似疯狂的举动，更可以让众人看出他对自然的狂热。
除了进行地质研究，缪尔还调查约塞米蒂的物种。1873年、1874年，他沿着塞拉山脉的西侧进行了两次野外考察，主要研究独立巨衫树林的分布与生态。1876年，美国科学促进会发表了缪尔关于巨衫生态分布的论文。1880年，缪尔与Louisa Wanda Strentzel结婚，她的父母在位于加利福尼亚Martinez (旧金山东北部的一个小镇)，拥有一块很大的牧场和果园。在随后的十年时间里，缪尔致力于经营家里的牧场，并搞得很成功。（他去世的时候，留下了价值25万美元的遗产，他们的房屋以及部分牧场，现在成为了国家的历史遗址。）在这段时间里，两个女儿Wanda和Helen先后出生。
