1921年6月29日，毛泽东和何叔衡乘着暮色，从长沙小西门码头出发，前往上海参加中共一大。这次会议正式确定党的名称为中国共产党，并通过了党纲，选举陈独秀为书记。毛泽东除担任记录外，曾发言介绍长沙共产主义小组的情况。8月中旬，毛泽东回到长沙，利用船山学社的社址和经费，创办湖南自修大学，以探求改造社会的学问。到1923年11月，自修大学及附设补习学校已培养200多名青年。与此同时，毛泽东着手组建湖南地方党组织。他先在工人和学生中发展党员，建立党的基层组织，并先后领导发动一系列大罢工，掀起湖南工人运动的高潮。毛泽东的才干逐渐被陈独秀赏识，1923年1月，他调毛泽东到中共中央工作。6月中旬，毛泽东出席在广州召开的中共三大。在这次大会上，陈独秀当选为中央局委员长，毛泽东为中央局秘书。根据规定，“秘书负本党内外文书及通信及开会之责任，并管理本党文件。本党一切函件须由委员长及秘书签字”。毛泽东第一次进入中共领导核心。
　　1924年1月20日，在孙中山主持下召开国民党第一次全国代表大会。毛泽东参加并多次发言，受到孙中山等人赞赏，被选为中央候补执行委员。1925年9月，毛泽东到达广州，随即代理国民党中央宣传部长。他到任后，大力纠正宣传工作中存在的问题，首先着眼健全宣传工作体制。在他主持下，国民党的宣传工作很快出现生气勃勃的局面。两个月后，在反击新老右派的斗争中，毛泽东以国民党中宣部的名义创办《政治周报》，指出革命的目的是，“为了使中华民族得到解放，为了实现人民的统治，为了使人民得到经济的幸福”，主张对反革命宣传展开反击。
　　1926年1月，在广州召开国民党二大，毛泽东再次当选国民党中央候补执行委员，并继续代理宣传部长。他调进萧楚女、沈雁冰等共产党员，宣传部“人才济济，一时有人才内阁之称”，“实际上宣传部的工作都是共产党做的”。但这次大会在共产国际代表与陈独秀等人影响下，对势力做大的国民党新右派却没有触动。不久，根据《整理党务案》，毛泽东离开代理国民党中宣部长的位置，将主要精力转向农民运动。1926年3月19日，他奉命主持国民党中央农民部主办的农民运动讲习所第六期。农讲所创办的目的是“养成农民运动人材，使之担负各处地方实际的农民运动工作”。经过筹备，这期讲习所于5月15日正式开课，招收来自20个省、区的327名学生。年底，毛泽东以中共中央农委书记的身份，建议在武昌合办“湘鄂赣农民运动讲习所”，并筹集经费。在毛泽东等人努力下，1927年3月7日，农讲所正式上课，招收了来自全国17个省的800余名学生。在农讲所的整个教学活动中，毛泽东负领导之责并身体力行，主讲《农民问题》和《农村教育》等课程。他的课充实生动，幽默风趣，最受学生欢迎。通过他的讲课，农运中许多根本问题得到明确的解释，一些混乱的思想得以澄清。三个月后，农讲所学生毕业后，大多由各省农民协会委任为省农民协会特派员，深入农村，领导发动革命斗争，在全国范围内撒下开展农民革命的火种。1927年3月，毛泽东撰写的《湖南农民运动考察报告》公开发表。他用实地考察所得的大量不可辩驳的事实，热情讴歌农民运动好得很，论述了农村革命的伟大意义。4月，我党领导的汉口长江书店以《湖南农民革命》为书名出版发行，瞿秋白在序言里说：“中国的革命家都要代表三万万九千万农民说话做事，到战线去奋斗，毛泽东不过开始罢了，中国的革命者个个都应该读一读毛泽东这本书，和读彭湃的《海陆丰农民运动》一样。”这篇著作成为中国共产党领导农民运动极其重要的马克思主义文献。
　　随着蒋介石、汪精卫先后发动反革命事变，轰轰烈烈的大革命归于失败。危急关头，毛泽东参加中共中央在汉口召开的八七会议，他明确指出：“以后要非常注意军事，须知政权是由枪杆子中取得的”。这段话后来被概括为“枪杆子里面出政权”的著名论断。这一论断，不仅指出了武装斗争是中国革命的主要形式，而且包含着军队是武装斗争的主要组织形式的思想，对中国革命有着极其重要的意义。这一思想成为他发动秋收起义并走上工农武装割据的认识基础。