随着马克思主义的不断传播及共产主义知识分子开始致力于将马克思主义同工人运动相结合，成立无产阶级政党这一任务也提到了历史日程上来。此时，李大钊常同陈独秀书信往来，讨论建党问题。
1920年8月，陈独秀等人在上海创建了第一个共产主义小组。月底，张国焘从上海回到北京，带来了陈独秀关于建党的意见。李大钊积极赞同，并开始进行建党的具体活动。
同年10月，北京共产主义小组正式成立。参加者有李大钊、张国焘、罗章龙、刘仁静、黄凌霜等人。由李大钊从自己工资中拿出三分之二作为小组活动的经费，小组还经常在李大钊的办公室和家里这两个地方开会。后来，在李大钊领导下北京共产主义小组将黄凌霜等无政府主义者清了出去，纯洁了组织。并争取何孟雄等人放弃了无政府主义立场，加入了共产主义小组，小组还吸收了邓中夏、高尚德等共产主义知识分子。
北京共产主义小组一成立，在李大钊领导下，立即投入了与工人运动相结合的道路。1920年11月，小组创办了《劳动者》周刊。它是对工人阶级进行社会主义宣传的通俗读物，很快在长辛店等地流传，很受工人欢迎。1921年1月，小组在长辛店开办了劳动补习学校，李大钊经常给予指导。邓中夏、张国焘等人常去讲课，向工人进行社会主义宣传，并借此接近工人，培养工人骨干，在李大钊和北京共产主义小组的启发下，北方工人的阶级觉悟提高很快。1921年5月1日，长辛店1千余工人举行了纪念五一劳动节的群众大会，会后进行示威游行，并成立了工会组织。