五四运动期间，吴玉磊受到革命思想影响。1924年，大姐夫郑佑芝用通讯的方式介绍她加入社会主义青年团。1926年夏，她加入共产党，曾任共青团宜宾地委妇女委员和县国民党党部代理妇女部长。1927年入黄埔军校武汉分校学习；7月，武汉政府反共，她转移到上海，随即去莫斯科中山大学学习，翌年与同学陈大榜（陈达邦）结婚。1928年冬，她因疾病和身孕，奉调回国，先后到宜昌、上海、南昌等处做地下工作。 1932年春，她被派到东北地区工作，先后在奉天（沈阳）、哈尔滨领导工人斗争。翌年，为掩护身份，她曾同满洲总工会负责人老曹（黄维新）假称夫妻。1934年7月，她赴哈尔滨以东的抗日游击区，任珠河中心县委委员，后任珠河区委书记，一度被抗联战士误认为是赵尚志总司令的妹妹。1935年秋，她兼任东北人民革命军第三军一师二团政委，被当地战士们亲切地称为“我们的男政委”。