出任中国科学院副院长上海解放初期，吴有训一直为祖国的教育事业作出着自己的贡献。之后，因新成立的中国科学院草创伊始，亟需有威望有经验的科学家担任领导工作，吴有训奉调赴京，并于1950年12月，被正式任命为中国科学院副院长，从此开始，直到1977年逝世，吴有训在中国科学院工作了27年，把自己的后半生全部奉献给了这项事业，为中国科学院和中国科学事业的发展壮大作出了重要的贡献，创造了自己生命中的再次辉煌。

  1950年6月底，吴有训作为中国科学院访德代表团团长，出访东德，参加纪念德国科学院成立250周年大会。在会上，吴有训以代表站立起来了的中国人民的身份发表演讲，获得了热烈的掌声。会后，吴有训率科学院代表团顺访了波兰的华沙，然后又奉科学院之命，转赴布达佩斯参加第一届匈牙利数学会议。这次对外交流活动是中国科学院最早的国际科学交流与合作活动，结交了当时社会主义阵营科学界的许多朋友，扩大了新中国科学事业的影响，为日后的交流打下了基础。

  筹划建立东北分院科学院在1950年5月曾派出以竺可桢副院长为团长的代表团，赴东北考察在当地开展科学研究工作的可能性，并提出过一个报告，但这项工作由于朝鲜战争的爆发而中断。1951年，吴有训率团再赴东北。在东北考察了一个多月，从沈阳到长春、大连、鞍山、抚顺、本溪等地，与各级政府部门、研究机构和企业进行了广泛地接触。于1951年10月成立东北分院筹备处，提出了设立中国科学院东北分院的初步方案。1952年8月，东北分院正式成立。

  兢兢业业尽职守1951年2月，吴有训担任了新成立的科学院建筑委员会主席。在吴有训的主持下，该委员会于1952年2月制定了暂行规程，将科学院的基建工作纳入规范化管理，并提出一系列科学院本部及各研究所的永久基地轮廓和建设设计方案的原则等。其中的一条重要原则为：科学院应选在靠近北京大学和清华大学的地方。从此时开始，中国科学院以中关村为基地，进行了大规模的建设。

  科学院于1955年成立了学部，吴有训出任物理学数学化学部主任，领导数、理、化、天文等学科的学术研究工作。工作中，他特别关心人才的发现和培养。林兰英、王守武、陈能宽、孙湘、黄量、王天眷等科学家归国之初，他不但亲自接见，向他们介绍国内的情况，而且细致地为他们做工作安排，提供必要的生活条件等，使他们很快就愉快地投入了工作之中。此外，吴有训对国内培养出来的青年科学工作者更是寄予厚望，希望他们青出于蓝而胜于蓝，五十年代出色的年轻科学家，如于敏、章综等人，吴有训都很熟悉并时常关心他们的情况。

  1965年，新中国取得一项具有世界水平的研究成果——人工合成结晶牛胰岛素，这一年的11月，中国科学院在上海举行了专门的成果鉴定会。会上多数人的意见认为：研究结果已经足以证明合成工作圆满完成，应尽快向全世界公布这项成果。但也有人不同意这样做，理由是有关证据还不充分，持后一种观点的人只占少数。作为鉴定主持人之一的吴有训认为既应听取大多数人的意见，应充分尊重少数人的观点，最后委员会决定一方面在《科学通报》上发一个简要的报道，另一方面迅速进行再一次合成，取得必要、充分和经得起检验的证据。第二次合成于次年的2月完成。四月，在北京召开了第二次鉴定会，一致向世界公布这项成果。公布之后，国际科学界，包括一些竞争对手也很快承认了我国的这项重大科学成就。

  参与制定科学发展规划1956年初，担任了国务院科学规划委员会委员、中国科学院数理化学部主任的吴有训，与其他几位科学家共同主持了发展规划中基本科学研究规划草案的讨论。二月中，由学部常委会决议，邀请了24位科学家进行汇总，最后拟定了13个重大项目和4个后备项目，其中主要有：和平利用原子能、电子计算机、半导体、计算数学与统计数学、航空力学等。

  1962年初，已可预见十二年规划可以在1962年年底基本完成。聂荣臻副总理决定在广州召开全国科技工作会议，讨论制定新的十年科技远景规划。吴有训不顾年事已高，夙兴夜寐，不知疲倦地投入到工作中。竺可桢当年9月的一则日记，真实地反映了当时的情景：“从这次规划的讨论，大家切磋琢磨，相得益彰。吴副院长始终其事。”

  1958年12月，美国物理学家肖洛和汤斯在《物理学评论》上公布了一种有关新的光学激射器的理论，吴有训等人敏锐地察觉到这一理论与技术的重大前景。为此，吴有训亲自过问物理所的激光课题立项，在他的大力支持下，物理所的激光项目研究很快取得成功。1961年9月，中国科学院物理所和长春光机所几乎同时研制成功了红宝石激光器，虽比美、苏晚了将近一年，但仍属国际先进水平。此后，在吴有训的提议下，中国科学院调集力量在上海组建了一个光学精密机械研究所，专门从事激光及其应用研究。在制定十年科学规划时，激光被列入重大科技后备项目。

  为国际科学合作与交流作贡献1960年7月，吴有训作为团长率中国科学院代表团一行五人应邀参加英国皇家学会成立三百周年庆典活动。访英期间，吴有训还广泛地会见了与会的各国科学家和许多过去留学英国的中国学生，向他们介绍新中国的各种情况，扩大了中国科学界在国际上的影响。

  而从整个五十年代到六十年代的前半叶，吴有训每年或者率团出访，或者大量会见和接待来访的外国科学家代表团和来华工作的外国专家。