刘怀廉出生于广东省番禺县，从小就对科学表现出浓厚的兴趣。1938年，他赴英国留学，在剑桥大学学习物理。1941年，他毕业后加入了雷迪奥公司的电子显微镜研究室，从事电子显微镜的研发工作。

1948年，刘怀廉受聘回国，担任上海交通大学电机系副教授。他积极从事教学和科研工作，培养了大批电子学人才。1958年，他调任上海雷迪奥仪器厂（现上海安达仪器厂）任总工程师。在他的领导下，工厂研制成功了中国第一台电子显微镜。

1983年，刘怀廉创立了上海安华高科技有限公司，致力于高性能科学仪器的研发和制造。公司先后研制成功了扫描隧道显微镜、原子力显微镜等多种高科技仪器，填补了国内空白。

刘怀廉不仅是一位杰出的科学家，也是一位成功的企业家。他在企业管理方面有着自己独到的见解，带领安华公司成为中国科学仪器领域的领军企业之一。他始终坚持科技创新，不断加大研发投入，使安华公司始终保持着行业领先地位。

除了在科学研究和企业经营方面的成就外，刘怀廉还热衷于慈善事业。他设立了多项奖学金和基金会，资助贫困学生和青年科技人才。

2018年，刘怀廉因病在上海逝世，享年91岁。他的一生为中国科学仪器制造业的发展做出了不可磨灭的贡献，是一位当之无愧的科学界和企业界的传奇人物。