父亲林龙威于1932年9月13日出生在澳门的一个大户人家，那一年刚好是九一八日本发动侵华战争。此后灾难就不断的降临在中国这片土地上。在那个动荡的年代，人的命运如浮萍一般飘浮不定，随便一个小浪花都可能把人埋葬。父亲说他一生运气好，多次死里逃生。父亲小时候在澳门的时候就遭遇日寇侵占香港，当时有大量的难民涌入澳门。日寇封锁香港导致港澳大饥荒。他亲眼见到有人走着走着就倒地饿死，他也被饥民抢过手中的食物。幸运的是爷爷当时家境还算殷实，同时供一家52口人伙食仍然没有断粮。抗战结束的以后，共产党在广东中山进行土改，父亲家里有人执意要回乡下看护田产，他们天真的认为日本人也不会动人家的田产，共产党应该也不会。没想到回去被当成地主富农枪毙。
我爷爷林敏雅早年是个陈策（注1）将军手下的一个团长。退伍以后在广东中山置下很多田产。爷爷自己并没读过太多书，但他对子女的教育及其重视. 父亲在兄弟中排行第八，从小聪明好学，因而有机会去就读澳门执信小学。刚上学的时候，父亲的成绩并不好，第一节英语课教了4个单词，他在课堂上没学会，回到家姑妈又一遍又一遍的教，结果全家人都学会，他还没学会。但父亲从不介意在学习上反复下功夫，经过不懈的努力，他的英文突飞猛进，当他参加大学入学考试时候，他的英文成绩非常好，以致第一学年英文直接免修。父亲发现自己真正的天赋是在小学四年级，那时学校开始教四则运算，其他学生都学得非常吃力，但他却觉得非常容易。因为他的数学成绩遥遥领先，学校让他参加五年级跳班考试，考试那天他迟到，却考了第一名。从此以后他开始认识到自己有数学的天赋。
1949年广州解放的时候，父亲在广州就读中学，他亲眼目睹海珠桥被国民党士兵炸毁，然后又差点被解放军展示当成散兵击毙，不过那一次，他死里逃生。