1894年5月8日，本杰明·格洛斯鲍姆出生于伦敦，父亲叫伊萨克·格洛斯鲍姆，母亲叫多拉·盖尚海特·格洛斯鲍姆。他只在寒冷多雾的英国生活了一年，却在漫长的一生中保持了英国式的礼节、节制和蹩脚的幽默感。格雷厄姆1岁的时候，格洛斯鲍姆一家决定举家迁往纽约，在那里扩展家族的生意。当时他们还没有使用格雷厄姆这个姓氏，所做的生意是从德国和奥地利进口瓷器、陶器和装饰品。与他们一同来到美国的还有格雷厄姆的舅舅毛里斯·杰拉德，正是毛里斯拯救了格雷厄姆一家。