1859年，小約翰·雅各布·阿斯特(John Jacob Astor,Jr.)在第五大道和第33大街的西北方建起一座大廈。1862年，威廉·巴克豪斯·阿斯特在第五大道和第34大街的西南方建起一座大廈。1893年，威廉·華爾道夫·阿斯特(William Waldorf Astor)拆掉他位于第五大道和34街交界處的一所豪宅，建起了第一家奢華的華爾道夫酒店(Waldorf–Astoria 1893)。

1896年，威廉的表弟、同時也是他鄰居的約翰·雅各布·阿斯特四世(John Jacob Astor IV)，在附近建成同樣大氣華麗的阿斯特拉酒店。后來兩個酒店之間以一條300多米的長廊連接起來，并成一家，冠以"華爾道夫-阿斯特"的名字。1928年，華爾道夫阿斯托里亞酒店被以約2千萬美元的價格賣給伯利恒鋼鐵公司。

1929年，約翰·雅各布·拉斯科布(John Jakob Raskob、前通用汽車公司總裁)、科爾曼杜邦(Coleman du Pont)、皮埃爾·杜邦(Pierre S.du Pont)、路易斯G.考夫曼(Louis G.Kaufman)和埃利斯·P·厄爾(Ellis P.Earle)等人形成帝國州公司，并由阿爾·史密斯(Alfred E.Smith、前紐約州州長)領導。

1929年，華爾道夫阿斯托里亞酒店被拆掉，遺址上準備建設帝國大廈。兩年后，華爾道夫阿斯托里亞酒店在公園大道新址上重新建成，樓高42層，是世界上第一家摩天大樓酒店，也是當時世界上最高最大的酒店。