Kazuyo Sejima fue muy precisa en la elección del lugar para la creación de este pabellón, buscando un lugar donde se puediera sentir, al mismo tiempo, tanto la historia como la modernidad. Los Jardines Hama-rikyu son un ejemplo de los Daimyo Teien (jardes de señores feudales) del Período Edo, con un estanque de mareas (un tipo de estanque formado con agua de mar que cambia de forma según la subida y bajada de la marea) y con dos emplazamiento para la caza de patos.
Sejima estaba convencida de que este jardín de estilo tradicional, que contrasta con los rascacielos del vecino distrito de Shiodome, era el lugar adecuado, «un lugar donde se puede acceder a los aspectos históricos y modernos de Tokio.»