El edificio pertenece ahora junto con la Sala de la Cámara Música (Kammermusiksaal), el Museo de Instrumentos Musicales de Berlín (Musikinstrumenten-Museum) y otros edificios, al llamado Kulturforum de Berlín, cerca de la Potsdamer Platz, en las proximidades de la Neue Nationalgalerie de Ludwig Mies van der Rohe y de la Biblioteca Estatal de Berlín (Staatsbibliothek zu Berlin), diseñada también por Scharoun.
La institución se fundó, en 1882, el primer hogar permanente de la Filarmónica de Berlín en una antigua pista de patinaje situada en Bernburger Straße, en Berlin-Kreuzberg, el arquitecto Franz Heinrich Schwechten amplió la sala de conciertos, en 1888. Durante la Segunda Guerra Mundial, la antigua Filarmónica fue destruida en un ataque aéreo aliado el 30 de enero 1944. En los años de la posguerra, la Filarmónica de Berlín, ocupó varios lugares alternativos: principalmente el Titania-Palast y la iglesia Jesus-Christus-Kirche Dahlem.
En 1956 se convoca un concurso de un nuevo edificio para la Orquesta Filarmónica de Berlín, por lo que se animó a 14 arquitectos a participar. Un año después, en enero de 1957, el diseño de realizado por Hans Scharoun gana el primer premio, pero por desavenencias, su plan no se llevó a cabo y en su lugar se le encargó a otro arquitecto.
Debido a que el jurado otorgó el premio tras 16 horas de deliberación, la decisión carecía de la mayoría de las tres cuartas partes necesarias, puesto que fue tomada por nueve votos contra cuatro. Sólo gracias a la intervención de Herbert von Karajan y por una apelación de Hansheinz Estuco Schmidt, uno de los miembros del Jurado, es por lo que finalmente el encargo recayó en manos de Scharoun.
El inicio de la construcción se retrasa nuevamente porque en el debate público, el emplazamiento inicial está demasiado lejos de la vieja Filarmónica. En 1959, finalmente, la Cámara de Diputados de Berlín (Abgeordnetenhaus von Berlin) reubica el nuevo edificio en su actual posición. La elección de ese lugar fue una señal en contra de la megalomanía del nazismo, pues el lugar es adyacente al que fue el edificio administrativo de la Acción Nacional Socialista, edificio que fue gravemente dañado en los bombardeos de 1944 y posteriormente demolido.
La nueva Filarmónica emergió finalmente como la primera construcción prevista en el período de posguerra para el Kulturforum. Se terminó en un periodo de 37 meses, desde el 15 de septiembre de 1960 y abrió sus puertas el 15 de octubre de 1963. Su costo ascendió a unos 17 millones de marcos, unos 35 millones de euros con la inflación actual.
Este edificio asimétrico con un salón principal de conciertos en forma de pentágono, ofrece a la audiencia posiciones realmente buenas para ver el escenario, dado que la altura de las cubiertas se incrementa de forma irregular para favorecer su visibilidad y perceptibilidad, introduciendo una atmósfera especial y una mayor dialéctica entre los artistas y el público. La excelente acústica de la sala hace que el sonido sea mejor y más cercano al espectador. Se comenta que se puede distinguir cada una de las voces de los instrumentos desde cualquier asiento, este cerca o lejos del escenario. La sala cuenta con 2.440 asientos.
En 1987, se inaugura la Sala de la Cámara de Música “Kammermusiksaal” que está basada en un proyecto original de Scharoun y que tiene un aforo de 1.180 asientos. Los edificios se conectan por el vestíbulo principal del complejo.
La Filarmónica fue la primera sala de conciertos en colocar el escenario entre el público. Este concepto sería adquirido posteriormente por muchas otras salas de conciertos, establecido así un estándar. Algunas de las más importantes son: Sydney Opera House (Jørn Utzon, 1973), Boettcher Concert Hall, Denver (Hardy Holzman Pfeiffer 1978), Leipzig Gewandhaus (Rudolf Skoda y Volker Victoria, 1981), Suntory Hall, Tokyo (Shoichi Sano, 1986). Por otro lado, entre los edificios más importantes construidos recientemente que utilizan este estándar establecido por Scharoun están: Parco della Musica, Roma (Renzo Piano, 2002), Walt Disney Concert Hall, Los Ángeles (Frank Gehry, 2003), DR Koncerthuset, Copenhague (Jean Nouvel, 2009), Musiikkitalo, Helsinki (Marko Kivistö, 2011), Filarmónica del Elba, Hamburgo (Herzog & de Meuron, Vorauss, 2016).
La ruptura con la tradición, al disponer la sala de conciertos en una posición central será interpretada por los críticos como una redefinición de la construcción social del concierto.
Tras el incendio del 20 de mayo de 2008, el edificio entra en un proceso de rehabilitación.
