Ernst Baer wurde 1883 als ältester Sohn von Eduard und Sophie Baer in Butzbach, Kreis Friedberg, geboren. 1886 folgte sein jüngerer Bruder Albert Baer.

Sophie stammte aus Eisenach, wo das Ehepaar Baer im Jahr 1882 auch heiratete und wohin die Familie noch vor der Jahrhundertwende auch übersiedelte. Eduard Baer betrieb in Eisenach ab 1900 verschiedene Geschäfte, u.a. für Wein, Getreideprodukte oder Futtermittel. Nach deren Kaufmannsausbildungen wurden die Geschäfte 1913 von seinen beiden Söhnen übernommen.

Mit seinem Bruder Albert eröffnete Ernst Baer später in seinem Wohnhaus in der Querstraße 32 ein Geschäft für Getreide- und Futtermittel. Dieses Geschäft musste 1938 auf Druck der Nazis geschlossen werden.

Bernie Mannheimer stammte aus dem hessischen Ungedanken bei Fritzlar und hatte drei jüngere Geschwister: Rickchen, Guste und Gustav. Sie wuchs in Bad Wildungen auf, wo ihr Vater als Kaufmann tätig war.

Nach der Hochzeit mit Albert Baer 1928 zog das junge Paar an den heutigen Theaterplatz, wo 1929 ihre gemeinsame Tochter Lieselotte „Lilo“ Sophia Baer geboren wurde.
In der Pogromnacht am 10. November 1938 wurde Albert jedoch von den Nazis verhaftet und im KZ Buchenwald interniert, wo er zehn Tage später ums Leben kam. Seine Witze zog dann mit der gemeinsamen Tochter zu ihrem Schwager Ernst Baer in die Querstraße 32.

Von dort aus wurden Ernst, Bernie und Lilo Baer, die gerade erst dreizehn Jahre alt war, am 9. Mai 1942 ins KZ Belzyce deportiert und umgebracht.