Nur wenige Monate nach der Machtergreifung durch Hitler und seine Partei waren die Auswirkungen auf die jüdische Gemeinde bereits spürbar und allumfassend; egal ob Schulkinder, bislang geachtete Mitbürger und Geschäftsleute, jeder Jude bekam den vermutlich schon länger schwelenden Unmut der Rastatter Bevölkerung deutlich zu spüren. Dieser steigerte sich - wie im ganzen deutschen Reich auch - immer weiter, bis er schließlich spätestens in der Reichspogromnacht in grenzenlosen Hass umschlug.
So erinnert sich Fanny Wertheimer, die Frau von Julius Wertheimer: " Meine Eltern sind 1933 weg von Deutschland, nachdem sie in Rastatt damals schon wirklich große Schwierigkeien gehabt haben. Das heißt, es sind schon manche ins Haus gekommen, die haben die Tür aufgebrochen, haben Möbel beschmutzt - also das waren schon antisemitische Angriffe. Und auch in der Schule damals habe ich schon unangenehme Zwischenfälle erlebt. Kinder haben auf mich gespuckt - "Du Jud" und so gerufen. Die Lehrer haben sich neutral benommen, aber viele waren schon nationalsozialistisch eingestellt."
Auch Elsa Nachmann berichtet in einem Brief an ihre Tochter Rosi - die zu diesem Zeitpunkt bereits in Frankreich lebte - im Jahr 1936 über die schwierigen Verhältnisse:
"Heute hört man, daß Max Meier sein Haus und Geschäft verkauft hat. Wie lange werden sie noch da sein? Rastatt ist die Gemeinde, die sich in der ganzen Gegend am schnellsten auflöst..."
Glücklicherweise gelang es vielen Rastatter Juden, bereits in den Jahren 1933 bis 1939, das deutsche Reich zu verlassen - sicherlich auch wegen des deutlich spürbaren Judenhasses in Rastatt (auch gemessen an dem derzeitig im Deutschland üblichen Antisemitismus). Der Großteil der Familien wanderten in die USA oder Frankreich aus, einige aber auch nach Israel, England, Portugal, Schweiz, Argentinien, Zypern und sogar Shanghai aus.