Μπορεί το όνομά του να έχει γίνει συνώνυμο της μεγαλοφυΐας, αλλά στις σχέσεις του με τις γυναίκες έπαιρνε βαθμό κάτω από τη βάση.
Σύμφωνα με τις αποκαλύψεις του βιβλίου «His Life and Universe» του Γουόλτερ Ισάκσον, ο Άινσταϊν ήταν ένας αυστηρός, απαιτητικός και αυταρχικός σύζυγος, που φερόταν στη γυναίκα του Μαρίτς, σαν δούλα. Είχε συνάξει μάλιστα και μια λίστα, την οποία η σύζυγός του έπρεπε να τηρεί κατά γράμμα.