Рэйми родился в Ройал-оук, шт. Мичиган в еврейской семье выходцев из Венгрии и Российской империи. Отец — Леонард Рональд Рэйми и мать — Селия Барбара Рэйми, были приверженцами Консервативной ветви иудаизма. До того, как бабушка Сэма иммигрировала в США, их фамилия была Рейнгеверц. Имеет двух братьев — младшего Теда и старшего Айвана, который является соавтором нескольких сценариев.