Скот Олсен родился в Fort Hood, Техас в 1969. После возвращения его отца из Вьетнама, семейство переместилось на Коннектикут, где Скот и жил. Окончив школу он пошел дальше и получил диплом школы карикатуры и графического искусства - Joe Kubert School в 1991 году.
Переезжая с места на место в Коннектикуте его семья из года в год перебиралась вниз к побережью Новой Англии в Вест-индии. Во время этих длинных путешествий Скот развивал свою любовь к культуре и истории людей побережья.
Живя возле флоридских болотистых низменностей около 17 лет он породнился с этими людьми и отображение этого можно увидеть в его работах временами причудливо напоминающих о "Старике и море" Эрнеста Хэмингуэя.