Ο Ν. Λύτρας γεννήθηκε το 1832 στη Τήνο. Τα πρώτα του χρόνια τα πέρασε σε ένα περιβάλλον που ευδοκιμούσε η λαϊκή καλλιτεχνική παράδοση, μιας και ο πατέρας του, Αντώνης Λύτρας, εργαζόταν ως λαϊκός μαρμαρογλύπτης. Το νησί φημιζόταν από το 18ο αιώνα για τους τεχνίτες μαρμαράδες του. Ο Ν. Λύτρας από μικρός είχε δείξει την καλλιτεχνική του έφεση.