Стамен Панчев е роден на 16 декември 1879 година в китната долина Зеленика, старото Орхание (днешен Ботевград). Кръстен на дядо си Стамен, наследник на Цагарския род. Детството на Стамен Панчев е тежко. Майка му умира, когато той е на шест години, а баща му е на фронта. Отличава се с любознателност..