Отбыв два года и три месяца каторжных работ в Керевском остроге, петрашевец Ф.Толль был переведен сначала в село Жарково (ныне поселок Яя Кемеровской области), а четыре года спустя, благодаря содействию Г.С. Батенькова, в Томск. Узнав об этом, ссыльный декабрист И.И. Пущин написал Гавриилу Степановичу из Ялуторовска: «Прекрасно сделали, что приютили Толля. По правде – это наше дело – мы, старожилы Сибирские, должны новых конскриптов сколько-нибудь опекать, беда в том, что не всех выдают».

В Томске Ф.Толль жил уроками. Одной из его учениц была семнадцатилетняя Антося Квятковская, ставшая женой М.А. Бакунина. Вот как запомнился Бакунину Толль: «Его любят дети, которых он обожает, молодые девушки льнут к нему, как птички под верную и темную крышу… Сердце золотое, благородное, чистое, не способное ни к какой двусмысленности и совершенно чуждое эгоизму и тщеславию. Характер рыцарский, порывистый…».

В Томске Толль написал статью «О первоначальном (элементарном) обучении как исходном моменте основательного образования» (опубликована в журнале «Русское слово», 1859) и рассказ «Портрет» (опубликован в журнале «Отечественные записки», 1861). Главным его героем стал «ссыльный В.», и внешностью, и поступками, и судьбой очень похожий на Г.С. Батенькова. Кроме того, перу Ф.Толля принадлежит роман «из немецкой жизни» «Труд и капитал», в котором, однако, много сцен из жизни Керевского каторжного завода, и трехтомный «Настольный словарь для справок по всем областям знаний».