Si dedica intanto, per un breve periodo, al commercio a Braila e al ritorno in Italia si reca a Roma dove conosce Ernesto Monaci con il quale stringe una salda amicizia, iniziando approfonditi studi sul Medioevo del quale si occupò anche in seguito, con particolare attenzione ai suoi aspetti simbolici.
Nel 1875 ottiene la libera docenza in Letteratura italiana e ottiene un incarico come docente di Letteratura italiana e di Letteratura romanza all'Università di Roma. Nel 1876 gli viene affidata la cattedra di Letteratura neolatina presso l'Università degli Studi di Torino, dove inizia i corsi con la conferenza "Di una trattazione scientifica della storia letteraria" e nel 1882 si trasferisce definitivamente in quella città, insegnando sempre - come professore ordinario - letteratura italiana fino al 1907.
Nel 1883 fonda, insieme a Francesco Novati e Rodolfo Renier, il Giornale storico della letteratura italiana del quale diventerà condirettore. Collabora anche alla rivista Critica Sociale e a Nuova Antologia sulla quale pubblica le opere in versi "Medusa" nel 1880 a cui seguiranno, nel 1890, "Dopo il tramonto" e "Rime delle selva" nel 1906 che rispecchiano la sua lenta e graduale conversione al razionalismo positivistico e dove si trova un primo accenno di simbolismo cristiano.
Le dolorose vicende familiari di questo periodo, tra le quali la morte per suicidio del fratello Ottone nel 1894, lo avvicinano alla religione e il poeta scrive l'opera "Per una fede" nel 1906, il "Saggio sul "Santo" di A. Fogazzaro", gli aforismi e le parabole di "Ecce Homo" nel 1908 e il suo unico romanzo, Il riscatto, nel 1901. "Il riscatto" rimane uno degli elaborati più caratteristici dello spiritualismo del primo Novecento, dove viene rappresentata, anche con riferimenti autobiografici, la contrapposizione fra la legge dell'ereditarietà, nella quale necessariamente ogni avvenimento deve essere determinato da quello che lo precede, e la volontà individuale intenta a liberarsi dei legami e a fuggire.
L'opera poetica di Graf risente dell'atmosfera cupa delle leggende medievali, tipiche del primo romanticismo con le meditazioni sulla morte, sul male del mondo, la visione di paesaggi solitari e patetiche esistenze tragiche che troppo spesso si risolvono in macabre rappresentazioni e, solo di rado, in un più acuto simbolismo che consente all'autore di raggiungere un'efficace simbologia funebre, tetra, sommessa, percorsa da lunghi brividi musicali.
Egli compose inoltre un gran numero di opere di critica letteraria che risentono del tentativo di partecipare alla filologia della scuola storica e rivelano la sapienza di un lettore sensibile ed entusiasta.
In generale, nelle prolusioni grafiane forte è la marca dell’oralità, rilevabile nelle numerose allocuzioni agli ascoltatori («o Signori», «O giovani», «Ponete mente, di grazia» ecc.); nella notevole frequenza di esclamazioni ed interrogazioni; nell’uso di immagini vive, che facciano subito presa sull’uditorio; nella contrapposizione noi/voi; nell’impostazione del discorso sottoforma di dialogo coi maestri del passato e con i contemporanei; in una sapiente miscela di immediatezza ed enfasi, il che corrisponde perfettamente alle rigorose impostazioni suggerite proprio da Graf per il «Giornale storico», e soprattutto alle precise norme di scrittura da lui imposte ai collaboratori (no alle intonazioni oratorie e alle effusioni di sentimento, ad es.), come si evince dalla sua lettera al D’Ancona del 4 novembre 1883. Vittorio Cian, anche a proposito delle ordinarie lezioni, ne sottolineava il Sorprendente, poi, in questi discorsi inaugurali, la grande capacità di una lucida visione d’insieme, atta a fornire una panoramica efficace soprattutto dei problemi metodologici che egli si poneva e che poi veniva risolvendo e discutendo nel corso delle lezioni ordinarie.
