To speak frankly, he is not a good man. The underlined part is an/a-

Finite Verb-এর সাথে সম্পর্কহীন অবস্থায় infinitive ব্যবহৃত হলে তার parenthetical use হয়।
কোন বক্তব্য বা বিষয়ের উপর জোর দেওয়ার জন্য এটি ব্যবহার করা হয়। এই ধরণের infinitive পুরো বাক্যকেই qualify করে।
Source: A Passage to the English Language by S M Zakir Hussain