The researchershadextensivesought to solve the problem, but theyencounteredunforeseenchallenges.

Extensive (বিস্তৃত) হচ্ছে adjective. 
- এটি verb এর পর ব্যবহৃত হয়েছে। 
- তাই, এখানে adjective না বসে adverb বসে verb কে modify করবে। 
- সঠিক শব্দটি হবে 'extensively'. 

Extensively (adverb) - In a way that covers a large area or has a great range. 

Unforeseen - অভাবিত, অভাবিতপূর্ব। 
এছাড়াও, অন্যান্য অপশনসমূহ বাক্যে যথার্থ ব্যবহৃত হয়েছে।

Correct Sentence - The researchers had extensively sought to solve the problem, but they encountered unforeseen challenges.