学了50音就和学英语只学了26个字母一样,只是最基础的基础,考N5是考不了的,更不要说N4、N3了。
你如果是以考试为目地的话,买相应的书籍(例如国内学日语常用的那款土黄色的教材或者我个人觉得比较好用的《大家的日本语》系列),根据最基础的语法开始去学吧,日语刚开始学还是简单的,越到后面变形越多、越难,只是考个N5,相对还是简单很多,你可以学好初级之后拿个往年试卷做一次试试看。
但是你如果学日语只是为了去日本玩或者玩游戏、看日剧什么的,我的建议是,不要为了考试而学,在学好初级语法之后,如果无法强迫自己继续学习各种语法变形(你说了自己记忆力差,五十音也只记得了前面那些あいうえお什么的),不如多看一些生活日剧,例如晨间剧,不要看那些医生律师探案之类的剧集,跟着说一说、记一记,说不定对你更有用一些。