此词全篇咏写荷花，借物言情，暗中以荷花自况。诗人咏物，很少止于描写物态，多半有所寄托。因为在生活中，有许多事物可以类比，情感可以相通，人们可以利用联想，由此及彼，发抒文外之意。所以从《诗经》、《楚辞》以来，就有比兴的表现方式。词也不在例外。
此词起两句写荷花所在之地。“回塘”，位于迂回曲折之处的池塘。“别浦”，不当行路要冲之处的水口。（小水流入大水的地方叫做浦。另外的所在谓之别，如别墅、别业、别馆）回塘、别浦，在这里事实上是一个地方。就储水之地而言，则谓之塘；就进水之地而言，则谓之浦。荷花在回塘、别浦，就暗示了她处于不容易被人发现，因而也不容易为人爱慕的环境之中。“杨柳”、“鸳鸯”，用来陪衬荷花。杨柳在岸上，荷花在水中，一绿一红，着色鲜艳。鸳鸯是水中飞禽，荷花是水中植物，本来常在一处，一向被合用来作装饰图案，或绘入图画。用鸳鸯来陪衬荷花之美丽，非常自然。
第三句由荷花的美丽转入她不幸的命运。古代诗人常以花开当折，比喻女子年长当嫁，男子学成当仕，故无名氏所歌《金缕衣》云：“劝君莫惜金缕衣，劝君惜取少年时。花开堪折直须折，莫待无花空折枝。”而荷花长在水中，一般都由女子乘坐莲舟前往采摘，如王昌龄《采莲曲》所写：“吴姬越艳楚王妃，争弄莲舟水湿衣。来时浦口花迎入，采罢江头月送归。”但若是水中浮萍太密，莲舟的行驶就困难了。这当然只是一种设想，而这种设想，则是从王维《皇甫岳云溪杂题·萍池》“春池深且广，会待轻舟回。靡靡绿萍合，垂杨扫复开”来，而反用其意。以荷花之不见采由于莲舟之不来，莲舟之不来由于绿萍之断路，来比喻自己之不见用由于被人汲引之难，被人汲引之难由于仕途之有碍。托喻非常委婉。
第四句再作一个比譬。荷花既生长于回塘、别浦，莲舟又被绿萍遮断，不能前来采摘，那么能飞的蜂与蝶该是可以来的吧。然而不幸的是，这些蜂和蝶，又不知幽香之可爱慕，断然不来。这是以荷花的幽香，比自己的品德；以蜂蝶之断然不来，比在上位者对自己的全不欣赏。
歇拍承上两譬作结。莲舟不来，蜂蝶不慕，则美而且香的荷花，终于只有自开自落而已。“红衣脱尽”，是指花瓣飘零；“芳心苦”，是指莲心有苦味。在荷花方面说，是设想其盛时虚过，旋即凋败；在自己方面说，则是虽然有德有才，却不为人知重，以致志不得行，才不得展，终于只有老死牖下而已，都是使人感到非常痛苦的。将花比人，处处双关，而毫无牵强之迹。
过片推开一层，于情中布景。“返照”二句，所写仍是回塘、别浦之景色。落日的余辉，返照在荡漾的水波之上，迎接着由浦口流入的潮水。天空的流云，则带着一阵或几点微雨，洒向荷塘。这两句不仅本身写得生动，而且还暗示了荷花在塘、浦之间，自开自落，为时已久，屡经朝暮，饱历阴晴，而始终无人知道，无人采摘，用以比喻在自己的生活经历中，也遭遇过多少世事沧桑、人情冷暖。这样写景，就同时写出了人物的思想感情乃至性格。
“依依”一句，显然是从李白《渌水曲》“荷花娇欲语，愁杀荡舟人”变化而来。但指明“语”的对象为骚人，则比李诗的含义为丰富、深刻。屈原《离骚》：“制芰荷以为衣兮，集芙蓉以为裳。不吾知其亦已兮，苟余情其信芳。”正因为屈原曾设想采集荷花（芙蓉也是荷花，见王逸《注》）制作衣裳，以象征自己的芳洁，所以词中才也设想荷花于莲舟不来，蜂蝶不慕，自开自落的情况之下，要将满腔心事，告诉骚人。但此事究属想象，故用一“似”字，与李诗用“欲”字同，显得虚而又活，幻而又真。王逸《〈离骚经〉章句序》中曾指出：“《离骚》之文，依《诗》取兴，引类譬喻。故善鸟、香草，以配忠贞……宓妃、佚女，以譬贤臣。”从这以后，香草、美女、贤士就成为三位一体了。在这首词中，作者以荷花（香草）自比，非常明显，而结尾两句，又因以“嫁”作比，涉及女性，就同样也将这三者连串了起来。
“当年”两句，以文言，是想象中荷花对骚人所倾吐的言语；以意言，则是作者的“夫子自道”。行文至此，花即是人，人即是花，合而为一了。“当年不肯嫁春风”，是反用张先的《一丛花令》“沉恨细思，不如桃杏，犹解嫁东风”，一看即知，而荷花之开，本不在春天，是在夏季，所以也很确切。春天本是百花齐放、万紫千红的时候，诗人既以花之开于春季，比作嫁给春风，则指出荷花之“不肯嫁春风”，就含有她具有一种不愿意和其它的花一样地争妍取怜那样一种高洁的、孤芳自赏的性格的意思在内。这是写荷花的身分，同时也就是在写作者自己的身分。但是，当年不嫁，虽然是由于自己不肯，而红衣尽脱，芳心独苦，岂不是反而没由来地被秋风耽误了吗？这就又反映了作者由于自己性格与社会风习的矛盾冲突，以致始终仕路崎岖，沉沦下僚的感叹。南唐中主《浣溪沙》云：“菡萏香销翠叶残，西风愁起绿波间。”王国维《人间词话》认为“大有众芳芜秽，美人迟暮之感”。（“惟草木之零落兮，恐美人之迟暮”“虽萎绝其亦何伤兮，哀众芳之芜秽”均《离骚》句。）这位著名的文学批评家是敏感地察觉到了这个偏安小国的君主为自己不可知的前途而发出的叹息的。晏几道的《蝶恋花》咏荷花一首，可能是为小莲而作。其上、下片结句“照影弄妆娇欲语，西风岂是繁华主”和“朝落暮开空自许，竟无人解知心苦”，与这首词“无端却被秋风误”和“红衣脱尽芳心苦”的用笔用意，大致相近，可以参照。
由于古代诗人习惯于以男女之情比君臣之义、出处之节，以美女之不肯轻易嫁人比贤士之不肯随便出仕，所以也往往以美女之因择夫过严而迟迟不能结婚以致耽误了青春年少的悲哀，比贤士之因择主、择官过严而迟迟不能任职以致耽误了建立功业的机会的痛苦。曹植《美女篇》：“佳人慕高义，求贤良独难。……盛年处房室，中夜起长叹。”杜甫《秦州见敕目薛、毕迁官》：“唤人看腰?，不嫁惜娉婷。”陈师道《长歌行》：“春风永巷闭娉婷，长使青楼误得名。不惜卷帘通一顾，怕君着眼未分明。”“当年不嫁惜娉婷，抹白施朱作后生。说与旁人须早计，随宜梳洗莫倾城。”虽立意措词有所不同，但都是以婚媾之事，比出处之节。这首词则通体以荷花为比，更为含蓄。
作者在词中隐然将荷花比作一位幽洁贞静、身世飘零的女子，借以抒发才士沦落不遇的感慨。《宋史》“虽要权倾一时，少不中意，极口诋之无遗辞。人以为近侠。竟以尚气使酒，不得美官，悒悒不得志”，这些记载，对于理解此词的深意颇有帮助。
芳心苦·杨柳回塘原文
杨柳回塘，鸳鸯别浦。绿萍涨断莲舟路。断无蜂蝶慕幽香，红衣脱尽芳心苦。
返照迎潮，行云带雨。依依似与骚人语。当年不肯嫁春风，无端却被秋风误。