联句起源于何时呢？
原来早在西汉时就有了。据说汉武帝时造了一座柏梁台——以香柏为梁，故称柏梁台。武帝设宴于台上，叫君臣作诗，能做的方得上座。参加者共二十六人，做的是七言诗，每人一句，每句押韵。主题是各人歌咏自己的职务，如武帝云：“日月星辰和四时。”丞相云：“总领天下诚难治。”大将军云：“和抚回夷不易哉。”最后两个滑稽家——一个是武帝宠幸的倡优郭舍人，说的是“啮妃女唇甘如饴”；一个是有学问的东方朔，说的是“迫窘诘屈几穷哉”（意思是结结巴巴做不下去了）。这便是联句诗之始。虽然从清朝的顾炎武开始，有不少人怀疑这件事和这篇诗都是后人伪撰，但现代也有学者考证，说它大体上是真实的。
联句起源虽早，但风气之盛似乎在南朝，那时一般是每人做四句。《何逊集》中所载最多，例如《范广州宅联句》是何逊与范云所作。那是在南齐时，范云从广州刺史任上回到建康后做的：
洛阳城东西，却作经年别。昔去雪如花，今来花似雪。
——范云
濛濛夕烟起，奄奄残晖灭。非君爱满堂，宁我安车辙？
——何逊
洛阳是东汉都城，这里代指建康。“昔去雪如花”二句，点明当年离别在雪花纷飞的季节，如今归来，乃是春花烂漫的时候。不仅仅是点明时令而已，其中蕴蓄着许多怅惘、感慨。正像《诗经·小雅·采薇》中的名句：“昔我往矣，杨柳依依；今我来思，雨雪霏霏。”是颇耐人寻味的。范云的诗当日被称誉为“清便宛转，如流风回雪”（钟嵘《诗品》），这四句确实流转自然。后来苏东坡的《少年游》词：“去年相送，余杭门外，飞雪似杨花。今年春尽，杨花似雪，犹不见还家。”显然受到这四句的影响。
何逊还有一首《相送联句》：
客心已百念，孤游重千里。江暗雨欲来，浪白风初起。
前两句说行人原已是他乡为客，百感交集，如今又要告别友人，只身远去。后两句写临行时江上景色，一种阴郁、动荡的气氛，烘托出游子压抑的情绪。通篇是行人的口吻，为何题作“相送”呢？可能当日做联句诗时，是友人送别诗人；友人所作一首该是送行者的口气，只是今天已失传了。也可能压根儿就是虚拟的题目。“相送”的情景是很惹人情思的，很动人的，于是大家在一起以此为题作联句诗。
《何逊集》中还有好几首描绘女性的联句诗：《增新曲相对联句》、《照水联句》、《折花联句》、《摇扇联句》、《正钗联句》。可见当时诗人对于描写女性的美颇有兴趣，宫体诗正是在这样的时代风气中形成、发展的。
联句又称连句，再举一个例子：
梁武帝时有一员大将，叫曹景宗。此公粗通文墨，却十分逞强。写书信时，有不会写的字，从不问人，而以意造之。他性格暴躁好动，做了大官，乘车出行，总想撩起车幔张望。在当时，那是有失体统的，故为左右所劝阻。他说：“我在乡下时，骑快马如龙，与少年辈十数骑，拉弓作霹雳响，箭如饿鸱叫。射中了麞鹿，渴饮其血，饥食其肉，甜美得像甘露浆一样。驰射之际，只觉耳后风生，鼻头出火。那真是快乐得叫人连生死都忘了。如今做了贵人，动弹不得，关在车内，像过门三天的新媳妇，真叫人憋闷死了！”就是这样一位武人，却留下一首颇有气概的五言诗：
去时儿女悲，归来笳鼓竞。借问行路人，何如霍去病？
这首五言诗原来也是联句诗，那是曹景宗出征凯旋之后，梁武帝在华光殿设宴庆贺，席间令群臣连句（即联句），令沈约赋韵，即规定每人所用的韵脚，沈约将韵字分给诸人，独独不给曹景宗。景宗脸色变了，大约觉得这是瞧他不起，便向武帝请求，也要赋诗，武帝说：“卿本领甚多，人才英拔，何必在一首诗上头显能呢？”景宗已醉，求之不已。于是武帝令沈约分韵给他，只剩下“竞”“病”两个字。实在不太好用。谁料景宗拿起笔来，不一会儿便做成了。大家为之惊叹终日。
从上面举的例子可以看出，南朝人做联句诗，也是有一个题目（或中心），有共同的体式（一般是五言四句，押相同韵部的韵）。但是诸人所作，不一定有前后相承相续的关系。也就是说，各人所作的五言四句可以独立；独立出来，便是一首完整的小诗，一首五言绝句了。“绝句”之称，该就是这么来的。——五言四句原是联句中的一个单元，联下去该还有人做；可是它独立了，不联下去了，故称绝句。绝者，断也，正与联（连）相对而言。这么说也有证据：《南史·吴迈远传》说，吴迈远好做诗，做出称意之句，便掷纸笔于地，大叫：“曹子建何足数哉！”宋明帝是一位爱好文学的皇帝，闻其名，便召见他。及至读了他的诗，说：“此人连绝之外，无所复有。”意思说除了五言四句的小诗外，他的诗没什么可读的。“连绝”并称，证明绝句之名确是来自连句。正因为绝是断绝的意思，所以绝句当日又称断句。
南朝人做这种五言四句小诗相当普遍，往往脱口而出，便是一首。正是在这样的基础上，又经过长达数百年的发展，才有了唐人绝句的高度成就。