1891年他再度出仕，随薛福成出任英国使馆参赞，不久又调任新加坡总领事。1895年中日甲午战争爆发，被调回国内。

    黄遵宪在长期的外交生涯中，耳濡目染了东西方各国的-制度及其学术思想，如探寻了日本明治维新发生的原因、-制度等；又出开办费，又请梁启超来上海共同筹办并主笔《时务报》。同年，他奉旨入京，被命为出使英国大使，后来又改为出使德国，但遭到阻挡而未能成行。1897年改任湖南长室盐法道，继尔又接署湖南按察使，与湖南巡抚陈宝箴协力举办新政，仿西方国家巡警制度，设立保卫局，又设课吏馆；还开办了时务学堂和南学会，宣传变法维新和培养维新人才，使湖南当时的社会风气大变，成为变法维新的中心之一。1898年，黄遵宪被命为三品京堂出使日本。但他因病而未能立即赴任。这年9月，变法维新运动遭到以慈搐太后为首的顽固派的镇压而告失败，黄遵宪受人参奏，几经周折，最后被罢职归家。

    黄遵宪不但是变法维新运动的积极鼓吹者与参与者，还是中国近代一位杰出的爱国诗人。与他的改良主义-思想相适应，在诗歌领域，他成为改良主义时期爱国诗人的一面旗帜。当时的中国诗坛，虽然仿效古人的目标各有不同，但仿古这一点却是共同的。浓厚的复古之风笼罩着当时的中国诗坛。而这时资产阶级改良派的几位首要人物，像康有为、梁启超、夏曾佑、谭嗣同等人，在从事-改革的同时，都提出了反对复古、革新诗界的口号。

    1896到1897年之间，梁、夏、谭等正式提出了“诗界革命”的口号。黄遵宪诗歌的成就不仅高于旧派诗人作家，而且也超越了同时期的新派诗人作家。在其创作上是如此，在提倡“诗界革命”的主张上，也远远地早于康、梁、夏、谭等人。他在少年时代，就己提出“别创诗界”的主张。他21岁时，提出“我手写我口”的诗歌创作原则，亲自考察和接触了美、英等这样的新型资产阶级国家的-制度。这些使他认识到，建立立宪政体是西方和日本国家强盛的缘由；中国要救亡图存，只有维新，要维新就必须学习外国。

    回国后，黄遵宪于1895年奉命主持洋务局工作。1896年他来到上海。当时康有为正在上海组织强学会，黄遵宪也参加了。之后，他又登门拜访了康有为。他赞同康有为的维新主张，但略有一点不同之处，他认为“顿进难求速效，不若用渐进法”。这一点并没有影响他们之间的共事。而且从这次会面之后，他们“朝夕过从，无所不语”。

    北京的强学会，不久就遭到顽固派的封禁，上海的强学会也随之瓦解。黄遵宪为重振强学会精神，决心开办报馆，加强舆论宣传。在诗歌创作方面，黄遵宪要求达到“古人未有之物，未辟之境”。他以通俗语言入诗，反对盲目尊古和仿古，主张冲破旧式诗歌的束缚。在他几十年的诗歌创作实践中，始终坚持这一原则，成为中国近代“诗界革命”的先驱。

    黄遵宪的诗，“大部分是-诗、时事诗，是纪史议政的史诗”。由于他生活的年代，正是帝国主义列强疯狂侵略中国的时代，他将反帝爱国的-，镕铸在笔端，写出了一首首反映时代，表达人民意志的诗。1884年中法战争中，清军节节败退，当时年已70的冯子材老将军，在镇南关一战中，打败了进犯的法军。消息传到美国，黄遵宪奋笔疾书，写下了《冯将军歌》。他热情歌颂了英雄将帅奋勇反抗侵略者的爱国精神。诗中写道：“冯将军，英名天下闻……将军一叱人马惊，从而往者五千人，五千人马排墙进，绵绵延延相击应……十荡十决无当前，一日横驰三百里……闪闪龙旗天上翻，道咸以来无此捷。”中日甲午战争后，签订了割地赔款的丧权辱国的《马关条约》，台湾被割让的消息，使他又挥笔写下了《台湾行》。诗中写道：“城头蓬蓬擂大鼓，苍天苍天泪如雨。”字字句句倾泻着他心中的巨大悲愤，并发出坚决保卫祖国领土的铿锵誓言：“……成败利钝非所睹，人人效死誓所拒。万众一心谁敢侮！”在《羊城感赋》、《马关纪事》、《天津纪乱》、《哭威海》等诗里，他无情地揭露和谴责了清政府中的汉奸和庸臣，控诉了帝国主义列强欺凌我国的野蛮罪行。黄遵宪的诗，如人所说：“如读一部中国近代史，是历史的诗。”

     黄遵宪在我国古典诗歌的继承方面以及民间文艺等方面，都有过不少卓见。他认为在诗的创作上，要“取《离骚》乐府之神理而不袭其貌”，主张继承和发展古典诗歌中积极的浪漫主义与现实主义的传统；诗歌要成为时代的镜子，要有诗人的独特风格。他努力使传统的诗歌形式与新内容和谐，即从古典诗歌、民间文艺中汲取营养。他的家乡嘉应州是山歌之乡，他从小就受到山歌的熏陶。在他的诗作中，有不少就汲取了劳动人民口头文学的特点，取精用宏地移植到他的诗创作中，丰富和扩展他的诗的表现力。

    他的著作有《日本杂事诗》、《人境庐诗草》、《日本国志》等。