在 NLG 的上下文之外（因此不是对整个问题的直接回答，而是对问题标题的回答）：使用暴露于大型文本语料库（例如 Wikipedia 内容）的 RNN 从字符级模型生成单词，并训练以逐个字符地预测文本。

用于生成内容的模型通常会输入几个起始字符并要求预测下一个字符。从最可能的预测中做出选择并反馈给它以继续序列。

这是一个博客，展示了一些在莎士比亚和维基百科上训练的例子。

这样的网络可以并且确实会生成无意义的词，尽管它们通常很合适，并且可能读起来像名词或动词，正如您根据上下文所期望的那样。句子结构和语法可以说是正确的，但语义内容通常是完全胡言乱语。

您正在寻找用于字符级语言模型的循环神经网络。

看看这个。https://github.com/karpathy/char-rnn