热门
最新
红包
立Flag
投票
同城
我的
发布
GhostWriter：由哈佛大学和微软研究院共同开发的一个人工智能写作工具。
主要功能：
1、个性化学习：GhostWriter能够通过分析用户的写作样本来学习用户的个性化写作风格，包括语言使用、句式结构、偏好的表达方式等。并模仿用户的独特写作风格。
2、用户反馈：允许用户通过标记喜欢和不喜欢的内容，直接对AI的学习过程进行指导。
3、内容生成控制：用户可以通过手动编辑和注释来指导GhostWriter，明确表达他们对生成内容的风格、语调和结构的偏好。提供了多种控制写作风格的方式，让用户能够根据需要调整AI的输出，以更准确地反映他们的意图。
4、高级编辑功能：除了基于文本的输入外，GhostWriter还允许用户通过高级编辑和反馈机制来细化生成的内容，包括对特定段落或表达方式的修改建议。
5、协作写作支持：鼓励用户与AI之间的互动协作，共同创作内容，通过提供启发式建议和模板，帮助用户克服写作障碍，激发新的创意。
论文：https://arxiv.org/abs/2402.08855
PDF：https://arxiv.org/pdf/2402.08855.pdf
AI资讯
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报
下一条：
DoRA（权重分解低秩适应）：一种新颖的模型微调方法DoRA在LoRA的基础上进一步发展，通过将预训练权重分解为“幅度”和“方向”两个部分进行微调。这种权重分解方法允许DoRA更精细地控制模型的学习过程，分别针对权重的大小和方向进行优化。相比LoRA，它提供了一种更精细、更全面的微调策略。DoRA的创新之处：DoRA在LoRA的基础上进一步发展，通过将预训练权重分解为“幅度”和“方向”两个部分进行微调。这种权重分解方法允许DoRA更精细地控制模型的学习过程，分别针对权重的大小和方向进行优化。在调整方向部分时，DoRA利用了LoRA的策略，通过低秩适应来有效地更新方向，而幅度部分则单独进行调整。DoRA相对于LoRA的优势：1、更细致的控制：通过分别针对权重的幅度和方向进行调整，DoRA提供了对模型微调过程更细致的控制，从而能够更准确地适应特定的任务需求。2、增强的学习能力：DoRA的权重分解策略增强了模型在微调过程中的学习能力，使其在多种下游任务上的性能更接近于全参数微调的方法。3、保持高效性：尽管DoRA在微调策略上进行了创新，但它仍然保持了LoRA的高效性，避免增加额外的推理负担。4、提高训练稳定性：DoRA通过分解权重并专门针对方向使用低秩适应，提高了训练过程的稳定性，有助于避免过拟合和其他训练问题。DoRA的创新：如果仅使用LoRA，这就像是你只能调整方向盘的灵敏度（方向），来使车更好地适应赛道。这种方法有效，但可能不足以让车在所有情况下都表现最佳，因为你没有考虑到其他因素，比如加速的力度。在DoRA中，你不仅调整方向盘的灵敏度，还可以调整油门的敏感度（幅度）。这样，你就可以更细致地控制车的行驶，既能确保它沿着正确的路径前进，又能控制它的速度，以应对不同的路况。方向调整：通过LoRA进行低秩适应，相当于调整方向盘的灵敏度，让AI模型在做出决策时能更精确地指向正确的方向。幅度调整：独立进行的幅度调整，就像是根据赛道的不同部分调整油门的敏感度，让模型对它的决策有适当的信心。论文：https://arxiv.org/abs/2402.09353GitHub：https://github.com/catid/dora
