ORDER MATTERS: SEQUENCE TO SEQUENCE FOR SETS
ORDER MATTERS: SEQUENCE TO SEQUENCE FOR SETS
Oriol Vinyals, Samy Bengio, Manjunath Kudlur
Google Brain
3 NEURAL NETWORKS FOR SEQUENCES AND SETS
seq2seq是比较经典的模型。
然后我们将sequence转换为set：转换的过程为将sequence中的每一个元素加上index。（其实这里就相当于强制加上了ordering）而这里我们任务input和output中的ordering不同，会带来不同的benefits。
下面分别讨论input和output是set的情况。
4 INPUT SETS
encoding set的一个关键要素是invariance property：交换两个elements的顺序，encoding不变。
一个简单的方案是bag-of-words。representation通常是counts，word embeddings，或者类似的embedding方法，它们都是permutation invariant。而对于其他顺序性的数据，这会被其他更复杂的模型取代，比如RNN。
这类representation让人不满意的一个点是inefficiency。