torch.contiguous

作用

连续存储，因为view的操作要求的是连续的内容。

详细

考虑下面的操作，transpose操作只是改变了stride，而实际数组存储的内容并没有得到任何改变，即t是连续存储的 0 1 2 3 4 5 6 7 8 9 10 11 ，t2的实际内容也是一致的，但是其索引的stride改变了，按照该索引去找地址则内存是不连续的。由于pytorch的底层实现是C，也就是行优先存储.由最后输出的faltten后的结果可以看出存储的内容确实改变了，由此完全弄懂了为什么有的时候要contiguous。

>>>t = torch.arange(12).reshape(3,4)

>>>t

tensor([[ 0,  1,  2,  3],

        [ 4,  5,  6,  7],

        [ 8,  9, 10, 11]])

>>>t.stride()

(4, 1)

>>>t2 = t.transpose(0,1)

>>>t2

tensor([[ 0,  4,  8],

        [ 1,  5,  9],

        [ 2,  6, 10],

        [ 3,  7, 11]])

>>>t2.stride()

(1, 4)

>>>t.data_ptr() == t2.data_ptr() # 底层数据是同一个一维数组

True

>>>t.is_contiguous(),t2.is_contiguous() # t连续，t2不连续

(True, False)

>>>print(t1.flatten())

tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])

>>>t2 = t2.contiguous()

>>>print(t2.flatten())

tensor([ 0,  4,  8,  1,  5,  9,  2,  6, 10,  3,  7, 11])

应用

shuffleNet里打乱channel的操作

def shuffle_channels(x,groups):

    batch_size,channels,height,width = x.size()

    assert channels % groups == 0

    channels_per_group = channels // groups

    x = x.view(batch_size,groups,channels_per_group,height,width)

    x = x.transpose(1,2).contiguous()

    x = x.view(batch_size,channels,height,width)

    return x

巴特西

[torch] torch.contiguous

torch.contiguous

作用

详细

应用

最新文章

热门文章