path: root/src/crypto/zinc/curve25519/curve25519-arm.S

/* SPDX-License-Identifier: GPL-2.0 OR MIT */
/*
 * Copyright (C) 2015-2019 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved.
 *
 * Based on public domain code from Daniel J. Bernstein and Peter Schwabe. This
 * began from SUPERCOP's curve25519/neon2/scalarmult.s, but has subsequently been
 * manually reworked for use in kernel space.
 */

#if defined(CONFIG_KERNEL_MODE_NEON) && !defined(__ARMEB__)
#include <linux/linkage.h>

.text
.fpu neon
.arch armv7-a
.align 4

ENTRY(curve25519_neon)
	push		{r4-r11, lr}
	mov		ip, sp
	sub		r3, sp, #704
	and		r3, r3, #0xfffffff0
	mov		sp, r3
	movw		r4, #0
	movw		r5, #254
	vmov.i32	q0, #1
	vshr.u64	q1, q0, #7
	vshr.u64	q0, q0, #8
	vmov.i32	d4, #19
	vmov.i32	d5, #38
	add		r6, sp, #480
	vst1.8		{d2-d3}, [r6, : 128]!
	vst1.8		{d0-d1}, [r6, : 128]!
	vst1.8		{d4-d5}, [r6, : 128]
	add		r6, r3, #0
	vmov.i32	q2, #0
	vst1.8		{d4-d5}, [r6, : 128]!
	vst1.8		{d4-d5}, [r6, : 128]!
	vst1.8		d4, [r6, : 64]
	add		r6, r3, #0
	movw		r7, #960
	sub		r7, r7, #2
	neg		r7, r7
	sub		r7, r7, r7, LSL #7
	str		r7, [r6]
	add		r6, sp, #672
	vld1.8		{d4-d5}, [r1]!
	vld1.8		{d6-d7}, [r1]
	vst1.8		{d4-d5}, [r6, : 128]!
	vst1.8		{d6-d7}, [r6, : 128]
	sub		r1, r6, #16
	ldrb		r6, [r1]
	and		r6, r6, #248
	strb		r6, [r1]
	ldrb		r6, [r1, #31]
	and		r6, r6, #127
	orr		r6, r6, #64
	strb		r6, [r1, #31]
	vmov.i64	q2, #0xffffffff
	vshr.u64	q3, q2, #7
	vshr.u64	q2, q2, #6
	vld1.8		{d8}, [r2]
	vld1.8		{d10}, [r2]
	add		r2, r2, #6
	vld1.8		{d12}, [r2]
	vld1.8		{d14}, [r2]
	add		r2, r2, #6
	vld1.8		{d16}, [r2]
	add		r2, r2, #4
	vld1.8		{d18}, [r2]
	vld1.8		{d20}, [r2]
	add		r2, r2, #6
	vld1.8		{d22}, [r2]
	add		r2, r2, #2
	vld1.8		{d24}, [r2]
	vld1.8		{d26}, [r2]
	vshr.u64	q5, q5, #26
	vshr.u64	q6, q6, #3
	vshr.u64	q7, q7, #29
	vshr.u64	q8, q8, #6
	vshr.u64	q10, q10, #25
	vshr.u64	q11, q11, #3
	vshr.u64	q12, q12, #12
	vshr.u64	q13, q13, #38
	vand		q4, q4, q2
	vand		q6, q6, q2
	vand		q8, q8, q2
	vand		q10, q10, q2
	vand		q2, q12, q2
	vand		q5, q5, q3
	vand		q7, q7, q3
	vand		q9, q9, q3
	vand		q11, q11, q3
	vand		q3, q13, q3
	add		r2, r3, #48
	vadd.i64	q12, q4, q1
	vadd.i64	q13, q10, q1
	vshr.s64	q12, q12, #26
	vshr.s64	q13, q13, #26
	vadd.i64	q5, q5, q12
	vshl.i64	q12, q12, #26
	vadd.i64	q14, q5, q0
	vadd.i64	q11, q11, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q15, q11, q0
	vsub.i64	q4, q4, q12
	vshr.s64	q12, q14, #25
	vsub.i64	q10, q10, q13
	vshr.s64	q13, q15, #25
	vadd.i64	q6, q6, q12
	vshl.i64	q12, q12, #25
	vadd.i64	q14, q6, q1
	vadd.i64	q2, q2, q13
	vsub.i64	q5, q5, q12
	vshr.s64	q12, q14, #26
	vshl.i64	q13, q13, #25
	vadd.i64	q14, q2, q1
	vadd.i64	q7, q7, q12
	vshl.i64	q12, q12, #26
	vadd.i64	q15, q7, q0
	vsub.i64	q11, q11, q13
	vshr.s64	q13, q14, #26
	vsub.i64	q6, q6, q12
	vshr.s64	q12, q15, #25
	vadd.i64	q3, q3, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q14, q3, q0
	vadd.i64	q8, q8, q12
	vshl.i64	q12, q12, #25
	vadd.i64	q15, q8, q1
	add		r2, r2, #8
	vsub.i64	q2, q2, q13
	vshr.s64	q13, q14, #25
	vsub.i64	q7, q7, q12
	vshr.s64	q12, q15, #26
	vadd.i64	q14, q13, q13
	vadd.i64	q9, q9, q12
	vtrn.32		d12, d14
	vshl.i64	q12, q12, #26
	vtrn.32		d13, d15
	vadd.i64	q0, q9, q0
	vadd.i64	q4, q4, q14
	vst1.8		d12, [r2, : 64]!
	vshl.i64	q6, q13, #4
	vsub.i64	q7, q8, q12
	vshr.s64	q0, q0, #25
	vadd.i64	q4, q4, q6
	vadd.i64	q6, q10, q0
	vshl.i64	q0, q0, #25
	vadd.i64	q8, q6, q1
	vadd.i64	q4, q4, q13
	vshl.i64	q10, q13, #25
	vadd.i64	q1, q4, q1
	vsub.i64	q0, q9, q0
	vshr.s64	q8, q8, #26
	vsub.i64	q3, q3, q10
	vtrn.32		d14, d0
	vshr.s64	q1, q1, #26
	vtrn.32		d15, d1
	vadd.i64	q0, q11, q8
	vst1.8		d14, [r2, : 64]
	vshl.i64	q7, q8, #26
	vadd.i64	q5, q5, q1
	vtrn.32		d4, d6
	vshl.i64	q1, q1, #26
	vtrn.32		d5, d7
	vsub.i64	q3, q6, q7
	add		r2, r2, #16
	vsub.i64	q1, q4, q1
	vst1.8		d4, [r2, : 64]
	vtrn.32		d6, d0
	vtrn.32		d7, d1
	sub		r2, r2, #8
	vtrn.32		d2, d10
	vtrn.32		d3, d11
	vst1.8		d6, [r2, : 64]
	sub		r2, r2, #24
	vst1.8		d2, [r2, : 64]
	add		r2, r3, #96
	vmov.i32	q0, #0
	vmov.i64	d2, #0xff
	vmov.i64	d3, #0
	vshr.u32	q1, q1, #7
	vst1.8		{d2-d3}, [r2, : 128]!
	vst1.8		{d0-d1}, [r2, : 128]!
	vst1.8		d0, [r2, : 64]
	add		r2, r3, #144
	vmov.i32	q0, #0
	vst1.8		{d0-d1}, [r2, : 128]!
	vst1.8		{d0-d1}, [r2, : 128]!
	vst1.8		d0, [r2, : 64]
	add		r2, r3, #240
	vmov.i32	q0, #0
	vmov.i64	d2, #0xff
	vmov.i64	d3, #0
	vshr.u32	q1, q1, #7
	vst1.8		{d2-d3}, [r2, : 128]!
	vst1.8		{d0-d1}, [r2, : 128]!
	vst1.8		d0, [r2, : 64]
	add		r2, r3, #48
	add		r6, r3, #192
	vld1.8		{d0-d1}, [r2, : 128]!
	vld1.8		{d2-d3}, [r2, : 128]!
	vld1.8		{d4}, [r2, : 64]
	vst1.8		{d0-d1}, [r6, : 128]!
	vst1.8		{d2-d3}, [r6, : 128]!
	vst1.8		d4, [r6, : 64]
.Lmainloop:
	mov		r2, r5, LSR #3
	and		r6, r5, #7
	ldrb		r2, [r1, r2]
	mov		r2, r2, LSR r6
	and		r2, r2, #1
	str		r5, [sp, #456]
	eor		r4, r4, r2
	str		r2, [sp, #460]
	neg		r2, r4
	add		r4, r3, #96
	add		r5, r3, #192
	add		r6, r3, #144
	vld1.8		{d8-d9}, [r4, : 128]!
	add		r7, r3, #240
	vld1.8		{d10-d11}, [r5, : 128]!
	veor		q6, q4, q5
	vld1.8		{d14-d15}, [r6, : 128]!
	vdup.i32	q8, r2
	vld1.8		{d18-d19}, [r7, : 128]!
	veor		q10, q7, q9
	vld1.8		{d22-d23}, [r4, : 128]!
	vand		q6, q6, q8
	vld1.8		{d24-d25}, [r5, : 128]!
	vand		q10, q10, q8
	vld1.8		{d26-d27}, [r6, : 128]!
	veor		q4, q4, q6
	vld1.8		{d28-d29}, [r7, : 128]!
	veor		q5, q5, q6
	vld1.8		{d0}, [r4, : 64]
	veor		q6, q7, q10
	vld1.8		{d2}, [r5, : 64]
	veor		q7, q9, q10
	vld1.8		{d4}, [r6, : 64]
	veor		q9, q11, q12
	vld1.8		{d6}, [r7, : 64]
	veor		q10, q0, q1
	sub		r2, r4, #32
	vand		q9, q9, q8
	sub		r4, r5, #32
	vand		q10, q10, q8
	sub		r5, r6, #32
	veor		q11, q11, q9
	sub		r6, r7, #32
	veor		q0, q0, q10
	veor		q9, q12, q9
	veor		q1, q1, q10
	veor		q10, q13, q14
	veor		q12, q2, q3
	vand		q10, q10, q8
	vand		q8, q12, q8
	veor		q12, q13, q10
	veor		q2, q2, q8
	veor		q10, q14, q10
	veor		q3, q3, q8
	vadd.i32	q8, q4, q6
	vsub.i32	q4, q4, q6
	vst1.8		{d16-d17}, [r2, : 128]!
	vadd.i32	q6, q11, q12
	vst1.8		{d8-d9}, [r5, : 128]!
	vsub.i32	q4, q11, q12
	vst1.8		{d12-d13}, [r2, : 128]!
	vadd.i32	q6, q0, q2
	vst1.8		{d8-d9}, [r5, : 128]!
	vsub.i32	q0, q0, q2
	vst1.8		d12, [r2, : 64]
	vadd.i32	q2, q5, q7
	vst1.8		d0, [r5, : 64]
	vsub.i32	q0, q5, q7
	vst1.8		{d4-d5}, [r4, : 128]!
	vadd.i32	q2, q9, q10
	vst1.8		{d0-d1}, [r6, : 128]!
	vsub.i32	q0, q9, q10
	vst1.8		{d4-d5}, [r4, : 128]!
	vadd.i32	q2, q1, q3
	vst1.8		{d0-d1}, [r6, : 128]!
	vsub.i32	q0, q1, q3
	vst1.8		d4, [r4, : 64]
	vst1.8		d0, [r6, : 64]
	add		r2, sp, #512
	add		r4, r3, #96
	add		r5, r3, #144
	vld1.8		{d0-d1}, [r2, : 128]
	vld1.8		{d2-d3}, [r4, : 128]!
	vld1.8		{d4-d5}, [r5, : 128]!
	vzip.i32	q1, q2
	vld1.8		{d6-d7}, [r4, : 128]!
	vld1.8		{d8-d9}, [r5, : 128]!
	vshl.i32	q5, q1, #1
	vzip.i32	q3, q4
	vshl.i32	q6, q2, #1
	vld1.8		{d14}, [r4, : 64]
	vshl.i32	q8, q3, #1
	vld1.8		{d15}, [r5, : 64]
	vshl.i32	q9, q4, #1
	vmul.i32	d21, d7, d1
	vtrn.32		d14, d15
	vmul.i32	q11, q4, q0
	vmul.i32	q0, q7, q0
	vmull.s32	q12, d2, d2
	vmlal.s32	q12, d11, d1
	vmlal.s32	q12, d12, d0
	vmlal.s32	q12, d13, d23
	vmlal.s32	q12, d16, d22
	vmlal.s32	q12, d7, d21
	vmull.s32	q10, d2, d11
	vmlal.s32	q10, d4, d1
	vmlal.s32	q10, d13, d0
	vmlal.s32	q10, d6, d23
	vmlal.s32	q10, d17, d22
	vmull.s32	q13, d10, d4
	vmlal.s32	q13, d11, d3
	vmlal.s32	q13, d13, d1
	vmlal.s32	q13, d16, d0
	vmlal.s32	q13, d17, d23
	vmlal.s32	q13, d8, d22
	vmull.s32	q1, d10, d5
	vmlal.s32	q1, d11, d4
	vmlal.s32	q1, d6, d1
	vmlal.s32	q1, d17, d0
	vmlal.s32	q1, d8, d23
	vmull.s32	q14, d10, d6
	vmlal.s32	q14, d11, d13
	vmlal.s32	q14, d4, d4
	vmlal.s32	q14, d17, d1
	vmlal.s32	q14, d18, d0
	vmlal.s32	q14, d9, d23
	vmull.s32	q11, d10, d7
	vmlal.s32	q11, d11, d6
	vmlal.s32	q11, d12, d5
	vmlal.s32	q11, d8, d1
	vmlal.s32	q11, d19, d0
	vmull.s32	q15, d10, d8
	vmlal.s32	q15, d11, d17
	vmlal.s32	q15, d12, d6
	vmlal.s32	q15, d13, d5
	vmlal.s32	q15, d19, d1
	vmlal.s32	q15, d14, d0
	vmull.s32	q2, d10, d9
	vmlal.s32	q2, d11, d8
	vmlal.s32	q2, d12, d7
	vmlal.s32	q2, d13, d6
	vmlal.s32	q2, d14, d1
	vmull.s32	q0, d15, d1
	vmlal.s32	q0, d10, d14
	vmlal.s32	q0, d11, d19
	vmlal.s32	q0, d12, d8
	vmlal.s32	q0, d13, d17
	vmlal.s32	q0, d6, d6
	add		r2, sp, #480
	vld1.8		{d18-d19}, [r2, : 128]!
	vmull.s32	q3, d16, d7
	vmlal.s32	q3, d10, d15
	vmlal.s32	q3, d11, d14
	vmlal.s32	q3, d12, d9
	vmlal.s32	q3, d13, d8
	vld1.8		{d8-d9}, [r2, : 128]
	vadd.i64	q5, q12, q9
	vadd.i64	q6, q15, q9
	vshr.s64	q5, q5, #26
	vshr.s64	q6, q6, #26
	vadd.i64	q7, q10, q5
	vshl.i64	q5, q5, #26
	vadd.i64	q8, q7, q4
	vadd.i64	q2, q2, q6
	vshl.i64	q6, q6, #26
	vadd.i64	q10, q2, q4
	vsub.i64	q5, q12, q5
	vshr.s64	q8, q8, #25
	vsub.i64	q6, q15, q6
	vshr.s64	q10, q10, #25
	vadd.i64	q12, q13, q8
	vshl.i64	q8, q8, #25
	vadd.i64	q13, q12, q9
	vadd.i64	q0, q0, q10
	vsub.i64	q7, q7, q8
	vshr.s64	q8, q13, #26
	vshl.i64	q10, q10, #25
	vadd.i64	q13, q0, q9
	vadd.i64	q1, q1, q8
	vshl.i64	q8, q8, #26
	vadd.i64	q15, q1, q4
	vsub.i64	q2, q2, q10
	vshr.s64	q10, q13, #26
	vsub.i64	q8, q12, q8
	vshr.s64	q12, q15, #25
	vadd.i64	q3, q3, q10
	vshl.i64	q10, q10, #26
	vadd.i64	q13, q3, q4
	vadd.i64	q14, q14, q12
	add		r2, r3, #288
	vshl.i64	q12, q12, #25
	add		r4, r3, #336
	vadd.i64	q15, q14, q9
	add		r2, r2, #8
	vsub.i64	q0, q0, q10
	add		r4, r4, #8
	vshr.s64	q10, q13, #25
	vsub.i64	q1, q1, q12
	vshr.s64	q12, q15, #26
	vadd.i64	q13, q10, q10
	vadd.i64	q11, q11, q12
	vtrn.32		d16, d2
	vshl.i64	q12, q12, #26
	vtrn.32		d17, d3
	vadd.i64	q1, q11, q4
	vadd.i64	q4, q5, q13
	vst1.8		d16, [r2, : 64]!
	vshl.i64	q5, q10, #4
	vst1.8		d17, [r4, : 64]!
	vsub.i64	q8, q14, q12
	vshr.s64	q1, q1, #25
	vadd.i64	q4, q4, q5
	vadd.i64	q5, q6, q1
	vshl.i64	q1, q1, #25
	vadd.i64	q6, q5, q9
	vadd.i64	q4, q4, q10
	vshl.i64	q10, q10, #25
	vadd.i64	q9, q4, q9
	vsub.i64	q1, q11, q1
	vshr.s64	q6, q6, #26
	vsub.i64	q3, q3, q10
	vtrn.32		d16, d2
	vshr.s64	q9, q9, #26
	vtrn.32		d17, d3
	vadd.i64	q1, q2, q6
	vst1.8		d16, [r2, : 64]
	vshl.i64	q2, q6, #26
	vst1.8		d17, [r4, : 64]
	vadd.i64	q6, q7, q9
	vtrn.32		d0, d6
	vshl.i64	q7, q9, #26
	vtrn.32		d1, d7
	vsub.i64	q2, q5, q2
	add		r2, r2, #16
	vsub.i64	q3, q4, q7
	vst1.8		d0, [r2, : 64]
	add		r4, r4, #16
	vst1.8		d1, [r4, : 64]
	vtrn.32		d4, d2
	vtrn.32		d5, d3
	sub		r2, r2, #8
	sub		r4, r4, #8
	vtrn.32		d6, d12
	vtrn.32		d7, d13
	vst1.8		d4, [r2, : 64]
	vst1.8		d5, [r4, : 64]
	sub		r2, r2, #24
	sub		r4, r4, #24
	vst1.8		d6, [r2, : 64]
	vst1.8		d7, [r4, : 64]
	add		r2, r3, #240
	add		r4, r3, #96
	vld1.8		{d0-d1}, [r4, : 128]!
	vld1.8		{d2-d3}, [r4, : 128]!
	vld1.8		{d4}, [r4, : 64]
	add		r4, r3, #144
	vld1.8		{d6-d7}, [r4, : 128]!
	vtrn.32		q0, q3
	vld1.8		{d8-d9}, [r4, : 128]!
	vshl.i32	q5, q0, #4
	vtrn.32		q1, q4
	vshl.i32	q6, q3, #4
	vadd.i32	q5, q5, q0
	vadd.i32	q6, q6, q3
	vshl.i32	q7, q1, #4
	vld1.8		{d5}, [r4, : 64]
	vshl.i32	q8, q4, #4
	vtrn.32		d4, d5
	vadd.i32	q7, q7, q1
	vadd.i32	q8, q8, q4
	vld1.8		{d18-d19}, [r2, : 128]!
	vshl.i32	q10, q2, #4
	vld1.8		{d22-d23}, [r2, : 128]!
	vadd.i32	q10, q10, q2
	vld1.8		{d24}, [r2, : 64]
	vadd.i32	q5, q5, q0
	add		r2, r3, #192
	vld1.8		{d26-d27}, [r2, : 128]!
	vadd.i32	q6, q6, q3
	vld1.8		{d28-d29}, [r2, : 128]!
	vadd.i32	q8, q8, q4
	vld1.8		{d25}, [r2, : 64]
	vadd.i32	q10, q10, q2
	vtrn.32		q9, q13
	vadd.i32	q7, q7, q1
	vadd.i32	q5, q5, q0
	vtrn.32		q11, q14
	vadd.i32	q6, q6, q3
	add		r2, sp, #528
	vadd.i32	q10, q10, q2
	vtrn.32		d24, d25
	vst1.8		{d12-d13}, [r2, : 128]!
	vshl.i32	q6, q13, #1
	vst1.8		{d20-d21}, [r2, : 128]!
	vshl.i32	q10, q14, #1
	vst1.8		{d12-d13}, [r2, : 128]!
	vshl.i32	q15, q12, #1
	vadd.i32	q8, q8, q4
	vext.32		d10, d31, d30, #0
	vadd.i32	q7, q7, q1
	vst1.8		{d16-d17}, [r2, : 128]!
	vmull.s32	q8, d18, d5
	vmlal.s32	q8, d26, d4
	vmlal.s32	q8, d19, d9
	vmlal.s32	q8, d27, d3
	vmlal.s32	q8, d22, d8
	vmlal.s32	q8, d28, d2
	vmlal.s32	q8, d23, d7
	vmlal.s32	q8, d29, d1
	vmlal.s32	q8, d24, d6
	vmlal.s32	q8, d25, d0
	vst1.8		{d14-d15}, [r2, : 128]!
	vmull.s32	q2, d18, d4
	vmlal.s32	q2, d12, d9
	vmlal.s32	q2, d13, d8
	vmlal.s32	q2, d19, d3
	vmlal.s32	q2, d22, d2
	vmlal.s32	q2, d23, d1
	vmlal.s32	q2, d24, d0
	vst1.8		{d20-d21}, [r2, : 128]!
	vmull.s32	q7, d18, d9
	vmlal.s32	q7, d26, d3
	vmlal.s32	q7, d19, d8
	vmlal.s32	q7, d27, d2
	vmlal.s32	q7, d22, d7
	vmlal.s32	q7, d28, d1
	vmlal.s32	q7, d23, d6
	vmlal.s32	q7, d29, d0
	vst1.8		{d10-d11}, [r2, : 128]!
	vmull.s32	q5, d18, d3
	vmlal.s32	q5, d19, d2
	vmlal.s32	q5, d22, d1
	vmlal.s32	q5, d23, d0
	vmlal.s32	q5, d12, d8
	vst1.8		{d16-d17}, [r2, : 128]
	vmull.s32	q4, d18, d8
	vmlal.s32	q4, d26, d2
	vmlal.s32	q4, d19, d7
	vmlal.s32	q4, d27, d1
	vmlal.s32	q4, d22, d6
	vmlal.s32	q4, d28, d0
	vmull.s32	q8, d18, d7
	vmlal.s32	q8, d26, d1
	vmlal.s32	q8, d19, d6
	vmlal.s32	q8, d27, d0
	add		r2, sp, #544
	vld1.8		{d20-d21}, [r2, : 128]
	vmlal.s32	q7, d24, d21
	vmlal.s32	q7, d25, d20
	vmlal.s32	q4, d23, d21
	vmlal.s32	q4, d29, d20
	vmlal.s32	q8, d22, d21
	vmlal.s32	q8, d28, d20
	vmlal.s32	q5, d24, d20
	vst1.8		{d14-d15}, [r2, : 128]
	vmull.s32	q7, d18, d6
	vmlal.s32	q7, d26, d0
	add		r2, sp, #624
	vld1.8		{d30-d31}, [r2, : 128]
	vmlal.s32	q2, d30, d21
	vmlal.s32	q7, d19, d21
	vmlal.s32	q7, d27, d20
	add		r2, sp, #592
	vld1.8		{d26-d27}, [r2, : 128]
	vmlal.s32	q4, d25, d27
	vmlal.s32	q8, d29, d27
	vmlal.s32	q8, d25, d26
	vmlal.s32	q7, d28, d27
	vmlal.s32	q7, d29, d26
	add		r2, sp, #576
	vld1.8		{d28-d29}, [r2, : 128]
	vmlal.s32	q4, d24, d29
	vmlal.s32	q8, d23, d29
	vmlal.s32	q8, d24, d28
	vmlal.s32	q7, d22, d29
	vmlal.s32	q7, d23, d28
	vst1.8		{d8-d9}, [r2, : 128]
	add		r2, sp, #528
	vld1.8		{d8-d9}, [r2, : 128]
	vmlal.s32	q7, d24, d9
	vmlal.s32	q7, d25, d31
	vmull.s32	q1, d18, d2
	vmlal.s32	q1, d19, d1
	vmlal.s32	q1, d22, d0
	vmlal.s32	q1, d24, d27
	vmlal.s32	q1, d23, d20
	vmlal.s32	q1, d12, d7
	vmlal.s32	q1, d13, d6
	vmull.s32	q6, d18, d1
	vmlal.s32	q6, d19, d0
	vmlal.s32	q6, d23, d27
	vmlal.s32	q6, d22, d20
	vmlal.s32	q6, d24, d26
	vmull.s32	q0, d18, d0
	vmlal.s32	q0, d22, d27
	vmlal.s32	q0, d23, d26
	vmlal.s32	q0, d24, d31
	vmlal.s32	q0, d19, d20
	add		r2, sp, #608
	vld1.8		{d18-d19}, [r2, : 128]
	vmlal.s32	q2, d18, d7
	vmlal.s32	q5, d18, d6
	vmlal.s32	q1, d18, d21
	vmlal.s32	q0, d18, d28
	vmlal.s32	q6, d18, d29
	vmlal.s32	q2, d19, d6
	vmlal.s32	q5, d19, d21
	vmlal.s32	q1, d19, d29
	vmlal.s32	q0, d19, d9
	vmlal.s32	q6, d19, d28
	add		r2, sp, #560
	vld1.8		{d18-d19}, [r2, : 128]
	add		r2, sp, #480
	vld1.8		{d22-d23}, [r2, : 128]
	vmlal.s32	q5, d19, d7
	vmlal.s32	q0, d18, d21
	vmlal.s32	q0, d19, d29
	vmlal.s32	q6, d18, d6
	add		r2, sp, #496
	vld1.8		{d6-d7}, [r2, : 128]
	vmlal.s32	q6, d19, d21
	add		r2, sp, #544
	vld1.8		{d18-d19}, [r2, : 128]
	vmlal.s32	q0, d30, d8
	add		r2, sp, #640
	vld1.8		{d20-d21}, [r2, : 128]
	vmlal.s32	q5, d30, d29
	add		r2, sp, #576
	vld1.8		{d24-d25}, [r2, : 128]
	vmlal.s32	q1, d30, d28
	vadd.i64	q13, q0, q11
	vadd.i64	q14, q5, q11
	vmlal.s32	q6, d30, d9
	vshr.s64	q4, q13, #26
	vshr.s64	q13, q14, #26
	vadd.i64	q7, q7, q4
	vshl.i64	q4, q4, #26
	vadd.i64	q14, q7, q3
	vadd.i64	q9, q9, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q15, q9, q3
	vsub.i64	q0, q0, q4
	vshr.s64	q4, q14, #25
	vsub.i64	q5, q5, q13
	vshr.s64	q13, q15, #25
	vadd.i64	q6, q6, q4
	vshl.i64	q4, q4, #25
	vadd.i64	q14, q6, q11
	vadd.i64	q2, q2, q13
	vsub.i64	q4, q7, q4
	vshr.s64	q7, q14, #26
	vshl.i64	q13, q13, #25
	vadd.i64	q14, q2, q11
	vadd.i64	q8, q8, q7
	vshl.i64	q7, q7, #26
	vadd.i64	q15, q8, q3
	vsub.i64	q9, q9, q13
	vshr.s64	q13, q14, #26
	vsub.i64	q6, q6, q7
	vshr.s64	q7, q15, #25
	vadd.i64	q10, q10, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q14, q10, q3
	vadd.i64	q1, q1, q7
	add		r2, r3, #144
	vshl.i64	q7, q7, #25
	add		r4, r3, #96
	vadd.i64	q15, q1, q11
	add		r2, r2, #8
	vsub.i64	q2, q2, q13
	add		r4, r4, #8
	vshr.s64	q13, q14, #25
	vsub.i64	q7, q8, q7
	vshr.s64	q8, q15, #26
	vadd.i64	q14, q13, q13
	vadd.i64	q12, q12, q8
	vtrn.32		d12, d14
	vshl.i64	q8, q8, #26
	vtrn.32		d13, d15
	vadd.i64	q3, q12, q3
	vadd.i64	q0, q0, q14
	vst1.8		d12, [r2, : 64]!
	vshl.i64	q7, q13, #4
	vst1.8		d13, [r4, : 64]!
	vsub.i64	q1, q1, q8
	vshr.s64	q3, q3, #25
	vadd.i64	q0, q0, q7
	vadd.i64	q5, q5, q3
	vshl.i64	q3, q3, #25
	vadd.i64	q6, q5, q11
	vadd.i64	q0, q0, q13
	vshl.i64	q7, q13, #25
	vadd.i64	q8, q0, q11
	vsub.i64	q3, q12, q3
	vshr.s64	q6, q6, #26
	vsub.i64	q7, q10, q7
	vtrn.32		d2, d6
	vshr.s64	q8, q8, #26
	vtrn.32		d3, d7
	vadd.i64	q3, q9, q6
	vst1.8		d2, [r2, : 64]
	vshl.i64	q6, q6, #26
	vst1.8		d3, [r4, : 64]
	vadd.i64	q1, q4, q8
	vtrn.32		d4, d14
	vshl.i64	q4, q8, #26
	vtrn.32		d5, d15
	vsub.i64	q5, q5, q6
	add		r2, r2, #16
	vsub.i64	q0, q0, q4
	vst1.8		d4, [r2, : 64]
	add		r4, r4, #16
	vst1.8		d5, [r4, : 64]
	vtrn.32		d10, d6
	vtrn.32		d11, d7
	sub		r2, r2, #8
	sub		r4, r4, #8
	vtrn.32		d0, d2
	vtrn.32		d1, d3
	vst1.8		d10, [r2, : 64]
	vst1.8		d11, [r4, : 64]
	sub		r2, r2, #24
	sub		r4, r4, #24
	vst1.8		d0, [r2, : 64]
	vst1.8		d1, [r4, : 64]
	add		r2, r3, #288
	add		r4, r3, #336
	vld1.8		{d0-d1}, [r2, : 128]!
	vld1.8		{d2-d3}, [r4, : 128]!
	vsub.i32	q0, q0, q1
	vld1.8		{d2-d3}, [r2, : 128]!
	vld1.8		{d4-d5}, [r4, : 128]!
	vsub.i32	q1, q1, q2
	add		r5, r3, #240
	vld1.8		{d4}, [r2, : 64]
	vld1.8		{d6}, [r4, : 64]
	vsub.i32	q2, q2, q3
	vst1.8		{d0-d1}, [r5, : 128]!
	vst1.8		{d2-d3}, [r5, : 128]!
	vst1.8		d4, [r5, : 64]
	add		r2, r3, #144
	add		r4, r3, #96
	add		r5, r3, #144
	add		r6, r3, #192
	vld1.8		{d0-d1}, [r2, : 128]!
	vld1.8		{d2-d3}, [r4, : 128]!
	vsub.i32	q2, q0, q1
	vadd.i32	q0, q0, q1
	vld1.8		{d2-d3}, [r2, : 128]!
	vld1.8		{d6-d7}, [r4, : 128]!
	vsub.i32	q4, q1, q3
	vadd.i32	q1, q1, q3
	vld1.8		{d6}, [r2, : 64]
	vld1.8		{d10}, [r4, : 64]
	vsub.i32	q6, q3, q5
	vadd.i32	q3, q3, q5
	vst1.8		{d4-d5}, [r5, : 128]!
	vst1.8		{d0-d1}, [r6, : 128]!
	vst1.8		{d8-d9}, [r5, : 128]!
	vst1.8		{d2-d3}, [r6, : 128]!
	vst1.8		d12, [r5, : 64]
	vst1.8		d6, [r6, : 64]
	add		r2, r3, #0
	add		r4, r3, #240
	vld1.8		{d0-d1}, [r4, : 128]!
	vld1.8		{d2-d3}, [r4, : 128]!
	vld1.8		{d4}, [r4, : 64]
	add		r4, r3, #336
	vld1.8		{d6-d7}, [r4, : 128]!
	vtrn.32		q0, q3
	vld1.8		{d8-d9}, [r4, : 128]!
	vshl.i32	q5, q0, #4
	vtrn.32		q1, q4
	vshl.i32	q6, q3, #4
	vadd.i32	q5, q5, q0
	vadd.i32	q6, q6, q3
	vshl.i32	q7, q1, #4
	vld1.8		{d5}, [r4, : 64]
	vshl.i32	q8, q4, #4
	vtrn.32		d4, d5
	vadd.i32	q7, q7, q1
	vadd.i32	q8, q8, q4
	vld1.8		{d18-d19}, [r2, : 128]!
	vshl.i32	q10, q2, #4
	vld1.8		{d22-d23}, [r2, : 128]!
	vadd.i32	q10, q10, q2
	vld1.8		{d24}, [r2, : 64]
	vadd.i32	q5, q5, q0
	add		r2, r3, #288
	vld1.8		{d26-d27}, [r2, : 128]!
	vadd.i32	q6, q6, q3
	vld1.8		{d28-d29}, [r2, : 128]!
	vadd.i32	q8, q8, q4
	vld1.8		{d25}, [r2, : 64]
	vadd.i32	q10, q10, q2
	vtrn.32		q9, q13
	vadd.i32	q7, q7, q1
	vadd.i32	q5, q5, q0
	vtrn.32		q11, q14
	vadd.i32	q6, q6, q3
	add		r2, sp, #528
	vadd.i32	q10, q10, q2
	vtrn.32		d24, d25
	vst1.8		{d12-d13}, [r2, : 128]!
	vshl.i32	q6, q13, #1
	vst1.8		{d20-d21}, [r2, : 128]!
	vshl.i32	q10, q14, #1
	vst1.8		{d12-d13}, [r2, : 128]!
	vshl.i32	q15, q12, #1
	vadd.i32	q8, q8, q4
	vext.32		d10, d31, d30, #0
	vadd.i32	q7, q7, q1
	vst1.8		{d16-d17}, [r2, : 128]!
	vmull.s32	q8, d18, d5
	vmlal.s32	q8, d26, d4
	vmlal.s32	q8, d19, d9
	vmlal.s32	q8, d27, d3
	vmlal.s32	q8, d22, d8
	vmlal.s32	q8, d28, d2
	vmlal.s32	q8, d23, d7
	vmlal.s32	q8, d29, d1
	vmlal.s32	q8, d24, d6
	vmlal.s32	q8, d25, d0
	vst1.8		{d14-d15}, [r2, : 128]!
	vmull.s32	q2, d18, d4
	vmlal.s32	q2, d12, d9
	vmlal.s32	q2, d13, d8
	vmlal.s32	q2, d19, d3
	vmlal.s32	q2, d22, d2
	vmlal.s32	q2, d23, d1
	vmlal.s32	q2, d24, d0
	vst1.8		{d20-d21}, [r2, : 128]!
	vmull.s32	q7, d18, d9
	vmlal.s32	q7, d26, d3
	vmlal.s32	q7, d19, d8
	vmlal.s32	q7, d27, d2
	vmlal.s32	q7, d22, d7
	vmlal.s32	q7, d28, d1
	vmlal.s32	q7, d23, d6
	vmlal.s32	q7, d29, d0
	vst1.8		{d10-d11}, [r2, : 128]!
	vmull.s32	q5, d18, d3
	vmlal.s32	q5, d19, d2
	vmlal.s32	q5, d22, d1
	vmlal.s32	q5, d23, d0
	vmlal.s32	q5, d12, d8
	vst1.8		{d16-d17}, [r2, : 128]!
	vmull.s32	q4, d18, d8
	vmlal.s32	q4, d26, d2
	vmlal.s32	q4, d19, d7
	vmlal.s32	q4, d27, d1
	vmlal.s32	q4, d22, d6
	vmlal.s32	q4, d28, d0
	vmull.s32	q8, d18, d7
	vmlal.s32	q8, d26, d1
	vmlal.s32	q8, d19, d6
	vmlal.s32	q8, d27, d0
	add		r2, sp, #544
	vld1.8		{d20-d21}, [r2, : 128]
	vmlal.s32	q7, d24, d21
	vmlal.s32	q7, d25, d20
	vmlal.s32	q4, d23, d21
	vmlal.s32	q4, d29, d20
	vmlal.s32	q8, d22, d21
	vmlal.s32	q8, d28, d20
	vmlal.s32	q5, d24, d20
	vst1.8		{d14-d15}, [r2, : 128]
	vmull.s32	q7, d18, d6
	vmlal.s32	q7, d26, d0
	add		r2, sp, #624
	vld1.8		{d30-d31}, [r2, : 128]
	vmlal.s32	q2, d30, d21
	vmlal.s32	q7, d19, d21
	vmlal.s32	q7, d27, d20
	add		r2, sp, #592
	vld1.8		{d26-d27}, [r2, : 128]
	vmlal.s32	q4, d25, d27
	vmlal.s32	q8, d29, d27
	vmlal.s32	q8, d25, d26
	vmlal.s32	q7, d28, d27
	vmlal.s32	q7, d29, d26
	add		r2, sp, #576
	vld1.8		{d28-d29}, [r2, : 128]
	vmlal.s32	q4, d24, d29
	vmlal.s32	q8, d23, d29
	vmlal.s32	q8, d24, d28
	vmlal.s32	q7, d22, d29
	vmlal.s32	q7, d23, d28
	vst1.8		{d8-d9}, [r2, : 128]
	add		r2, sp, #528
	vld1.8		{d8-d9}, [r2, : 128]
	vmlal.s32	q7, d24, d9
	vmlal.s32	q7, d25, d31
	vmull.s32	q1, d18, d2
	vmlal.s32	q1, d19, d1
	vmlal.s32	q1, d22, d0
	vmlal.s32	q1, d24, d27
	vmlal.s32	q1, d23, d20
	vmlal.s32	q1, d12, d7
	vmlal.s32	q1, d13, d6
	vmull.s32	q6, d18, d1
	vmlal.s32	q6, d19, d0
	vmlal.s32	q6, d23, d27
	vmlal.s32	q6, d22, d20
	vmlal.s32	q6, d24, d26
	vmull.s32	q0, d18, d0
	vmlal.s32	q0, d22, d27
	vmlal.s32	q0, d23, d26
	vmlal.s32	q0, d24, d31
	vmlal.s32	q0, d19, d20
	add		r2, sp, #608
	vld1.8		{d18-d19}, [r2, : 128]
	vmlal.s32	q2, d18, d7
	vmlal.s32	q5, d18, d6
	vmlal.s32	q1, d18, d21
	vmlal.s32	q0, d18, d28
	vmlal.s32	q6, d18, d29
	vmlal.s32	q2, d19, d6
	vmlal.s32	q5, d19, d21
	vmlal.s32	q1, d19, d29
	vmlal.s32	q0, d19, d9
	vmlal.s32	q6, d19, d28
	add		r2, sp, #560
	vld1.8		{d18-d19}, [r2, : 128]
	add		r2, sp, #480
	vld1.8		{d22-d23}, [r2, : 128]
	vmlal.s32	q5, d19, d7
	vmlal.s32	q0, d18, d21
	vmlal.s32	q0, d19, d29
	vmlal.s32	q6, d18, d6
	add		r2, sp, #496
	vld1.8		{d6-d7}, [r2, : 128]
	vmlal.s32	q6, d19, d21
	add		r2, sp, #544
	vld1.8		{d18-d19}, [r2, : 128]
	vmlal.s32	q0, d30, d8
	add		r2, sp, #640
	vld1.8		{d20-d21}, [r2, : 128]
	vmlal.s32	q5, d30, d29
	add		r2, sp, #576
	vld1.8		{d24-d25}, [r2, : 128]
	vmlal.s32	q1, d30, d28
	vadd.i64	q13, q0, q11
	vadd.i64	q14, q5, q11
	vmlal.s32	q6, d30, d9
	vshr.s64	q4, q13, #26
	vshr.s64	q13, q14, #26
	vadd.i64	q7, q7, q4
	vshl.i64	q4, q4, #26
	vadd.i64	q14, q7, q3
	vadd.i64	q9, q9, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q15, q9, q3
	vsub.i64	q0, q0, q4
	vshr.s64	q4, q14, #25
	vsub.i64	q5, q5, q13
	vshr.s64	q13, q15, #25
	vadd.i64	q6, q6, q4
	vshl.i64	q4, q4, #25
	vadd.i64	q14, q6, q11
	vadd.i64	q2, q2, q13
	vsub.i64	q4, q7, q4
	vshr.s64	q7, q14, #26
	vshl.i64	q13, q13, #25
	vadd.i64	q14, q2, q11
	vadd.i64	q8, q8, q7
	vshl.i64	q7, q7, #26
	vadd.i64	q15, q8, q3
	vsub.i64	q9, q9, q13
	vshr.s64	q13, q14, #26
	vsub.i64	q6, q6, q7
	vshr.s64	q7, q15, #25
	vadd.i64	q10, q10, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q14, q10, q3
	vadd.i64	q1, q1, q7
	add		r2, r3, #288
	vshl.i64	q7, q7, #25
	add		r4, r3, #96
	vadd.i64	q15, q1, q11
	add		r2, r2, #8
	vsub.i64	q2, q2, q13
	add		r4, r4, #8
	vshr.s64	q13, q14, #25
	vsub.i64	q7, q8, q7
	vshr.s64	q8, q15, #26
	vadd.i64	q14, q13, q13
	vadd.i64	q12, q12, q8
	vtrn.32		d12, d14
	vshl.i64	q8, q8, #26
	vtrn.32		d13, d15
	vadd.i64	q3, q12, q3
	vadd.i64	q0, q0, q14
	vst1.8		d12, [r2, : 64]!
	vshl.i64	q7, q13, #4
	vst1.8		d13, [r4, : 64]!
	vsub.i64	q1, q1, q8
	vshr.s64	q3, q3, #25
	vadd.i64	q0, q0, q7
	vadd.i64	q5, q5, q3
	vshl.i64	q3, q3, #25
	vadd.i64	q6, q5, q11
	vadd.i64	q0, q0, q13
	vshl.i64	q7, q13, #25
	vadd.i64	q8, q0, q11
	vsub.i64	q3, q12, q3
	vshr.s64	q6, q6, #26
	vsub.i64	q7, q10, q7
	vtrn.32		d2, d6
	vshr.s64	q8, q8, #26
	vtrn.32		d3, d7
	vadd.i64	q3, q9, q6
	vst1.8		d2, [r2, : 64]
	vshl.i64	q6, q6, #26
	vst1.8		d3, [r4, : 64]
	vadd.i64	q1, q4, q8
	vtrn.32		d4, d14
	vshl.i64	q4, q8, #26
	vtrn.32		d5, d15
	vsub.i64	q5, q5, q6
	add		r2, r2, #16
	vsub.i64	q0, q0, q4
	vst1.8		d4, [r2, : 64]
	add		r4, r4, #16
	vst1.8		d5, [r4, : 64]
	vtrn.32		d10, d6
	vtrn.32		d11, d7
	sub		r2, r2, #8
	sub		r4, r4, #8
	vtrn.32		d0, d2
	vtrn.32		d1, d3
	vst1.8		d10, [r2, : 64]
	vst1.8		d11, [r4, : 64]
	sub		r2, r2, #24
	sub		r4, r4, #24
	vst1.8		d0, [r2, : 64]
	vst1.8		d1, [r4, : 64]
	add		r2, sp, #512
	add		r4, r3, #144
	add		r5, r3, #192
	vld1.8		{d0-d1}, [r2, : 128]
	vld1.8		{d2-d3}, [r4, : 128]!
	vld1.8		{d4-d5}, [r5, : 128]!
	vzip.i32	q1, q2
	vld1.8		{d6-d7}, [r4, : 128]!
	vld1.8		{d8-d9}, [r5, : 128]!
	vshl.i32	q5, q1, #1
	vzip.i32	q3, q4
	vshl.i32	q6, q2, #1
	vld1.8		{d14}, [r4, : 64]
	vshl.i32	q8, q3, #1
	vld1.8		{d15}, [r5, : 64]
	vshl.i32	q9, q4, #1
	vmul.i32	d21, d7, d1
	vtrn.32		d14, d15
	vmul.i32	q11, q4, q0
	vmul.i32	q0, q7, q0
	vmull.s32	q12, d2, d2
	vmlal.s32	q12, d11, d1
	vmlal.s32	q12, d12, d0
	vmlal.s32	q12, d13, d23
	vmlal.s32	q12, d16, d22
	vmlal.s32	q12, d7, d21
	vmull.s32	q10, d2, d11
	vmlal.s32	q10, d4, d1
	vmlal.s32	q10, d13, d0
	vmlal.s32	q10, d6, d23
	vmlal.s32	q10, d17, d22
	vmull.s32	q13, d10, d4
	vmlal.s32	q13, d11, d3
	vmlal.s32	q13, d13, d1
	vmlal.s32	q13, d16, d0
	vmlal.s32	q13, d17, d23
	vmlal.s32	q13, d8, d22
	vmull.s32	q1, d10, d5
	vmlal.s32	q1, d11, d4
	vmlal.s32	q1, d6, d1
	vmlal.s32	q1, d17, d0
	vmlal.s32	q1, d8, d23
	vmull.s32	q14, d10, d6
	vmlal.s32	q14, d11, d13
	vmlal.s32	q14, d4, d4
	vmlal.s32	q14, d17, d1
	vmlal.s32	q14, d18, d0
	vmlal.s32	q14, d9, d23
	vmull.s32	q11, d10, d7
	vmlal.s32	q11, d11, d6
	vmlal.s32	q11, d12, d5
	vmlal.s32	q11, d8, d1
	vmlal.s32	q11, d19, d0
	vmull.s32	q15, d10, d8
	vmlal.s32	q15, d11, d17
	vmlal.s32	q15, d12, d6
	vmlal.s32	q15, d13, d5
	vmlal.s32	q15, d19, d1
	vmlal.s32	q15, d14, d0
	vmull.s32	q2, d10, d9
	vmlal.s32	q2, d11, d8
	vmlal.s32	q2, d12, d7
	vmlal.s32	q2, d13, d6
	vmlal.s32	q2, d14, d1
	vmull.s32	q0, d15, d1
	vmlal.s32	q0, d10, d14
	vmlal.s32	q0, d11, d19
	vmlal.s32	q0, d12, d8
	vmlal.s32	q0, d13, d17
	vmlal.s32	q0, d6, d6
	add		r2, sp, #480
	vld1.8		{d18-d19}, [r2, : 128]!
	vmull.s32	q3, d16, d7
	vmlal.s32	q3, d10, d15
	vmlal.s32	q3, d11, d14
	vmlal.s32	q3, d12, d9
	vmlal.s32	q3, d13, d8
	vld1.8		{d8-d9}, [r2, : 128]
	vadd.i64	q5, q12, q9
	vadd.i64	q6, q15, q9
	vshr.s64	q5, q5, #26
	vshr.s64	q6, q6, #26
	vadd.i64	q7, q10, q5
	vshl.i64	q5, q5, #26
	vadd.i64	q8, q7, q4
	vadd.i64	q2, q2, q6
	vshl.i64	q6, q6, #26
	vadd.i64	q10, q2, q4
	vsub.i64	q5, q12, q5
	vshr.s64	q8, q8, #25
	vsub.i64	q6, q15, q6
	vshr.s64	q10, q10, #25
	vadd.i64	q12, q13, q8
	vshl.i64	q8, q8, #25
	vadd.i64	q13, q12, q9
	vadd.i64	q0, q0, q10
	vsub.i64	q7, q7, q8
	vshr.s64	q8, q13, #26
	vshl.i64	q10, q10, #25
	vadd.i64	q13, q0, q9
	vadd.i64	q1, q1, q8
	vshl.i64	q8, q8, #26
	vadd.i64	q15, q1, q4
	vsub.i64	q2, q2, q10
	vshr.s64	q10, q13, #26
	vsub.i64	q8, q12, q8
	vshr.s64	q12, q15, #25
	vadd.i64	q3, q3, q10
	vshl.i64	q10, q10, #26
	vadd.i64	q13, q3, q4
	vadd.i64	q14, q14, q12
	add		r2, r3, #144
	vshl.i64	q12, q12, #25
	add		r4, r3, #192
	vadd.i64	q15, q14, q9
	add		r2, r2, #8
	vsub.i64	q0, q0, q10
	add		r4, r4, #8
	vshr.s64	q10, q13, #25
	vsub.i64	q1, q1, q12
	vshr.s64	q12, q15, #26
	vadd.i64	q13, q10, q10
	vadd.i64	q11, q11, q12
	vtrn.32		d16, d2
	vshl.i64	q12, q12, #26
	vtrn.32		d17, d3
	vadd.i64	q1, q11, q4
	vadd.i64	q4, q5, q13
	vst1.8		d16, [r2, : 64]!
	vshl.i64	q5, q10, #4
	vst1.8		d17, [r4, : 64]!
	vsub.i64	q8, q14, q12
	vshr.s64	q1, q1, #25
	vadd.i64	q4, q4, q5
	vadd.i64	q5, q6, q1
	vshl.i64	q1, q1, #25
	vadd.i64	q6, q5, q9
	vadd.i64	q4, q4, q10
	vshl.i64	q10, q10, #25
	vadd.i64	q9, q4, q9
	vsub.i64	q1, q11, q1
	vshr.s64	q6, q6, #26
	vsub.i64	q3, q3, q10
	vtrn.32		d16, d2
	vshr.s64	q9, q9, #26
	vtrn.32		d17, d3
	vadd.i64	q1, q2, q6
	vst1.8		d16, [r2, : 64]
	vshl.i64	q2, q6, #26
	vst1.8		d17, [r4, : 64]
	vadd.i64	q6, q7, q9
	vtrn.32		d0, d6
	vshl.i64	q7, q9, #26
	vtrn.32		d1, d7
	vsub.i64	q2, q5, q2
	add		r2, r2, #16
	vsub.i64	q3, q4, q7
	vst1.8		d0, [r2, : 64]
	add		r4, r4, #16
	vst1.8		d1, [r4, : 64]
	vtrn.32		d4, d2
	vtrn.32		d5, d3
	sub		r2, r2, #8
	sub		r4, r4, #8
	vtrn.32		d6, d12
	vtrn.32		d7, d13
	vst1.8		d4, [r2, : 64]
	vst1.8		d5, [r4, : 64]
	sub		r2, r2, #24
	sub		r4, r4, #24
	vst1.8		d6, [r2, : 64]
	vst1.8		d7, [r4, : 64]
	add		r2, r3, #336
	add		r4, r3, #288
	vld1.8		{d0-d1}, [r2, : 128]!
	vld1.8		{d2-d3}, [r4, : 128]!
	vadd.i32	q0, q0, q1
	vld1.8		{d2-d3}, [r2, : 128]!
	vld1.8		{d4-d5}, [r4, : 128]!
	vadd.i32	q1, q1, q2
	add		r5, r3, #288
	vld1.8		{d4}, [r2, : 64]
	vld1.8		{d6}, [r4, : 64]
	vadd.i32	q2, q2, q3
	vst1.8		{d0-d1}, [r5, : 128]!
	vst1.8		{d2-d3}, [r5, : 128]!
	vst1.8		d4, [r5, : 64]
	add		r2, r3, #48
	add		r4, r3, #144
	vld1.8		{d0-d1}, [r4, : 128]!
	vld1.8		{d2-d3}, [r4, : 128]!
	vld1.8		{d4}, [r4, : 64]
	add		r4, r3, #288
	vld1.8		{d6-d7}, [r4, : 128]!
	vtrn.32		q0, q3
	vld1.8		{d8-d9}, [r4, : 128]!
	vshl.i32	q5, q0, #4
	vtrn.32		q1, q4
	vshl.i32	q6, q3, #4
	vadd.i32	q5, q5, q0
	vadd.i32	q6, q6, q3
	vshl.i32	q7, q1, #4
	vld1.8		{d5}, [r4, : 64]
	vshl.i32	q8, q4, #4
	vtrn.32		d4, d5
	vadd.i32	q7, q7, q1
	vadd.i32	q8, q8, q4
	vld1.8		{d18-d19}, [r2, : 128]!
	vshl.i32	q10, q2, #4
	vld1.8		{d22-d23}, [r2, : 128]!
	vadd.i32	q10, q10, q2
	vld1.8		{d24}, [r2, : 64]
	vadd.i32	q5, q5, q0
	add		r2, r3, #240
	vld1.8		{d26-d27}, [r2, : 128]!
	vadd.i32	q6, q6, q3
	vld1.8		{d28-d29}, [r2, : 128]!
	vadd.i32	q8, q8, q4
	vld1.8		{d25}, [r2, : 64]
	vadd.i32	q10, q10, q2
	vtrn.32		q9, q13
	vadd.i32	q7, q7, q1
	vadd.i32	q5, q5, q0
	vtrn.32		q11, q14
	vadd.i32	q6, q6, q3
	add		r2, sp, #528
	vadd.i32	q10, q10, q2
	vtrn.32		d24, d25
	vst1.8		{d12-d13}, [r2, : 128]!
	vshl.i32	q6, q13, #1
	vst1.8		{d20-d21}, [r2, : 128]!
	vshl.i32	q10, q14, #1
	vst1.8		{d12-d13}, [r2, : 128]!
	vshl.i32	q15, q12, #1
	vadd.i32	q8, q8, q4
	vext.32		d10, d31, d30, #0
	vadd.i32	q7, q7, q1
	vst1.8		{d16-d17}, [r2, : 128]!
	vmull.s32	q8, d18, d5
	vmlal.s32	q8, d26, d4
	vmlal.s32	q8, d19, d9
	vmlal.s32	q8, d27, d3
	vmlal.s32	q8, d22, d8
	vmlal.s32	q8, d28, d2
	vmlal.s32	q8, d23, d7
	vmlal.s32	q8, d29, d1
	vmlal.s32	q8, d24, d6
	vmlal.s32	q8, d25, d0
	vst1.8		{d14-d15}, [r2, : 128]!
	vmull.s32	q2, d18, d4
	vmlal.s32	q2, d12, d9
	vmlal.s32	q2, d13, d8
	vmlal.s32	q2, d19, d3
	vmlal.s32	q2, d22, d2
	vmlal.s32	q2, d23, d1
	vmlal.s32	q2, d24, d0
	vst1.8		{d20-d21}, [r2, : 128]!
	vmull.s32	q7, d18, d9
	vmlal.s32	q7, d26, d3
	vmlal.s32	q7, d19, d8
	vmlal.s32	q7, d27, d2
	vmlal.s32	q7, d22, d7
	vmlal.s32	q7, d28, d1
	vmlal.s32	q7, d23, d6
	vmlal.s32	q7, d29, d0
	vst1.8		{d10-d11}, [r2, : 128]!
	vmull.s32	q5, d18, d3
	vmlal.s32	q5, d19, d2
	vmlal.s32	q5, d22, d1
	vmlal.s32	q5, d23, d0
	vmlal.s32	q5, d12, d8
	vst1.8		{d16-d17}, [r2, : 128]!
	vmull.s32	q4, d18, d8
	vmlal.s32	q4, d26, d2
	vmlal.s32	q4, d19, d7
	vmlal.s32	q4, d27, d1
	vmlal.s32	q4, d22, d6
	vmlal.s32	q4, d28, d0
	vmull.s32	q8, d18, d7
	vmlal.s32	q8, d26, d1
	vmlal.s32	q8, d19, d6
	vmlal.s32	q8, d27, d0
	add		r2, sp, #544
	vld1.8		{d20-d21}, [r2, : 128]
	vmlal.s32	q7, d24, d21
	vmlal.s32	q7, d25, d20
	vmlal.s32	q4, d23, d21
	vmlal.s32	q4, d29, d20
	vmlal.s32	q8, d22, d21
	vmlal.s32	q8, d28, d20
	vmlal.s32	q5, d24, d20
	vst1.8		{d14-d15}, [r2, : 128]
	vmull.s32	q7, d18, d6
	vmlal.s32	q7, d26, d0
	add		r2, sp, #624
	vld1.8		{d30-d31}, [r2, : 128]
	vmlal.s32	q2, d30, d21
	vmlal.s32	q7, d19, d21
	vmlal.s32	q7, d27, d20
	add		r2, sp, #592
	vld1.8		{d26-d27}, [r2, : 128]
	vmlal.s32	q4, d25, d27
	vmlal.s32	q8, d29, d27
	vmlal.s32	q8, d25, d26
	vmlal.s32	q7, d28, d27
	vmlal.s32	q7, d29, d26
	add		r2, sp, #576
	vld1.8		{d28-d29}, [r2, : 128]
	vmlal.s32	q4, d24, d29
	vmlal.s32	q8, d23, d29
	vmlal.s32	q8, d24, d28
	vmlal.s32	q7, d22, d29
	vmlal.s32	q7, d23, d28
	vst1.8		{d8-d9}, [r2, : 128]
	add		r2, sp, #528
	vld1.8		{d8-d9}, [r2, : 128]
	vmlal.s32	q7, d24, d9
	vmlal.s32	q7, d25, d31
	vmull.s32	q1, d18, d2
	vmlal.s32	q1, d19, d1
	vmlal.s32	q1, d22, d0
	vmlal.s32	q1, d24, d27
	vmlal.s32	q1, d23, d20
	vmlal.s32	q1, d12, d7
	vmlal.s32	q1, d13, d6
	vmull.s32	q6, d18, d1
	vmlal.s32	q6, d19, d0
	vmlal.s32	q6, d23, d27
	vmlal.s32	q6, d22, d20
	vmlal.s32	q6, d24, d26
	vmull.s32	q0, d18, d0
	vmlal.s32	q0, d22, d27
	vmlal.s32	q0, d23, d26
	vmlal.s32	q0, d24, d31
	vmlal.s32	q0, d19, d20
	add		r2, sp, #608
	vld1.8		{d18-d19}, [r2, : 128]
	vmlal.s32	q2, d18, d7
	vmlal.s32	q5, d18, d6
	vmlal.s32	q1, d18, d21
	vmlal.s32	q0, d18, d28
	vmlal.s32	q6, d18, d29
	vmlal.s32	q2, d19, d6
	vmlal.s32	q5, d19, d21
	vmlal.s32	q1, d19, d29
	vmlal.s32	q0, d19, d9
	vmlal.s32	q6, d19, d28
	add		r2, sp, #560
	vld1.8		{d18-d19}, [r2, : 128]
	add		r2, sp, #480
	vld1.8		{d22-d23}, [r2, : 128]
	vmlal.s32	q5, d19, d7
	vmlal.s32	q0, d18, d21
	vmlal.s32	q0, d19, d29
	vmlal.s32	q6, d18, d6
	add		r2, sp, #496
	vld1.8		{d6-d7}, [r2, : 128]
	vmlal.s32	q6, d19, d21
	add		r2, sp, #544
	vld1.8		{d18-d19}, [r2, : 128]
	vmlal.s32	q0, d30, d8
	add		r2, sp, #640
	vld1.8		{d20-d21}, [r2, : 128]
	vmlal.s32	q5, d30, d29
	add		r2, sp, #576
	vld1.8		{d24-d25}, [r2, : 128]
	vmlal.s32	q1, d30, d28
	vadd.i64	q13, q0, q11
	vadd.i64	q14, q5, q11
	vmlal.s32	q6, d30, d9
	vshr.s64	q4, q13, #26
	vshr.s64	q13, q14, #26
	vadd.i64	q7, q7, q4
	vshl.i64	q4, q4, #26
	vadd.i64	q14, q7, q3
	vadd.i64	q9, q9, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q15, q9, q3
	vsub.i64	q0, q0, q4
	vshr.s64	q4, q14, #25
	vsub.i64	q5, q5, q13
	vshr.s64	q13, q15, #25
	vadd.i64	q6, q6, q4
	vshl.i64	q4, q4, #25
	vadd.i64	q14, q6, q11
	vadd.i64	q2, q2, q13
	vsub.i64	q4, q7, q4
	vshr.s64	q7, q14, #26
	vshl.i64	q13, q13, #25
	vadd.i64	q14, q2, q11
	vadd.i64	q8, q8, q7
	vshl.i64	q7, q7, #26
	vadd.i64	q15, q8, q3
	vsub.i64	q9, q9, q13
	vshr.s64	q13, q14, #26
	vsub.i64	q6, q6, q7
	vshr.s64	q7, q15, #25
	vadd.i64	q10, q10, q13
	vshl.i64	q13, q13, #26
	vadd.i64	q14, q10, q3
	vadd.i64	q1, q1, q7
	add		r2, r3, #240
	vshl.i64	q7, q7, #25
	add		r4, r3, #144
	vadd.i64	q15, q1, q11
	add		r2, r2, #8
	vsub.i64	q2, q2, q13
	add		r4, r4, #8
	vshr.s64	q13, q14, #25
	vsub.i64	q7, q8, q7
	vshr.s64	q8, q15, #26
	vadd.i64	q14, q13, q13
	vadd.i64	q12, q12, q8
	vtrn.32		d12, d14
	vshl.i64	q8, q8, #26
	vtrn.32		d13, d15
	vadd.i64	q3, q12, q3
	vadd.i64	q0, q0, q14
	vst1.8		d12, [r2, : 64]!
	vshl.i64	q7, q13, #4
	vst1.8		d13, [r4, : 64]!
	vsub.i64	q1, q1, q8
	vshr.s64	q3, q3, #25
	vadd.i64	q0, q0, q7
	vadd.i64	q5, q5, q3
	vshl.i64	q3, q3, #25
	vadd.i64	q6, q5, q11
	vadd.i64	q0, q0, q13
	vshl.i64	q7, q13, #25
	vadd.i64	q8, q0, q11
	vsub.i64	q3, q12, q3
	vshr.s64	q6, q6, #26
	vsub.i64	q7, q10, q7
	vtrn.32		d2, d6
	vshr.s64	q8, q8, #26
	vtrn.32		d3, d7
	vadd.i64	q3, q9, q6
	vst1.8		d2, [r2, : 64]
	vshl.i64	q6, q6, #26
	vst1.8		d3, [r4, : 64]
	vadd.i64	q1, q4, q8
	vtrn.32		d4, d14
	vshl.i64	q4, q8, #26
	vtrn.32		d5, d15
	vsub.i64	q5, q5, q6
	add		r2, r2, #16
	vsub.i64	q0, q0, q4
	vst1.8		d4, [r2, : 64]
	add		r4, r4, #16
	vst1.8		d5, [r4, : 64]
	vtrn.32		d10, d6
	vtrn.32		d11, d7
	sub		r2, r2, #8
	sub		r4, r4, #8
	vtrn.32		d0, d2
	vtrn.32		d1, d3
	vst1.8		d10, [r2, : 64]
	vst1.8		d11, [r4, : 64]
	sub		r2, r2, #24
	sub		r4, r4, #24
	vst1.8		d0, [r2, : 64]
	vst1.8		d1, [r4, : 64]
	ldr		r2, [sp, #456]
	ldr		r4, [sp, #460]
	subs		r5, r2, #1
	bge		.Lmainloop
	add		r1, r3, #144
	add		r2, r3, #336
	vld1.8		{d0-d1}, [r1, : 128]!
	vld1.8		{d2-d3}, [r1, : 128]!
	vld1.8		{d4}, [r1, : 64]
	vst1.8		{d0-d1}, [r2, : 128]!
	vst1.8		{d2-d3}, [r2, : 128]!
	vst1.8		d4, [r2, : 64]
	movw		r1, #0
.Linvertloop:
	add		r2, r3, #144
	movw		r4, #0
	movw		r5, #2
	cmp		r1, #1
	moveq		r5, #1
	addeq		r2, r3, #336
	addeq		r4, r3, #48
	cmp		r1, #2
	moveq		r5, #1
	addeq		r2, r3, #48
	cmp		r1, #3
	moveq		r5, #5
	addeq		r4, r3, #336
	cmp		r1, #4
	moveq		r5, #10
	cmp		r1, #5
	moveq		r5, #20
	cmp		r1, #6
	moveq		r5, #10
	addeq		r2, r3, #336
	addeq		r4, r3, #336
	cmp		r1, #7
	moveq		r5, #50
	cmp		r1, #8
	moveq		r5, #100
	cmp		r1, #9
	moveq		r5, #50
	addeq		r2, r3, #336
	cmp		r1, #10
	moveq		r5, #5
	addeq		r2, r3, #48
	cmp		r1, #11
	moveq		r5, #0
	addeq		r2, r3, #96
	add		r6, r3, #144
	add		r7, r3, #288
	vld1.8		{d0-d1}, [r6, : 128]!
	vld1.8		{d2-d3}, [r6, : 128]!
	vld1.8		{d4}, [r6, : 64]
	vst1.8		{d0-d1}, [r7, : 128]!
	vst1.8		{d2-d3}, [r7, : 128]!
	vst1.8		d4, [r7, : 64]
	cmp		r5, #0
	beq		.Lskipsquaringloop
.Lsquaringloop:
	add		r6, r3, #288
	add		r7, r3, #288
	add		r8, r3, #288
	vmov.i32	q0, #19
	vmov.i32	q1, #0
	vmov.i32	q2, #1
	vzip.i32	q1, q2
	vld1.8		{d4-d5}, [r7, : 128]!
	vld1.8		{d6-d7}, [r7, : 128]!
	vld1.8		{d9}, [r7, : 64]
	vld1.8		{d10-d11}, [r6, : 128]!
	add		r7, sp, #384
	vld1.8		{d12-d13}, [r6, : 128]!
	vmul.i32	q7, q2, q0
	vld1.8		{d8}, [r6, : 64]
	vext.32		d17, d11, d10, #1
	vmul.i32	q9, q3, q0
	vext.32		d16, d10, d8, #1
	vshl.u32	q10, q5, q1
	vext.32		d22, d14, d4, #1
	vext.32		d24, d18, d6, #1
	vshl.u32	q13, q6, q1
	vshl.u32	d28, d8, d2
	vrev64.i32	d22, d22
	vmul.i32	d1, d9, d1
	vrev64.i32	d24, d24
	vext.32		d29, d8, d13, #1
	vext.32		d0, d1, d9, #1
	vrev64.i32	d0, d0
	vext.32		d2, d9, d1, #1
	vext.32		d23, d15, d5, #1
	vmull.s32	q4, d20, d4
	vrev64.i32	d23, d23
	vmlal.s32	q4, d21, d1
	vrev64.i32	d2, d2
	vmlal.s32	q4, d26, d19
	vext.32		d3, d5, d15, #1
	vmlal.s32	q4, d27, d18
	vrev64.i32	d3, d3
	vmlal.s32	q4, d28, d15
	vext.32		d14, d12, d11, #1
	vmull.s32	q5, d16, d23
	vext.32		d15, d13, d12, #1
	vmlal.s32	q5, d17, d4
	vst1.8		d8, [r7, : 64]!
	vmlal.s32	q5, d14, d1
	vext.32		d12, d9, d8, #0
	vmlal.s32	q5, d15, d19
	vmov.i64	d13, #0
	vmlal.s32	q5, d29, d18
	vext.32		d25, d19, d7, #1
	vmlal.s32	q6, d20, d5
	vrev64.i32	d25, d25
	vmlal.s32	q6, d21, d4
	vst1.8		d11, [r7, : 64]!
	vmlal.s32	q6, d26, d1
	vext.32		d9, d10, d10, #0
	vmlal.s32	q6, d27, d19
	vmov.i64	d8, #0
	vmlal.s32	q6, d28, d18
	vmlal.s32	q4, d16, d24
	vmlal.s32	q4, d17, d5
	vmlal.s32	q4, d14, d4
	vst1.8		d12, [r7, : 64]!
	vmlal.s32	q4, d15, d1
	vext.32		d10, d13, d12, #0
	vmlal.s32	q4, d29, d19
	vmov.i64	d11, #0
	vmlal.s32	q5, d20, d6
	vmlal.s32	q5, d21, d5
	vmlal.s32	q5, d26, d4
	vext.32		d13, d8, d8, #0
	vmlal.s32	q5, d27, d1
	vmov.i64	d12, #0
	vmlal.s32	q5, d28, d19
	vst1.8		d9, [r7, : 64]!
	vmlal.s32	q6, d16, d25
	vmlal.s32	q6, d17, d6
	vst1.8		d10, [r7, : 64]
	vmlal.s32	q6, d14, d5
	vext.32		d8, d11, d10, #0
	vmlal.s32	q6, d15, d4
	vmov.i64	d9, #0
	vmlal.s32	q6, d29, d1
	vmlal.s32	q4, d20, d7
	vmlal.s32	q4, d21, d6
	vmlal.s32	q4, d26, d5
	vext.32		d11, d12, d12, #0
	vmlal.s32	q4, d27, d4
	vmov.i64	d10, #0
	vmlal.s32	q4, d28, d1
	vmlal.s32	q5, d16, d0
	sub		r6, r7, #32
	vmlal.s32	q5, d17, d7
	vmlal.s32	q5, d14, d6
	vext.32		d30, d9, d8, #0
	vmlal.s32	q5, d15, d5
	vld1.8		{d31}, [r6, : 64]!
	vmlal.s32	q5, d29, d4
	vmlal.s32	q15, d20, d0
	vext.32		d0, d6, d18, #1
	vmlal.s32	q15, d21, d25
	vrev64.i32	d0, d0
	vmlal.s32	q15, d26, d24
	vext.32		d1, d7, d19, #1
	vext.32		d7, d10, d10, #0
	vmlal.s32	q15, d27, d23
	vrev64.i32	d1, d1
	vld1.8		{d6}, [r6, : 64]
	vmlal.s32	q15, d28, d22
	vmlal.s32	q3, d16, d4
	add		r6, r6, #24
	vmlal.s32	q3, d17, d2
	vext.32		d4, d31, d30, #0
	vmov		d17, d11
	vmlal.s32	q3, d14, d1
	vext.32		d11, d13, d13, #0
	vext.32		d13, d30, d30, #0
	vmlal.s32	q3, d15, d0
	vext.32		d1, d8, d8, #0
	vmlal.s32	q3, d29, d3
	vld1.8		{d5}, [r6, : 64]
	sub		r6, r6, #16
	vext.32		d10, d6, d6, #0
	vmov.i32	q1, #0xffffffff
	vshl.i64	q4, q1, #25
	add		r7, sp, #480
	vld1.8		{d14-d15}, [r7, : 128]
	vadd.i64	q9, q2, q7
	vshl.i64	q1, q1, #26
	vshr.s64	q10, q9, #26
	vld1.8		{d0}, [r6, : 64]!
	vadd.i64	q5, q5, q10
	vand		q9, q9, q1
	vld1.8		{d16}, [r6, : 64]!
	add		r6, sp, #496
	vld1.8		{d20-d21}, [r6, : 128]
	vadd.i64	q11, q5, q10
	vsub.i64	q2, q2, q9
	vshr.s64	q9, q11, #25
	vext.32		d12, d5, d4, #0
	vand		q11, q11, q4
	vadd.i64	q0, q0, q9
	vmov		d19, d7
	vadd.i64	q3, q0, q7
	vsub.i64	q5, q5, q11
	vshr.s64	q11, q3, #26
	vext.32		d18, d11, d10, #0
	vand		q3, q3, q1
	vadd.i64	q8, q8, q11
	vadd.i64	q11, q8, q10
	vsub.i64	q0, q0, q3
	vshr.s64	q3, q11, #25
	vand		q11, q11, q4
	vadd.i64	q3, q6, q3
	vadd.i64	q6, q3, q7
	vsub.i64	q8, q8, q11
	vshr.s64	q11, q6, #26
	vand		q6, q6, q1
	vadd.i64	q9, q9, q11
	vadd.i64	d25, d19, d21
	vsub.i64	q3, q3, q6
	vshr.s64	d23, d25, #25
	vand		q4, q12, q4
	vadd.i64	d21, d23, d23
	vshl.i64	d25, d23, #4
	vadd.i64	d21, d21, d23
	vadd.i64	d25, d25, d21
	vadd.i64	d4, d4, d25
	vzip.i32	q0, q8
	vadd.i64	d12, d4, d14
	add		r6, r8, #8
	vst1.8		d0, [r6, : 64]
	vsub.i64	d19, d19, d9
	add		r6, r6, #16
	vst1.8		d16, [r6, : 64]
	vshr.s64	d22, d12, #26
	vand		q0, q6, q1
	vadd.i64	d10, d10, d22
	vzip.i32	q3, q9
	vsub.i64	d4, d4, d0
	sub		r6, r6, #8
	vst1.8		d6, [r6, : 64]
	add		r6, r6, #16
	vst1.8		d18, [r6, : 64]
	vzip.i32	q2, q5
	sub		r6, r6, #32
	vst1.8		d4, [r6, : 64]
	subs		r5, r5, #1
	bhi		.Lsquaringloop
.Lskipsquaringloop:
	mov		r2, r2
	add		r5, r3, #288
	add		r6, r3, #144
	vmov.i32	q0, #19
	vmov.i32	q1, #0
	vmov.i32	q2, #1
	vzip.i32	q1, q2
	vld1.8		{d4-d5}, [r5, : 128]!
	vld1.8		{d6-d7}, [r5, : 128]!
	vld1.8		{d9}, [r5, : 64]
	vld1.8		{d10-d11}, [r2, : 128]!
	add		r5, sp, #384
	vld1.8		{d12-d13}, [r2, : 128]!
	vmul.i32	q7, q2, q0
	vld1.8		{d8}, [r2, : 64]
	vext.32		d17, d11, d10, #1
	vmul.i32	q9, q3, q0
	vext.32		d16, d10, d8, #1
	vshl.u32	q10, q5, q1
	vext.32		d22, d14, d4, #1
	vext.32		d24, d18, d6, #1
	vshl.u32	q13, q6, q1
	vshl.u32	d28, d8, d2
	vrev64.i32	d22, d22
	vmul.i32	d1, d9, d1
	vrev64.i32	d24, d24
	vext.32		d29, d8, d13, #1
	vext.32		d0, d1, d9, #1
	vrev64.i32	d0, d0
	vext.32		d2, d9, d1, #1
	vext.32		d23, d15, d5, #1
	vmull.s32	q4, d20, d4
	vrev64.i32	d23, d23
	vmlal.s32	q4, d21, d1
	vrev64.i32	d2, d2
	vmlal.s32	q4, d26, d19
	vext.32		d3, d5, d15, #1
	vmlal.s32	q4, d27, d18
	vrev64.i32	d3, d3
	vmlal.s32	q4, d28, d15
	vext.32		d14, d12, d11, #1
	vmull.s32	q5, d16, d23
	vext.32		d15, d13, d12, #1
	vmlal.s32	q5, d17, d4
	vst1.8		d8, [r5, : 64]!
	vmlal.s32	q5, d14, d1
	vext.32		d12, d9, d8, #0
	vmlal.s32	q5, d15, d19
	vmov.i64	d13, #0
	vmlal.s32	q5, d29, d18
	vext.32		d25, d19, d7, #1
	vmlal.s32	q6, d20, d5
	vrev64.i32	d25, d25
	vmlal.s32	q6, d21, d4
	vst1.8		d11, [r5, : 64]!
	vmlal.s32	q6, d26, d1
	vext.32		d9, d10, d10, #0
	vmlal.s32	q6, d27, d19
	vmov.i64	d8, #0
	vmlal.s32	q6, d28, d18
	vmlal.s32	q4, d16, d24
	vmlal.s32	q4, d17, d5
	vmlal.s32	q4, d14, d4
	vst1.8		d12, [r5, : 64]!
	vmlal.s32	q4, d15, d1
	vext.32		d10, d13, d12, #0
	vmlal.s32	q4, d29, d19
	vmov.i64	d11, #0
	vmlal.s32	q5, d20, d6
	vmlal.s32	q5, d21, d5
	vmlal.s32	q5, d26, d4
	vext.32		d13, d8, d8, #0
	vmlal.s32	q5, d27, d1
	vmov.i64	d12, #0
	vmlal.s32	q5, d28, d19
	vst1.8		d9, [r5, : 64]!
	vmlal.s32	q6, d16, d25
	vmlal.s32	q6, d17, d6
	vst1.8		d10, [r5, : 64]
	vmlal.s32	q6, d14, d5
	vext.32		d8, d11, d10, #0
	vmlal.s32	q6, d15, d4
	vmov.i64	d9, #0
	vmlal.s32	q6, d29, d1
	vmlal.s32	q4, d20, d7
	vmlal.s32	q4, d21, d6
	vmlal.s32	q4, d26, d5
	vext.32		d11, d12, d12, #0
	vmlal.s32	q4, d27, d4
	vmov.i64	d10, #0
	vmlal.s32	q4, d28, d1
	vmlal.s32	q5, d16, d0
	sub		r2, r5, #32
	vmlal.s32	q5, d17, d7
	vmlal.s32	q5, d14, d6
	vext.32		d30, d9, d8, #0
	vmlal.s32	q5, d15, d5
	vld1.8		{d31}, [r2, : 64]!
	vmlal.s32	q5, d29, d4
	vmlal.s32	q15, d20, d0
	vext.32		d0, d6, d18, #1
	vmlal.s32	q15, d21, d25
	vrev64.i32	d0, d0
	vmlal.s32	q15, d26, d24
	vext.32		d1, d7, d19, #1
	vext.32		d7, d10, d10, #0
	vmlal.s32	q15, d27, d23
	vrev64.i32	d1, d1
	vld1.8		{d6}, [r2, : 64]
	vmlal.s32	q15, d28, d22
	vmlal.s32	q3, d16, d4
	add		r2, r2, #24
	vmlal.s32	q3, d17, d2
	vext.32		d4, d31, d30, #0
	vmov		d17, d11
	vmlal.s32	q3, d14, d1
	vext.32		d11, d13, d13, #0
	vext.32		d13, d30, d30, #0
	vmlal.s32	q3, d15, d0
	vext.32		d1, d8, d8, #0
	vmlal.s32	q3, d29, d3
	vld1.8		{d5}, [r2, : 64]
	sub		r2, r2, #16
	vext.32		d10, d6, d6, #0
	vmov.i32	q1, #0xffffffff
	vshl.i64	q4, q1, #25
	add		r5, sp, #480
	vld1.8		{d14-d15}, [r5, : 128]
	vadd.i64	q9, q2, q7
	vshl.i64	q1, q1, #26
	vshr.s64	q10, q9, #26
	vld1.8		{d0}, [r2, : 64]!
	vadd.i64	q5, q5, q10
	vand		q9, q9, q1
	vld1.8		{d16}, [r2, : 64]!
	add		r2, sp, #496
	vld1.8		{d20-d21}, [r2, : 128]
	vadd.i64	q11, q5, q10
	vsub.i64	q2, q2, q9
	vshr.s64	q9, q11, #25
	vext.32		d12, d5, d4, #0
	vand		q11, q11, q4
	vadd.i64	q0, q0, q9
	vmov		d19, d7
	vadd.i64	q3, q0, q7
	vsub.i64	q5, q5, q11
	vshr.s64	q11, q3, #26
	vext.32		d18, d11, d10, #0
	vand		q3, q3, q1
	vadd.i64	q8, q8, q11
	vadd.i64	q11, q8, q10
	vsub.i64	q0, q0, q3
	vshr.s64	q3, q11, #25
	vand		q11, q11, q4
	vadd.i64	q3, q6, q3
	vadd.i64	q6, q3, q7
	vsub.i64	q8, q8, q11
	vshr.s64	q11, q6, #26
	vand		q6, q6, q1
	vadd.i64	q9, q9, q11
	vadd.i64	d25, d19, d21
	vsub.i64	q3, q3, q6
	vshr.s64	d23, d25, #25
	vand		q4, q12, q4
	vadd.i64	d21, d23, d23
	vshl.i64	d25, d23, #4
	vadd.i64	d21, d21, d23
	vadd.i64	d25, d25, d21
	vadd.i64	d4, d4, d25
	vzip.i32	q0, q8
	vadd.i64	d12, d4, d14
	add		r2, r6, #8
	vst1.8		d0, [r2, : 64]
	vsub.i64	d19, d19, d9
	add		r2, r2, #16
	vst1.8		d16, [r2, : 64]
	vshr.s64	d22, d12, #26
	vand		q0, q6, q1
	vadd.i64	d10, d10, d22
	vzip.i32	q3, q9
	vsub.i64	d4, d4, d0
	sub		r2, r2, #8
	vst1.8		d6, [r2, : 64]
	add		r2, r2, #16
	vst1.8		d18, [r2, : 64]
	vzip.i32	q2, q5
	sub		r2, r2, #32
	vst1.8		d4, [r2, : 64]
	cmp		r4, #0
	beq		.Lskippostcopy
	add		r2, r3, #144
	mov		r4, r4
	vld1.8		{d0-d1}, [r2, : 128]!
	vld1.8		{d2-d3}, [r2, : 128]!
	vld1.8		{d4}, [r2, : 64]
	vst1.8		{d0-d1}, [r4, : 128]!
	vst1.8		{d2-d3}, [r4, : 128]!
	vst1.8		d4, [r4, : 64]
.Lskippostcopy:
	cmp		r1, #1
	bne		.Lskipfinalcopy
	add		r2, r3, #288
	add		r4, r3, #144
	vld1.8		{d0-d1}, [r2, : 128]!
	vld1.8		{d2-d3}, [r2, : 128]!
	vld1.8		{d4}, [r2, : 64]
	vst1.8		{d0-d1}, [r4, : 128]!
	vst1.8		{d2-d3}, [r4, : 128]!
	vst1.8		d4, [r4, : 64]
.Lskipfinalcopy:
	add		r1, r1, #1
	cmp		r1, #12
	blo		.Linvertloop
	add		r1, r3, #144
	ldr		r2, [r1], #4
	ldr		r3, [r1], #4
	ldr		r4, [r1], #4
	ldr		r5, [r1], #4
	ldr		r6, [r1], #4
	ldr		r7, [r1], #4
	ldr		r8, [r1], #4
	ldr		r9, [r1], #4
	ldr		r10, [r1], #4
	ldr		r1, [r1]
	add		r11, r1, r1, LSL #4
	add		r11, r11, r1, LSL #1
	add		r11, r11, #16777216
	mov		r11, r11, ASR #25
	add		r11, r11, r2
	mov		r11, r11, ASR #26
	add		r11, r11, r3
	mov		r11, r11, ASR #25
	add		r11, r11, r4
	mov		r11, r11, ASR #26
	add		r11, r11, r5
	mov		r11, r11, ASR #25
	add		r11, r11, r6
	mov		r11, r11, ASR #26
	add		r11, r11, r7
	mov		r11, r11, ASR #25
	add		r11, r11, r8
	mov		r11, r11, ASR #26
	add		r11, r11, r9
	mov		r11, r11, ASR #25
	add		r11, r11, r10
	mov		r11, r11, ASR #26
	add		r11, r11, r1
	mov		r11, r11, ASR #25
	add		r2, r2, r11
	add		r2, r2, r11, LSL #1
	add		r2, r2, r11, LSL #4
	mov		r11, r2, ASR #26
	add		r3, r3, r11
	sub		r2, r2, r11, LSL #26
	mov		r11, r3, ASR #25
	add		r4, r4, r11
	sub		r3, r3, r11, LSL #25
	mov		r11, r4, ASR #26
	add		r5, r5, r11
	sub		r4, r4, r11, LSL #26
	mov		r11, r5, ASR #25
	add		r6, r6, r11
	sub		r5, r5, r11, LSL #25
	mov		r11, r6, ASR #26
	add		r7, r7, r11
	sub		r6, r6, r11, LSL #26
	mov		r11, r7, ASR #25
	add		r8, r8, r11
	sub		r7, r7, r11, LSL #25
	mov		r11, r8, ASR #26
	add		r9, r9, r11
	sub		r8, r8, r11, LSL #26
	mov		r11, r9, ASR #25
	add		r10, r10, r11
	sub		r9, r9, r11, LSL #25
	mov		r11, r10, ASR #26
	add		r1, r1, r11
	sub		r10, r10, r11, LSL #26
	mov		r11, r1, ASR #25
	sub		r1, r1, r11, LSL #25
	add		r2, r2, r3, LSL #26
	mov		r3, r3, LSR #6
	add		r3, r3, r4, LSL #19
	mov		r4, r4, LSR #13
	add		r4, r4, r5, LSL #13
	mov		r5, r5, LSR #19
	add		r5, r5, r6, LSL #6
	add		r6, r7, r8, LSL #25
	mov		r7, r8, LSR #7
	add		r7, r7, r9, LSL #19
	mov		r8, r9, LSR #13
	add		r8, r8, r10, LSL #12
	mov		r9, r10, LSR #20
	add		r1, r9, r1, LSL #6
	str		r2, [r0]
	str		r3, [r0, #4]
	str		r4, [r0, #8]
	str		r5, [r0, #12]
	str		r6, [r0, #16]
	str		r7, [r0, #20]
	str		r8, [r0, #24]
	str		r1, [r0, #28]
	movw		r0, #0
	mov		sp, ip
	pop		{r4-r11, pc}
ENDPROC(curve25519_neon)
#endif