teco / special_tokens_map.json
pengyunie's picture
Upload tokenizer
d8b90ce verified
{
"additional_special_tokens": [
" <C>",
" <M>",
" <decl>",
" <gF>",
" <gL>",
" <multi>",
" <pF>",
" <pL>",
" <ret>",
" <throw>",
" AALOAD",
" AASTORE",
" ACONST_NULL",
" ALOAD",
" ALOAD_0",
" ALOAD_1",
" ALOAD_2",
" ALOAD_3",
" ANEWARRAY",
" ARETURN",
" ARRAYLENGTH",
" ASTORE",
" ASTORE_0",
" ASTORE_1",
" ASTORE_2",
" ASTORE_3",
" ATHROW",
" BALOAD",
" BASTORE",
" BIPUSH",
" CALOAD",
" CASTORE",
" CHECKCAST",
" D2F",
" D2I",
" D2L",
" DADD",
" DALOAD",
" DASTORE",
" DCMPG",
" DCMPL",
" DCONST_0",
" DCONST_1",
" DDIV",
" DLOAD",
" DLOAD_0",
" DLOAD_1",
" DLOAD_2",
" DLOAD_3",
" DMUL",
" DNEG",
" DREM",
" DRETURN",
" DSTORE",
" DSTORE_0",
" DSTORE_1",
" DSTORE_2",
" DSTORE_3",
" DSUB",
" DUP",
" DUP2",
" DUP2_X1",
" DUP2_X2",
" DUP_X1",
" DUP_X2",
" F2D",
" F2I",
" F2L",
" FADD",
" FALOAD",
" FASTORE",
" FCMPG",
" FCMPL",
" FCONST_0",
" FCONST_1",
" FCONST_2",
" FDIV",
" FLOAD",
" FLOAD_0",
" FLOAD_1",
" FLOAD_2",
" FLOAD_3",
" FMUL",
" FNEG",
" FREM",
" FRETURN",
" FSTORE",
" FSTORE_0",
" FSTORE_1",
" FSTORE_2",
" FSTORE_3",
" FSUB",
" GETFIELD",
" GETSTATIC",
" GOTO",
" GOTO_W",
" I2B",
" I2C",
" I2D",
" I2F",
" I2L",
" I2S",
" IADD",
" IALOAD",
" IAND",
" IASTORE",
" ICONST_0",
" ICONST_1",
" ICONST_2",
" ICONST_3",
" ICONST_4",
" ICONST_5",
" ICONST_M1",
" IDIV",
" IFEQ",
" IFGE",
" IFGT",
" IFLE",
" IFLT",
" IFNE",
" IFNONNULL",
" IFNULL",
" IF_ACMPEQ",
" IF_ACMPNE",
" IF_ICMPEQ",
" IF_ICMPGE",
" IF_ICMPGT",
" IF_ICMPLE",
" IF_ICMPLT",
" IF_ICMPNE",
" IINC",
" ILOAD",
" ILOAD_0",
" ILOAD_1",
" ILOAD_2",
" ILOAD_3",
" IMUL",
" INEG",
" INSTANCEOF",
" INVOKEDYNAMIC",
" INVOKEINTERFACE",
" INVOKESPECIAL",
" INVOKESTATIC",
" INVOKEVIRTUAL",
" IOR",
" IREM",
" IRETURN",
" ISHL",
" ISHR",
" ISTORE",
" ISTORE_0",
" ISTORE_1",
" ISTORE_2",
" ISTORE_3",
" ISUB",
" IUSHR",
" IXOR",
" JSR",
" JSR_W",
" L2D",
" L2F",
" L2I",
" LADD",
" LALOAD",
" LAND",
" LASTORE",
" LCMP",
" LCONST_0",
" LCONST_1",
" LDC",
" LDC2_W",
" LDC_END",
" LDC_W",
" LDIV",
" LLOAD",
" LLOAD_0",
" LLOAD_1",
" LLOAD_2",
" LLOAD_3",
" LMUL",
" LNEG",
" LOOKUPSWITCH",
" LOR",
" LREM",
" LRETURN",
" LSHL",
" LSHR",
" LSTORE",
" LSTORE_0",
" LSTORE_1",
" LSTORE_2",
" LSTORE_3",
" LSUB",
" LUSHR",
" LXOR",
" MONITORENTER",
" MONITOREXIT",
" MULTIANEWARRAY",
" NEW",
" NEWARRAY",
" NOP",
" POP",
" POP2",
" PUTFIELD",
" PUTSTATIC",
" RET",
" RETURN",
" SALOAD",
" SASTORE",
" SIPUSH",
" SWAP",
" TABLESWITCH",
" WIDE",
"<extra_id_0>",
"<extra_id_10>",
"<extra_id_11>",
"<extra_id_12>",
"<extra_id_13>",
"<extra_id_14>",
"<extra_id_15>",
"<extra_id_16>",
"<extra_id_17>",
"<extra_id_18>",
"<extra_id_19>",
"<extra_id_1>",
"<extra_id_20>",
"<extra_id_21>",
"<extra_id_22>",
"<extra_id_23>",
"<extra_id_24>",
"<extra_id_25>",
"<extra_id_26>",
"<extra_id_27>",
"<extra_id_28>",
"<extra_id_29>",
"<extra_id_2>",
"<extra_id_30>",
"<extra_id_31>",
"<extra_id_32>",
"<extra_id_33>",
"<extra_id_34>",
"<extra_id_35>",
"<extra_id_36>",
"<extra_id_37>",
"<extra_id_38>",
"<extra_id_39>",
"<extra_id_3>",
"<extra_id_40>",
"<extra_id_41>",
"<extra_id_42>",
"<extra_id_43>",
"<extra_id_44>",
"<extra_id_45>",
"<extra_id_46>",
"<extra_id_47>",
"<extra_id_48>",
"<extra_id_49>",
"<extra_id_4>",
"<extra_id_50>",
"<extra_id_51>",
"<extra_id_52>",
"<extra_id_53>",
"<extra_id_54>",
"<extra_id_55>",
"<extra_id_56>",
"<extra_id_57>",
"<extra_id_58>",
"<extra_id_59>",
"<extra_id_5>",
"<extra_id_60>",
"<extra_id_61>",
"<extra_id_62>",
"<extra_id_63>",
"<extra_id_64>",
"<extra_id_65>",
"<extra_id_66>",
"<extra_id_67>",
"<extra_id_68>",
"<extra_id_69>",
"<extra_id_6>",
"<extra_id_70>",
"<extra_id_71>",
"<extra_id_72>",
"<extra_id_73>",
"<extra_id_74>",
"<extra_id_75>",
"<extra_id_76>",
"<extra_id_77>",
"<extra_id_78>",
"<extra_id_79>",
"<extra_id_7>",
"<extra_id_80>",
"<extra_id_81>",
"<extra_id_82>",
"<extra_id_83>",
"<extra_id_84>",
"<extra_id_85>",
"<extra_id_86>",
"<extra_id_87>",
"<extra_id_88>",
"<extra_id_89>",
"<extra_id_8>",
"<extra_id_90>",
"<extra_id_91>",
"<extra_id_92>",
"<extra_id_93>",
"<extra_id_94>",
"<extra_id_95>",
"<extra_id_96>",
"<extra_id_97>",
"<extra_id_98>",
"<extra_id_99>",
"<extra_id_9>"
],
"bos_token": "<s>",
"cls_token": "<cls>",
"eos_token": "</s>",
"mask_token": {
"content": "<mask>",
"lstrip": true,
"normalized": true,
"rstrip": false,
"single_word": false
},
"pad_token": "<pad>",
"sep_token": "<sep>",
"unk_token": "<|UNKNOWN|>"
}