Supported models

Backend

Model

QNN GenAITransformer

  • LLaMa-2-7B

  • LLaMa-2-13B

  • LLaMa-3-8B

  • LLaMa-3.1-8B

  • LLaMa-3.2-1B

  • LLaMa-3.2-3B

  • QWen-1-7B

  • BaiChuan-1-7B

  • GPT2-Small

  • GPT2-Medium

  • GPT2-Large

  • BGE-large

QNN HTP

  • LLaMa-2-7B

  • BGE-large

QNN GPU

  • LLaMa-2-7B