Phi-3-mini-4k-instruct-onnx (onnxruntime-genai) test on raspberry pi4b bullseye

  Рет қаралды 82

Альберт Иванов

Альберт Иванов

2 ай бұрын

1. cmake and g++ update needed.
remove them.
build cmake from source.
g++ : add deb ftp.de.debian.org/debian bookworm main to /etc/apt/sources.list (packages.debian.org/bookworm/...)
sudo apt update
sudo apt install g++
2. install genai - onnxruntime.ai/docs/genai/how...
./build.sh --skip_tests --config Release
download model:
huggingface.co/microsoft/Phi-...
test:
onnxruntime.ai/docs/genai/tut...

Пікірлер: 3
@jms6599
@jms6599 Ай бұрын
Thought that phi3mini onnx was actually not that bad…
@user-os1xg1rh4c
@user-os1xg1rh4c Ай бұрын
perhaps, compilation without optimisation. they wrote would think about it.
@jms6599
@jms6599 Ай бұрын
Is actually that shitty? Fuck
Linus Torvalds: Speaks on Hype and the Future of AI
9:02
SavvyNik
Рет қаралды 119 М.
Using Ollama to Run Local LLMs on the Raspberry Pi 5
9:30
Ian Wootten
Рет қаралды 55 М.
ВОДА В СОЛО
00:20
⚡️КАН АНДРЕЙ⚡️
Рет қаралды 33 МЛН
Fast and Furious: New Zealand 🚗
00:29
How Ridiculous
Рет қаралды 44 МЛН
Summer shower by Secret Vlog
00:17
Secret Vlog
Рет қаралды 13 МЛН
Phi3 with ONNX Runtime at the edge
11:11
ONNX Runtime
Рет қаралды 893
DocsGPT tests on windows10
8:15
Альберт Иванов
Рет қаралды 25
КАК НАЧАТЬ ПОНИМАТЬ LINUX (2024)
21:10
PLAFON - Канал о линуксе
Рет қаралды 120 М.
How to Run LLAMA 3 on your PC or Raspberry Pi 5
8:15
Gary Explains
Рет қаралды 12 М.
Налог на незнание JavaScript - [Hamster Kombat]
50:20
ВОДА В СОЛО
00:20
⚡️КАН АНДРЕЙ⚡️
Рет қаралды 33 МЛН