geht da nicht einfach Freigabe Link kopieren und in Outlook einfügen? So mach ich das mit OneDrive

Ich verwende Ollama seit ein paar Monaten für ein paar versuche… hauptsächlich das Ollama auf einem MBP M3 16GB läuft und (weil remote Fähigkeiten gefordert waren) python das auf die API zugreift oder OpenWebUI über einen Docker Container auf einer ProxMox Maschine. Hatte auch einen MM M1 8GB benutzt ist aber etwas langsamer als der M3. Man ist leider auf die kleineren Modelle beschränkt… LLaMA3 7B läuft selbst noch auf dem M1 brauchbar. Kann mir aber vorstellen das bei Gemma2 9B schon Schluss ist. Auf 16 GB läuft das zwar gut aber bei 8192 Context ist mir das system schon mal abgeschmiert in einer Form die ich vorher auf dem Mac nicht gesehen habe… und ich verwende Mac's seit 19 oder 20 Jahren. Ich überlege mir einen Studio mit 96 GB zu kaufen oder abonnieren… Damit ich auch grössere Modelle verwenden kann.

Moin, ich habe 2 Proxmox Hosts in meinem Homelab und möchte beide in einer Management-Seite haben sodass ich beide aus einem Browser-Tab managen kann. HA benötige ich nicht. Mein zweiter Host läuft nur ab und zu. Der andere läuft 24/7. HA Funktionalitäten benötige ich nicht. Kann ich das irgendwie so aufbauen, dass der Haupt-Host normal arbeitet auch wenn der zweite nicht erreichbar ist?

...das bedeutet der Server muss permanent ins Internet raus dürfen? o_O

Mac Mini M2 und Anything LLM als UI. Da ist sind auch Web-Scraper, Agents und RAG mit drin. Macht das alles so viel nützlicher! Danke für den Hinweis mit dem Mac!

Wäre mal interessant den MacMini mit M2Pro mit in den Vergleich zu nehmen.

Vielen Dank für das tolle Video. Vielleicht gibts ja auch eine Lösung, wie alles wieder automatisch hochfährt, wenn Netz wieder da?

In diesem Video wird ein großer Nachteil dieses Setups nicht erwähnt. Die RTX 3090 hat nur 24 GB RAM. Damit lassen sich nur die kleinsten Versionen der LLMs betreiben und diese sind stark eingeschränkt, also kein Vergleich mit einem ChatGPT. Außerdem hat die Karte auch nicht genügend RAM, um mehrere der kleineren Modelle gleichzeitig zu laden. Das bedeutet, wenn der eine Benutzer mit Modell X unter der andere Benutzer gleichzeitig mit Modell Y arbeiten will, dann geht das schon nicht mehr.

Kann ich den Mac noch normal verwenden oder ist er dann nur noch KI-Server?

Moin und danke erst einmal für das aufschlussreiche Video! :) In Kombination mit Nginx hat sich bei mir nur ein Problem ergeben: Ich lasse auf meinem NAS beispielsweise Homebridge und OpenSpeedTest laufen welche natürlich die gleiche IP aber einen anderen Port nutzen. Nun schickt mich Nginx aber immer auf die :5000 vom NAS. Was mache ich hier falsch? Hast du eine spontane Idee? :) Danke vorab und hab nachher ein schönes Wochenende!

Es ist super schade dass es von Apple selbst kein ServerOS mehr gibt. Ich frage mich wie die dass selbst in Ihren Rechencenter genau machen.

mein reserve proxi leitet immer egal welche domain zum port 2000, obwohl port 1811 2099 oder sonst was eingegeben wird. z.b. so sollte es aus sehen wenn port 1811 hinterlegt ist: uptime.lan:1811/?origin=host&app=uptime-kuma&path=%2F aber es kommt immer: uptime.lan:2000/?origin=host&app=uptime-kuma&path=%2F

Hallo Vielen Dank erst einmal für das Video Ich habe leider kein Export. Was mache ich falsch? Ich kann die CALDAV Adresse auch nicht in die Zwischenablage kopieren. Danke Euch

Besteht die Möglichkeit das man auch Webseiten einbindet sodass er wissen aus einer Webseite ziehen kann? Bzw. Anfragen speziell zu einer Webseite

Wieder ein Interessanter Beitrag . Bedeutet lokal das dieser ki Server nach der Installation nicht mehr auf das Internet „zugreifen“ muss? Warum muss man zur Anmeldung auf seinem privaten Server seine Mail angeben? Das wäre schon interessant wenn man zb. Anschreiben erzeugt wo personenbezogene Daten angegeben werden. Danke und Grüße

Irgendwie verstehe ich nicht, warum Tesla zehntausende Graphikkarten zu je 40000€ für KI benötigt, obwohl so eine Neural Engine im 700€ Mac mini ja auch schon brauchbar sein soll. Wenn mir das mal jemand erklären könnte...

Bitte mehr Videos zum Mac mini als Server klingt zumindest sehr interessant in Sachen Stromverbrauch

Was wäre LLama auf nen Raspberry pi?👀😂

Kommt noch irgendwann Part4? Der Part 3 ist schon 5 Monate her 😕

Die Frage löst hier vielleicht Gelächter aus aber wie fahre ich den Sever runter und wieder rauf wenn die Einrichtung erledigt, Mouse und Tastatur abgenommen habe und den Sever an seinen richtigen Platz stellen will?

Hallo zusammen, Danke für die gute Beschreibung. Vielleicht passte es hier ganz gut hin, daher mal eine mögliche Alternative: ich führe schon seit Jahren mein persönliches Telefonbuch über die Fritzbox. (mittlerweile die dritte) Dementsprechend groß ist das Telefonbuch, so das es so gut wie keine unbekannten Rufnummern gibt. Seit einiger Zeit erlaubt die Rufbehandlung der Fritzbox es, alle Anrufe die NICHT in meinem Telefonbuch stehen abzuweisen, oder wie ich es gemacht habe SOFORT zum Anrufbeantworter umzuleiten. Also nicht wie hier beschrieben eine "Blacklist" sondern umgekehrt eine "Wight List" mit meinem Telefonbuch. Das klappt natürlich nur wenn ein persönliches Telefonbuch geführt wurde . Ich benötige keinerlei (fremde) Updates, und die sich nicht im Telefonbuch befinden, können ggf.eine Nachricht hinterlassen. LG Holger

Hm, mich würde interessieren was du über folgendes Szenario denkst und ob ein MacMini dafür ausreicht. Ich arbeite gerade an einem Projekt für meine Behörde, wo es darum geht sichergestellte E-Mails, Nachrichten usw., mit Hilfe von KI nach verdächtigen Inhalten zu durchsuchen/analysieren. Bei mehreren 100.000en ist das manuell nicht mehr zu bewerkstelligen. Ich weiß, in der Cloud würde das kein Problem sein, allerdings ist es so das die Daten unser Haus nicht verlassen dürfen. Für einen performante Serverlandschaft fehlt hier leider auch das Budget. Was denkst du? Umsetzbar mit nem kleinen Mac?

Ich würd dafür keine 8GB Mac Mini nehmen. die LLM´s sind sehr RAM abhängig/Lastig. Standard LLM´s brauchen mal so rund 4-6GB im RAM, größere auch mal bis über 20GB. Deswegen sind auch manche kleinere Iphone/ipad Modelle nichtfür die lokale KI vorgesehen. die CPU/NPU würde reichen, aber sie haben zu wenig ram. Ich würd zumindest 16GB nehmen.

Und wie ist die Qualität der Anwworten, die hängt ja auch sehr von der Leistung ab

Der MacMini als M4 Pro wird meine Offline Lösung für die KI Geschichten 😍😍

Danke für das spannende Video. Kannst du die Leistung von OLLAMA einordnen im Vergleich zu Bildungsversion von Copilot (gratis für Studenten) und im Vergleich zu Copilot als Bezahlversion (privat). Wie siet es mit Copilot versionen aus? PS: Dein Voice-Sound bei Screenrecording ist top!

Sehr interessantes Video. Ich stand Ende letzten Jahres auch vor der Suche für einen lokalen AI Rechner, habe mich dann aber für ein Custom build PC mit ordentlicher Grafikkarte entschieden. Die NVIDIA Unterstützung ist bei den meisten Lösungen hier wirklich ideal. Habe auch gleich mal den "ApfelCast Benchmark" gemacht ;) MacBook M1: 58s (10.75 tokens/s) Windows mit RTX4070: 17s (54.73 tokens/s) Zeigt mir auf jeden Fall, dass es die richtige Entscheidung war, auch wenn ich lieber einen Mac genommen hätte. Der PC ist schneller als der MacMini und hat den Vorteil das viel viel größere Modelle geladen werden können. Das gleiche kann man scheinbar auch mit einem MacStudio erreichen, aber dann leider für den 3-4 fachen Preis. Das war es mit nicht wert.

Hallo Daniel, ich finde die Lösung sehr gut und würde es ebenfalls mal ausprobieren. Ich habe bereits einen Proxmox-Server (headless) laufen und würde gerne ein Linux „remote“ benutzen wollen. Da ich sehe, dass Du ebenfalls einen Mac benutzt, wäre meine Frage, ob es dafür ebenfalls eine Lösung gibt? Mir würde es viel besser gefallen, wenn ich meinen Mac dazu benutzen könnte. Ist dies überhaupt in vergleichbarer Weise möglich? Vielleicht hast Du schon ein solches Video erstellt, gefunden habe ich jedenfall auf YT nichts entsprechendes. VG

Hat irgendwer einen Mac Studio mit M2 Ultra? Mich würden da mal die Werte interessieren.

Ich habe den alten Macbook air M1 Laptop meiner Frau, bei dem das Display kaputt gegangen ist, für den gleichen Zweck im Wohnzimmer gestellt headless. Wenn ich doch Display brauche, wird er mit dem Fernseher verbunden durch eine Dockingstation. Ollama läuft und ist erreichbar im Heimnetzwerk. Allerdings sind die 8GB Arbeitsspeicher für KI Modelle gerade das unterste Limit. Hier laufen nur die kleinsten Modelle. Energieverbrauch ist sensationell bei den M Modellen. Ich bin jedoch kein Fan vom MacOS

Viel einfacher geht’s mit RAGNA Desktop. Das ist eine all in one App. Nix mit Terminal,oder so. Kann alles was ollama kann und kommt direkt mit einem UI und auch nem Server bzw api endpoint der dann im eigenen Netzwerk geteilt werden kann

kannst du mal ein Vergleich zu googles tpu machen?

Hallo Daniel, zunächst einmal - vielen Dank für das hoch kompetente Video. Ich habe eine Frage, die du hoffentlich beantworten kannst. Ich bin WERNER und hier ist sie: Bei 5:07 sprichst du über mehrere Monitore. Genau darum geht's. Ich möchte zu Hause das ankommende Signal über meine zwei Monitore strecken. Wie geht das oder geht das überhaupt? Bisher habe ich nur sehen können, dass ich oben zwischen Monitor 1 und 2 hin und herschalten kann. Wenn du mir helfen kannst, wäre ich dir sehr dankbar. Vielen Dank im Voraus, WERNER

Was meinst Du, wird das auch so gut mit einem Mac Mini mit M1 Chip funktionieren?

Das ist Super. Habe mir letztes Jahr für einen Test einen gekauft und seitdem hat er ein trauriges Dasein. Das wäre seine Rettung.

Ich würde mich sehr über mehr Content über den Mac Mini als Homeserver freuen. Genau so wie dieses Video finde ich es immer wieder schön wie du das zeigst und erklärst ohne jegliche Werbung. Wie immer sehr interessant und sehr gut gemacht!

Super! Interessant wäre aber auch, da preisgünstiger, eine Lösung von AMD, denn deren "U" CPUs bieten auch KI-Beschleunigung der 2. Generation, die laut Benchmarks die von Apple übertreffen soll (Die Ryzen 88xx Modelle)

Erst mal danke für das Video. :) Hab es mal auf meinem MacBook Air getestet, leider ist da die Performance so schlecht, dass man damit nicht arbeiten kann. Teilweise hängt dann auch der gesamte Rechner, so dass man nicht mal mehr parallel arbeiten kann um auf die Antwort zu warten. Aber das video geht ja auch darum, dass ein extra Rechner der nur das Machen soll bereit steht. :)

Danke für das Video! Wie viel RAM hat denn dein Mac mini? Ich dachte Lama 3 braucht mindestens 16 GB. Von daher wird es mit den 700 € Mac mini knapp, oder? Und warum muss man sich einen Account machen, wenn das ganze lokal läuft? Oder ist das ein lokaler Account?

Die Frage ist auch, was erst mit einem M4 geht. Bzw. den kommenden M5 usw., die noch deutlich performantere Neural Engines haben werden. Was natürlich ein echtes Killerargument ist, sind die max. 50W. Vermutlich wird es nicht mehr lange dauern, bis es Komplettsysteme auf ARM-Basis geben wird, die man sich zu Hause out of the box hinstellen wird können. Von Apple, HP, Amazon etc. etc. Bad News for Intel.

Mir haben hier noch Informationen zum Arbeitsspeicher gefehlt. Wie viel RAM sollte mein Mac Mini dafür haben? Ab wann bekomme ich Limitierungsprobleme bei meiner lokalen KI bei zu wenig RAM?

Auch wenn es KZfaqr gibt, die immer gern gegen dich schießen, ich finde deine Videos Inhaltlich gut. Danke dafür!

Danke für deinen guten Content

oha muss ich gleich testen

Ein EV Zertifikat ist das aber nicht.

Homelab 👍

Wenn mein Multimedia-Panel ein Plexiglas hat und an einer ungünstigen Stelle positioniert ist, macht es sinn, den UniFi Express durch einen Cloud Gateway Ultra zu eretzen un dann an entsprechender Stelle mit einem AP ein W-LAN zu erzeugen.

Na ja so richtig pralle ist anders. Hat zwar einige Funktionen jedoch ein einfaches bearbeiten (Editor Funktion) habe ich nicht gefunden. Viellleicht bin ich ja auch nur blind.

Kannst du Mal zeigen wie man einen ipsec Site to Site zwischen zwei Gateways macht? An sich ja einfach aber ich hab das Problem dass ich nur ipv6 habe und normaler vpn kein Problem, aber ipsec braucht ESP und das bekomme ich nicht mit einer Vps weitergeleitet

Hallo, ich habs bei Homeassistant hinzu gefügt, doch beim starten meiner Powerwalker 2200 lädt er und stoppt dann alles, im Protokoll nachzulesen. Er meint dann: [00:39:25] INFO: Starting the UPS drivers... Network UPS Tools - Generic HID driver 0.47 (2.8.0) USB communication driver (libusb 1.0) 0.43 libusb1: Could not open any HID devices: insufficient permissions on everything No matching HID UPS found Driver failed to start (exit status=1) Network UPS Tools - UPS driver controller 2.8.0 cont-init: info: /etc/cont-init.d/nut.sh exited 1 cont-init: info: running /etc/cont-init.d/nutclient.sh cont-init: info: /etc/cont-init.d/nutclient.sh exited 0 cont-init: warning: some scripts exited nonzero s6-rc: warning: unable to start service legacy-cont-init: command exited 1 /run/s6/basedir/scripts/rc.init: warning: s6-rc failed to properly bring all the services up! Check your logs (in /run/uncaught-logs/current if you have in-container logging) for more information. /run/s6/basedir/scripts/rc.init: fatal: stopping the container. s6-rc: info: service fix-attrs: stopping Jemand eine Idee?