Hermit Survival AI

Hermit risponde a domande pratiche senza connessione a internet, con un modello linguistico che gira interamente sul dispositivo. Le risposte si basano su manuali tecnici e di sopravvivenza, e il progetto è pensato per essere utile anche dove non c'è campo.

• Pipeline RAG, che recupera i passaggi pertinenti dai manuali prima di rispondere, ottimizzata per l'hardware locale
• Base di conoscenza costruita sugli archivi offline di Kiwix
• Versione funzionante su Fedora Linux
• In programma: la versione Android, su LineageOS con Termux

Modelli GGUF quantizzati eseguiti con llama.cpp, Python per l'estrazione del contesto dagli archivi ZIM di Kiwix.

Ricerca e generazione avvengono entrambe sul dispositivo: gli archivi ZIM di Kiwix fanno da base di conoscenza e un modello GGUF quantizzato su llama.cpp scrive la risposta, senza nessuna chiamata di rete.