FocusLM Badania
Oparte na badaniach notatki o pamięci AI, oknach kontekstowych i budowaniu AI, która naprawdę zna twój świat.
Szyfrowanie pamięci AI: dlaczego klucz na projekt bije klucz na bazę danych
AI, które pamięta Twoje życie, przechowuje materiał, którego nie oddałbyś obcemu. Szyfrujemy każdy plik pamięci i każdą wiadomość czatu kluczem należącym tylko do tego projektu, a badania wyjaśniają, dlaczego oczywiste alternatywy przeciekają.
CzytajWięcej kontekstu nie zawsze znaczy lepiej: co dzieje się powyżej 64k tokenów
Obszerne badanie na ponad 20 modelach wykazało, że upychanie do promptu coraz większej ilości pobranego tekstu często przestaje pomagać — a w wielu modelach zaczyna szkodzić — na długo przed zapełnieniem okna. Większe to nie to samo co lepsze.
CzytajCo, gdyby LLM zarządzał pamięcią jak system operacyjny?
Okno kontekstu jest małe i stałe. MemGPT zapożycza czterdziestoletni pomysł z systemów operacyjnych — hierarchię pamięci ze stronicowaniem — aby pozwolić modelowi pracować ze znacznie większą ilością informacji, niż mieści się w oknie.
CzytajRAG kontra długi kontekst: którego naprawdę powinieneś używać?
Gdy model potrafi przeczytać milion tokenów, czy wyszukiwanie staje się zbędne? Badanie Google DeepMind mówi, że nie — długi kontekst wygrywa jakością, gdy możesz sobie na niego pozwolić, wyszukiwanie wygrywa kosztem, a prosty router zapewnia większość zalet obu podejść.
CzytajZagubione w środku: dlaczego długie okna kontekstu po cichu zawodzą
Modele LLM znacznie lepiej wykorzystują początek i koniec długiego kontekstu niż jego środek — to efekt w kształcie litery U, który utrzymuje się nawet w modelach zbudowanych z myślą o długim kontekście. Oto co pokazują badania i co z tego wynika.
Czytaj