Pamięć AI, wyjaśniona
Czym jest pamięć AI — i dlaczego większe okno kontekstu nie wystarcza
„Pamięć AI” to zdolność asystenta do utrzymania w czasie tego, co dla ciebie ważne — twoich dokumentów, decyzji i historii — i do przywrócenia właściwego fragmentu, kiedy pytasz. Naiwna wersja polega na wklejeniu wszystkiego w jeden bardzo długi prompt. Badania mówią, że to zawodzi po cichu. Oto lepszy model.
Okno kontekstu to nie pamięć
Okno kontekstu modelu to jego krótkotrwała przestrzeń robocza. Jest ograniczone, a gdy coś z niego wypadnie, model zachowuje się tak, jakby tego nigdy nie było. Powiększanie okna trochę pomaga, ale nie zamienia krótkiego kontekstu w trwałą pamięć — i przynosi własne problemy.
- Modele słabiej czytają środek długiego kontekstu, więc to, co tam zakopane, często umyka.
- Dokładanie tekstu przestaje pomagać — a w wielu modelach zaczyna szkodzić — na długo przed zapełnieniem okna.
- Długi kontekst jest drogi: przy każdym zapytaniu płacisz za ponowne przetworzenie wszystkiego.
Prawdziwa pamięć jest uporządkowana i zarządzana
Alternatywa, zapożyczona z dekad projektowania systemów, to hierarchia pamięci: mały zestaw roboczy w oknie, duży i uporządkowany magazyn poza nim, a właściwe fragmenty wydobywane na żądanie. Wartość nie leży w tym, ile upchniesz w jednym promptcie, tylko w tym, jak dobrze wybrany zostanie właściwy wycinek. To struktura, a nie objętość, sprawia, że pamięć działa.
Właśnie to buduje FocusLM: agent przeprowadza z tobą wywiad, żeby zrozumieć sprawę, projektuje ontologię folderów, pisze własne zasady archiwizacji i układa wszystko, co mu podasz, w uporządkowaną pamięć z markdownu, który możesz przejrzeć i wyeksportować. Kiedy pytasz, wydobywa istotne fragmenty wraz ze źródłem — niezależnie od tego, skąd pierwotnie pochodzą.
Badania, po ludzku
Krótkie, oparte na źródłach wyjaśnienia prac, które za tym stoją — każde z własnym diagramem.
Szyfrowanie pamięci AI: dlaczego klucz na projekt bije klucz na bazę danych
AI, które pamięta Twoje życie, przechowuje materiał, którego nie oddałbyś obcemu. Szyfrujemy każdy plik pamięci i każdą wiadomość czatu kluczem należącym tylko do tego projektu, a badania wyjaśniają, dlaczego oczywiste alternatywy przeciekają.
Więcej kontekstu nie zawsze znaczy lepiej: co dzieje się powyżej 64k tokenów
Obszerne badanie na ponad 20 modelach wykazało, że upychanie do promptu coraz większej ilości pobranego tekstu często przestaje pomagać — a w wielu modelach zaczyna szkodzić — na długo przed zapełnieniem okna. Większe to nie to samo co lepsze.
Co, gdyby LLM zarządzał pamięcią jak system operacyjny?
Okno kontekstu jest małe i stałe. MemGPT zapożycza czterdziestoletni pomysł z systemów operacyjnych — hierarchię pamięci ze stronicowaniem — aby pozwolić modelowi pracować ze znacznie większą ilością informacji, niż mieści się w oknie.
RAG kontra długi kontekst: którego naprawdę powinieneś używać?
Gdy model potrafi przeczytać milion tokenów, czy wyszukiwanie staje się zbędne? Badanie Google DeepMind mówi, że nie — długi kontekst wygrywa jakością, gdy możesz sobie na niego pozwolić, wyszukiwanie wygrywa kosztem, a prosty router zapewnia większość zalet obu podejść.
Zagubione w środku: dlaczego długie okna kontekstu po cichu zawodzą
Modele LLM znacznie lepiej wykorzystują początek i koniec długiego kontekstu niż jego środek — to efekt w kształcie litery U, który utrzymuje się nawet w modelach zbudowanych z myślą o długim kontekście. Oto co pokazują badania i co z tego wynika.