TechY

깃헙 링크 : https://github.com/mannaandpoem/OpenManus?tab=readme-ov-file참고하면 좋을 이전 포스팅 : https://techy8855.tistory.com/68 manus ai 가 나왔지만, 아직은 초대된 자들만 사용할 수 있다. 비슷한 인터페이스로 OpenManus 가 나왔고, 엄청난 스타수와 함께 비상하고 있다. 한번 써봤는데, manus ai보다는 별로지만 썩 나쁘지는 않다. 한번 어떻게 만들었나 보자. 참고로 현재 single agent 버전이 main.py 에 있고, multi-agent 버전이 unstable 로 run_flow.py 에 있다. 이번 포스팅에서는 single agent 구현에 대해서만 훑어본다. 요약을 하자면, "ReAct 구조..

요새 deep research 기능이 다양한 챗봇들에서 보이는데, 이걸 돌리고 trajectory 를 가만히 읽어보면 아래와 같은 구조를 갖고 있는 것 같다는 생각이 들었다.생각 -> 서치 -> 관측 -> 생각 -> 서치 -> 관측 -> ...더보기이건 아래와 같이 추상화가 될 수 있겠다는 생각이 들었다.생각(관측_t) -> 서치, 관측_0 = user question, 서치 = action생각이라는 고정된 함수가 주어진 관측값을 갖고 어떤 액션을 취하는 것이다.강화 학습 scheme 으로 치환하면 생각은 policy, 관측은 state, 서치는 action이다. $\rightarrow \pi(a|s) = Pr(A_t=a|S_t=s)$ 이러한 공상을 하다가, 이러한 구조로 llm agent 를 만들었던 ..

이전 ChatGPT 포스팅에서 가장 인상깊게 들은 부분이 "Model needs token to think" 이었는데, 최근 deepseek r1 paper가 나와 읽다가 해당 부분에 대해 잘 설명하는 재밌는 부분이 있어 짧게 메모하려 한다. Deepseek R1 은 강화학습을 통해, 질문과 정답을 받고 정답을 잘 맞추기 위한 중간 response 를 생성해나가는 구조이다. 더 잘 정답을 맞추기 위해서 모델은 output sequence 를 스스로 만들어나간다. 아래는 논문에서 보여준 figure이다.   x축은 강화학습을 진행한 횟수로, 학습을 얼마나 많이 시켰는지에 대한 것이고, y축은 모델이 정답을 맞춘 비율로 정확도 즉, 성능이라고 보면 된다. 많이 학습을 시킬 수록 모델의 성능이 올라간다는 일반..

이전 ChatGPT 포스팅에서 LLM psychology 부분에서 vague recollection과 working memory 에 대해서 이야기했다.이는 LLM memory 에 대한 것이며, LLM memory 에 영향을 주는 요소는 복합적이겠지만, value recollection vs working memory 의 관점에서 이야기한 것이다. 이 둘에 대한 간략한 설명은 아래와 같다.  1. Working Memory:지식이 잠시 머무는 공간attention mechanism을 통해 입력 간의 관계를 파악 2. Vague Recollection:parameter 에 분산되어 저장되어 있는 지식working memory가 이 저장된 지식을 활성화시켜, 적절한 출력을 생성하는 역할을 합니다.knowl..

강의를 들으면서 실시간으로 들으면서 쓰는 메모.섹션은 유튜브에 맞춰져 있습니다. (앞에 몇 개 섹션은 듣기만 했습니다) 다 쓰고 나서..들으면서 생각나는데로 쓴거라 해당 글만 가지고는 충분히 도움이 안될 수도 있을 것 같다. 영상을 들으면서 참고용으로만 보시길..Inference : generating new data from model주어진 초기값 이후에 draw 되는 많은 토큰들의 확률 분포, 그 중에 하나가 뽑힘, (one token at time)gpt2modern stack 이 처음 나온 형태지금 모델들은 이게 커진 것1.6 billion parameters지금은 trillion or serveral hundreds of billionsmax context length is 1,024 token..

Annotated랑 Field 둘 다 메타데이터를 추가할 수 있음.근데 목적과 사용처가 다름. 핵심만 보고 넘어가자.1. Annotated: 타입에 메타데이터 추가 • 소속: typing.Annotated • 목적: 타입 힌팅에 메타데이터 추가 • 사용처: 함수, 변수, 클래스 등 범용적 • 검증: 없음 (외부 라이브러리가 해석해야 함) • 주로 FastAPI나 커스텀 검증 로직에서 메타데이터를 읽어 씀. from typing import Annotateddef process_data(value: Annotated[int, "양수만 허용"]) -> None: print(value)2. Field: Pydantic 필드 전용 • 소속: pydantic.Field • 목적: 유효성 검사 + 메타데이터 ..

kocw 강의 : 이화여자대학교 반효경 교수님의 운영 체제 강의,14강 process syncrhonization Bounded-Buffer Problem (producer-consumer problem)syncrhonization issuemultiple producer가 buffer의 특정 위치에 동시에 데이터를 집어넣으면? -> lock 이 필요해 보임multiple consumer가 같은 데이터를 꺼내려고 한다면? -> lock 이 필요해 보임-> mutual exclustion -> need binary semaphorefinite buffer issuebuffer가 다 찼는데, producer가 계속 데이터를 밀어넣으면? -> consumer가 꺼내가서 buffer가 빌 때까지 기다려야 함co..

1. 함수 (Function)주요 목적: 값을 계산하고 반환특징:반드시 값을 반환해야 함SELECT 문 안에서 사용 가능데이터 수정 불가 (읽기만 가능)사용 시기 : 계산이 필요할 때SELECT 문에서 값을 변환할 때예: 환율 계산, 나이 계산-- 나이 계산 함수 예시CREATE FUNCTION fn_calculate_age(@birthDate DATE)RETURNS intASBEGIN RETURN DATEDIFF(YEAR, @birthDate, GETDATE())END-- 사용 예시SELECT dbo.fn_calculate_age('1990-01-01') as 나이2. 저장 프로시저 (Stored Procedure)주요 목적: 여러 작업을 수행하는 프로그램특징:값 반환이 선택적EXECUTE 또는 ..