chatgpt와 claude를 코딩할 때 좀 써봤는데 치명적인 오류들을 경험했다.
이를 여기에 기록한다.
1. 환각
이미 할루시네이션이라는 이름으로 알려진 문제(이슈)이긴 하지만 잘 와닫지 않는다.
한마디로 말하자면 그럴듯한 가짜정보를 잘 만들어 낸다.
특히 chatgpt가 그랬다.
마치 진짜인 것처럼 말하지만 간혹 가짜정보를 말한다.
이는 본인이 그에 대한 지식이 없다면 믿어버릴 수밖에 없을 것이다.
또한 표를 만들 때도 7번째 줄 5번째 칸부터 이런 내용을 넣어줘라고 하면 다른 줄에 넣었으면서도 그 줄에 들어갔다고 대답한다.
뻔뻔하게 말을 하는 게 간혹 화나게 만들기도 한다.
2. 망각
이건 경험한 사람들은 많을 것 같은데 왜 이런 이슈의 이름이 없는지 모르겠다.
내가 있는데 모를 수 있다.
그래서 나는 망각이라고 이름 지었다.
이 현상은 내가 코딩이나 내용을 신규작성 요구가 아닌 수정을 요구할 때, 원래는 해당 부분만 수정해 주면 되는데, 요구하지 않는 부분까지 수정해 버리는 현상을 의미한다.
나는 버그라고 생각하는데 또다시 합리화하며 버그가 아니라고 우기려나?
내가 망각이라고 이름 지은 것도 내가 몇 차례 코드수정을 요청했는데 자신이 작성 해준 부분과 전체 맥락을 이해하지 못하고 기존 것을 삭제해 버리기 때문이다.
예를 들면,
1차 요청에는 (가) 기능을 하는 코드를 짜줘
2차 요청에는 (나) 부분을 수정해 줘
....
계속 이런저런 요청하다 보면 어느 순간인 n차에 (나)또는 그 이후에 작성한 내용이나 주석을 없애버리거나 한다.
물론 당시 상황상 모듈화가 안 돼서 한 함수 안에 기능들을 몰아넣어서 라인이 길어지고 내용을 파악하기 힘들 수 있겠지만, 그 코드 또한 처음부터 인공지능이 스스로 그렇게 만든 것이다.
즉, 숲을 보는 능력이 약하다는 뜻이기도 할 것이다.
3. 늘어짐
요청(=대화)이 길어지면 응답하는데 늘어지는 현상이 생긴다.
(버퍼링)
한편으로는 이해는 가는 부분이지만 한편으로는 이해되지 않는다.
사람은 대화하면 서로 간에 머릿속에 그림을 그린다.
그래서 대화를 많이 할수록 서로를 잘 알게 된다.
그래서 오랜 사이는 그거 해줘라고 하면 알아먹는다
척하면 척한다는 표현이 그럴 때 쓸 거 같다.
그런데 인공지능들은 대화내용을 창을 닫기 전까지는
* 기타 오류
다른 것도 있는데 이건 인공 지능의 문제인지 모르겠지만 커서라는 통합개발환경을 써봤는데 내가 코딩추천을 요청하면 채팅창에 코드를 붙여 넣기 할 수 있게 제공해 준다.
아래와 같은 코드가 있을 때 내가 B클래스의 test에 내용을 수정하려고 코드를 요청하면 B클래스 것으로 나오지만 막상적용버튼을 클릭하면 A클래스의 test 메서드를 건드려버린다
class A:
def test(self):
print("Class A의 test 메서드입니다.")
class B:
def test(self):
print("Class B의 test 메서드입니다.")
이러한 기록을 해두는 것은 장기적으로 문제점을 인식하고 개선되거나 주의하길 바라는 마음에서 쓴 것이다.
