2010/09/25

数理システム Common Lisp セミナー

9月21日に同僚の g000001 さんと数理システム Common Lisp セミナーに行ってきました。 こちらで資料が公開されています。遅くなりましたが、以下つらつらと感想を書きます。

CLMI(Common Lisp Machine Learning)は数理システムさんで開発されている機械学習のライブラリです。定番機能に加え、最近の流行の機能も実装されているようです。ライセンスはまだ考え中とのことで、ぜひオープンソースにしていただきたいです。

SBCL のスピンロックが thread-yield しているとは! だまされた、という気持ちw 確かに並列まわりの基本ライブラリは必要かもしれません。 Bordeaux-Threads あたりが充実してくれると嬉しいです。

AllegroGraph で GUI からクエリを作成するデモ。 Common Lisp っぽいインターフェイスでした。クエリは SPARQL にも Alegro Prolog にも変換できるようです。さらに拡張された loop でクエリを書く方法もあるようで、 SPARQL, Prolog, loop と好きな方法を使えるみたいです。 Prolog が一番面白いかな、と思いました。

あと、g000001 さんの 数理システム Common Lisp セミナ 2010-09-21 (2) でも書かれているとおり、竹内先生の機械語としての Lisp は興味深かったです。というより、すごくしっくりきました。 Lisp にはそういう素養があるんですよね。まさに Forth も同様ですし、私はそういう言語が好きなんでしょうね。改めて機械語の Lisp ができあがったら、喜んで Common Lisp を捨てると思います。

2010/09/19

mmap gray stream

SBCL の simple stream に mapped-file-simple-stream というものが存在するみたい。

でも、それとは別に gray stream で mmap なファイルストリームを作った。 SBCL べったり。

(defclass db-stream (sb-gray:fundamental-binary-input-stream
sb-gray:fundamental-binary-output-stream)
((base-stream :initarg :base-stream)
(mmap-size :initarg :mmap-size)
(position :initform 0)
(sap)))

(defmethod initialize-instance :after ((stream db-stream) &key)
(with-slots (base-stream mmap-size sap) stream
(setf sap (sb-posix:mmap nil
mmap-size
(boole boole-ior sb-posix:prot-read sb-posix:prot-write)
sb-posix:map-shared
(sb-sys:fd-stream-fd base-stream)
0))))

(defmethod close ((stream db-stream) &key abort)
(with-slots (base-stream mmap-size sap) stream
(sb-posix:munmap sap mmap-size)
(close base-stream :abort abort)))

(defmethod sb-gray:stream-write-sequence ((stream db-stream)
(buffer sequence)
&optional (start 0) end)
(with-slots (base-stream mmap-size sap position) stream
(let* ((length (if end (- end start) (length buffer))))
(flet ((ext ()
(when (< (file-length base-stream) (+ position length))
(sb-posix:ftruncate base-stream (+ position length)))))
(cond ((< (+ position length) mmap-size)
(ext)
(sb-sys::with-pinned-objects (sap buffer)
(sb-kernel::system-area-ub8-copy (sb-sys::vector-sap buffer) start
sap position
length)))
((<= mmap-size position)
(file-position base-stream position)
(write-sequence buffer base-stream))
(t
(ext)
(let ((mlen (- mmap-size position)))
(sb-sys::with-pinned-objects (sap buffer)
(sb-kernel::system-area-ub8-copy (sb-sys::vector-sap buffer) start
sap position
mlen))
(file-position base-stream (1- mmap-size))
(write-sequence buffer base-stream :start (1- mlen) :end end))))
(setf position (+ position length))
buffer))))

(defmethod sb-gray:stream-read-sequence ((stream db-stream)
(buffer sequence)
&optional (start 0) (end nil))
(with-slots (base-stream mmap-size sap position) stream
(unless end (setf end (length buffer)))
(let ((length (- end start)))
(cond ((< (+ position length) mmap-size)
(sb-sys::with-pinned-objects (sap buffer)
(sb-kernel::system-area-ub8-copy sap position
(sb-sys::vector-sap buffer) start
length)))
((<= mmap-size position)
(file-position base-stream position)
(read-sequence buffer base-stream))
(t
(let ((mlen (- mmap-size position)))
(sb-sys::with-pinned-objects (sap buffer)
(sb-kernel::system-area-ub8-copy sap position
(sb-sys::vector-sap buffer) start
mlen))
(file-position base-stream (1- mmap-size))
(read-sequence buffer base-stream :start (1- mlen) :end end))))
(incf position length)
end)))


(defmethod sb-gray:stream-file-position ((stream db-stream) &optional position-spec)
(with-slots (base-stream position) stream
(if position-spec
(setf position
(case position-spec
(:start 0)
(:end
(file-position base-stream :end)
(file-position base-stream))
(t position-spec)))
position)))

(defmethod sb-gray:stream-write-byte ((stream db-stream) integer)
(with-slots (base-stream mmap-size sap position) stream
(if (< position mmap-size)
(setf (sb-sys:sap-ref-8 sap position) integer)
(progn
(file-position base-stream position)
(write-byte integer base-stream)))
(incf position)
integer))

(defmethod sb-gray:stream-read-byte ((stream db-stream))
(with-slots (base-stream mmap-size sap position) stream
(prog1
(if (< position mmap-size)
(sb-sys:sap-ref-8 sap position)
(progn
(file-position base-stream position)
(read-byte base-stream)))
(incf position))))

(defmethod stream-truncate ((stream db-stream) size)
(with-slots (base-stream) stream
(sb-posix:ftruncate base-stream size)))

(defmethod stream-length ((stream db-stream))
(with-slots (base-stream) stream
(file-length base-stream)))

#|
(let ((f (open "/tmp/a.txt" :direction :io :element-type '(unsigned-byte 8)
:if-exists :overwrite :if-does-not-exist :create)))
(with-open-stream (m (make-instance 'db-stream :base-stream f :mmap-size 5))
(stream-truncate m 7)
(let ((code (char-code #\!)))
(file-position m 1)
(write-byte code m)
(file-position m 1)
(assert (= code (read-byte m))))
(let ((buffer (make-array 3 :element-type '(unsigned-byte 8))))
(file-position m 0)
(write-sequence (string-to-octets "abc") m)
(file-position m 0)
(read-sequence buffer m)
(assert (equalp (string-to-octets "abc") buffer) (buffer) "1 ~a" buffer))
(let ((buffer (make-array 3 :element-type '(unsigned-byte 8))))
(write-sequence (string-to-octets "def") m)
(file-position m 3)
(read-sequence buffer m)
(assert (equalp (string-to-octets "def") buffer) (buffer) "2 ~a" buffer))
(let ((buffer (make-array 3 :element-type '(unsigned-byte 8))))
(write-sequence (string-to-octets "ghi") m)
(file-position m 6)
(read-sequence buffer m)
(assert (equalp (string-to-octets "ghi") buffer) (buffer) "3 ~a" buffer))
(let ((code (char-code #\#)))
(write-byte code m)
(file-position m (1- (file-position m)))
(assert (= code (read-byte m))))
(let ((buffer1 (make-array 20 :element-type '(unsigned-byte 8) :initial-element 1))
(buffer2 (make-array 20 :element-type '(unsigned-byte 8))))
(file-position m 0)
(write-sequence buffer1 m)
(file-position m 0)
(read-sequence buffer2 m)
(assert (equalp buffer1 buffer2) (buffer1 buffer2) "3 ~a" buffer))))
|#