ひろゆき＠どうやら管理人 ★<><>2014/06/06(金) 11:41:44.30 ID:???<>過去ログ置き場をつくろうかと。
ってことで、仕様などを決めたいですです。<>過去ログ置き場を作る件
ひろゆき＠どうやら管理人 ★<><>2014/06/06(金) 11:43:05.39 ID:???<>なるべくリソースコストを下げたいので、
datをほうり込んだら、JSで表示されるみたいにしたいのですが、
ログのディレクトリ構造とかどうしようかと、、
アホみたいな量のファイルになるので、
一個のディレクトリにぶち込むとかはやばいかなぁと。<>
名無しさん<>sage<>2014/06/06(金) 11:57:44.21 ID:5m1jbu5nu<>今ある過去ログ倉庫 http://sweet.2ch.sc/patisserie/kako/
とは別に作るんでしょうか？
これも read.cgi を JavaScript モードにしておけば
JS 表示になりますけど...<>
名無しさん<><>2014/06/06(金) 12:43:51.34 ID:pnUix5/ap<>http://i.imgur.com/m9G0ZvO.png
ログ速のように指定のレス数以下は省けるようなフィルター機能があると過去ログ探しやすいです<>
ひろゆき＠どうやら管理人 ★<><>2014/06/06(金) 15:59:34.29 ID:???<>現状の掲示板サーバは、書き込みがあるのでSSDでレスポンス早くしてますが容量は大きくないので、
書き込みの出来ない過去ログ専用サーバに移したほうが、
効率的なんですよね。
>>4
おぉ、便利。<>
アップデート告知ロボ ★<>sage<>2014/06/06(金) 19:28:28.42 ID:???<>今のサーバは SSD + HDD のハイブリッド構成になっていて
ライブスレは SSD 上ですが
過去ログエリアは HDD 上にあります
あとフィルタもいいかも知れませんが，どうせなら
昔「検索 (find) を過去ログに対応させる」という
話があったものの立ち消えになってたと思うので
この際それを進めてみてはと...<>
名無しさん<>sage<>2014/06/06(金) 20:20:47.06 ID:Hf3bW8G7y<>専ブラはどういう扱いになるんだろ
とりあえず、現状の仕様
http://www.monazilla.org/index.php?e=198#datkako
http://www.monazilla.org/index.php?e=348<>
名無しさん<>sage<>2014/06/06(金) 20:25:05.43 ID:Hf3bW8G7y<>kako.[server].2ch.net を用意して、302でリダイレクトさせる感じになるのかな
sweet.2ch.sc/patisserie/dat/1402022504.dat にアクセスすると
kako.sweet.2ch.sc/patisserie/1402/14020/1402022504.dat にリダイレクト、とか
リダイレクトをxmlhttprequestは勝手に隠蔽してくれるので
read.htmlはそのまま動くんじゃないかと期待してみる<>
名無しさん<>sage<>2014/06/06(金) 20:33:58.50 ID:5m1jbu5nu<>>>7
http://sweet.2ch.sc/test/read.cgi/patisserie/1399111309/31,39<>
ひろゆき＠どうやら管理人 ★<><>2014/06/07(土) 06:03:40.84 ID:???<>そういえば、過去ログの検索ってどうなったんだっけか。。。<>
ひろゆき＠どうやら管理人 ★<><>2014/06/07(土) 06:05:01.44 ID:???<>おぉ、dat.gzにして、
↓みたいにすればいいんすかね。
kako.sweet.2ch.sc/patisserie/1402/14020/1402022504.dat<>
名無しさん<>sage<>2014/06/07(土) 07:07:07.28 ID:X7ZSw7tAu<>リダイレクトは専ブラが対応できないかも
（Not Found と同様の扱いをしてるっぽい）
http://sweet.2ch.sc/test/read.cgi/patisserie/1399111309/155
過去ログファイルの実体は別サーバに置くとしても
NFS か何かでマウントして掲示板サーバから
普通に読めるようにするのも一案かも<>
名無しさん<>sage<>2014/06/07(土) 10:33:51.55 ID:6PZAcqirk<>302でdat落ち、404でスレ削除/存在しないって判定にしたいのは分かるんだなー
>>11
事前に圧縮しておいて、mod_rewriteで書き換える感じ？
ttp://www.webdesignleaves.com/wp/htmlcss/217/ みたいな
高速化よりディスクスペース節約の側面が大きそうだけど
あと、URLはあくまで案なのでいろんな人から意見を聞いたほうがいいかと！！<>
ひろゆき＠どうやら管理人 ★<><>2014/06/08(日) 00:23:41.65 ID:???<>>>12
掲示板サーバのリソースコストが増えるのであんまり得策でないかと。
>>13
>事前に圧縮しておいて、mod_rewriteで書き換える感じ？
そんな感じかなぁと。<>
名無しさん<>sage<>2014/06/08(日) 04:29:11.13 ID:hgpLYRWFQ<>とするとかつての memories/花子みたいな感じなのかな
ただ以前は定期的にサーバの引っ越しをして
跡地を memories/花子に収容してましたが
そのやり方を踏襲するのか
それとも引っ越しせず過去ログを直接
memories に放り込むのかってとこですね<>
名無しさん<>sage<>2014/06/08(日) 06:53:00.17 ID:hgpLYRWFQ<>そういえば .gz の扱いは元々 mod_negotiation でやってたような
http://httpd.apache.org/docs/2.2/content-negotiation.html
ただ gzip 圧縮に対応していないクライアントのために結局
生 .dat と圧縮 .dat.gz 両方用意しなきゃならないことになるんで
圧縮/非圧縮の切り替えも含め全部 mod_deflate に任せた方がいい
ということになって .dat.gz は作らなくなったということだったかな...<>
名無しさん<>sage<>2014/06/08(日) 15:55:06.07 ID:f0/vxBHRt<>あと利点としては、F22の仕事を過去ログ置き場に押しつけられるってところか
F22の仕様を詳しく知らないんだけど
過去ログ倉庫の生成でファイルを開くときにdat.gzだと処理が増えないか？
ってことだけちょっと気になった<>
ひろゆき＠どうやら管理人 ★<><>2014/06/08(日) 23:59:09.54 ID:???<>>>16
moD_deflateって、毎回圧縮してキャッシュをしないので、
CPU負荷が高いとかじゃなかったでしたっけ？
それよりは、↓みたいに、両方のファイルを用意して、送ったほうが効率がいいような。。
http://www.cravediy.com/59-Simple-gzip-Support-for-Apache-with-mod_rewrite.html<>
ひろゆき＠どうやら管理人 ★<><>2014/06/08(日) 23:59:47.36 ID:???<>>>17
具体的にどういう作業を想定してるのかわかってないおいらです。。<>
名無しさん<>sage<>2014/06/09(月) 06:44:44.94 ID:FaWtr8M1J<>>>18
まぁそうですね
CPU 負荷を取るかストレージ容量を取るかということで
ストレージはどんどん増やせるから気にしないということなら
ファイル両方用意ということでいいと思います<>
名無しさん<>sage<>2014/06/09(月) 07:47:00.55 ID:FaWtr8M1J<>そういえば過去ログ削除なんかも時々あるんでしたね
その際にも .gz 再生成が必要になるかと<>
ひろゆき＠どうやら管理人 ★<><>2014/06/09(月) 09:10:07.78 ID:???<>>>20
過去ログ用のサーバはストレージは気にしない方針でいきたいなぁと。
>21
過去ログ削除はめったにあるわけでもないので、
負荷を気にするほどのものではないと思いますー。<>
名無しさん<>sage<>2014/06/09(月) 09:25:25.54 ID:dnx7P2O6S<>>>22
そういや、過去ログ削除、まだ出来てないようですけど、いつ出来る予定ですか？<>
ひろゆき＠どうやら管理人 ★<><>2014/06/11(水) 00:40:12.10 ID:???<>そのうち、、、<>
名無しさん<>sage<>2014/06/11(水) 01:06:29.62 ID:PTxyNDgFR<>gzだけ保存して通常のdatはCGIか何かでgz展開したらどうかな
負荷はあるけれどもそんなに過去datへアクセスないでしょうし
DoS攻撃された際はCGIはmod_evasiveとかで守る<>
名無しさん<><>2014/06/11(水) 10:48:50.82 ID:eTEz1kkyH<>>>24
うえきｗｗｗ
脱税するなよ ひろゆき<>
ひろゆき＠どうやら管理人 ★<><>2014/06/11(水) 22:18:40.24 ID:???<>>>25
過去ログサーバなので、過去datがメインかと、、、<>
名無しさん<>sage<>2014/06/12(木) 11:10:02.10 ID:XIwvygI38<>>>25
subject.txtをDB化、本文は.net側と同じ構成にした上で
静的コンテンツをCDN上に載せるのはどうですかね？
Dat鯖の中の事はあまり解りませんが、最近のDDos/Dos攻撃の防御は
ネットワーク側でも行なうのが一般的みたいです<>
２８<>sage<>2014/06/12(木) 11:12:14.78 ID:XIwvygI38<>subject.txtだけと書きましたが本文検索も可能にするならDB化は必要ですね。。。<>
名無しさん<>sage<>2014/06/12(木) 12:07:14.44 ID:jbQD+jzfD<>そういえば過去ログ鯖は今までどおり米国に置くんです？
それとも・・・
>>28
subject.txtをDB化する意味ってある？
なんというか、利用頻度や重要度からしてオーバースペックに見える<>
名無しさん<>sage<>2014/06/12(木) 12:18:22.28 ID:XIwvygI38<>>>30
検索用？
確かにオーバースペックですが、大は小を兼ねるでw<>
ひろゆき＠どうやら管理人 ★<><>2014/06/13(金) 05:36:22.27 ID:???<>CDNって特定の動画を1万人に配るとか、
少ないデータを配布するには適してますけど、
多量のデータを扱うのはコスパ悪いですよ。<>
名無しさん<>sage<>2014/06/13(金) 06:09:10.39 ID:YU1Fm9OhN<>>>32
ttp://www.cloudflare.com/plans
個人的に使っているここのProプランは共有SSLも使えて$20/月ですが
Dos防御は月々$200のBusinessプランからですね。<>
ひろゆき＠どうやら管理人 ★<><>2014/06/14(土) 03:32:58.36 ID:???<>おぉ、cloudflareは検討中ですー。<>
名無しさん<>sage<>2014/06/15(日) 01:30:28.63 ID:JyVzcbVxE<>http://www.dreamhost.com
とかでもええんとちゃう？<>
ひろゆき＠どうやら管理人 ★<><>2014/06/15(日) 02:47:58.39 ID:???<>まぁ、基本、どこでもOKですー。<>
名無しさん<>sage<>2014/06/16(月) 10:23:44.79 ID:kf96Yd52a<>>>15 はどうなんでしょう？
* 従来方式
定期的に掲示板サーバを引っ越し (sweet -> sweet2)
跡地 (sweet) を memories に収容
* 随時収容方式
落ちた dat を直接 memories に転送
掲示板サーバの引っ越しなし<>
ひろゆき＠どうやら管理人 ★<><>2014/06/17(火) 05:31:51.01 ID:???<>↓が楽でいいんじゃないかとー。
* 随時収容方式
落ちた dat を直接 memories に転送
掲示板サーバの引っ越しなし<>
名無しさん<>sage<>2014/06/17(火) 08:07:28.79 ID:qo1PfKF5t<>今の置き場もそんなにリソース使用してるようには見えないけど
どこにJS使うんだろう<>
ひろゆき＠どうやら管理人 ★<><>2014/06/17(火) 13:04:01.55 ID:???<>今の置場？<>
名無しさん<>sage<>2014/06/17(火) 20:31:26.75 ID:qo1PfKF5t<>倉庫≠置場でした？<>
名無しさん<>sage<>2014/06/18(水) 08:09:28.10 ID:q5uuQem7m<>>>39
花子は確かT-Banana (C2D) + 4GB RAMで
Boot HDDと RAID6 HDD で分けているはず．．．<>
名無しさん<>sage<>2017/05/26(金) 19:36:25.29 ID:w3NIrQByE<>今は過去ログどこに置いているのですか?
これからも従来通り専ブラから見られるようにして
2ch.sc公開前の過去ログもクロールしてほしいです。<>
名無しさん<>sage<>2018/12/15(土) 22:36:21.88 ID:TPrJofNWN<>１０００過ぎたスレがいっぱい放置されてある
片付けて欲しい<>